JP4526314B2

JP4526314B2 - 動画像再生装置

Info

Publication number: JP4526314B2
Application number: JP2004200547A
Authority: JP
Inventors: 真毅高橋; 智幸山本
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-07-07
Filing date: 2004-07-07
Publication date: 2010-08-18
Anticipated expiration: 2024-07-07
Also published as: JP2006025105A

Description

本発明は、動画像再生装置に関し、特に、符号化された動画像の高速再生機能を備えた動画像再生装置に関する。

ＭＰＥＧ等のフレーム内及びフレーム間相関を利用する動画像符号化方式において、高速再生を実現する従来技術として、特許文献１の特公平６−２８４４６号公報「圧縮記録画像の再生方式」に示される技術がある。図８に、従来技術として該特許文献１の技術を用いた動画像再生装置のブロック構成を示す。

図８に示す動画像再生装置３０において、２は符号化データを復号する可変長符号復号部、３は可変長符号復号部２の出力を逆量子化する逆量子化部、４は逆量子化部３の出力を差分画像へ変換する逆変換部、５は蓄積された復号済み動画像を基にフレーム間予測を行ない、予測画像を生成するフレーム間予測画像生成部、６は当該フレームにおける復号済みの画像を基にフレーム内予測を行ない、予測画像を生成するフレーム内予測画像生成部、７は差分画像と予測画像の合成画像に対し、ブロック歪等の符号化歪除去のためのフィルタ処理を行なうフィルタ処理部、９は生成された復号画像を蓄積するフレームメモリ、１０ａは入力データの出力先を切替える出力切替スイッチ、１３は外部から指定された再生速度情報Ｓに基づき、当該動画像再生装置３０の再生速度を制御する復号制御部である。

当該技術を用いた動画像再生装置３０の通常再生動作は、以下の通りである。
（ステップＳ１０）
再生対象の符号化データは、順次、可変長符号復号部２に入力され、可変長符号の復号が行なわれる。
（ステップＳ２０）
指定された再生速度情報Ｓに応じて、復号制御部１３は、可変長復号制御部２を以下の通り制御する。
・高速再生（Ｓ＞１）であり、かつ、可変長符号復号部２で復号されたフレームタイプが、Ｉフレーム以外の場合、復号制御部２は、次のフレームまで可変長符号復号部２の出力を停止するように制御する。
・上記以外の場合、即ち、高速再生（Ｓ＞１）であり、かつ、フレームタイプがＩフレームの場合、及び、高速再生ではない通常再生の場合（Ｓ≦１）、可変長符号復号部２にて復号されたデータは種類別に逆量子化部３他へ出力するように制御する。
（ステップＳ３０）
可変長符号復号部２で復号された予測モードに応じて、出力切替スイッチ１０ａの制御が行なわれる。即ち、復号中の符号化データの予測モードがフレーム間予測の場合は、フレーム間予測画像生成部５へ、予測モードがフレーム内予測の場合は、フレーム内予測画像生成部６へ、予測画像の生成に必要な画像がフレームメモリ９から供給され、予測画像が生成される。
（ステップＳ４０）
可変長符号復号部２で復号された差分画像に関するデータは、逆量子化部３における逆量子化、逆変換部４における逆変換を経て、差分画像となる。
（ステップＳ５０）
ステップＳ３０、ステップＳ４０で生成された予測画像と差分画像とは合成され、符号化歪除去のためのフィルタ処理がフィルタ処理部７で行なわれ、復号画像が生成される。
（ステップＳ６０）
生成された復号画像は、フレームメモリ９に蓄積され、所定の再生時刻に再生画像として出力される。
以上説明したように、当該技術では、高速再生を行なう場合、フレーム内相関のみを利用したＩフレームのみを選択して、間欠再生することにより高速再生を実現している。
特公平６−２８４４６号公報

しかしながら、通常、フレーム内相関のみを利用するＩフレームは、十数フレームに１フレーム程度の頻度で符号化されることが多く、例えば、高速再生として２倍速再生を前述の技術を用いて実現する場合、１秒当たりに表示されるフレームは僅か数フレーム程度に過ぎず、滑らかな動きを再現することができないという問題点がある。

本発明は、かかる問題を解決するためになされたものであり、高速再生においても、滑らかな動きを再現することを可能とすることを目的としている。

本発明の技術手段は、所定の動画像符号化方式を用いて符号化された動画像データの再生を行う動画像再生装置において、前記動画像データを通常再生する際の復号処理を行なう所定の動画像復号手段と、該所定の動画像復号手段より簡易化した復号処理を行なう簡易動画像復号手段と、前記動画像データを高速再生する際、前記動画像データに関する付加情報が、前記所定の動画像符号化方式におけるフレームを複数のブロックに分割した復号処理対象のブロックのフレーム内位置を示す情報であり、該情報のフレーム中央から当該ブロックまでの距離が所定の閾値未満の場合には、前記復号手段として前記所定の動画像復号手段を選択し、前記距離が所定の閾値以上の場合には、前記復号手段として前記簡易動画像復号手段を選択する再生速度制御手段と、を備えることを特徴とする。

以上のごとき各技術手段から構成される本発明に係る動画像再生装置によれば、高速再生時に、フレーム間相関のみを用いたＩフレームの符号化頻度の如何に関わらず、動きの滑らかな高速再生を実現することができる。

（実施形態１）
以下に、本発明に係る動画再生装置の実施の形態について、図面を参照しながら説明する。
図１は、本発明の実施形態１における動画像再生装置のブロック図である。図１に示す動画像再生装置２０において、１は外部から指定された再生速度情報Ｓに基づき本動画像再生装置２０が所定の再生速度で動作するための制御を行なう再生速度制御部、２は符号化データを復号する可変長符号復号部、３は可変長符号復号部２の出力を逆量子化する逆量子化部、４は逆量子化部３の出力を差分画像へ変換する逆変換部、５は蓄積された復号済み動画像を基にフレーム間予測を行ない、予測画像を生成するフレーム間予測画像生成部、６は当該フレームにおける復号済みの画像を基にフレーム内予測を行ない、予測画像を生成するフレーム内予測画像生成部、７は差分画像と予測画像の合成画像に対し、ブロック歪等の符号化歪除去のためのフィルタ処理を行なうフィルタ処理部、８はフィルタ処理部７とは異なる簡易な方法で符号化歪除去のためのフィルタ処理を行なう簡易フィルタ処理部、９は生成された復号画像を蓄積するフレームメモリ、１０ａ，１０ｂはいずれも入力データの出力先を切替える出力切替スイッチである。

なお、図１の動画像再生装置２０では、フィルタ処理部７、あるいは、簡易フィルタ処理部８で符号化歪を除去した画像をフレームメモリ９へ蓄積し、後のフレーム間予測に用いるような構成としたが、取り扱う動画像符号化方式により、図２の動画像再生装置２１に示すように、符号化歪除去前の画像、即ち、差分画像と予測画像との合成画像をフレームメモリ９へ蓄積し、再生出力時に、フィルタ処理部７あるいは簡易フィルタ処理部８で符号化歪を除去して再生する構成であっても構わない。ここに、図２は、本発明の実施形態１の別形態の動画像再生装置のブロック図である。
また、逆量子化部３、逆変換部４、フレーム間予測画像生成部５、フレーム内予測画像生成部６も、取り扱う動画像符号化方式に応じて、省略した構成であっても構わない。

次に、図１に示す本実施形態における動画像再生装置２０の動作について、図７の動作フロー図を用いて説明する。ここに、図７は、本発明の実施形態１における動画像再生装置２０の動作を説明するための動作フロー図である。なお、以下の説明では、フィルタ処理部７、簡易フィルタ処理部８で処理可能な再生速度の限界値をそれぞれＳｍａｘ，Ｓ′ｍａｘとし、Ｓｍａｘ＜Ｓ′ｍａｘであるものとする。即ち、簡易フィルタ処理部８における処理の方が、フィルタ処理部７における処理よりも高速に実行可能である。

以下、図７の動作フロー図を参照しながら説明する。
（ステップＳ１）
再生速度制御手段１は、入力された再生速度情報Ｓに基づき、出力切替スイッチ１０ｂを制御する。フィルタ処理部７と簡易フィルタ処理部８とを切替える出力切替スイッチ１０ｂの切替え判定は、指定された再生速度情報Ｓに応じて、所定の閾値ＴＨ（≦Ｓｍａｘ）を用いて以下の通り行なう。
・Ｓ＜ＴＨの場合、フィルタ処理部７を出力先に選択する（ステップＳ１−ａ）。
・Ｓ≧ＴＨの場合、簡易フィルタ処理部８を出力先に選択する（ステップＳ１−ｂ）。

（ステップＳ２）
再生対象の符号化データは、順次、可変長符号復号部２に入力され、可変長符号の復号が行なわれる。復号されたデータは種類別に逆量子化部３他へ出力される。
（ステップＳ３）
可変長符号復号部２で復号された予測モードに応じて、出力切替スイッチ１０ａの制御が行なわれる。即ち、復号中の符号化データの予測モードがフレーム間予測の場合は、フレーム間予測画像生成部５へ、予測モードがフレーム内予測の場合は、フレーム内予測画像生成部６へ、予測画像の生成に必要な画像がフレームメモリ９から供給されて、予測画像が生成される。

（ステップＳ４）
可変長符号復号部２で復号された差分画像に関するデータは、逆量子化部３における逆量子化、逆変換部４における逆変換を経て、差分画像となる。
（ステップＳ５）
ステップＳ３、ステップＳ４でそれぞれ生成された予測画像と差分画像とは合成され、ステップＳ１で選択されたフィルタ処理部７／簡易フィルタ処理部８のいずれかで符号化歪除去のためのフィルタ処理が行なわれ、復号画像が生成される。
（ステップＳ６）
生成された復号画像はフレームメモリ９に一旦蓄積され、所定の再生時刻に再生画像として出力される。
（ステップＳ７）
最終フレームの復号・再生出力が完了するまでステップＳ１からステップＳ６の動作を繰り返す。

以上のような動作により、本実施形態の動画像再生装置２０では、再生速度情報Ｓに対応可能なフィルタリング速度にてフィルタ処理を行なうので、通常再生、高速再生のいずれであっても、全てのフレームの再生を指定された再生速度に応じて実現している。従って、高速再生時においても全てのフレームが復号されるため、動きの滑らかな再生が可能である。なお、前記した所定の閾値ＴＨを超えた高速再生の場合は、フィルタ処理部７による動画像符号化方式の所定のフィルタ処理ではなく、高速処理をするために、演算量の少ない簡易なフィルタ処理を行なう簡易フィルタ処理部８に処理を切替えているため、画像の劣化が発生する。

また、本実施形態の動画像符号化装置２０は、取り扱う動画像符号化方式において、符号化歪除去のためのフィルタ処理が、他の復号処理に比べ、膨大な演算量を必要とする場合に、特に有効である。

なお、ステップＳ１におけるフィルタ処理部７／簡易フィルタ処理部８の切替え制御は、前述の方法に限定されるものではなく、可変長符号復号部２からの付加情報Ｎに応じて切替える構成であっても構わない。

例えば、異なる画像サイズの動画像の再生を扱う場合、前記のＳｍａｘ，Ｓ′ｍａｘは画像サイズに依存する。即ち、画像サイズをＮとする時、
Ｓｍａｘ＝ｆ（Ｎ）
Ｓ′ｍａｘ＝ｆ′（Ｎ）
とＮの関数で表される。
なお、ｆ（Ｎ），ｆ′（Ｎ）は実験によって求められる関数であり、一般に、
ｆ（Ｎ）＝αＮ＋β
ｆ′（Ｎ）＝α′Ｎ＋β′
として表される。ここに、α，β，α′，β′は定数である。

従って、例えば、
ＴＨ＝Ｓｍａｘ＝αＮ＋β
として、ステップＳ１の切替え制御を行なうことにすれば、簡便な処理で、取り扱う画像サイズに応じて、最適な再生速度での切替え制御が可能となる。
その結果、比較的低速の再生速度での画質劣化を避けることが可能となる。なお、前述の説明では、付加情報Ｎとして画像サイズを用いた場合について説明したが、例えば、異なるフレームレートの動画像の再生を扱う場合、フレームレートを付加情報Ｎとして同様の制御を行なうことも可能である。

また、前述の画像サイズを用いる場合には、図７に示すようにステップＳ１からステップＳ６までを繰り返すのではなく、取り扱う動画像符号化方式によっては、ステップＳ２からステップＳ６までを繰り返すようにしても良いが、ステップＳ１におけるフィルタ処理部７／簡易フィルタ処理部８の切替え制御を、フレーム単位で切替える構成として、ステップＳ１からステップＳ６までを繰り返す構成であっても勿論構わない。

フィルタ処理部７／簡易フィルタ処理部８の切替え制御を、フレーム単位で切替える構成の場合の異なる適用例として、付加情報Ｎとして画像サイズではなく、可変長符号復号部２より復号中のフレーム番号を付加情報Ｎとして再生速度制御部１に入力して用いる場合について説明する。
例えば、フィルタ処理部７、簡易フィルタ処理部８でそれぞれ処理可能な再生速度の限界値として、Ｓｍａｘ＝１，Ｓ′ｍａｘ＝３の場合、
ＴＨ＝１.５＋（Ｎｍｏｄ２）
とすれば、付加情報Ｎのフレーム番号の偶数・奇数に応じて、閾値ＴＨが、１.５、２.５，１.５、２.５、…とフレーム毎に交互に変化する。９

従って、外部から指定される再生速度情報Ｓが通常再生（Ｓ＝１）の場合は、常にフィルタ処理部７が選択され、２倍速再生（Ｓ＝２）の場合は、１フレーム毎に、交互に、フィルタ処理部７、簡易フィルタ処理部８が選択され、また、３倍速再生（Ｓ＝３）の場合には、常に簡易フィルタ選択部８が選択される。

このような構成とすることにより、再生速度情報Ｓに応じて段階的にフィルタ処理の切替えを行なうことが可能となる。その結果、比較的低速な再生速度での画質劣化を最小限に抑えることが可能である。

また、フレームを水平・垂直方向にそれぞれＨ画素・Ｖ画素からなる矩形ブロック単位で復号処理が行なわれる場合、ステップＳ１における切替え制御は、このブロック単位で切替える構成としても構わない。
この場合、可変長符号復号部２から復号中のブロック位置を示す識別子を付加情報Ｎとして再生速度制御部１に入力する。例えば、動画再生中に注目の集まり易い画面中央の領域では閾値ＴＨを大きく、その他の領域では閾値ＴＨを小さく設定することにより、画面中央では常にフィルタ処理部７が選択され、その他の領域では常に簡易フィルタ処理部８が選択され、ユーザの主観的な画質劣化を抑えた高速再生が可能となる。

あるいは、フレーム間予測で用いられる動きベクトルの大きさを付加情報Ｎとして用いれば、動画再生中に注目の集まる動きの大きい領域では閾値ＴＨを大きく、その他の領域では閾値ＴＨを小さく設定することにより、動きの大きい領域では常にフィルタ処理部７が選択され、動きが小さい領域では常に簡易フィルタ処理部８が選択され、同様に、ユーザの主観的な画質劣化を抑えた高速再生が可能である。

あるいは、予測モードを付加情報Ｎとして用いて、フレーム内予測を用いた領域では閾値ＴＨを大きく、フレーム間予測を用いた領域では閾値ＴＨを小さく設定することにより、フレーム内予測を用いた領域では常にフィルタ処理部７が選択され、フレーム間予測を用いた領域では常に簡易フィルタ処理部８が選択され、画質に対する影響が大きいフレーム内予測を行なう領域での画質劣化を抑えることが可能である。

次に、簡易フィルタ処理部８について説明する。一般に、フィルタ処理部７では、座標（ｘ，ｙ）における入力画像の画素値Ｐ_fin（ｘ，ｙ）、出力画像の画素値Ｐ_fout（ｘ，ｙ）としたとき、次式の式（１）で表されるフィルタ処理が行なわれる。

ここで、Ｗ_f（ｘ，ｙ，ｉ，ｊ）及びｍ，ｎは、用いる動画像符号化方式によって定められるフィルタ係数及び定数である。
同様に、簡易フィルタ処理部８では、出力画像の画素値Ｐ′_fout（ｘ，ｙ）としたとき、次式の式（２）で表される簡略化されたフィルタ処理が行なわれる。

ここで、ｍ′，ｎ′は、ｍ′≦ｍ，ｎ′≦ｎを満たす定数である。例えば、ｍ＝ｎ＝３，ｍ′＝ｎ′＝１の場合、フィルタ処理部７では、１画素当り、４９回の乗算と４８回の加算が必要となるが、簡易フィルタ処理部８では、１画素当り、９回の乗算と８回の加算で処理が可能である。
また、フィルタ係数Ｗ′_f（ｘ，ｙ，ｉ，ｊ）は、予めシミュレーション等によってフィルタ処理部７でのフィルタ処理の特性に近い係数を定める。

なお、ｍ′＝ｎ′＝０，Ｗ′_ｆ（ｘ，ｙ，ｉ，ｊ）＝１とした場合は、
Ｐ′_fout（ｘ，ｙ）＝Ｐ_fin（ｘ，ｙ）
となる。この場合には、簡易フィルタ処理部８を省略した構成としても構わない。

以上説明したように、本実施形態の動画像再生装置２０では、フィルタ処理部７／簡易フィルタ処理部８の切替えにより、復号に必要な演算量を削減することになり、動きの滑らかな高速再生が可能となる。なお、図２に示す動画像再生装置２１についても、図１に示す動画像再生装置２０の場合と全く同様である。

（実施形態２）
図３は、本発明の実施形態２における動画像再生装置のブロック図である。図３に示す動画像再生装置２２において、１１は、逆変換部４とは異なる演算量の少ない簡易な方法で差分画像を生成する簡易逆変換部、１０ｃは、入力データの出力先を切替える出力切替スイッチである。その他の要素については、図１に示す実施形態１の動画像再生装置２０と同一の要素であり、図１の場合と同一符号を付与し、その説明を省略する。なお、図３に示す動画像再生装置２２においては、図１に示す実施形態１の動画像再生装置２０の簡易フィルタ処理部８及び出力切替スイッチ１０ｂを削除し、その代わり、前述の簡易逆変換部１１及び出力切替スイッチ１０ｃを備えて構成している。

次に、図３に示す本実施形態における動画像再生装置２２の動作について説明する。なお、本実施形態の動画像再生装置２２の動作は、実施形態１の動画像再生装置２０の動作説明において、（ステップＳ１）のフィルタ処理部７／簡易フィルタ処理部８の切替え制御が、逆変換部３／簡易逆変換部１１の切替え制御に置き変わる点を除いて、実施形態１の動画像再生装置２０の動作と同じであり、詳細な説明は省略する。また、逆変換部３、簡易逆変換部１１の切替え制御を、フレーム単位、あるいは、ブロック単位とした構成も可能である点も実施形態１の動画像再生装置２０と同様である。

なお、本実施形態の動画像再生装置２２は、取り扱う動画像符号化方式において、逆変換による差分画像生成処理が、他の復号処理に比べ、膨大な演算量を必要とする場合に、特に有効である。

次に、簡易逆変換部１１について説明する。一般に、逆変換部３では、ＭＰＥＧ等の動画像符号化方式の場合、次式の式（３）で表される逆離散コサイン変換（ＩＤＣＴ）が行なわれる。

なお、Ｐ_diff（ｘ，ｙ）は、逆変換によって生成される差分画像の画素値、Ｆ（ｉ，ｊ）はＤＣＴ係数、Ｃ（ｉ，ｊ）は所定の定数である。
簡易逆変換部１１では、人間の視覚特性を利用し、画質劣化を認識し難い高周波成分のＤＣＴ係数を０とみなすことで簡略化を行なう。例えば、
Ｆ（ｉ，ｊ）＝０：ｉ≧４，ｊ≧４
とするとき、簡易逆変換部１１における逆変換は、次式の式（４）で表される。

なお、Ｐ′_diff（ｘ，ｙ）は、逆変換によって生成される差分画像の画素値である。
以上のような簡略化を行なうことにより、演算量を抑えた簡易逆変換が可能である。前述の説明では、動画像符号化方式として所定の逆変換がＩＤＣＴの場合について説明したが、離散フーリエ変換、ハール変換、アダマール変換等、その他の直交変換を用いる場合にも、同様の方法が適応可能である。

以上説明したように、本実施形態の動画像再生装置２２では、逆変換部４／簡易逆変換部１１の切替えにより、復号に必要な演算量を削減することで、動きの滑らかな高速再生が可能である。

（実施形態３）
図４は、本発明の実施形態３における動画像再生装置のブロック図である。図４に示す動画像再生装置２３において、１２は、フレーム間予測画像生成部５とは異なる演算量の少ない簡易な方法でフレーム間予測画像を生成する簡易フレーム間予測画像生成部、１０ｄは、入力データの出力先を切替える出力切替スイッチである。その他の要素については、図１に示す実施形態１の動画像再生装置２０と同一の要素であり、図１の場合と同一符号を付与し、その説明を省略する。なお、図４に示す動画像再生装置２３においては、図１に示す実施形態１の動画像再生装置２０の簡易フィルタ処理部８及び出力切替スイッチ１０ｂを削除し、その代わり、前述の簡易フレーム間予測画像生成部１２及び出力切替スイッチ１０ｄを備えて構成している。

次に、図４に示す本実施形態における動画像再生装置２３の動作について説明する。なお、本実施形態の動画像再生装置２３の動作は、実施形態１の動画像再生装置２０の動作説明において、（ステップＳ１）のフィルタ処理部７／簡易フィルタ処理部８の切替え制御が、フレーム間予測画像生成部５／簡易フレーム間予測画像生成部１２の切替え制御に置き変わる点を除いて、実施形態１の動画像再生装置２０の動作と同じであり、詳細な説明は省略する。また、フレーム間予測画像生成部５、簡易フレーム間予測画像生成部１２の切替え制御を、フレーム単位、あるいは、ブロック単位とした構成が可能である点も実施形態１の動画像再生装置２０と同様である。

なお、本実施形態の動画像再生装置２３は、取り扱う動画像符号化方式において、フレーム間予測画像の生成処理が、他の復号処理に比べ、膨大な演算量を必要とする場合に、特に有効である。

次に、簡易フレーム間予測画像生成部１２について説明する。一般に、座標（ｘ，ｙ）における予測画像Ｐ_pred（ｘ，ｙ）と予測に用いる参照画像Ｐ_ref（ｘ′，ｙ′）との関係は次式の式（５）で表される。

ここで、（ｘ′，ｙ′）は、非整数精度の座標値を示し、フレーム間予測画像生成部５において、Ｐ_ref（ｘ′，ｙ′）は、近傍画素の画素値を用いた補間によって、次式の式（６）の通り求められる。

ここで、
ｘ′＝Ｘ＋ｘ₀，ｙ′＝Ｙ＋ｙ₀
とし、
Ｘ，Ｙは、それぞれ、ｘ′，ｙ′の整数パート、
ｘ₀，ｙ₀は、それぞれ、ｘ′，ｙ′の非整数パート
を表す。
また、Ｗ_I（ｘ₀，ｙ₀，ｉ，ｊ）及びｍ，ｎは、用いる動画像符号化方式によって定められる重み係数及び定数である。

同様に、簡易フレーム間予測画像生成部１２では、補間画像Ｐ′_ref（ｘ′，ｙ′）が、次式の式（７）の通り求められる。

ここで、ｍ′，ｎ′は、ｍ′≦ｍ，ｎ′≦ｎを満たす定数である。例えば、ｍ＝ｎ＝３，ｍ′＝ｎ′＝１の場合、フレーム間予測画像生成部５では、補間画像の計算に、１画素当り、３６回の乗算と３５回の加算が必要となるが、簡易フレーム間予測画像生成部１２では、１画素当り、４回の乗算と３回の加算で処理が可能である。また、重み係数Ｗ′_I（ｘ₀，ｙ₀，ｉ，ｊ）は、予めシミュレーション等によってフレーム間予測画像生成部４での補間特性に近い重み係数を定める。
例えば、ｍ′＝ｎ′＝１の場合、次の式（８）に示すように、

とすれば、近傍４画素の線形補間により求められた補間画像Ｐ′_ref（ｘ′，ｙ′）により、予測画像が生成される。

以上説明したように、本実施形態の動画像再生装置２３では、フレーム間予測画像生成部５、簡易フレーム間予測画像生成部１２の切替えにより、復号に必要な演算量を削減することで、動きの滑らかな高速再生が可能である。

（実施形態４）
図５は、本発明の実施形態４における動画像再生装置のブロック図である。図５に示す動画像再生装置２４は、実施形態１の動画像再生装置２０及び実施形態２の動画像再生装置２２の構成要素を全て備えて構成されている。
実施形態１及び２における動画像再生装置２０及び２２では、高速再生時の画質劣化の特性がそれぞれ異なる。実施形態１の動画像再生装置２０では、フィルタ処理による符号化歪除去の効果が高い低ビットレートの動画像での画質劣化が、実施形態２の動画像再生装置２２では、高周波数成分の発生頻度が高い高ビットレートの動画像での画質劣化が、それぞれ顕著となる傾向がある。

一方、本実施形態の動画像再生装置２４では、フィルタ処理部７／簡易フィルタ処理部８、逆変換部４／簡易逆変換部１１のそれぞれの切替えを、出力切替スイッチ１０ｂ、１０ｃにより入力符号化データの特性に応じて適応的に行なうことで、高速再生時の画質劣化を抑えることを特徴としている。

次に、本実施形態の動画像再生装置２４の動作について説明する。なお、基本的な動作は、実施形態１、２の動画像再生装置２０、２２と同じであり、再生速度制御部１の制御動作についてのみ説明する。以下の説明では、実施形態１の場合と同様に、入力された再生速度情報Ｓに対する所定の閾値ＴＨを用いると共に、符号化データのビットレートを付加情報Ｎとし、付加情報Ｎに対する所定の閾値ＴＨｒを用いる。なお、閾値ＴＨｒは、予め最適な値をシミュレーション等により定めるものとする。

（１）Ｓ＜ＴＨの場合
フィルタ処理部７、逆変換部４を、それぞれ出力先に選択する。
（２）Ｓ≧ＴＨの場合
（２．１）Ｎ＜ＴＨｒの場合
フィルタ処理部７、簡易逆変換部１１を、それぞれ出力先に選択する。
（２．２）Ｎ≧ＴＨｒの場合
簡易フィルタ処理部８、逆変換部４を、それぞれ出力先に選択する。

以上のような制御を行なうことで、高速再生時の画質劣化を抑えることが可能である。
なお、前述の説明では、簡易フィルタ処理部８、簡易逆変換部１１についてはいずれか一方のみの使用としているが、前記（２．１）、（２．２）の場合では、それぞれ、少なくとも、逆変換部４ではなく簡易逆変換部１１を、フィルタ処理部７ではなく簡易フィルタ処理部８を用いることとし、いずれか一方の使用のみでは対応できないような高い再生速度での高速再生を行なう場合には、簡易フィルタ処理部８、簡易逆変換部１１の両方を同時に使用する構成としても構わない。

また、実施形態３で説明した簡易フレーム間予測画像生成部１２を加えた図６の構成としても構わない。ここに、図６は本発明の実施形態４の別形態の動画像再生装置のブロック図である。この図６に示す動画像再生装置２５の場合、例えば、ビットレートＮに応じて、低ビットレートの符号化データでは、簡易逆変換部１１を、中ビットレートの符号化データでは、簡易フレーム間予測画像生成部１２を、高ビットレートの符号化データでは、簡易フィルタ処理部８を、それぞれ用いた高速再生を行なう構成とすることができる。

即ち、図５の動画像再生装置２４の場合と同様に、入力された再生速度情報Ｓに対する所定の閾値ＴＨを用いると共に、符号化データのビットレートを付加情報Ｎとし、付加情報Ｎに対する所定の閾値ＴＨｒ、ＴＨｒ′を用いる。なお、閾値ＴＨｒ、ＴＨｒ′は、予め最適な値をシミュレーション等により定めるものとする。

（１）Ｓ＜ＴＨの場合
フィルタ処理部７、逆変換部４及びフレーム間予測画像生成部５を、それぞれ出力
先に選択する。
（２）Ｓ≧ＴＨの場合
（２．１）Ｎ＜ＴＨｒの場合
フィルタ処理部７、簡易逆変換部１１及びフレーム間予測画像生成部５を、それぞ
れ出力先に選択する。
（２．２）ＴＨｒ≦Ｎ＜ＴＨｒ′の場合
フィルタ処理部８、逆変換部４及び簡易フレーム間予測画像生成部１２を、それぞ
れ出力先に選択する。
（２．３）Ｎ≧ＴＨｒ′の場合
簡易フィルタ処理部８、逆変換部４及びフレーム間予測画像生成部５を、それぞれ
出力先に選択する。

なお、前述の説明では、簡易フィルタ処理部８、簡易逆変換部１１及び簡易フレーム間予測画像生成部１２についてはいずれか一つのみの使用としているが、前記（２．１）、（２．２．１）、（２．２．２）の場合では、それぞれ、少なくとも、逆変換部４ではなく簡易逆変換部１１を、フレーム間予測画像生成部５ではなく簡易フレーム間予測画像生成部１２を、フィルタ処理部７ではなく簡易フィルタ処理部８を用いることとし、いずれか一つの使用のみでは対応できないような高い再生速度での高速再生を行なう場合には、簡易フィルタ処理部８、簡易逆変換部１１及び簡易フレーム間予測画像生成部１２のうちの複数を同時に使用する構成としても構わない。

あるいは、動きの小さい領域では、簡易フレーム間予測画像生成部１２を、動きの大きい領域では、ビットレートに応じて、低ビットレートの場合は、簡易逆変換部１１を、高ビットレートの場合は、簡易フィルタ処理部８を、それぞれ用いた高速再生を行なう構成としても構わない。

即ち、図５の動画像再生装置２４の場合と同様に、入力された再生速度情報Ｓに対する所定の閾値ＴＨを用いると共に、符号化データのビットレートを付加情報Ｎとし、付加情報Ｎに対する所定の閾値ＴＨｒを用い、更に、フレーム間予測で用いられる動きベクトルの大きさを付加情報Ｎ１とし、付加情報Ｎ１に対する所定の閾値ＴＨｒ１を用いる。なお、閾値ＴＨｒ，ＴＨｒ１は、予め最適な値をシミュレーション等により定めるものとする。

（１）Ｓ＜ＴＨの場合
フィルタ処理部７、逆変換部４及びフレーム間予測画像生成部５を、それぞれ出力
先に選択する。
（２）Ｓ≧ＴＨの場合
（２．１）Ｎ１＜ＴＨｒ１の場合
フィルタ処理部７、逆変換部４及び簡易フレーム間予測画像生成部１２を、それぞ
れ出力先に選択する。
（２．２）Ｎ１≧ＴＨｒ１の場合
（２．２．１）Ｎ＜ＴＨｒの場合
フィルタ処理部７、簡易逆変換部１１及びフレーム間予測画像生成部５を、それぞ
れ出力先に選択する。
（２．２．２）Ｎ≧ＴＨｒの場合
簡易フィルタ処理部８、逆変換部４及びフレーム間予測画像生成部５を、それぞれ
出力先に選択する。

なお、前述の説明では、簡易フィルタ処理部８、簡易逆変換部１１及び簡易フレーム間予測画像生成部１２についてはいずれか一つのみの使用としているが、前記（２．１）、（２．２．１）、（２．２．２）の場合では、それぞれ、少なくとも、フレーム間予測画像生成部５ではなく簡易フレーム間予測画像生成部１２を、逆変換部４ではなく簡易逆変換部１１を、フィルタ処理部７ではなく簡易フィルタ処理部８を用いることとし、いずれか一つの使用のみでは対応できないような高い再生速度での高速再生を行なう場合には、簡易フィルタ処理部８、簡易逆変換部１１及び簡易フレーム間予測画像生成部１２のうちの複数を同時に使用する構成としても構わない。

以上説明したように、本実施形態の動画像再生装置２４，２５では、入力符号化データの特性に応じた制御を行なうことで、高速再生時の画質劣化を抑えることが可能である。

本発明の実施形態１における動画像再生装置のブロック図である。本発明の実施形態１の別形態の動画像再生装置のブロック図である。本発明の実施形態２における動画像再生装置のブロック図である。本発明の実施形態３における動画像再生装置のブロック図である。本発明の実施形態４における動画像再生装置のブロック図である。本発明の実施形態４の別形態の動画像再生装置のブロック図である。本発明の実施形態１における動画像再生装置の動作を説明するための動作フロー図である。従来技術における動画像再生装置のブロック図である。

符号の説明

１…再生速度制御部、２…可変長符号復号部、３…逆量子化部、４…逆変換部、５…フレーム間予測画像生成部、６…フレーム内予測画像生成部、７…フィルタ処理部、８…簡易フィルタ処理部、９…フレームメモリ、１０ａ，１０ｂ，１０ｃ，１０ｄ…出力切替スイッチ、１１…簡易逆変換部、１２…簡易フレーム間予測画像生成部、１３…復号制御部、２０，２１，２２，２３，２４，２５，３０…動画像再生装置。

Claims

所定の動画像符号化方式を用いて符号化された動画像データの再生を行う動画像再生装置において、
前記動画像データを通常再生する際の復号処理を行なう所定の動画像復号手段と、該所定の動画像復号手段より簡易化した復号処理を行なう簡易動画像復号手段と、
前記動画像データを高速再生する際、前記動画像データに関する付加情報が、前記所定の動画像符号化方式におけるフレームを複数のブロックに分割した復号処理対象のブロックのフレーム内位置を示す情報であり、該情報のフレーム中央から当該ブロックまでの距離が所定の閾値未満の場合には、前記復号手段として前記所定の動画像復号手段を選択し、
前記距離が所定の閾値以上の場合には、前記復号手段として前記簡易動画像復号手段を選択する再生速度制御手段と、を備えることを特徴とする動画像再生装置。