JP3869389B2 - 映像再生方法、映像再生装置、および映像符号化方法 - Google Patents
映像再生方法、映像再生装置、および映像符号化方法 Download PDFInfo
- Publication number
- JP3869389B2 JP3869389B2 JP2003140668A JP2003140668A JP3869389B2 JP 3869389 B2 JP3869389 B2 JP 3869389B2 JP 2003140668 A JP2003140668 A JP 2003140668A JP 2003140668 A JP2003140668 A JP 2003140668A JP 3869389 B2 JP3869389 B2 JP 3869389B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- decoding
- video
- playback
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、フレーム間予測符号化された映像を光ディスク等の記録媒体から読み出して再生する映像再生装置において、実時間より高速な復号が可能な場合に、より滑らかに映像を表示する高速再生を行うことのできる映像再生方法、映像再生装置および映像符号化方法に関する。
【0002】
【従来の技術】
映像のディジタル記録・再生を利用した機器は、家庭用や業務用を問わず増加の一途をたどっている。限られた記録媒体の容量で長時間記録と高画質化を実現するのは相反する要素であるが、フレーム間符号化をベースとする一連のMPEG規格(Moving Pictures coding Experts Group:ISO/IEC11172−2,ISO/IEC13818−2,ISO/IEC14496−2)は圧縮率と画質におけるコストパフォーマンスが高く、ディジタルTV放送,DVD−Video,携帯電話など、多くのアプリケーションで採用されている。
【0003】
MPEGに基づく映像符号化では、各フレームを図19(a)に示すような構成で符号化する。符号化タイプには、フレーム内符号化フレーム(以下、Iフレームと称す)、フレーム間符号化フレーム(以下、Pフレームと称す)およびフレーム内挿符号化フレーム(以下、Bフレームと称す)の3種類がある。Iフレームは、当該フレームのデータのみを用いて復号が可能なフレームである。Pフレームは、当該フレーム以前に復号されたIまたはPフレームのデータと当該フレームのデータとを用いて復号が可能なフレームである。Bフレームは時間的に前後する2枚のIまたはPフレームのデータと当該フレームのデータとを用いて復号が可能なフレームである。
【0004】
Bフレームは、復号化に際して表示順で後方に位置するフレームを参照して復号される。そのため、Bフレームを符号化する場合には、図19(b)に示すように、順を入れ替えて符号化する。符号化されるデータは、多くの場合Iフレームから始まるGOP(Group Of Pictures)の列として、順にビットストリーム(以下、ストリームと称す)として出力される。
【0005】
IフレームとPフレームとは、復号化に際して表示順で後方に位置するフレームを参照することなく復号される。そのため、IフレームとPフレームとを符号化する場合には、図20に示すように、順を入れ替えることなく、表示順のまま符号化される。MPEGストリームを復号化する際には、ストリームから符号化順でフレームを読込んだ後、符号化順に復号化される。映像の出力は、表示順に行われる。
【0006】
以上のようにして符号化・復号化されるMPEGのストリームを、特殊再生、特に高速再生する際には、大きな困難が伴う。例えば、図21(a)に示すように、I,P,Bフレームが混在するストリームを読込み、4倍速再生を行う場合を考える。現在がフレーム2のIフレームであるとして、フレームのインデックスが0〜14の範囲だけであるとした場合、フレーム2,6,10,14の4フレームを再生すれば、4倍速となる。しかし、図21(b)に示すように、各フレームを復号するには予測参照フレームを含めてそれぞれ1,4,5,5回の復号回数が必要となる。これは、1フレーム時間(NTSCでは33msec,PALでは40msec)において、平均的には(1+4+5+5)/4=3.75フレームを復号しなければ滑らかな再生ができないことを意味する。
【0007】
一方、LSI等の汎用のMPEGデコーダは、通常再生(1倍速再生)のためクロックと連動してリアルタイム動作するのが一般的であり、1フレーム時間に1フレームを復号する構成となっている。そのため、DVD−Video等の早送り再生機能は、Iフレームをコマ送りのように表示・更新するものにとどまっている。以上のことから、MPEGで符号化された映像を滑らかに高速再生するのは困難が伴うことがわかる。
【0008】
MPEG等のフレーム間予測符号化された映像に対して、滑らかな高速再生を行う従来の技術としては、各種の特許が出願されている。まず、Iフレーム等のデータ量の多いフレームを連続して再生することにより生じる、復号時のバッファの破綻を防止する方法として、特許3301274号や特許3203169号がある。前者は、データがない場合、PTS(表示タイムスタンプ)を無視してフリーズ画面を出力するものである。後者は、バッファの占有量に応じてフレームをスキップするものである。しかしながら、いずれも、復号器のバッファの破綻を防止するものであり、MPEGストリームを高速再生した場合に滑らかな表示が行えるものではない。
【0009】
次に、読み込み時間を考慮した高速再生方法として、特開平08−186794号公報がある。これは、光ディスクの読み込み時間から、高速再生時の可能な倍速値を計算して、高速再生を行うものである。しかしながら、この方法は復号処理時間を考慮した方法ではない。復号処理時間はMPEGストリームを高速再生する際に最も重要な要素である。そのため、復号処理時間について考慮されていないこの方法では、MPEGストリームを高速再生した場合に滑らかな表示を行えるものではない。
【0010】
復号処理時間を考慮した改善方法としては、特許3025447号と特開2001−54066号公報とがある。前者は、不要なBフレーム等を読み込まずに復号処理時間を節約するものである。後者は、復号処理速度を変更し、PCのような表示環境において、フレームレートを変更して表示するものである。両者とも、高速再生時に復号処理時間の短縮を試みるものではあるが、変化する再生速度において、復号器の処理能力と各フレームの復号処理時間を考慮して、滑らかな高速再生を実現するものではない。
【0011】
【特許文献1】
特許3301274号(請求項1)
【特許文献2】
特許3203169号(請求項1)
【特許文献3】
特開平08−186794号公報(表3)
【特許文献4】
特許3025447号(請求項1)
【特許文献5】
特開2001−54066号公報(要約)
【0012】
【発明が解決しようとする課題】
CPUに代表されるプロセッサに基づいて復号器を構成することが近年急速に進歩しており、そのようにして構成された復号器では、リアルタイム以上に復号速度を早くすることが可能となりつつある。しかしながら、MPEGに代表される予測符号化された映像を記録した媒体を特殊再生、特に高速再生を行う場合において、上述した高速復号技術を用いて、より滑らかに特殊再生を行う手法は提案されていなかった。
【0013】
本発明は、フレーム間予測符号化された映像信号の特殊再生において、実時間より高速な復号動作が可能な場合、CPUの復号処理速度と復号処理時間とを計算し、復号を円滑に行うことができる最適なフレームのパターンを選択して高速再生する方法を得ることを課題とする。
【0014】
【課題を解決するための手段】
上記目的を達成するために、本発明は、実時間より高速な復号処理を行えるCPUを用いて高速再生する再生方法において、各フレームの復号に要する復号回数を示す復号回数表を再生前に作成し、再生時にはCPUが1フレーム時間内に平均的に復号可能なフレーム数と復号回数表を比較して、復号が円滑に行える最適なフレームのパターンを選択して、高速再生を行うことを特徴とする映像再生方法であり、CPUの復号処理速度と復号処理時間とを計算し、復号を円滑に行うことができる最適なフレームのパターンを選択して高速再生することを可能とする。
【0015】
具体的には本発明は、符号化された映像信号を記録した記録媒体から映像信号を再生したうえで復号器で復号する映像再生方法であって、映像信号を復号する処理に際して、現在のタイムコード位置から一定時間内に再生する1枚以上のフレームの集合(以下、フレーム群と称す)を複数抽出し、抽出した複数のフレーム群それぞれの復号処理時間を算出し、算出した前記復号処理時間に基いて、前記複数のフレーム群から任意のフレーム群を選択して前記復号器で復号する。
【0016】
これにより、複数のフレーム群の中から、復号処理時間に基いて最適なものを選択して復号することが可能となる。
【0017】
なお、算出した復号処理時間が最も短い前記フレーム群を選択して復号するのが好ましい。そうすれば、復号処理時間の短縮化を図ることが可能となる。これは、復号器の処理能力から鑑みた最適な復号処理の1形態といえる。
【0018】
なお、算出した前記復号処理時間と前記復号器の復号処理能力とに基づいて前記フレーム群を選択して前記復号器で復号するのが好ましい。そうすれば、復号処理の最適化を、映像の動きの滑らかさを損なうことなく実現することができる。これは、復号器の処理能力から鑑みた最適な復号処理の1形態といえる。
【0019】
なお、算出した前記復号処理時間が、前記復号器による単位時間内での復号処理が可能となる値を示す前記フレーム群を選択して前記復号器で復号するのが好ましい。そうすれば、復号器で復号処理の最適化を図ることが可能となる。これも復号器の処理能力から鑑みた最適な復号処理の1形態といえる。
【0020】
なお、
・前記復号器による単位時間内での復号処理が可能となる値を示す一つないし複数の前記フレーム群をさらに選択し、
・選択したフレーム群の中から、現在のタイムコードと現在の再生速度とに基いて設定される再生フレーム列に対して最も時間的誤差の小さいフレーム群を選択して復号する、
という処理を実施するのが好ましく、そうすれば、復号処理の最適化を、映像の動きの滑らかさを損なうことなく実現することができる。
【0021】
なお、復号処理時間の算出を実施する前記複数の異なるフレーム群は、現在のタイムコードと現在の再生速度とに基いて設定される再生フレーム列を基本構成とし、さらにこの再生フレーム列内の任意のフレームを時間的にシフトしたフレームに置き換えることで構成するのが好ましく、そうすれば、映像の動きの滑らかさを維持した状態で、復号処理時間の短縮化を図ることができる。
【0022】
なお、前記映像信号は、フレーム間予測符号化された映像信号であり、映像信号を復号する処理を、復号に必要な予測参照フレームを順に復号しつつ実施するのが好ましい。そうすれば、フレーム間予測符号化された映像信号を復号する構成においても、同様に本発明を実施することが可能となる。この場合、前記復号処理時間を、順に復号する前記予測参照フレームそれぞれの復号処理時間を加算することで算出するのが好ましい。そうすれば、フレーム間予測符号化された映像信号においても、復号処理時間を精度高く算出することが可能となる。
【0023】
なお、前記複数のフレーム群を、現在のタイムコード位置から再生を開始するタイムコード位置への時間的なシフト量を変化させることで設定するのが好ましい。そうすれば、映像の動き滑らかさを維持した状態で、復号処理時間の短縮化を図ることができる。
【0024】
なお、前記一定時間を、映像再生時の再生速度比(=再生速度/通常再生速度)と、連続する複数のフレームの集合体であるGOPの長さ(フレーム数)との最小公倍数に基づいて算出するのが好ましい。そうすれば、一定時間を、精度高くしかも容易に算定することが可能となる。
【0025】
なお、本発明の特徴を異なる視点から見た場合、本発明は、各フレームの復号に要する復号回数を示す復号回数表を再生前に作成したうえで、1フレーム再生時間内に平均的に復号可能なフレーム数と前記復号回数表とを比較して復号が円滑に行えるフレーム配置パターンを選択し、選択したフレーム配置パターンに基いて映像を復号して再生することでも実現できる。
【0026】
【発明の実施の形態】
以下、本発明の実施の形態について、図1から図21を参照して説明する。
【0027】
(実施の形態1)
図2は、本発明による映像再生方法を実施する構成を示すブロック図である。図2において、420は、映像が記録された記録媒体、440は、ユーザが再生操作を行うための再生操作入力手段、450は本発明による映像再生が行われる映像再生手段、432は表示デバイスである。
【0028】
図2において、ユーザは再生操作入力手段440を操作し、再生操作を行う。再生操作により再生操作入力手段440に入力されたスタートタイムコードTsと再生速度Vpとを示す情報は、再生操作入力手段440から映像再生手段450に伝えられる。再生入力手段440を実現するには多様な構成がある。再生入力手段440は、再生・停止・早送り等のボタン類や、編集再生機に使われるジョグダイアル等、再生速度Vpを示す情報を変化させて映像再生手段450に伝えることのできる構成であれば良い。
【0029】
映像再生手段450は、記録媒体420に記録された映像を読み取り、入力されるスタートタイムコードTsと再生速度Vpの情報に基づいて設定したスタートタイムコード位置と再生速度とに基づいて映像を再生する。再生された映像は、表示デバイス432に表示される。記録媒体420としては、テープ,光ディスク,磁気ディスク,メモリ等のデバイスを用いることができる。
【0030】
本実施の形態の映像再生方法における映像再生処理工程を図3のフローチャートを参照して説明する。まず、映像を再生するに際して、その再生開始位置を、予め設定されたスタートタイムコードTsの位置に移動する処理261を行う。この処理261に際して、記録媒体420上に記録された映像データからタイムコードTsがサーチされることで、再生開始位置を、予め設定されたスタートタイムコードTsの位置に移動する処理が実施される。これにより再生処理状況は再生を開始できる状態になる。
【0031】
次に再生モードの設定処理272を行う。再生モードは、通常再生モードと高速再生モードとのどちらかに設定される。この処理ではまず、現在の再生速度Vpが認識される。そして、認識された現在の再生速度Vpが0≦Vp≦1ならば通常再生モードが、Vp<0または1<Vpならば特殊再生モードがそれぞれ設定される。ここでいう再生速度Vpとは、詳細にいえば、再生速度比(=再生速度/通常再生速度)を示し、再生速度Vp=1は、通常再生の速度(1倍速)を意味し、Vp=0は静止(停止)、Vp<0は逆再生、|Vp|>1は高速再生を意味する。0<Vp<1は低速順再生となるが、低速順再生は復号処理時間が通常再生より短くなり、映像再生手段450から表示デバイス432へのフレーム送出を制御することで対処可能である。そのため、本実施の形態では、再生速度(0<Vp<1)は通常再生モードに含まれるとして説明する。
【0032】
再生モードの設定処理272が終了すると、再生モードの判定処理284を経て、通常再生モードの復号処理230、または特殊再生モードの復号処理200を行う。これらの処理では、再生モードの変化を検出するまで、その再生モードでフレームの復号処理を継続する。再生モードが変化すると停止の判定処理280を行う。判定処理280において、再生継続中(Vp≠0)と判定すれば、再生モードの判定処理284に戻る。再生停止(Vp=0)と判定すれば再生を終了する。
【0033】
通常再生モードの復号処理230について、図4のフローチャートを参照して説明する。まず、フレームの通常復号処理240とフレームの出力処理241とを行う。通常復号処理240は、MPEGストリームの一般的な復号処理であり、ストリーム中において次の符号化順に位置するフレームを復号する。出力処理241は、復号されたフレームの中から、該当する次の時間順のフレームを出力する処理である。
【0034】
通常復号処理240と出力処理241とを終了した時点で、1フレームの復号に要する時間が経過しているので、再生速度Vpがユーザの操作により変化したかどうかを検出する処理である処理280と処理282とを行う。処理280で再生継続中(Vp≠0)と判定すれば、処理282に移り、再生停止(Vp=0)と判定すれば、一連の復号処理を終了する。
【0035】
処理282では、現在の再生速度Vpが特殊再生モードに属する再生速度に変化したかどうかを判定する。具体的には、現在の再生速度Vpが、Vp<0または1<Vpの範囲であれば特殊再生モードに属する再生速度に変化したと判定して処理271に移る。現在の再生速度Vpが、それ以外の範囲(0≦Vp≦1)であれば、通常再生モードが継続している判断として、次のフレームの通常復号処理240を実施する。
【0036】
特殊再生モードの復号処理200について、図5のフローチャートを参照して説明する。まず、再生速度Vpに対する再生パターンの算出処理210を行う。これは、将来再生するフレームの組合せのいくつかを、それぞれ再生パターンとして算出するものである。再生パターンとは、現在のタイムコード位置から一定時間内に再生するフレーム群(1枚以上のフレームの集合)の配置パターンを示す概念である。
【0037】
次に、算出した再生パターンの中から、復号処理時間と復号処理能力との点から判断して最適な再生パターンを選択する処理211を行う。処理211により得られた最適パターンを元にして、フレームの特殊復号処理300を行う。特殊復号処理300によって復号されたフレームが、次処理であるフレームの出力処理241にて出力される。
【0038】
出力処理241を実施したのち、再生モードが変化したかどうかを検出する処理280,282を行う。まず、処理280において、現在の再生速度Vpが、Vp=0であるか否かを判定する。処理280でVp=0であると判定する場合は、現在は再生停止状態であると判断して、以降の処理を停止して終了処理を行う。
【0039】
処理280でVp≠0であると判定すれば、現在、再生は継続されていると判断して、処理281に移行する。処理281では、現在の再生速度Vpが0<Vp≦1であるか否かを判定する。処理281で0<Vp≦1であると判定する場合は、現在の再生モードは、特殊再生モードから通常再生モードに変更されたと判断して、処理270に移行する。処理270では、再生モードを通常再生モードに設定する。再生モードを通常再生モードに設定したのち処理を終了する。
【0040】
処理281で0<Vp≦1でない(Vp<0又は1<Vp)と判定する場合は、現在の再生モードは特殊再生モードを維持していると判断して、処理283に移行する。処理283では、再生速度Vpがフレーム復号前から変化しているか否かを判断する。再生速度Vpが変化していないと判断する場合には、処理211で復号処理時間と復号処理能力との点から判断して設定した最適パターン(再生速度Vpに対する再生パターン)を変更する必要がないと判断して、処理300に戻ってフレームの特殊復号を継続する。
【0041】
一方、処理283において、再生速度Vpがフレーム復号前から変化していると判断する場合には、処理211で、復号処理時間と復号処理能力との点から判断して設定された最適パターン(再生速度Vpに対する再生パターン)を変更する必要があると判断して、処理210に戻って最適パターンを選択し直したうえで、フレームの特殊復号を継続する。
【0042】
フレームの特殊復号処理300について図6を参照して説明する。図6は、フレームfの特殊復号処理300の詳細を示すフローチャートである。図6において符号fは、シーケンス内のフレームを一意に指定できるフレーム番号を示す。
【0043】
まず、フレームfが復号済み又は復号可能であるかを判定する処理330を行う。フレームfが復号済みとは、フレームfが既に復号されてフレームデータとしてメモリ等の記憶媒体に記憶されている状態を示す。一度復号されたフレームは、メモリに保存しておく限り、復号せずに何度でも利用することができる。フレームfが復号可能とは、フレームfのフレームデータだけを用いて復号が可能な状態を意味する。
フレームfが復号可能とは、具体的にいうと、
・フレームfがIフレームである、
・フレームfがPフレームでかつ前方予測参照フレームが復号済みである、
・フレームfがBフレームでかつ前方予測参照フレームと後方予測参照フレームの両方が復号済みである、
のいずれかの状態である。
【0044】
判定処理330において、フレームfが復号済み又は復号可能であると判定する場合は、フレームfが復号済みか否かの判定処理333を行う。判定処理333で復号済みと判定する場合は一連の処理を終了する。一方、判定処理333で、フレームfが復号未済であると判断する場合はフレームfの復号処理340と記憶処理350とを実施したうえで一連の処理を終了する。
【0045】
判定処理330において、フレームfが復号済みでも復号可能でもないと判定する場合は、フレームfが後方予測を行っているか否かの判定処理331を行う。後方予測とは、表示順でそのフレームより後方に位置するフレームのデータを参照して復号化を行うことを示す。
【0046】
判定処理331で後方予測を行っていると判定する場合は、フレームfの後方予測参照フレームのフレーム番号をbwdに設定する処理311を行ったうえで、設定したフレームbwdの特殊復号処理300Aを行う。
【0047】
フレームbwdの特殊復号処理300Aを実施したのち、もしくは、判定処理331で後方予測を行っていないと判定する場合は、フレームfが前方予測を行っているかどうかの判定処理332を行う。
【0048】
判定処理332で前方予測を行っていると判定する場合は、フレームfの前方予測参照フレームのフレーム番号をfwdに設定する処理312を行ったうえで、設定したフレームfwdの特殊復号処理300Bを行う。
【0049】
フレームfwdの特殊復号処理300Bを実施したのち、もしくは、判定処理332で前方予測を行っていないと判定する場合は、フレームfに対する一連の特殊復号処理が終了したと判断して、次なるフレームfに対する特殊復号処理に移行するために、判定処理330に戻って処理を継続する。フレームfが予測を行っている場合は、フレームbwdの特殊復号300又はフレームfwdの特殊復号300のどちらか又は両方で予測参照フレームが復号されているので、ここでフレームfは復号可能となる。
【0050】
フレームbwdの特殊復号300とフレームfwdの特殊復号300は、フレームfの特殊復号300の再帰処理である。したがって、予測参照フレーム(フレームbwd, フレームfwd)を順に辿っていき、自身のフレームデータだけで復号可能なIフレームにたどり着いた所で初めてフレームの復号処理340が行える。そのため、自身のフレームデータだけで復号可能なIフレームに辿り着いた所から予測参照フレームを必要とするフレームの復号が順に行われ、その結果、復号対象となるフレームfの特殊復号が完了することとなる。
【0051】
次に、復号回数と復号処理能力の関係について、図7を参照して説明する。復号回数表520は、各フレームを復号するのに予測参照フレームを含めて何フレームの復号が必要かを表す。図7では、Vp=4つまり4倍速再生を行うのに、図7のフレームの範囲では1フレーム時間当たり平均3.75フレームの復号処理が必要となることを示している。この値(1フレーム時間当たりに必要な平均復号処理回数)を、再生速度Vpにおける平均必要復号速度Vnと定義する。
【0052】
一方、復号処理能力は、図6における復号処理340を1フレーム時間に平均何回実行できるかで定義する。換言すれば、平均復号速度Vdは、1フレーム時間当りに復号可能なフレーム数として定義される。
【0053】
次に、算出処理210(図5参照)における算出対象とした再生速度Vpに対する再生パターンを、図8を用いて説明する。ここでは、4倍速再生を例にして特殊再生モードにおける再生パターンを説明するが、他の速度で再生する場合においても同様に実施できるのはいうまでもない。
【0054】
図8(a)は、通常の4倍速再生におけるフレームの構造例を示している。通常の4倍速再生では、現時点から4フレーム毎に1フレームを表示(間引き表示)することで4倍速再生が実施される。ここで、4フレーム毎に1フレームを表示することで、実施される4倍速再生のフレーム列(再生パターン)は、現在のタイムコードと現在の再生速度とに基いて設定される再生フレーム列の一例を構成する。
【0055】
再生パターンの算出方法としては、通常の4倍速再生パターン(再生フレーム列)の算出と、4倍速再生パターン(再生フレーム列)全体をシフトする4倍速再生パターンの算出と、4倍速再生パターン(再生フレーム列)を構成する各再生フレームを個別にシフトする4倍速再生パターン(再生フレーム列)の算出とがある。
【0056】
通常の4倍速再生パターンは、図8(a)に示す通りである。再生フレーム全体をシフトする4倍速再生パターンは、図8(b)に示す通り、現時点からあるフレーム数だけ再生開始位置をシフトすることで再生フレーム全体を、図8(a)の状態からシフトする再生パターンである。各再生フレームを個別にシフトする4倍速再生パターンは、図8(c)に示す通り、各再生フレームを、単独で所定のフレーム数だけ前後にシフトする再生パターンである。
【0057】
再生フレーム全体をシフトする再生パターン(図8(b))や、各再生フレームを個別にシフトする再生パターン(図8(c))では、フレームのシフト量を変化させることで、複数の再生パターンを算出することができる。さらには、再生フレーム全体をシフトする再生パターン(図8(b))と各再生フレームを個別にシフトする再生パターン(図8(c))とを組み合わせてなる再生パターンを設定することで、多種多様な再生パターンを算出することができる。
【0058】
再生速度Vpに対する再生パターンの算出処理210について、図9を参照してさらに説明する。図9は、GOP長N=6で、IフレームとPフレームとだけから構成されるMPEGストリームを4倍速再生する例を示す。
【0059】
まず、ストリームに対して復号回数表を準備する。この例では、再生パターンの算出方法として、図8(b)に示す再生フレーム全体をシフトする再生パターンを用いる。フレームのシフト量は多くの値を用いることができる。この例では、GOPの周期性と倍速値(4)とから、シフトする再生パターンは4種類となる。各再生パターンに対して、復号回数表を用いて対応する復号回数を抜き出す。
【0060】
このように算出された再生パターンに対しては、最適パターンの選択処理211(図5参照)を以下のように行う。図9の4種類の再生パターンに対して、平均必要復号速度Vnを求めると、図9に示すように、再生パターン2と再生パターン4とがVn=3で最小値を取る。ここで、再生パターン1と再生パターン3、再生パターン2と再生パターン4は、それぞれ平均必要復号速度の値だけでなく、各フレームの復号回数の出現パターンも同じ同種の再生パターンである。つまり、再生パターン1は2,6,4,2と復号回数が推移するが、再生パターン3も最初の4の次から2,6,4,2と復号回数が推移する。再生パターン2と再生パターン4も同様である。したがって、再生パターン1と再生パターン3、および再生パターン2と再生パターン4は、同種の再生パターンと考えることができる。そこで、フレームのシフト量の少ない再生パターン2を最小値とする。ここで復号処理能力を平均復号速度Vd=3と仮定すると、再生パターン2はVn=Vdなので滑らかに再生可能となる。しかし、再生パターン1ではVn>Vdとなり、復号処理能力が不足するため、滑らかな再生ができないことになる。この点において、本発明の方法によって再生フレームを設定することによる効果が明らかとなる。
【0061】
図10に、GOP内のフレームデータをメモリ等に記憶しておく場合の例を示す。図10の再生パターン1におけるフレームaを復号するためには、復号回数を6必要とするが、GOP内のフレームを記憶しておくと、フレームbの復号データを利用できる。そこでフレームb以降の4枚のPフレームを復号すれば良いので、復号回数は4に削減できる。平均必要速度Vnも低くなり、再生パターン2ではVn=2.67に削減される。また、このように記憶したフレームを利用する場合の再生方法も、フレームfの特殊復号処理300(図6参照)の動作で対応できる。すなわち、予測参照フレームの特殊復号処理300を再帰的に実行する際において、既に復号されて記憶されたフレームがある場合、処理330と処理333(ともに図6参照)で復号済みのフレームが確認されて、復号や記憶は実行されないためである。
【0062】
再生速度Vpに対する再生パターンを算出する処理210(図5参照)の別の例について、図11を参照して説明する。図11は、GOP長N=6で、Iフレーム,Pフレーム,Bフレームから構成されるMPEGストリームを4倍速再生する例である。この例も、図9と同様、4種類の再生パターンがあり、再生パターン1と再生パターン3,再生パターン2と再生パターン4が,それぞれ復号回数の点で同種の再生パターンとなる。この場合も同様に,再生パターン2を最適パターンとして選択する。このように本発明は,GOPがI,Pフレームのみで構成されるか、I,P,Bフレームで構成されるかに関わらず適用することが可能である。
【0063】
図9〜図11の例において、MPEGストリームにおけるフレームデータに離散的にアクセスする方法として、図12のバイト位置表510を用いる。バイト位置表510を用いる理由は、MPEGストリームにおいて圧縮された各フレームデータのサイズは可変長であり、GOPの先頭位置(バイト位置)やフレームの先頭位置の情報は、一般にストリーム中には存在しないことによる。
【0064】
バイト位置表510は、少なくとも、表示順のインデックス(e),フレームタイプ(b),総バイト数(d)の情報を有しておれば良い。例えば、図12のバイト位置表510における符号化順が3のPフレームを読み出す場合を考える。図12において、フレーム先頭位置までの総バイト数はストリーム中で一意に決まる。そのため、フレーム先頭位置までの総バイト数に基づいて、フレームデータを読み込めば、正確に所望のフレームデータを読み込むことができる。例えば、フレーム先頭位置から数えて343419バイトの位置からデータを読み込めば、それが符号化順3のPフレームのフレームデータとなる。
【0065】
このように、バイト位置表510を用いれば、フレームデータの検索が非常に容易にかつ正確に行うことができる。なお、図12では、符号化順と表示順の値は簡単のためGOP内で一意に決まる値にしているが、ストリーム全体で一意に決まる値とするのが望ましい。
【0066】
バイト位置表510を作成する方法を説明する。第1の方法は、映像を符号化する際に、ストリームとして出力するバイト数をカウントしておき、ストリームと共に表を出力して記録媒体420(図2参照)に記録する方法である。第2の方法は、記録媒体420には記録せずに、ストリームを転送する際に算出して内部のメモリ等に記憶しておく方法である。なお、バイト位置表510を作成しない場合でも、ストリームを読み込む際に時刻,ビットレート,バッファ占有量などから推定されるバイト位置を算出し、その少し手前の位置からストリームを探索することでフレームデータの開始位置を探し出すことも可能である。
【0067】
図9〜図11を参照して説明した再生パターンの算出方法では、GOP長を一定として算出した。しかしながら、本発明は、GOP長が可変である場合にも適用することができる。この場合には、現時点から参照するある一定のフレーム数Nfと、最大のフレームシフト量Tfとを設定する。次に設定したフレーム数Nfのフレームに対して復号回数表を作成する。次に、フレームシフト量0(現時点)から最大のフレームシフト量Tfまでの(Tf+1)通りのフレーム開始位置から、再生速度Vpに対応した再生パターンを構成するフレームを抜き出す。フレームの抜き出しは、フレーム数Nfまで実施する。フレーム抜き出しを実施した(Tf+1)通りの再生パターンそれぞれの平均必要復号速度Vnを計算する。そして、平均必要復号速度Vnが最小の値を持つ再生パターンを最適パターンとして選択する。
【0068】
また、最適パターンを選択する他の方法としては、平均必要復号速度Vnが最小のものを選択せず、平均復号速度Vd以下で最もフレームシフト量が小さいものを選択する方法がある。確かに、図9の再生パターン2では、フレームシフト量は1となり、このシフト量はNTSCにおいて約33msecの誤差であり殆ど無視できる。しかしながら、パターン数が増える程、誤差が認識できるようになる。そのため、復号できる範囲でできるだけ小さいフレームシフト量を選択することは有効である。また、高速に再生するほど誤差の許容度が大きくなることから、再生速度Vpに応じて許容するフレームシフト量を変化させることも可能である。以上に限らず、最適パターン選択の方法は様々な方法を適用することが可能である。
【0069】
本実施の形態では順方向の高速再生を例にとって説明したが、逆再生、逆方向の高速再生に対しても、復号回数表と再生パターンの選択に基づく同様の方法で実現することが可能である。
【0070】
以上説明したように本発明によれば、再生開始フレームをシフトさせた再生パターンを算出し、平均必要復号速度が平均復号速度に収まる最適パターンを選択することで、限られた復号処理能力の中で滑らかな特殊再生を行うことが可能となる。
【0071】
なお、上記実施の形態では、復号処理時間と復号処理能力とに基づいてフレーム群を選択して復号する構成となっていたが、単に、復号処理時間に基いてフレーム群を選択してもよい。その場合であっても、復号処理を最短時間で行うことができるという意味で、最適の復号処理が実施可能となる。
【0072】
(実施の形態2)
本実施の形態では、実施の形態1において、GOP長Nが一定又はほぼ一定と見なせる場合に、復号回数表を用意せずに再生パターンを算出し、最適パターンを選択する方法について説明する。
【0073】
図1を参照して、再生速度Vpに関わらず有限の範囲で再生パターンを算出できる根拠を説明する。図1は、GOP長が一定であるMPEGストリーム100において、対応した復号回数表110を示している。このような図1の構成に基いて、GOP長N=6で、GOP内で2番目のPフレームを現在のフレームとし、再生速度Vp=4で再生する場合を考える。
【0074】
再生速度Vp=4に応じれば、4フレーム毎にフレームを選択しつつ(間引きつつ)再生を実施することとなる。実施の形態1で説明したように、このような再生形態により再生されるパターン群を再生パターンと規定する。そうすると、現在のフレームから数えて3フレーム再生すれば、現在のフレームと同じGOP内の周期位置に位置するフレーム、つまりGOP内で2番目に位置するPフレームを再生することになる。以上のことから、再生パターンには周期性があり、さらにはその周期における1周期の長さTpは次の(1)式で定義できる。なお、再生パターンの1周期の長さTpは、請求項における一定時間の一例を示す時間概念である。但し、本発明における一定時間はこのような時間概念に限定されるものではなく、予め、任意に設定する時間長であってもよいのはいうまでもない。
【0075】
Tp=lcm(N,Vp) …(1)
NはGOP長、Vpは再生速度、lcm(a,b)はaとbの最小公倍数を与える関数である。Tp/Vpの値が、再生パターンの1周期中に再生されるフレーム数である。例として、Tp/Vpの値を3フレームとすると、その時間はNTSCでは約100msecとなる。つまり100msec以上再生されれば、近似的に平均必要復号回数は同じとみなすことができる。そのため、再生パターンの1周期に含まれるフレームの復号回数のみを評価して再生パターンを算出することができる。また、復号回数表は1周期の範囲のみをGOP構造から生成すれば良いので、記録媒体420(図2参照)に記録するなどして予め用意する必要はない。
【0076】
実施の形態1において、図9,図10,図11を参照して説明した再生パターンの定義を一般化する。GOPがI,Pフレームのみで構成されるか、I,P,Bフレームで構成されるかに関わらず、またフレームが記憶されるかどうかに関わらず、GOP長が一定または一定と見なせる条件の下で、複数設定される再生パターンそれぞれにおいて、本発明において異種の再生パターンと見なすことができる再生パターンの数(Npat)は以下の(2)式で定義できる。なお、ここで再生パターンを同種,異種に判別する基準は、図9,図10を参照して実施の形態1で説明した同種の判別基準に基いている。
【0077】
Npat=gcd(N,Vp) …(2)
但し、NはGOP長、Vpは再生速度、gcd(a,b)はaとbの最大公約数を与える関数である。再生パターンの数(Npat)がVpでなくNとVpの最大公約数になる理由は、図9を参照して実施の形態1で説明したように、周期的には同一になる再生パターンを排除できるためである。
【0078】
図13に、図9の例に対して、再生パターンの数(Npat)を算出した例を示す。N=6,Vp=4であるから、Npat=gcd(6,4)=2となる。また、再生速度(Vp)を変化させた場合の再生パターンの数(Npat)を表に示している。表のように、Npat=gcd(6,Vp)であり、Npatは6より大きな値を取ることはない。このことから、再生パターンの算出は容易であり、復号回数の比較により最適パターンを容易に選び出すことが可能であることがわかる。
【0079】
再生パターンの選択方法を一般化すると次のようになる。第1に、Npat=1の場合、現在のフレームを含む再生パターンを選択する。これは再生パターンが1種類のため、最もフレームシフト量の少ない再生パターンを適用するためである。第2に、Npat=a(但し1<a<Nの整数)の場合、Iフレームを含む再生パターンを選択する。これは、GOP構造に関わらず、Iフレームを含む再生パターンが最も平均必要復号回数が小さくなるためである。ここで、Iフレームを含む再生パターンは複数個出現しないことに注意されたい。第3に、Npat=Nの場合、Iフレームまで移動して再生する。この場合は、Vp=m・N(mは自然数)であるから、Iフレームのみの再生パターンが必ず存在するためである。
【0080】
本実施の形態では順方向の高速再生を例にとって説明したが、Vp<0となる逆再生や逆方向の高速再生に対しても、Vpの代わりに|Vp|を用いることで、同様に実現することが可能である。
【0081】
以上説明したように、本実施の形態によれば、GOP長を一定またはほぼ一定と見なせる場合に、復号回数表を用意せずに再生パターンを算出して最適パターンを選択することができ、限られた復号処理能力の中で滑らかな特殊再生を行うことが可能となる。
【0082】
(実施の形態3)
本実施の形態では、実施の形態1に対して、さらに図8(c)に示した各再生フレームのシフトを適用して、復号処理能力が一層限られた場合でも滑らかな特殊再生を行うことを可能とする例について示す。
【0083】
図14に、図9の例に対して、図8(c)に示した各再生フレームのシフトを適用した例を示す。最大フレームシフト量は1とし、各フレームのシフト量は、−1,0,+1のうちいずれかの値を持つ。シフトの方法として、双方向シフト,片方向シフト,シフトなしの3種類を用いる。双方向シフトは−1と+1の双方向のシフトとシフトなしを許可するものであり、片方向シフトはシフトなし以外に−1の前方シフトのみ又は+1後方シフトのみを許可するものである。シフトなしは図9の再生パターンからシフトを行わない。以上の3種類のシフトを区別して用いる理由は、3種類の間でフレーム表示の時間間隔、つまりフレームの表示精度が異なるためである。フレームの表示精度を評価するため、フレーム最小間隔dminとフレーム最大間隔dmaxとを定義する。
【0084】
図14に示すように、図9で得られた再生パターン1,2それぞれに対して、(a)双方向シフト,(b)片方向シフト,(c)シフトなしを適用する。(a),(b),(c)各シフトの中で平均必要復号速度が最小のシフトパターンを算出する。但し、以下の規則を適用する。
【0085】
第1の規則
再生パターンの1周期中の全てのフレームが同一方向にシフトされる場合は除外する。この再生パターンは、行われた図8(b)の再生開始フレームのシフトで既に含まれているためである。
【0086】
第2の規則
全ての双方向シフトにおいては、平均必要復号速度が最小の再生パターンが片方向シフト又はシフトなしになる場合、該当なしとする。
【0087】
第3の規則
片方向シフトにおいては、前方または後方シフトのうち平均必要復号速度が最小となる再生パターンを選択するが、平均必要復号速度が最小の再生パターンがシフトなしになる場合、該当なしとする。
【0088】
第4の規則
既に平均必要復号速度が最小となる再生パターンとして出現した再生パターンが再び最小となる再生パターンとなる場合、該当なしとする。
【0089】
以上の規則を適用すると、図14のように平均必要復号速度Vn,フレーム最小間隔dmin,フレーム最大間隔dmaxの表が得られる。ここで、フレーム最小間隔dminとは、シフトにより、間引き間隔(離間間隔)が変動する隣接表示フレームの離間間隔において、最小値を取るフレーム離間間隔をいう。反対に、フレーム最大間隔dmaxとは、最大値を取るフレーム離間間隔をいう。これら最大最小間隔に基いて定義される表示ゆらぎ幅W(=dmax−dmin)は、表示精度に影響を及ぼす。表示ゆらぎ幅Wが大きい程、表示精度が落ちる。
【0090】
図15に、図14で得られた結果を評価するための表を示す。図15に示すように、平均必要復号速度Vdを中心とした復号処理能力の評価と、表示ゆらぎ幅W(=dmax−dmin)を中心とした表示精度の評価とから、最適パターンを選択する。具体的には、平均必要復号速度Vnが、復号処理能力を表す平均復号速度Vd以下となり、表示ゆらぎ幅が最も小さい再生パターンを選択する。
【0091】
また、復号処理能力の評価として最小復号回数や最大復号回数を用いることもできる。表示精度の評価としては、実施の形態1で用いた再生開始フレームのシフト量を用いることもできる。但し、再生パターン1(a)のように再生開始フレームも再度シフトされる場合があることに注意する。
【0092】
図14の例において、最大フレームシフト量を1とした理由は、実際には1で十分な場合が多いためである。平均必要復号速度を一層削減したい場合には、必要であれば2以上の値も同様に適用することができる。この場合、シフト量による分類は3種類より多く取ることもできる。但し、当然ながら連続するフレームの時間的順序が入れ替わるようなシフトは行われない。
【0093】
以上の例では、GOPがIフレームとPフレームのみで構成される例で示したが、GOPがIフレーム,Pフレーム,Bフレームで構成される場合においても、復号回数表が異なるだけであるので同様に適用することができる。また、一度復号したフレームを記憶しない場合を示したが、復号したフレームを記憶する場合も、復号回数表が異なるだけであるので同様に適用できる。
【0094】
以上のように本実施の形態によれば、実施の形態1に対して、さらに各再生フレームのシフトを適用して、復号処理能力が一層限られた場合でも滑らかな特殊再生を行うことができる。
【0095】
(実施の形態4)
本実施の形態では、実施の形態1を実現するための装置について説明する。
【0096】
図16は、本発明の映像再生装置を示す図である。図16の映像再生装置400において、410は符号化された映像であるストリームを復号する復号器、411は復号処理を行うためのCPU、412はストリームや復号されたフレームを記録しておくメモリ、413はCPU411を動作させるプログラムを初期状態で格納しておくためのROM、421はディスクを駆動するためのディスクコントローラ、422はストリームが記録されている光ディスクドライブ、431はディスクコントローラ421と復号器410を制御して最適な表示を行うための制御プロセッサ、432はモニタ等、映像を表示するための表示デバイスである。
【0097】
以上のように構成された映像再生装置において、以下、その動作を説明する。まず、映像再生装置400の起動前には、本発明による復号のためのプログラムがROM413に記録されている。本装置の起動操作により、ROM413からプログラムがCPU411にロードされ、CPU411はストリームの復号処理が可能となる。映像再生装置400(映像再生手段450(図2参照))における復号処理は、このプログラムで実現されている。再生前には、ストリームが記録された光ディスクが、光ディスクドライブ422に装填される。
【0098】
映像再生装置400の再生動作を説明する。ユーザからの再生コマンドが、バス433を介して制御プロセッサ431に与えられると、制御プロセッサ431はディスクコントローラ421を駆動し、光ディスクドライブ422から指定された時刻から始まるストリームを一定量読み出し、メモリ412に転送する。この一定量は、再生動作に障害が生じないように、例えば数GOP単位や数秒単位といった適切な長さとすることができる。同時に、メモリ412の割込み領域にCPUへの復号命令を書き込む。CPU411はメモリ412の割込み領域を監視しており、再生命令が与えられると、メモリ412からストリームを読み出し、復号処理を行い、復号したフレームデータをメモリ412に書き込む。その際、CPU411は、現在のタイムコード位置から一定時間内に再生するフレーム群を複数抽出したうえで、抽出した複数のフレーム群を復号処理するのに要する時間をそれぞれ算出するという処理と、算出した前記復号処理時間に基いて、前記複数のフレーム群から任意のフレーム群を選択して復号する処理とを実施することで、フレームデータを復号処理する。つまり、CPU411は請求項における計時器の機能と復号器の機能とを発揮する。また、CPU411は請求項におけるフレーム配置パターンを選択する手段と、映像を復号する手段とを発揮する。
【0099】
フレームデータがメモリ412に書き込まれると、制御プロセッサ431は、それを表示デバイス432に送って映像を表示させる。
【0100】
映像再生装置400(映像再生手段450)において、フレームを記憶する方法を、図17を参照して説明する。図17は、CPU411に格納されるプログラムによって管理される復号フレーム表500(図17(a))と、メモリ412(図17(b))とを示している。プログラムは、メモリ412上に復号されたフレームデータが存在するかどうかを示す復号データ存在フラグと、対応するフレームのインデックス(シーケンス内で一意に決まる通し番号)の表とを持っており、これらを常に最新の状態に保つ。この表は、フレームを復号してメモリ412に格納する際にフラグを更新することで簡単に管理できる。メモリ412には、インデックスと対応するフレームデータを格納する。図16の制御プロセッサ431は、このメモリ412上のインデックスを確認することで、復号されたフレームデータがメモリ上に存在するかどうかを確認できる。但し、メモリ412上のインデックスは図17(b)の配置に限られるものではなく、例えば図17(a)の一覧表のような検索し易い形式でメモリに保存してあっても良い。
【0101】
以上の映像再生装置400の説明においては、光ディスクドライブを想定して説明したが、ハードディスクドライブやメモリなど、情報を記録する媒体であれば同じく実現が可能であるのは言うまでもない。また、実時間より高速に復号処理を行う復号器としてCPUとメモリを用いた例を示したが、復号処理が実時間より高速に行えるものであれば、これに限定するものではない。以上のように本実施の形態によれば、実施の形態1を装置として実現できる。
【0102】
(実施の形態5)
本実施の形態では、映像符号化方法において、符号化時の予測方向を限定することで、平均必要復号速度Vnを削減する符号化方法を示す。
【0103】
図18に、予測方向を限定する符号化方法を示す。図18(a)がGOP長N=15の通常の符号化方法を示す。図18(b),(c)はBフレームの双方向予測に対して予測方向の限定を行う方法ほ示す。図18(b)は、GOPの最初の2枚のBフレームは後方予測しか用いず、それ以外のBフレームは前方予測しか用いない方法を示す。図18(c)は、GOPの最初の2枚のBフレームは後方予測しか用いず、それ以外のBフレームは前方にあるフレームは前方予測、後方にあるフレームは後方予測しか用いない方法である。図18(b)と図18(c)との両方において、平均必要復号速度Vnが(a)と比べて削減されている。これは、図18(b),図18(c)のように符号化されたストリームを特殊再生する際、復号処理をより高速に行えることを意味する。ここで、GOPの最初の2枚のBフレームに対する予測方向限定は、一般的にはクローズドGOPにより行うことができる。その他のフレームの予測方向限定は、符号化時にフレーム全体でその方向への予測処理を行わないか、マクロブロック単位に設定可能な予測モードを限定することで、実現可能である。
【0104】
本実施の形態で符号化した映像に対して、予測を限定した符号化を行った情報を図12のバイト位置表510に加えておけば、特殊再生時に予測に用いなかった予測参照フレームの復号は行われない。図11を参照して説明したような例において、本実施の形態によるストリームを利用することが可能である。以上のように本実施の形態によれば、符号化時の予測方向を限定することで、平均必要復号速度Vnを削減する映像符号化方法を提供することができ、限られた復号処理能力を持つ再生手段に対しても滑らかな特殊再生を行うことができるストリームを生成することができる。
【0105】
【発明の効果】
以上の説明から明らかなように、本発明によれば、再生フレームをシフトさせた再生パターンを算出し、平均必要復号速度が平均復号速度に収まる最適パターンを選択することで、高速再生等の復号の負荷の大きい特殊再生時に、滑らかに映像を再生できる。
【図面の簡単な説明】
【図1】本発明の実施の形態2における有限の範囲で再生パターンを算出できる根拠を説明する図。
【図2】本発明の実施の形態1における映像再生方法を実現する構成図。
【図3】同実施の形態1における再生時の復号処理を示すフローチャート図。
【図4】同実施の形態1における通常再生モードの復号処理を示すフローチャート図。
【図5】同実施の形態1における特殊再生モードの復号処理を示すフローチャート図。
【図6】同実施の形態1におけるフレームの特殊復号処理を示すフローチャート図。
【図7】同実施の形態1における復号回数と復号処理能力の関係を説明する図。
【図8】同実施の形態1及び同実施の形態3におけるフレームのシフトを示す図。
【図9】同実施の形態1における再生パターンの算出の例を示す図。
【図10】同実施の形態1における再生パターンの算出の例を示す図。
【図11】同実施の形態1における再生パターンの算出の例を示す図。
【図12】同実施の形態1におけるバイト位置表の例を示す図。
【図13】本発明の実施の形態2における再生パターン数を示す図。
【図14】本発明の実施の形態3における再生パターンの算出の例を示す図。
【図15】同実施の形態3における最適パターンの選択を説明する図。
【図16】本発明の実施の形態4における映像再生装置の構成を示す図。
【図17】同実施の形態4における復号フレームの記憶方法を示す図。
【図18】本発明の実施の形態5における予測方向を限定した符号化方法を示す図。
【図19】MPEGに基づく映像符号化方法における各フレームの構成図。
【図20】IフレームとPフレームとを符号化する場合の従来例におけるフレーム構成図。
【図21】符号化・復号化されるMPEGのストリームを、特殊再生、特に高速再生する場合の従来例における説明図。
【符号の説明】
100 MPEGストリーム 101 Iフレーム
102 Pフレーム 110 復号回数表
400 映像再生装置 410 復号器
411 CPU 412 メモリ(RAM)
413 ROM 414 バス
415 CPUコア 416 プログラムキャッシュ
417 データキャッシュ 418 プログラムバス
419 データバス 420 記録媒体
421 ディスクコントローラ
422 光ディスクドライブ 431 制御プロセッサ
432 表示デバイス 433 バス
440 再生操作入力手段 450 映像再生手段
500 復号フレーム表 510 バイト位置表
520 復号回数表
Claims (19)
- 符号化された映像信号を記録した記録媒体から映像信号を再生したうえで復号器で復号する映像再生方法であって、
映像信号を復号する処理に際して、現在のタイムコード位置から一定時間内に再生するm枚(mは2以上の整数)のフレームから、n枚(nは1以上の整数、n<m)を間引き抽出して構成されるフレームの集合(以下、フレーム群と称す)を複数パターン設定し、
設定した前記複数のフレーム群それぞれの復号処理時間を算出し、
前記複数のフレーム群から、算出した前記復号処理時間が最も短いフレーム群を選択して前記復号器で復号する、
ことを特徴とする映像再生方法。 - 符号化された映像信号を記録した記録媒体から映像信号を再生したうえで復号器で復号する映像再生方法であって、
映像信号を復号する処理に際して、現在のタイムコード位置から一定時間内に再生するm枚(mは2以上の整数)のフレームから、n枚(nは1以上の整数、n<m)を間引き抽出して構成されるフレームの集合(以下、フレーム群と称す)を複数パターン設定し、
設定した前記複数のフレーム群それぞれの復号処理時間を算出し、
前記複数のフレーム群から、算出した前記復号処理時間が、前記復号器による単位時間内での復号処理が可能となる値を示すフレーム群を選択して前記復号器で復号する、
ことを特徴とする映像再生方法。 - 算出した前記復号処理時間が、前記復号器による単位時間内での復号処理が可能となる値を示す一つないし複数の前記フレーム群をさらに選択し、
選択したフレーム群の中から、現在のタイムコードと現在の再生速度とに基いて設定される再生フレーム列に対して最も時間的誤差の小さいフレーム群を選択して前記復号器で復号する、
ことを特徴とする請求項2に記載の映像再生方法。 - 復号処理時間の算出を実施する前記複数のフレーム群を、現在の
タイムコードと現在の再生速度とに基いて想定される再生フレーム列を基本構成とし、さらにこの再生フレーム列内の任意のフレームを時間的にシフトしたフレームに置き換えることで構成する、
ことを特徴とする請求項1ないし3のいずれかに記載の映像再生方法。 - 前記映像信号は、フレーム間予測符号化された映像信号であり、
復号処理を、復号に必要な予測参照フレームを順に復号しつつ実施する、
ことを特徴とする請求項1ないし4のいずれかに記載の映像再生方法。 - 前記復号処理時間を、順に復号する前記予測参照フレームそれぞれの復号処理時間を加算することで算出する、
ことを特徴とする請求項5に記載の映像再生方法。 - 前記複数のフレーム群を、現在のタイムコード位置から再生を開始するタイムコード位置への時間的なシフト量を変化させることで設定する、
ことを特徴とする請求項5または6に記載の映像再生方法。 - 前記一定時間を、映像再生時の再生速度比(=再生速度/通常再生速度)と、連続する複数のフレームの集合体であるGOPの長さとの最小公倍数に基づいて算出する、
ことを特徴とする請求項5ないし7のいずれかに記載の映像再生方法。 - 符号化された映像信号を記録した記録媒体から映像信号を再生して復号する映像再生方法であって、
各フレームの復号に要する復号回数を示す復号回数表を再生前に作成したうえで、
前記各フレームによって構成される複数のフレーム配置パターンを設定し、
前記復号器が1フレーム再生時間内に復号可能な平均フレーム数Vdと、前記復号回数表に基いて算出された前記フレーム配置パターン毎の平均復号回数Vnとを比較して、前記Vnが前記Vd以下であることにより復号が円滑に行えるフレーム配置パターンを選択し、
選択したフレーム配置パターンに基いて映像を復号して再生する、
ことを特徴とする映像再生方法。 - 符号化された映像信号を記録した記録媒体から映像信号を再生して復号する映像再生装置であって、
映像信号を復号する復号器と、
現在のタイムコード位置から一定時間内に再生するm枚(mは2以上の整数)のフレームから、n枚(nは1以上の整数、n<m)を間引き抽出して構成されるフレームの集合(以下、フレーム群と称す)を複数パターン設定したうえで、設定した複数のフレーム群を前記復号器で復号処理するのに要する時間をそれぞれ算出する計時器と、
を備え、
前記復号器は、前記計時器で算出した前記復号処理時間に基いて、前記複数のフレーム群から、算出した前記復号処理時間が最も短いフレーム群を選択して復号するものである、
ことを特徴とする映像再生装置。 - 符号化された映像信号を記録した記録媒体から映像信号を再生して復号する映像再生装置であって、
映像信号を復号する復号器と、
現在のタイムコード位置から一定時間内に再生するm枚(mは2以上の整数)のフレームから、n枚(nは1以上の整数、n<m)を間引き抽出して構成されるフレームの集合(以下、フレーム群と称す)を複数パターン設定したうえで、設定した複数のフレーム群を前記復号器で復号処理するのに要する時間をそれぞれ算出する計時器と、
を備え、
設定した前記複数のフレーム群それぞれの復号処理時間を算出し、
前記復号器は、前記計時器で算出した前記復号処理時間と当該復号器の復号処理能力とに基づいて前記複数のフレーム群から、算出した前記復号処理時間が、前記復号器による単位時間内での復号処理が可能となる値を示すフレーム群を選択して復号するものである、
ことを特徴とする映像再生装置。 - 前記復号器は、算出した前記復号処理時間が、当該復号器による単位時間内での復号処理が可能となる値を示す一つないし複数の前記フレーム群をさらに選択し、選択したフレーム群の中から、現在のタイムコードと現在の再生速度とに基いて設定される再生フレーム列に対して最も時間的誤差の小さいフレーム群を選択して復号するものである、
ことを特徴とする請求項10に記載の映像再生装置。 - 前記復号器は、復号処理時間の算出を実施する前記複数のフレーム群を、現在のタイムコードと現在の再生速度とに基いて想定される再生フレーム列を基本構成としさらにこの再生フレーム列内の任意のフレームを時間的にシフトしたフレームに置き換えることで構成するものである、
ことを特徴とする請求項10ないし12のいずれかに記載の映像再生装置。 - 前記映像信号はフレーム間予測符号化された映像信号であり、
前記復号器は、復号に必要な予測参照フレームを順に復号するものである、
ことを特徴とする請求項10ないし13のいずれかに記載の映像再生装置。 - 前記復号器は、前記復号処理時間を、順に復号する前記予測参照フレームそれぞれの復号処理時間を加算することで算出するものである、
ことを特徴とする請求項14に記載の映像再生装置。 - 前記復号器は、前記複数のフレーム群を、現在のタイムコード位置から再生を開始するタイムコード位置への時間的なシフト量を変化させることで設定するものである、
ことを特徴とする請求項14または15に記載の映像再生装置。 - 前記復号器は、前記一定時間を、映像再生時の再生速度比(=再生速度/通常再生速度)と、連続する複数のフレームの集合体であるGOPの長さ(フレーム数)との最小公倍数に基づいて算出するものである、
ことを特徴とする請求項14ないし16のいずれかに記載の映像再生装置。 - 符号化された映像信号を記録した記録媒体から映像信号を再生して復号する映像再生装置であって、
各フレームの復号に要する復号回数を示す復号回数表を再生前に作成したうえで、前記各フレームによって構成される複数のフレーム配置パターンを設定し、前記復号器が1フレーム再生時間内に復号可能な平均フレーム数Vdと、前記復号回数表に基いて算出された前記フレーム配置パターン毎の平均復号回数Vnとを比較して、前記Vnが前記Vd以下であることにより復号が円滑に行えるフレーム配置パターンを選択する手段と、
選択したフレーム配置パターンに基いて映像を復号する手段と、
を備えることを特徴とする映像再生装置。 - 請求項5から8のいずれかに記載の映像再生方法によって復号される映像信号を予測符号化する映像符号化方法であって、
双方向予測符号化フレームの予測方向を、一方向に限定した状態で符号化を行う、
ことを特徴とする映像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003140668A JP3869389B2 (ja) | 2003-05-19 | 2003-05-19 | 映像再生方法、映像再生装置、および映像符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003140668A JP3869389B2 (ja) | 2003-05-19 | 2003-05-19 | 映像再生方法、映像再生装置、および映像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004343648A JP2004343648A (ja) | 2004-12-02 |
JP3869389B2 true JP3869389B2 (ja) | 2007-01-17 |
Family
ID=33529338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003140668A Expired - Fee Related JP3869389B2 (ja) | 2003-05-19 | 2003-05-19 | 映像再生方法、映像再生装置、および映像符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3869389B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007300371A (ja) * | 2006-04-28 | 2007-11-15 | Toshiba Corp | 記録再生装置、記録再生方法及び記録再生用プログラム |
-
2003
- 2003-05-19 JP JP2003140668A patent/JP3869389B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004343648A (ja) | 2004-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8437408B2 (en) | Decoding with reference image stored in image memory for random playback | |
US20080247729A1 (en) | Method and apparatus for normal reverse playback | |
WO2006030694A1 (ja) | 画像符号化装置、画像復号装置、画像符号化プログラム、及び画像復号プログラム | |
JPH08214260A (ja) | 符号化データの特殊再生方法および特殊再生装置 | |
JPWO2005088964A1 (ja) | 録画再生編集装置 | |
US6707984B2 (en) | Changing a playback speed for video presentation recorded in a modified film format | |
KR100765787B1 (ko) | 압축 부호화된 영상 데이터 스트림의 재생 방법 및 그 장치 | |
JP4827669B2 (ja) | 動画再生方法および装置 | |
US20100061697A1 (en) | Motion picture decoding method, motion picture decoding device, and electronic apparatus | |
US7433288B2 (en) | Recording device and method, recording medium and program | |
JP3869389B2 (ja) | 映像再生方法、映像再生装置、および映像符号化方法 | |
JP2004350152A (ja) | 映像再生装置および映像再生方法 | |
JP2005525710A (ja) | フィールド構成フォーマットで記録されたビデオ提示のための再生速度の変化 | |
JP3870930B2 (ja) | 映像再生方法および装置 | |
JP2003324690A (ja) | 映像記録再生装置 | |
JP3344607B2 (ja) | 光ディスク、再生装置および再生方法 | |
JP2007129489A (ja) | 映像再生装置および映像再生方法 | |
JP4591549B2 (ja) | 再生処理装置、および再生処理方法、並びにプログラム | |
JP3897760B2 (ja) | 動画像再生装置 | |
JP4399744B2 (ja) | プログラム、情報処理装置、情報処理方法、並びに、記録媒体 | |
JP2004048206A (ja) | 映像再生方法および映像再生装置 | |
US20050002645A1 (en) | Reproducing device and method, recording medium and program | |
US8149679B2 (en) | Recording/reproducing device and method, recording medium, and program | |
JP2006339995A (ja) | 再生装置、再生方法、再生プログラム、及び記憶媒体 | |
JP5188209B2 (ja) | 表示制御装置、方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061012 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |