JP3017646B2 - フレームレート変換機能付き画像復号装置 - Google Patents
フレームレート変換機能付き画像復号装置Info
- Publication number
- JP3017646B2 JP3017646B2 JP29114694A JP29114694A JP3017646B2 JP 3017646 B2 JP3017646 B2 JP 3017646B2 JP 29114694 A JP29114694 A JP 29114694A JP 29114694 A JP29114694 A JP 29114694A JP 3017646 B2 JP3017646 B2 JP 3017646B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- image data
- data
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、符号化された画像信号
と異なるフレームレートで画像を復号できるフレームレ
ート変換機能付き画像復号装置に関するものである。
と異なるフレームレートで画像を復号できるフレームレ
ート変換機能付き画像復号装置に関するものである。
【０００２】
【従来の技術】ディジタル表現された画像データを伝送
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報（画像デ
ータ）の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報（画像デ
ータ）の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。
【０００３】時間的相関性を利用する方法として、連続
する２画面（フレーム）の差分を符号化したり、画像の
動きを検出して動き補償を行ったりするものがある。ま
た、空間的相関性を利用する方法として、画像を所定の
大きさのブロック（例えば縦方向、横方法とも８画素ず
つ）に分けて、ブロック内のデータを直交変換し、変換
係数をスキャン変換し（例えば低周波成分から高周波成
分の順に並び替える）、可変長符号化を行うものがあ
る。ＭＰＥＧ（Moving Picture Experts Group）が標準
化を進めている画像符号化方式（以下、ＭＰＥＧ２と略
す）は、上記２つの方法を併用するものとなっている。
これはＭＰＥＧ２の暫定勧告“Generic Coding of Movi
ng Pictures and Associated Audio”と題するＩＳＯ／
ＩＥＣ１３８１８−２に記載されている。
する２画面（フレーム）の差分を符号化したり、画像の
動きを検出して動き補償を行ったりするものがある。ま
た、空間的相関性を利用する方法として、画像を所定の
大きさのブロック（例えば縦方向、横方法とも８画素ず
つ）に分けて、ブロック内のデータを直交変換し、変換
係数をスキャン変換し（例えば低周波成分から高周波成
分の順に並び替える）、可変長符号化を行うものがあ
る。ＭＰＥＧ（Moving Picture Experts Group）が標準
化を進めている画像符号化方式（以下、ＭＰＥＧ２と略
す）は、上記２つの方法を併用するものとなっている。
これはＭＰＥＧ２の暫定勧告“Generic Coding of Movi
ng Pictures and Associated Audio”と題するＩＳＯ／
ＩＥＣ１３８１８−２に記載されている。
【０００４】図３は、従来の画像復号装置の構成例であ
り、復号処理手段Ａと表示処理手段Ｂから成る。復号処
理手段Ａには符号化されたデータのビット列である入力
ビットストリーム１００が入力され、復号の後、再生画
像２００が出力される。表示処理手段Ｂは前記再生画像
２００を表示モニタに適する様に変換処理を行うもの
で、画像出力３００が出力される。ＭＰＥＧ２では、復
号処理手段Ａで行うべき処理内容を規定しており、表示
処理については定めていない。
り、復号処理手段Ａと表示処理手段Ｂから成る。復号処
理手段Ａには符号化されたデータのビット列である入力
ビットストリーム１００が入力され、復号の後、再生画
像２００が出力される。表示処理手段Ｂは前記再生画像
２００を表示モニタに適する様に変換処理を行うもの
で、画像出力３００が出力される。ＭＰＥＧ２では、復
号処理手段Ａで行うべき処理内容を規定しており、表示
処理については定めていない。
【０００５】図４は、図３の画像の復号処理手段Ａの構
成例である。図４において、バッファ制御部１０、可変
長復号器２０、スキャン変換器３０、逆量子化器４０、
逆ＤＣＴ部５０、動き補償画像再生部６０により復号処
理が実行される。７１はバッファメモリであり、７２，
７３，７４はフレームメモリ（後述する３つのＩ，Ｐ，
Ｂフレームのメモリ）である。また、８１，８２はデー
タ、８３，８４は予測フレームデータまたは予測フィー
ルドデータ、８５は再生画素データ、８６はＢフレーム
画像データであり、１００は符号化された画像を表現す
る入力ビットストリーム、２００は再生画像を示す。
成例である。図４において、バッファ制御部１０、可変
長復号器２０、スキャン変換器３０、逆量子化器４０、
逆ＤＣＴ部５０、動き補償画像再生部６０により復号処
理が実行される。７１はバッファメモリであり、７２，
７３，７４はフレームメモリ（後述する３つのＩ，Ｐ，
Ｂフレームのメモリ）である。また、８１，８２はデー
タ、８３，８４は予測フレームデータまたは予測フィー
ルドデータ、８５は再生画素データ、８６はＢフレーム
画像データであり、１００は符号化された画像を表現す
る入力ビットストリーム、２００は再生画像を示す。
【０００６】次に、動作について説明する。入力ビット
ストリーム１００は、バッファ制御部１０の制御によ
り、データ８１としてバッファメモリ７１に蓄積され
る。バッファメモリ７１から読み出されたデータ８２
は、可変長復号器２０によって、可変長復号される。
ストリーム１００は、バッファ制御部１０の制御によ
り、データ８１としてバッファメモリ７１に蓄積され
る。バッファメモリ７１から読み出されたデータ８２
は、可変長復号器２０によって、可変長復号される。
【０００７】全データが可変長符号化されている訳では
ないが、固定長符号もこの可変長復号器２０で復号され
るものとする。次に、スキャン変換器３０によりデータ
の順序を並び替えた後、逆量子化器４０により逆量子化
される。次に、逆ＤＣＴ部５０により逆離散コサイン変
換される。動き補償画像再生部６０では、画像の動きを
考慮した再生を行う。ＭＰＥＧ２では、時間的に前のフ
レーム（ここではＩフレーム）と時間的に後のフレーム
（ここではＰフレーム）の両方から時間的に中間のフレ
ーム（ここではＢフレーム）の予測を行う。そのため、
Ｂフレームの再生には、予め復号されているＩフレーム
とＰフレームの予測フレームデータ８３，８４をフレー
ムメモリ７２，７３から読み出す必要がある（ＭＰＥＧ
２では、時間的に後のＰフレームはＢフレームに先立っ
て復号される）。また、予測方式には、前述のフレーム
予測の他にフィールド予測があり、フレーム予測と同様
に、フィールド予測は時間的に前のフィールド（ここで
はＩフィールド）と時間的に後のフィールド（ここでは
Ｐフィールド）の両方から時間的に中間のフィールド
（ここではＢフィールド）の予測を行う。予測フレーム
データまたは予測フィールドデータ８３，８４と逆ＤＣ
Ｔ部５０の出力である予測誤差によりＢフレームまたは
Ｂフィールドを動き補償画像再生部６０で再生し、再生
画素データ８５としてフレームメモリ７４に書き込まれ
る。フレームメモリ７２，７３，７４中にあるＩ，Ｐ，
Ｂのフレームは所定の順に各メモリから読み出され（図
４ではＢフレーム画像データ８６を読み出している）、
再生画像２００が出力される。
ないが、固定長符号もこの可変長復号器２０で復号され
るものとする。次に、スキャン変換器３０によりデータ
の順序を並び替えた後、逆量子化器４０により逆量子化
される。次に、逆ＤＣＴ部５０により逆離散コサイン変
換される。動き補償画像再生部６０では、画像の動きを
考慮した再生を行う。ＭＰＥＧ２では、時間的に前のフ
レーム（ここではＩフレーム）と時間的に後のフレーム
（ここではＰフレーム）の両方から時間的に中間のフレ
ーム（ここではＢフレーム）の予測を行う。そのため、
Ｂフレームの再生には、予め復号されているＩフレーム
とＰフレームの予測フレームデータ８３，８４をフレー
ムメモリ７２，７３から読み出す必要がある（ＭＰＥＧ
２では、時間的に後のＰフレームはＢフレームに先立っ
て復号される）。また、予測方式には、前述のフレーム
予測の他にフィールド予測があり、フレーム予測と同様
に、フィールド予測は時間的に前のフィールド（ここで
はＩフィールド）と時間的に後のフィールド（ここでは
Ｐフィールド）の両方から時間的に中間のフィールド
（ここではＢフィールド）の予測を行う。予測フレーム
データまたは予測フィールドデータ８３，８４と逆ＤＣ
Ｔ部５０の出力である予測誤差によりＢフレームまたは
Ｂフィールドを動き補償画像再生部６０で再生し、再生
画素データ８５としてフレームメモリ７４に書き込まれ
る。フレームメモリ７２，７３，７４中にあるＩ，Ｐ，
Ｂのフレームは所定の順に各メモリから読み出され（図
４ではＢフレーム画像データ８６を読み出している）、
再生画像２００が出力される。
【０００８】また、図３の表示処理手段Ｂでは、再生画
像２００の雑音除去、フレームレート変換などの処理が
なされる。
像２００の雑音除去、フレームレート変換などの処理が
なされる。
【０００９】以下、フレームレートの変換について述べ
る。例えば映画は１秒間に２４枚のフレームから構成さ
れている。これを符号化し、再び復号しＰＡＬ，ＳＥＣ
ＡＭの様な２５フレーム／秒（５０フィールド／秒）の
再生画像を得るには、次のような２つの方法が考えられ
る。
る。例えば映画は１秒間に２４枚のフレームから構成さ
れている。これを符号化し、再び復号しＰＡＬ，ＳＥＣ
ＡＭの様な２５フレーム／秒（５０フィールド／秒）の
再生画像を得るには、次のような２つの方法が考えられ
る。
【００１０】第１の方法は、符号化時に、２５フレーム
／秒の再生画像２００を得ることを前提とする方法であ
る。これは、必ずしも一般的ではないが、ＭＰＥＧ２／
ビデオのストリームシンタックス上は可能である。復号
時に１／２秒間に１回３フィールド周期かけて１フレー
ムを復号し、再生画像出力ではその時だけ１フレームを
３フィールド表示し、他の期間は通常通り２フィールド
表示する。復号開始を不等間隔にしたり、２フィールド
表示／３フィールド表示の切り替えは符号化時にビット
ストリーム中のリピート・ファースト・フィールド（re
peat_first_field）の情報として入れられる。
／秒の再生画像２００を得ることを前提とする方法であ
る。これは、必ずしも一般的ではないが、ＭＰＥＧ２／
ビデオのストリームシンタックス上は可能である。復号
時に１／２秒間に１回３フィールド周期かけて１フレー
ムを復号し、再生画像出力ではその時だけ１フレームを
３フィールド表示し、他の期間は通常通り２フィールド
表示する。復号開始を不等間隔にしたり、２フィールド
表示／３フィールド表示の切り替えは符号化時にビット
ストリーム中のリピート・ファースト・フィールド（re
peat_first_field）の情報として入れられる。
【００１１】第２の方法は、符号化時にはフレームレー
トの変換を行わず、２４フレーム／秒で符号化し、その
まま復号し再生画像２００を得るものである。各フレー
ムの復号開始時刻は等間隔であり、リピート・ファース
ト・フィールドの情報は無視される。この場合、２５フ
レーム／秒の画像を得るには上記表示処理手段Ｂでフレ
ームレート変換しなければならない。その一般的な方法
は、フレームメモリを２面以上用いて、第１面に２４フ
レーム／秒（プログレシブ）で書き込みを行っている間
に第２面に書き込まれた一つ前のフレームを、表示のた
め２５フレーム／秒（インターレース）で読み出す。そ
の際、書き込み処理を読み出し処理が追い越さ無いよう
に、第１の方法と同様に１／２秒に１回の割で同一フィ
ールドを２回読み出し調整することが必要になる。
トの変換を行わず、２４フレーム／秒で符号化し、その
まま復号し再生画像２００を得るものである。各フレー
ムの復号開始時刻は等間隔であり、リピート・ファース
ト・フィールドの情報は無視される。この場合、２５フ
レーム／秒の画像を得るには上記表示処理手段Ｂでフレ
ームレート変換しなければならない。その一般的な方法
は、フレームメモリを２面以上用いて、第１面に２４フ
レーム／秒（プログレシブ）で書き込みを行っている間
に第２面に書き込まれた一つ前のフレームを、表示のた
め２５フレーム／秒（インターレース）で読み出す。そ
の際、書き込み処理を読み出し処理が追い越さ無いよう
に、第１の方法と同様に１／２秒に１回の割で同一フィ
ールドを２回読み出し調整することが必要になる。
【００１２】
【発明が解決しようとする課題】上述した従来技術の第
１の方法では、符号化時点で予め表示モニタのフレーム
レートをＰＡＬ／ＳＥＣＡＭ用に固定してしまうため、
表示モニタ選択の自由度が失われ、ＮＴＳＣやパソコン
のモニタを接続した復号装置ではビットストリームを復
号できても画像を見ることができない。
１の方法では、符号化時点で予め表示モニタのフレーム
レートをＰＡＬ／ＳＥＣＡＭ用に固定してしまうため、
表示モニタ選択の自由度が失われ、ＮＴＳＣやパソコン
のモニタを接続した復号装置ではビットストリームを復
号できても画像を見ることができない。
【００１３】また、第２の方法では、復号処理手段の外
部に高価なフレームメモリを２面以上搭載したフレーム
レート変換装置が必要になってしまう。
部に高価なフレームメモリを２面以上搭載したフレーム
レート変換装置が必要になってしまう。
【００１４】本発明は、以上のような従来装置の欠点を
解消し、復号処理側で接続している表示モニタに合わせ
た再生画像を生成でき、かつコストアップが少ない画像
復号装置を提供することを目的とする。
解消し、復号処理側で接続している表示モニタに合わせ
た再生画像を生成でき、かつコストアップが少ない画像
復号装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】本発明にかかる画像復号
装置は、入力符号化ストリームが、例えば２４フレーム
／秒で、表示出力は２５フレーム／秒用である場合の様
に、１秒あたりの入力フレーム数が出力フレーム数より
少ない関係に有るか否かを判定し、少ない関係にある場
合に判定結果を保持する変換モード保持手段と、変換モ
ードが設定された場合、次に表示すべき復号後の画像デ
ータがフレームメモリ内に既に蓄えられているかどうか
を判定するフレームメモリ状態判定手段と、次に表示す
べきフレームの画像データが前記フレームメモリ内に揃
っていない場合、次に表示すべき復号前の画像データが
バッファ内に既に蓄えられているかどうかを判定するバ
ッファメモリ状態判定手段と、もしフレームメモリ内に
もバッファメモリ内にも次の画像を表示するのに必要な
データが揃っていなければ、直前に表示した画像データ
を再表示する再表示手段とを有する。
装置は、入力符号化ストリームが、例えば２４フレーム
／秒で、表示出力は２５フレーム／秒用である場合の様
に、１秒あたりの入力フレーム数が出力フレーム数より
少ない関係に有るか否かを判定し、少ない関係にある場
合に判定結果を保持する変換モード保持手段と、変換モ
ードが設定された場合、次に表示すべき復号後の画像デ
ータがフレームメモリ内に既に蓄えられているかどうか
を判定するフレームメモリ状態判定手段と、次に表示す
べきフレームの画像データが前記フレームメモリ内に揃
っていない場合、次に表示すべき復号前の画像データが
バッファ内に既に蓄えられているかどうかを判定するバ
ッファメモリ状態判定手段と、もしフレームメモリ内に
もバッファメモリ内にも次の画像を表示するのに必要な
データが揃っていなければ、直前に表示した画像データ
を再表示する再表示手段とを有する。
【００１６】
【作用】本発明においては、モード保持手段に予め定め
られた値が設定された場合、フレームメモリ状態判定手
段の判定結果に基づき次に表示すべきフレームの画像デ
ータが揃っているかどうか判定し、もし揃っていなかっ
た場合、バッファメモリ状態判定手段の出力を調べる。
もし、次に表示すべきフレームの復号前画像データがバ
ッファメモリ内に揃っていて、かつそれを復号するのに
必要な参照画像データもフレームメモリ内に存在すれば
直ちに復号・表示処理を行い、もしそうでなければ、上
記再表示手段により、現在表示中のフレームの直前のフ
レームを再表示する。これにより、新たに外部にフレー
ムレート変換装置を設けることなく、簡易的なフレーム
レート変換が可能となる。
られた値が設定された場合、フレームメモリ状態判定手
段の判定結果に基づき次に表示すべきフレームの画像デ
ータが揃っているかどうか判定し、もし揃っていなかっ
た場合、バッファメモリ状態判定手段の出力を調べる。
もし、次に表示すべきフレームの復号前画像データがバ
ッファメモリ内に揃っていて、かつそれを復号するのに
必要な参照画像データもフレームメモリ内に存在すれば
直ちに復号・表示処理を行い、もしそうでなければ、上
記再表示手段により、現在表示中のフレームの直前のフ
レームを再表示する。これにより、新たに外部にフレー
ムレート変換装置を設けることなく、簡易的なフレーム
レート変換が可能となる。
【００１７】
【実施例】本発明の実施例を、図１と図２を用いて説明
する。図１は、本発明の一実施例の構成を示したブロッ
ク図である。また、図２は、本実施例による、約１秒分
の入力ビットストリームを、復号、再生表示する処理内
容の概略タイミングを示したものである。
する。図１は、本発明の一実施例の構成を示したブロッ
ク図である。また、図２は、本実施例による、約１秒分
の入力ビットストリームを、復号、再生表示する処理内
容の概略タイミングを示したものである。
【００１８】この実施例では、入力ビットストリームは
２４フレーム／秒プログレシブシーケンスで符号化され
ており、表示モニタは２５フレーム／秒インタレースを
想定している、また、ＧＯＰ（Group of Pictures ）構
造は、ＢＢＩＢＢＰ（ＩまたはＰピクチャーの間にＢピ
クチャーが２枚、Ｉピクチャーから次のＩピクチャーま
でに６枚のピクチャーが存在する）として説明してい
る。
２４フレーム／秒プログレシブシーケンスで符号化され
ており、表示モニタは２５フレーム／秒インタレースを
想定している、また、ＧＯＰ（Group of Pictures ）構
造は、ＢＢＩＢＢＰ（ＩまたはＰピクチャーの間にＢピ
クチャーが２枚、Ｉピクチャーから次のＩピクチャーま
でに６枚のピクチャーが存在する）として説明してい
る。
【００１９】図１において、従来例の図４で説明した構
成要素と同一構成要素には同一名称，番号を付した。図
４から新たに追加した構成要素は、動き補償画像再生部
６０内のモードレジスタ６１、表示クロック発生部６
２、ベクトル復号部６３、フレームメモリ読み書き制御
部６４および符号化表示モード信号１１、バッファメモ
リ状態信号１２、２４：２５変換モードフラグ６５、表
示フレーム周期信号６６の４本の信号線である。
成要素と同一構成要素には同一名称，番号を付した。図
４から新たに追加した構成要素は、動き補償画像再生部
６０内のモードレジスタ６１、表示クロック発生部６
２、ベクトル復号部６３、フレームメモリ読み書き制御
部６４および符号化表示モード信号１１、バッファメモ
リ状態信号１２、２４：２５変換モードフラグ６５、表
示フレーム周期信号６６の４本の信号線である。
【００２０】一方、図２において、入力ビットストリー
ム１００は、図１に示したバッファ制御部１０への入力
データである。また、復号処理とは、バッファメモリ７
１に格納された上記ビットストリームデータを、バッフ
ァメモリ７１から表示モニタのフレーム周期（１／２５
秒）に合わせて、１フレーム単位で読み出し、可変長復
号器２０、スキャン変換器３０、逆量子化器４０、逆Ｄ
ＣＴ部５０、動き補償画像再生部６０を経てフレームメ
モリ７２，７３，７４に再生データを書き込むまでの処
理時間を示す。
ム１００は、図１に示したバッファ制御部１０への入力
データである。また、復号処理とは、バッファメモリ７
１に格納された上記ビットストリームデータを、バッフ
ァメモリ７１から表示モニタのフレーム周期（１／２５
秒）に合わせて、１フレーム単位で読み出し、可変長復
号器２０、スキャン変換器３０、逆量子化器４０、逆Ｄ
ＣＴ部５０、動き補償画像再生部６０を経てフレームメ
モリ７２，７３，７４に再生データを書き込むまでの処
理時間を示す。
【００２１】図２におけるフレームメモリの書き込み，
読み出しは、該当フレーム期間におけるフレームメモリ
読み書き制御部６４の処理内容、即ち、Ｉ，Ｐ，Ｂ各ピ
クチャーごとに、再生画像の書き込み，参照読み出し，
表示読み出しシーケンスを矢印を用いて表現したもので
ある。各メモリへ入る方向の矢印は再生画像の書き込み
を、縦方向に出る矢印は参照画像としての読み出し、横
方向へ出る矢印は表示のための読み出しを意味する。再
生画像２００は上述した処理の結果得られた出力画像で
ある。
読み出しは、該当フレーム期間におけるフレームメモリ
読み書き制御部６４の処理内容、即ち、Ｉ，Ｐ，Ｂ各ピ
クチャーごとに、再生画像の書き込み，参照読み出し，
表示読み出しシーケンスを矢印を用いて表現したもので
ある。各メモリへ入る方向の矢印は再生画像の書き込み
を、縦方向に出る矢印は参照画像としての読み出し、横
方向へ出る矢印は表示のための読み出しを意味する。再
生画像２００は上述した処理の結果得られた出力画像で
ある。
【００２２】次に、図１及び図２を用いて本実施例の動
作を説明する。図１において、入力ビットストリーム１
００はバッファ制御部１０を経て、１秒間に２４フレー
ムの割合で、連続的にバッファメモリ７１に格納され
る。但し、通常Ｉ，Ｐ，Ｂの各ピクチャーごとに符号化
方式が異なるため、発生符号量は異なる。バッファ制御
部１０は、ストリーム中に含まれるフレームレート，フ
レーム構造，プログレシブシーケンスか否か等を解析
し、符号化表示モード信号１１を介してモードレジスタ
６１に伝える。また、バッファ制御部１０はメモリ情報
判定手段としての機能も備えており、出入りする符号化
データの各フレームの先頭を示すピクチャースタートコ
ードをカウントし、現在バッファメモリ７１内に何フレ
ーム分の符号化データが格納されているかを監視し、そ
の結果をバッファメモリ状態信号１２を経由してフレー
ムメモリ読み書き制御部６４に知らせる。一方、動き補
償画像再生部６０では、符号化表示モード信号１１から
の情報と現在接続中の表示モニタの走査周波数から、入
力が２４フレーム／秒プログレシブ表示で、かつ表示出
力がＰＡＬ等の２５フレーム／秒であれば、モード保持
手段として機能するモードレジスタ６１に２４：２５変
換モードを設定し、その結果を２４：２５変換モードフ
ラグ６５としてバッファ制御部１０及びフレームメモリ
読み書き制御部（フレームメモリ状態判定手段ならびに
再表示手段として機能する）６４に伝える。このモード
においては、バッファ制御部１０はストリーム中に記述
されているバッファメモリ７１からの読み出しタイミン
グを指定するＶＢＶ遅延（Video Buffering Verifier D
elay）またはＤＴＳ（Decoding Time Stamp ）の値には
必ずしもとらわれず、例えば、プログラム受信開始時の
み参照し、それ以降は表示フレーム周期信号６６に合わ
せて、上記バッファメモリ７１から１フレーム分単位で
符号化データを復号するため読み出す。通常は読み出さ
れた符号化データは、リアルタイムで可変長復号、逆量
子化、逆ＤＣＴ、動き画像補償等の処理を施され、ピク
チャーの種類（Ｉ，Ｐ，Ｂ）によって、各々決められた
フレームメモリに書き込まれる。ところが、入力は２４
フレーム／秒であるのに対し、出力は２５フレーム／秒
であるため、１秒に１フレームの割合いで復号の休止が
生じる。これが図２において復号処理が×で示された期
間である。このとき、フレームメモリ読み書き制御部６
４は、以下の優先順位に従って再生画像出力の制御を行
う。
作を説明する。図１において、入力ビットストリーム１
００はバッファ制御部１０を経て、１秒間に２４フレー
ムの割合で、連続的にバッファメモリ７１に格納され
る。但し、通常Ｉ，Ｐ，Ｂの各ピクチャーごとに符号化
方式が異なるため、発生符号量は異なる。バッファ制御
部１０は、ストリーム中に含まれるフレームレート，フ
レーム構造，プログレシブシーケンスか否か等を解析
し、符号化表示モード信号１１を介してモードレジスタ
６１に伝える。また、バッファ制御部１０はメモリ情報
判定手段としての機能も備えており、出入りする符号化
データの各フレームの先頭を示すピクチャースタートコ
ードをカウントし、現在バッファメモリ７１内に何フレ
ーム分の符号化データが格納されているかを監視し、そ
の結果をバッファメモリ状態信号１２を経由してフレー
ムメモリ読み書き制御部６４に知らせる。一方、動き補
償画像再生部６０では、符号化表示モード信号１１から
の情報と現在接続中の表示モニタの走査周波数から、入
力が２４フレーム／秒プログレシブ表示で、かつ表示出
力がＰＡＬ等の２５フレーム／秒であれば、モード保持
手段として機能するモードレジスタ６１に２４：２５変
換モードを設定し、その結果を２４：２５変換モードフ
ラグ６５としてバッファ制御部１０及びフレームメモリ
読み書き制御部（フレームメモリ状態判定手段ならびに
再表示手段として機能する）６４に伝える。このモード
においては、バッファ制御部１０はストリーム中に記述
されているバッファメモリ７１からの読み出しタイミン
グを指定するＶＢＶ遅延（Video Buffering Verifier D
elay）またはＤＴＳ（Decoding Time Stamp ）の値には
必ずしもとらわれず、例えば、プログラム受信開始時の
み参照し、それ以降は表示フレーム周期信号６６に合わ
せて、上記バッファメモリ７１から１フレーム分単位で
符号化データを復号するため読み出す。通常は読み出さ
れた符号化データは、リアルタイムで可変長復号、逆量
子化、逆ＤＣＴ、動き画像補償等の処理を施され、ピク
チャーの種類（Ｉ，Ｐ，Ｂ）によって、各々決められた
フレームメモリに書き込まれる。ところが、入力は２４
フレーム／秒であるのに対し、出力は２５フレーム／秒
であるため、１秒に１フレームの割合いで復号の休止が
生じる。これが図２において復号処理が×で示された期
間である。このとき、フレームメモリ読み書き制御部６
４は、以下の優先順位に従って再生画像出力の制御を行
う。
【００２３】（１）まず、フレームメモリ７２〜７４に
表示すべき順番の１フレーム分のデータが揃っていれ
ば、それを表示する。（２）次に、バッファメモリ７１
に表示すべき順番の符号化フレームデータ（通常Ｂピク
チャー）が１フレーム分揃っていて、それを復号するの
に必要な参照画像がフレームメモリ７２，７３に揃って
いれば復号しながら表示する。（３）上記（１）（２）
共不満足なら、直前に表示したフレームを再表示する。
表示すべき順番の１フレーム分のデータが揃っていれ
ば、それを表示する。（２）次に、バッファメモリ７１
に表示すべき順番の符号化フレームデータ（通常Ｂピク
チャー）が１フレーム分揃っていて、それを復号するの
に必要な参照画像がフレームメモリ７２，７３に揃って
いれば復号しながら表示する。（３）上記（１）（２）
共不満足なら、直前に表示したフレームを再表示する。
【００２４】図２に示したように、バッファメモリ７１
内に１フレーム分の符号化データがまだ蓄えられていな
かった場合、復号処理を一時休止する一方、フレームメ
モリ読み書き制御部６４は、次に表示すべき再生画像デ
ータが既にＩ用またはＰ用フレームメモリ７２，７３に
格納されているかを、まず確認する（ＩまたはＰピクチ
ャーのみ事前に復号され参照画像としてフレームメモリ
に既に格納されているため）。存在すればそのフレーム
を再生画像２００として出力する。このとき、もし、フ
レームメモリ７２，７３に存在しなければフレームメモ
リ読み書き制御部６４は、直前に出力したフレームを再
度表示のため出力する。さらに、復号を１回休止した後
のフレーム期間には、バッファ制御部１０は、上記バッ
ファメモリ７１に１フレーム分の符号化データが揃った
ことを確認し、そのフレームの復号を行う。もしこの復
号データがＢピクチャーであれば、フレームメモリ読み
書き制御部６４はそれを直ちに再生画像２００として出
力する。一方、もしＢピクチャーでなければ、直前に表
示したフレームのデータを再出力する。
内に１フレーム分の符号化データがまだ蓄えられていな
かった場合、復号処理を一時休止する一方、フレームメ
モリ読み書き制御部６４は、次に表示すべき再生画像デ
ータが既にＩ用またはＰ用フレームメモリ７２，７３に
格納されているかを、まず確認する（ＩまたはＰピクチ
ャーのみ事前に復号され参照画像としてフレームメモリ
に既に格納されているため）。存在すればそのフレーム
を再生画像２００として出力する。このとき、もし、フ
レームメモリ７２，７３に存在しなければフレームメモ
リ読み書き制御部６４は、直前に出力したフレームを再
度表示のため出力する。さらに、復号を１回休止した後
のフレーム期間には、バッファ制御部１０は、上記バッ
ファメモリ７１に１フレーム分の符号化データが揃った
ことを確認し、そのフレームの復号を行う。もしこの復
号データがＢピクチャーであれば、フレームメモリ読み
書き制御部６４はそれを直ちに再生画像２００として出
力する。一方、もしＢピクチャーでなければ、直前に表
示したフレームのデータを再出力する。
【００２５】なお、本実施例では２４フレーム／秒の入
力ストリームをＰＡＬ／ＳＥＣＡＭ等の２５フレーム／
秒で表示出力する場合について述べたが、入力データの
フレームレートが出力フレームレートよりも数パーセン
ト程度以下低ければ、例えば、パーソナルコンピュータ
や通信端末等独自の表示フレームレートを持つ機器に適
用しても実用上問題はない。また、ＧＯＰ構造も本実施
例ではＢＢＩＢＢＰで説明したが、他の組み合わせでも
同様の効果が得られることは当業者の容易に理解すると
ころである。
力ストリームをＰＡＬ／ＳＥＣＡＭ等の２５フレーム／
秒で表示出力する場合について述べたが、入力データの
フレームレートが出力フレームレートよりも数パーセン
ト程度以下低ければ、例えば、パーソナルコンピュータ
や通信端末等独自の表示フレームレートを持つ機器に適
用しても実用上問題はない。また、ＧＯＰ構造も本実施
例ではＢＢＩＢＢＰで説明したが、他の組み合わせでも
同様の効果が得られることは当業者の容易に理解すると
ころである。
【００２６】
【発明の効果】以上説明したように、本発明による画像
復号装置は、入力符号化ストリーム中の１秒あたりの画
像数が表示出力画像数より少ない関係に有るか否かを判
定し、少ない関係にある場合に判定結果を保持する変換
モード保持手段と、変換モードが設定された場合、現在
表示中の次に表示すべき復号後の画像データがフレーム
メモリ内に既に蓄えられているかどうかを判定するフレ
ームメモリ状態判定手段と、次に表示すべきフレームの
画像データが前記フレームメモリ内に揃っていない場
合、次に表示すべき復号前の画像データがバッファメモ
リ内に、かつ前記画像データを復号するのに必要な参照
画像データがフレームメモリに既に蓄えられているかど
うかを判定するバッファメモリ状態判定手段と、前記変
換モードにおいて前記フレームメモリ状態判定手段とバ
ッファメモリ状態判定手段の判定結果により前記フレー
ムメモリ内にもバッファメモリ内にも次の画像を表示す
るのに必要なデータが揃っていなければ直前に表示した
画像データを再表示する再表示手段とを有するので、例
えば、２４フレーム／秒プログレシブシーケンスで符号
化されてきたストリームを、フレームメモリ制御とバッ
ファ制御によってアンダーフロー時に同一フレームを再
表示して直接ＰＡＬ方式等の２５フレーム／秒の再生画
像として出力できるため、符号化時に予め表示モニタを
特定することや外部に高価なフレームレート変換装置等
を付加することも必要がないので、コスト、回路規模の
増加を最小限に押さえることができる。
復号装置は、入力符号化ストリーム中の１秒あたりの画
像数が表示出力画像数より少ない関係に有るか否かを判
定し、少ない関係にある場合に判定結果を保持する変換
モード保持手段と、変換モードが設定された場合、現在
表示中の次に表示すべき復号後の画像データがフレーム
メモリ内に既に蓄えられているかどうかを判定するフレ
ームメモリ状態判定手段と、次に表示すべきフレームの
画像データが前記フレームメモリ内に揃っていない場
合、次に表示すべき復号前の画像データがバッファメモ
リ内に、かつ前記画像データを復号するのに必要な参照
画像データがフレームメモリに既に蓄えられているかど
うかを判定するバッファメモリ状態判定手段と、前記変
換モードにおいて前記フレームメモリ状態判定手段とバ
ッファメモリ状態判定手段の判定結果により前記フレー
ムメモリ内にもバッファメモリ内にも次の画像を表示す
るのに必要なデータが揃っていなければ直前に表示した
画像データを再表示する再表示手段とを有するので、例
えば、２４フレーム／秒プログレシブシーケンスで符号
化されてきたストリームを、フレームメモリ制御とバッ
ファ制御によってアンダーフロー時に同一フレームを再
表示して直接ＰＡＬ方式等の２５フレーム／秒の再生画
像として出力できるため、符号化時に予め表示モニタを
特定することや外部に高価なフレームレート変換装置等
を付加することも必要がないので、コスト、回路規模の
増加を最小限に押さえることができる。
【００２７】また、入力が２４フレーム／秒でなくＭＰ
ＥＧ２で認められている２３．９７６フレーム／秒の場
合でも、なんら手を加えること無く変換することが可能
である。
ＥＧ２で認められている２３．９７６フレーム／秒の場
合でも、なんら手を加えること無く変換することが可能
である。
【図１】本発明の一実施例の構成を示すブロック図であ
る。
る。
【図２】本発明の一実施例における約１秒分の入力ビッ
トストリームを復号，再生表示する処理内容の概略タイ
ミングを示す図である。
トストリームを復号，再生表示する処理内容の概略タイ
ミングを示す図である。
【図３】従来の画像復号装置の構成例を示すブロック図
である。
である。
【図４】図３における復号処理手段の構成の詳細を示す
ブロック図である。
ブロック図である。
１０ バッファ制御部 １１ 符号化表示モード信号 １２ バッファメモリ状態信号 ２０ 可変長復号器 ３０ スキャン変換器 ４０ 逆量子化器 ５０ 逆ＤＣＴ部 ６０ 動き補償画像再生部 ６１ モードレジスタ ６２ 表示クロック発生部 ６３ ベクトル復号部 ６４ フレームメモリ読み書き制御部 ６５ ２４：２５変換モードフラグ ６６ 表示フレーム周期信号 ７１ バッファメモリ ７２ フレームメモリ ７３ フレームメモリ ７４ フレームメモリ ８１ データ ８２ データ ８３ 予測フィールドデータ ８４ 予測フィールドデータ ８５ 再生画像データ ８６ Ｂフレーム画像データ １００ 入力ビットストリーム ２００ 再生画像
フロントページの続き (72)発明者 進藤 朋行 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 岡田 豊 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 永井 律彦 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 西塔 隆二 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 川村 嘉郁 東京都渋谷区代々木４丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (56)参考文献 特開 平６−197273（ＪＰ，Ａ) 特開 平６−78279（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 H04N 7/01
Claims (1)
- 【請求項１】 符号化された画像データを復号する装置
において、入力符号化ストリーム中の１秒あたりの画像
数が表示出力画像数より少ない関係に有るか否かを判定
し、少ない関係にある場合に判定結果を保持する変換モ
ード保持手段と、変換モードが設定された場合、 現在表示中の次に表示す
べき復号後の画像データがフレームメモリ内に既に蓄え
られているかどうかを判定するフレームメモリ状態判定
手段と、次に表示すべきフレームの画像データが前記フ
レームメモリ内に揃ってない場合、次に表示すべき復号
前の画像データがバッファメモリ内に、かつ前記画像デ
ータを復号するのに必要な参照画像データがフレームメ
モリに既に蓄えられているかどうかを判定するバッファ
メモリ状態判定手段と、前記変換モードにおいて前記フ
レームメモリ状態判定手段とバッファメモリ状態判定手
段の判定結果により前記フレームメモリ内にも前記バッ
ファメモリ内にも次の画像を表示するのに必要なデータ
が揃っていなければ直前に表示した画像データを再表示
する再表示手段を有することを特徴とするフレームレー
ト変換機能付き画像復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29114694A JP3017646B2 (ja) | 1994-11-25 | 1994-11-25 | フレームレート変換機能付き画像復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29114694A JP3017646B2 (ja) | 1994-11-25 | 1994-11-25 | フレームレート変換機能付き画像復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08149464A JPH08149464A (ja) | 1996-06-07 |
| JP3017646B2 true JP3017646B2 (ja) | 2000-03-13 |
Family
ID=17765043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29114694A Expired - Fee Related JP3017646B2 (ja) | 1994-11-25 | 1994-11-25 | フレームレート変換機能付き画像復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3017646B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5007759B2 (ja) * | 2002-07-19 | 2012-08-22 | ソニー株式会社 | 符号化装置、符号化方法、復号化装置及び復号化方法 |
| JP4806888B2 (ja) * | 2002-07-19 | 2011-11-02 | ソニー株式会社 | 復号化装置及び復号化方法 |
-
1994
- 1994-11-25 JP JP29114694A patent/JP3017646B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08149464A (ja) | 1996-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH06178274A (ja) | 動画像復号化装置 | |
| US5903311A (en) | Run level pair buffering for fast variable length decoder circuit | |
| JPH09200695A (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| JP3078991B2 (ja) | 低遅延モード画像復号方法および装置 | |
| JPH0799603A (ja) | ビデオ信号符号化方法及び装置、ビデオ信号復号化方法及び装置、又はビデオ信号記録メディア | |
| JP3034173B2 (ja) | 画像信号処理装置 | |
| JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
| JP3017646B2 (ja) | フレームレート変換機能付き画像復号装置 | |
| JPH08102908A (ja) | 再生装置 | |
| JP4289055B2 (ja) | トランスコーダおよびこれを用いた記録再生装置 | |
| JP4320509B2 (ja) | 映像再符号化装置および方法 | |
| JPH06165150A (ja) | 動画像符号化／復号化装置 | |
| JPH11155129A (ja) | Ｍｐｅｇ画像再生装置およびｍｐｅｇ画像再生方法 | |
| JP2820631B2 (ja) | 画像復号方法および装置 | |
| JP4184223B2 (ja) | トランスコーダ | |
| JP3017644B2 (ja) | 画像復号装置における表示用同期信号発生装置 | |
| JP4293151B2 (ja) | 映像符号化方法及び映像記録装置 | |
| KR100252810B1 (ko) | 엠펙디코더 | |
| JP3067404B2 (ja) | 画像符号化装置及び復号化装置 | |
| JPH08163570A (ja) | 低遅延モード画像復号方法および装置 | |
| JP3037569B2 (ja) | 画像復号装置 | |
| JP3531594B2 (ja) | ビデオ信号復号化方法及び装置 | |
| JP2001223989A (ja) | 画像再生装置 | |
| JPH11308620A (ja) | 画像復号装置 | |
| JP2003299036A (ja) | 映像復号装置、映像復号方法、プログラム、および媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |