JPH11146398A - マルチメディア情報処理装置 - Google Patents
マルチメディア情報処理装置Info
- Publication number
- JPH11146398A JPH11146398A JP30201197A JP30201197A JPH11146398A JP H11146398 A JPH11146398 A JP H11146398A JP 30201197 A JP30201197 A JP 30201197A JP 30201197 A JP30201197 A JP 30201197A JP H11146398 A JPH11146398 A JP H11146398A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- unit
- processing
- frequency
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】 (修正有)
【課題】 複数の圧縮ストリームデータを同時に復号す
るマルチメディア情報処理装置において、マイクロプロ
セッサの負荷増大から起こる駒落ちを防止する。 【解決手段】 処理内容制御部187は、復号部180
にかかる復号処理の負荷を計測し、この負荷の計測結果
に応じて逆DCT部184の行う逆DCT変換処理の内
容を一部スキップさせて、復号処理のためのマイクロプ
ロセッサの負荷あるいはトラフィックの増大を抑えるこ
とで、駒落ち発生の可能性を低減させる。
るマルチメディア情報処理装置において、マイクロプロ
セッサの負荷増大から起こる駒落ちを防止する。 【解決手段】 処理内容制御部187は、復号部180
にかかる復号処理の負荷を計測し、この負荷の計測結果
に応じて逆DCT部184の行う逆DCT変換処理の内
容を一部スキップさせて、復号処理のためのマイクロプ
ロセッサの負荷あるいはトラフィックの増大を抑えるこ
とで、駒落ち発生の可能性を低減させる。
Description
【0001】
【発明の属する技術分野】本発明は、圧縮ストリームデ
ータをマイクロプロセッサと復号ソフトウェアとで復号
処理するマルチメディア情報処理装置に関するものであ
る。
ータをマイクロプロセッサと復号ソフトウェアとで復号
処理するマルチメディア情報処理装置に関するものであ
る。
【0002】
【従来の技術】近年、ディジタルAV技術の発達により
ビデオストリームやオーディオストリームなどマルチメ
ディア情報のディジタル化、特にMPEGに代表される
ディジタル圧縮技術が進み、ディジタルビデオディス
ク、ディジタル衛星放送など多くのマルチメディア商品
が開発されている。こうした技術で圧縮された、画像や
音声のストリームデータを圧縮ストリームデータとい
う。
ビデオストリームやオーディオストリームなどマルチメ
ディア情報のディジタル化、特にMPEGに代表される
ディジタル圧縮技術が進み、ディジタルビデオディス
ク、ディジタル衛星放送など多くのマルチメディア商品
が開発されている。こうした技術で圧縮された、画像や
音声のストリームデータを圧縮ストリームデータとい
う。
【0003】ところで、圧縮されたビデオストリームや
オーディオストリームなどの圧縮ストリームデータを再
生するためには、復号というマルチメディア情報処理が
必要である。従来この処理には専用の復号ハードウェア
を要する場合が多かったが、近年のPCの高性能化に伴
って、復号ソフトウェアをマイクロプロセッサで実行す
ることにより専用ハードウェアと同等の処理が実現可能
となってきた。
オーディオストリームなどの圧縮ストリームデータを再
生するためには、復号というマルチメディア情報処理が
必要である。従来この処理には専用の復号ハードウェア
を要する場合が多かったが、近年のPCの高性能化に伴
って、復号ソフトウェアをマイクロプロセッサで実行す
ることにより専用ハードウェアと同等の処理が実現可能
となってきた。
【0004】現在、100MHz程度の動作周波数を持
つマイクロプロセッサを搭載したPC(パーソナルコン
ピュータ)であっても、復号処理用ソフトウェアを実行
してMPEG1圧縮されたビデオCD規格などのMPE
G圧縮ストリームを復号することが可能であり、利用者
はビデオCDの映画やカラオケを楽しむことができるよ
うになってきている。くわえて、PCの多機能化と拡張
性の向上とは急速に進みつつあり、複数チャンネルのデ
ィジタル放送番組をPCで受信、表示、および、PCに
接続された複数の蓄積型メディアから動画情報を同時再
生、といった使用法も実現されつつある。
つマイクロプロセッサを搭載したPC(パーソナルコン
ピュータ)であっても、復号処理用ソフトウェアを実行
してMPEG1圧縮されたビデオCD規格などのMPE
G圧縮ストリームを復号することが可能であり、利用者
はビデオCDの映画やカラオケを楽しむことができるよ
うになってきている。くわえて、PCの多機能化と拡張
性の向上とは急速に進みつつあり、複数チャンネルのデ
ィジタル放送番組をPCで受信、表示、および、PCに
接続された複数の蓄積型メディアから動画情報を同時再
生、といった使用法も実現されつつある。
【0005】ところで、復号処理用プログラムによる復
号処理の結果求められた復号ビデオストリームは、いっ
たん記憶装置に格納され、それからバスを通って表示装
置に転送された後、動画像としてディスプレイに表示さ
れる。毎秒30フレームで構成されるビデオストリーム
を表示装置上で表示する場合、33ms周期で1フレー
ムのデータをメモリから表示装置へ転送する。これらの
復号処理と復号結果のビデオストリームの転送は、マイ
クロプロセッサが処理しており、このことからも、PC
のマルチメディア処理はマイクロプロセッサの能力向上
が支えていると言える。
号処理の結果求められた復号ビデオストリームは、いっ
たん記憶装置に格納され、それからバスを通って表示装
置に転送された後、動画像としてディスプレイに表示さ
れる。毎秒30フレームで構成されるビデオストリーム
を表示装置上で表示する場合、33ms周期で1フレー
ムのデータをメモリから表示装置へ転送する。これらの
復号処理と復号結果のビデオストリームの転送は、マイ
クロプロセッサが処理しており、このことからも、PC
のマルチメディア処理はマイクロプロセッサの能力向上
が支えていると言える。
【0006】
【発明が解決しようとする課題】しかしながら、マイク
ロプロセッサの性能が向上し、現在も向上を続けている
にしても、ユーザが複数のソフトウェアを動作させてい
る場合や、復号ソフトウェアが同時に複数のビデオスト
リームの再生・表示を実行する場合には、復号処理に伴
う各種演算処理と、復号ビデオストリームが格納されて
いる記憶装置から表示装置へのトラフィックの増大とに
よって、マイクロプロセッサの負荷が限界を越えてしま
い、復号ビデオストリームをメモリから表示装置へ連続
して30フレーム/秒のペースで転送することができな
くなり、復号ビデオストリームを表示装置上で再生する
際に駒落ちが発生するという課題がある。
ロプロセッサの性能が向上し、現在も向上を続けている
にしても、ユーザが複数のソフトウェアを動作させてい
る場合や、復号ソフトウェアが同時に複数のビデオスト
リームの再生・表示を実行する場合には、復号処理に伴
う各種演算処理と、復号ビデオストリームが格納されて
いる記憶装置から表示装置へのトラフィックの増大とに
よって、マイクロプロセッサの負荷が限界を越えてしま
い、復号ビデオストリームをメモリから表示装置へ連続
して30フレーム/秒のペースで転送することができな
くなり、復号ビデオストリームを表示装置上で再生する
際に駒落ちが発生するという課題がある。
【0007】駒落ちが発生すると、画面上に表示される
ものの動きがぎくしゃくして見づらくなる。さらに、D
VDや家庭用デジタルビデオなどの蓄積メディアからの
映像再生の場合、駒落ちによって生じる問題は画質面に
とどまらない。駒落ち発生分だけ再生時間が本来の長さ
より長くなってしまう。たとえば、1秒あたり30フレ
ームの転送速度で再生時間が1分となるビデオストリー
ムについては、再生完了までに1800フレームの転送
が必要となるが、これがトラフィックやマイクロプロセ
ッサ負荷増大のために1秒あたり平均25フレームしか
転送できない場合、再生時間は、1800÷25=72
(秒)となってしまう。
ものの動きがぎくしゃくして見づらくなる。さらに、D
VDや家庭用デジタルビデオなどの蓄積メディアからの
映像再生の場合、駒落ちによって生じる問題は画質面に
とどまらない。駒落ち発生分だけ再生時間が本来の長さ
より長くなってしまう。たとえば、1秒あたり30フレ
ームの転送速度で再生時間が1分となるビデオストリー
ムについては、再生完了までに1800フレームの転送
が必要となるが、これがトラフィックやマイクロプロセ
ッサ負荷増大のために1秒あたり平均25フレームしか
転送できない場合、再生時間は、1800÷25=72
(秒)となってしまう。
【0008】本発明は上記問題点に鑑み、複数の圧縮ビ
デオストリームの復号、表示を行う際の駒落ち、さらに
は駒落ちによる再生時間の延長が生じにくい、マルチメ
ディア情報処理装置を提供することを目的とする。
デオストリームの復号、表示を行う際の駒落ち、さらに
は駒落ちによる再生時間の延長が生じにくい、マルチメ
ディア情報処理装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記課題を解決するため
に、本発明のマルチメディア情報処理装置は、MPEG
ストリームである圧縮ストリームを復号する復号手段
と、前記復号手段が復号したストリームを表示する表示
手段とを少なくとも備え、前記復号手段にかかる復号処
理の負荷を計測する負荷計測手段と、前記負荷計測手段
の計測結果に応じて前記復号手段の処理内容を制御する
復号処理制御手段を有することを特徴とする。
に、本発明のマルチメディア情報処理装置は、MPEG
ストリームである圧縮ストリームを復号する復号手段
と、前記復号手段が復号したストリームを表示する表示
手段とを少なくとも備え、前記復号手段にかかる復号処
理の負荷を計測する負荷計測手段と、前記負荷計測手段
の計測結果に応じて前記復号手段の処理内容を制御する
復号処理制御手段を有することを特徴とする。
【0010】
【発明の実施の形態】以下、本発明に係る送受信システ
ムの実施の形態について、図に従って説明する。ここで
は、CD−ROMと複数チャンネルを持つディジタル衛
星放送とから複数のビデオストリームを再生し、再生し
た画像をディスプレイ上にマルチウィンドウで出力する
PC(パーソナルコンピュータ)を想定する。 (実施の形態1) (構成)図1は本発明の実施の形態1におけるマルチメ
ディア情報処理装置の構成を示す。
ムの実施の形態について、図に従って説明する。ここで
は、CD−ROMと複数チャンネルを持つディジタル衛
星放送とから複数のビデオストリームを再生し、再生し
た画像をディスプレイ上にマルチウィンドウで出力する
PC(パーソナルコンピュータ)を想定する。 (実施の形態1) (構成)図1は本発明の実施の形態1におけるマルチメ
ディア情報処理装置の構成を示す。
【0011】図1(a)において、このマルチメディア
情報処理装置100は、制御部110、マルチタスク部
120、表示部130、受信部140、蓄積メディア1
50、圧縮データ格納部160とから成る。表示部13
0は、復号されたストリームを表示する、ディスプレイ
などの表示装置である。
情報処理装置100は、制御部110、マルチタスク部
120、表示部130、受信部140、蓄積メディア1
50、圧縮データ格納部160とから成る。表示部13
0は、復号されたストリームを表示する、ディスプレイ
などの表示装置である。
【0012】受信部140は、衛星ディジタル放送受信
機であり、制御部110からの指示を受けて受信を開始
し、受信した圧縮ストリームデータを圧縮データ格納部
160に格納する。格納にあたっては、専用のバッファ
を確保する。この専用バッファについては、他の圧縮ス
トリーム格納用バッファとの区別のために、バッファの
識別情報が制御部110に保持されているものとする。
なお、受信部140が同時に複数の衛星ディジタル放送
番組を受信する場合、各番組の圧縮ストリームごとに別
バッファに格納する。
機であり、制御部110からの指示を受けて受信を開始
し、受信した圧縮ストリームデータを圧縮データ格納部
160に格納する。格納にあたっては、専用のバッファ
を確保する。この専用バッファについては、他の圧縮ス
トリーム格納用バッファとの区別のために、バッファの
識別情報が制御部110に保持されているものとする。
なお、受信部140が同時に複数の衛星ディジタル放送
番組を受信する場合、各番組の圧縮ストリームごとに別
バッファに格納する。
【0013】蓄積メディア部150は、CD−ROMや
ハードディスクなどの蓄積メディアとそのドライブ装置
とであり、制御部110からの指示を受けて起動し、順
次蓄積メディアから圧縮ストリームデータを読み出し、
これを圧縮データ格納部160に、この専用のバッファ
に格納する。このバッファについても、識別情報が制御
部110に保持されている。
ハードディスクなどの蓄積メディアとそのドライブ装置
とであり、制御部110からの指示を受けて起動し、順
次蓄積メディアから圧縮ストリームデータを読み出し、
これを圧縮データ格納部160に、この専用のバッファ
に格納する。このバッファについても、識別情報が制御
部110に保持されている。
【0014】蓄積メディア部150の数は図1では一つ
だが、PCの拡張用バスに空きがあれば、これにドライ
ブを接続して数を増やすこともできる。圧縮データ格納
部160はRAMなどのメモリであり、復号前の圧縮ス
トリームデータが一時格納される。図2は、復号処理対
象の圧縮ストリームのデータ階層構造を示す。ストリー
ムは、一連のGOP(Group of Pictures)210、
ピクチャ220、マクロブロック230、ブロック24
0の順で細分化される。
だが、PCの拡張用バスに空きがあれば、これにドライ
ブを接続して数を増やすこともできる。圧縮データ格納
部160はRAMなどのメモリであり、復号前の圧縮ス
トリームデータが一時格納される。図2は、復号処理対
象の圧縮ストリームのデータ階層構造を示す。ストリー
ムは、一連のGOP(Group of Pictures)210、
ピクチャ220、マクロブロック230、ブロック24
0の順で細分化される。
【0015】GOP210はその名の通り複数のピクチ
ャ(画面)の集合である。ピクチャの種類には、Iピク
チャ221、Pピクチャ222、Bピクチャ223があ
る。ピクチャの種類は、動き補償予測処理に関係する。
動き補償予測処理は基本的な圧縮技術のひとつで、全て
のフレーム(ピクチャ)の全画像情報を符号化するので
なく、一部のフレームのみ全画像情報を符号化して、残
りのフレームは、前または前後のフレームとの差分の画
像情報を符号化する手法である。
ャ(画面)の集合である。ピクチャの種類には、Iピク
チャ221、Pピクチャ222、Bピクチャ223があ
る。ピクチャの種類は、動き補償予測処理に関係する。
動き補償予測処理は基本的な圧縮技術のひとつで、全て
のフレーム(ピクチャ)の全画像情報を符号化するので
なく、一部のフレームのみ全画像情報を符号化して、残
りのフレームは、前または前後のフレームとの差分の画
像情報を符号化する手法である。
【0016】Iピクチャ221は、フレーム内符号化を
施されたピクチャであり、フレーム全体の画像情報が符
号化されている。Pピクチャ222は、前のフレームと
の差分の情報が符号化されている。Bピクチャ223
は、前後のフレームとの差分の情報が符号化されてい
る。各ピクチャは、さらに複数のマクロブロック230
からなり、マクロブロック230は最終的な処理単位で
あるブロック240で構成されている。ブロックは、輝
度(明暗のニュアンス)を示す輝度ブロック241と色
差(色の濃淡)を示す色差ブロック242との2種類に
大別される。1マクロブロックを構成するブロックの数
と、輝度ブロック、色差ブロックの組み合わせは何種類
かあるが、ここでは、輝度ブロック4個と色差ブロック
2個の計6個のブロックとする。
施されたピクチャであり、フレーム全体の画像情報が符
号化されている。Pピクチャ222は、前のフレームと
の差分の情報が符号化されている。Bピクチャ223
は、前後のフレームとの差分の情報が符号化されてい
る。各ピクチャは、さらに複数のマクロブロック230
からなり、マクロブロック230は最終的な処理単位で
あるブロック240で構成されている。ブロックは、輝
度(明暗のニュアンス)を示す輝度ブロック241と色
差(色の濃淡)を示す色差ブロック242との2種類に
大別される。1マクロブロックを構成するブロックの数
と、輝度ブロック、色差ブロックの組み合わせは何種類
かあるが、ここでは、輝度ブロック4個と色差ブロック
2個の計6個のブロックとする。
【0017】圧縮ストリームデータは、圧縮された画像
データの他に、各階層において圧縮データの復号に必要
な各種管理情報を含んでいる。例えば動き補償用予測処
理用の情報である予測モードと動きベクトル、各ピクチ
ャのGOPにおける位置(順番)、各マクロブロックが
どのピクチャに属するかを示す情報などである。こうし
た、圧縮ストリームに含まれる情報の詳細については、
市販の書籍(「最新MPEG教科書」(株式会社アスキ
ー、1994年8月1日発行)など)に記されている。
データの他に、各階層において圧縮データの復号に必要
な各種管理情報を含んでいる。例えば動き補償用予測処
理用の情報である予測モードと動きベクトル、各ピクチ
ャのGOPにおける位置(順番)、各マクロブロックが
どのピクチャに属するかを示す情報などである。こうし
た、圧縮ストリームに含まれる情報の詳細については、
市販の書籍(「最新MPEG教科書」(株式会社アスキ
ー、1994年8月1日発行)など)に記されている。
【0018】マルチタスク部120は、ストリームの復
号や他のアプリケーションの実行など、同時に並行して
実行される各種タスクの実行部分であり、復号処理を行
う復号部180、復号以外の処理を行うその他ソフトウ
ェア部190と、これらの部を制御するOS部170と
からなる。制御部110は、処理指示の伝達、データ制
御などの制御処理一般を行うが、ここでは復号処理に関
する部分に限定して処理内容を説明すると、まず、図外
の指示装置からの使用者指示を受けて、受信部140ま
たは蓄積メディア部150と復号部180を起動させ、
圧縮ストリームデータを圧縮データ格納部160に格納
させる。ついで、圧縮データ格納部160から復号部1
80へ、復号部180の要求に応じて、圧縮ストリーム
データを送出する。そして、圧縮ストリームから復号さ
れた復号ストリームが復号部180から送出されてくる
と、これを表示部130に表示させる。また、制御部1
10は、受信部140と蓄積メディア部150とから通
知される、圧縮ストリームデータの一時保存場所である
バッファ識別情報を圧縮ストリーム制御部181にも通
知する。これによって、圧縮ストリーム制御部181
は、復号部180が復号処理しなければならない圧縮ス
トリームデータの数を認識でき、それらを区別もでき
る。
号や他のアプリケーションの実行など、同時に並行して
実行される各種タスクの実行部分であり、復号処理を行
う復号部180、復号以外の処理を行うその他ソフトウ
ェア部190と、これらの部を制御するOS部170と
からなる。制御部110は、処理指示の伝達、データ制
御などの制御処理一般を行うが、ここでは復号処理に関
する部分に限定して処理内容を説明すると、まず、図外
の指示装置からの使用者指示を受けて、受信部140ま
たは蓄積メディア部150と復号部180を起動させ、
圧縮ストリームデータを圧縮データ格納部160に格納
させる。ついで、圧縮データ格納部160から復号部1
80へ、復号部180の要求に応じて、圧縮ストリーム
データを送出する。そして、圧縮ストリームから復号さ
れた復号ストリームが復号部180から送出されてくる
と、これを表示部130に表示させる。また、制御部1
10は、受信部140と蓄積メディア部150とから通
知される、圧縮ストリームデータの一時保存場所である
バッファ識別情報を圧縮ストリーム制御部181にも通
知する。これによって、圧縮ストリーム制御部181
は、復号部180が復号処理しなければならない圧縮ス
トリームデータの数を認識でき、それらを区別もでき
る。
【0019】次に、復号部180の構成を図1(b)を
用いて説明する。復号部180はさらに、圧縮ストリー
ム制御部181、可変長復号部182、逆量子化部18
3、逆DCT部184、動き補償予測部185、復号ス
トリーム制御部186、処理内容制御部187から成
る。圧縮ストリーム制御部181は、復号処理対象の圧
縮ストリームに対し、復号処理に必要な制御を行う。ま
ず、制御部110に要求を出して、圧縮データ格納部1
60に格納された圧縮ストリームデータを送出してもら
い、これを内蔵メモリに一時保存する。次いで、圧縮ス
トリーム制御部181は、一時保存した圧縮ストリーム
データを復号処理の単位に分割する。具体的には、GO
Pから、ピクチャ、さらにマクロブロック単位にまで分
割する。各マクロブロックには復号処理終了後にピクチ
ャ、GOPに再構成できるように、それが属するストリ
ームデータ、ピクチャの識別情報などの管理情報が含ま
れている。また、同時に複数の圧縮ストリームを平行し
て復号する場合(たとえば、3つのディジタル放送番組
を表示部130のディスプレイ上にマルチウィンドウで
同時に表示する場合)は、上記の識別情報に加え各マク
ロブロックがどの圧縮ストリームデータに属すかを示す
ストリーム識別情報(具体的には、圧縮データ格納部1
60で各ストリームデータが格納されているバッファ識
別情報)も付加するとともに、処理スケジュールを決定
して圧縮ストリームデータを切りかえながら平行して復
号処理できるよう制御を行う。
用いて説明する。復号部180はさらに、圧縮ストリー
ム制御部181、可変長復号部182、逆量子化部18
3、逆DCT部184、動き補償予測部185、復号ス
トリーム制御部186、処理内容制御部187から成
る。圧縮ストリーム制御部181は、復号処理対象の圧
縮ストリームに対し、復号処理に必要な制御を行う。ま
ず、制御部110に要求を出して、圧縮データ格納部1
60に格納された圧縮ストリームデータを送出してもら
い、これを内蔵メモリに一時保存する。次いで、圧縮ス
トリーム制御部181は、一時保存した圧縮ストリーム
データを復号処理の単位に分割する。具体的には、GO
Pから、ピクチャ、さらにマクロブロック単位にまで分
割する。各マクロブロックには復号処理終了後にピクチ
ャ、GOPに再構成できるように、それが属するストリ
ームデータ、ピクチャの識別情報などの管理情報が含ま
れている。また、同時に複数の圧縮ストリームを平行し
て復号する場合(たとえば、3つのディジタル放送番組
を表示部130のディスプレイ上にマルチウィンドウで
同時に表示する場合)は、上記の識別情報に加え各マク
ロブロックがどの圧縮ストリームデータに属すかを示す
ストリーム識別情報(具体的には、圧縮データ格納部1
60で各ストリームデータが格納されているバッファ識
別情報)も付加するとともに、処理スケジュールを決定
して圧縮ストリームデータを切りかえながら平行して復
号処理できるよう制御を行う。
【0020】図3は、この圧縮ストリーム制御部181
が行う複数圧縮ストリームのスケジュール管理の様子を
示すを模式図である。この図で、圧縮ストリーム制御部
181は、3種類の圧縮ストリームデータを、順番に一
定量ずつ圧縮データ格納部160から制御部110経由
で読み出し、マクロブロックに分割して復号処理する。
ただし、読み出しは、各圧縮ストリーム専用のバッファ
に一定量のデータが蓄積されたタイミングで行われるの
で、図3のように各ストリームが決まった順番に従って
復号されるわけではない。また、図3では、この「一定
量」が1GOPになっているが、これは説明の便宜上の
もので、さらに細かい値でもよい。
が行う複数圧縮ストリームのスケジュール管理の様子を
示すを模式図である。この図で、圧縮ストリーム制御部
181は、3種類の圧縮ストリームデータを、順番に一
定量ずつ圧縮データ格納部160から制御部110経由
で読み出し、マクロブロックに分割して復号処理する。
ただし、読み出しは、各圧縮ストリーム専用のバッファ
に一定量のデータが蓄積されたタイミングで行われるの
で、図3のように各ストリームが決まった順番に従って
復号されるわけではない。また、図3では、この「一定
量」が1GOPになっているが、これは説明の便宜上の
もので、さらに細かい値でもよい。
【0021】可変長復号部182は、圧縮ストリーム制
御部181から送出された可変長符号データ(1マクロ
ブロック分)の可変長復号処理を行い、可変長符号デー
タを、1マクロブロック(6ブロック)の量子化係数
と、予測モードおよび動きベクトルとを求める。このう
ち量子化係数は逆量子化部182へ、予測モードと動き
ベクトルとは動き補償予測部185へ、それぞれ送られ
る。
御部181から送出された可変長符号データ(1マクロ
ブロック分)の可変長復号処理を行い、可変長符号デー
タを、1マクロブロック(6ブロック)の量子化係数
と、予測モードおよび動きベクトルとを求める。このう
ち量子化係数は逆量子化部182へ、予測モードと動き
ベクトルとは動き補償予測部185へ、それぞれ送られ
る。
【0022】逆量子化部183は、可変長復号部182
から送出されてきた量子化係数をブロックごとに逆量子
化してDCT係数を求め、マクロブロック全体(6ブロ
ック)の逆量子化処理が終了した段階で、求めた1マク
ロブロック分のDCT係数を逆DCT部184に送出す
る。逆DCT部184は、逆量子化部183から送出さ
れてきたDCT変換係数に対してブロック単位で周波数
逆変換処理を施して、画素ブロックの画素値を求める。
この周波数逆変換処理は、具体的には、以下に示す数1
のような、8×8の行列であるDCT係数ブロックに、
同じく8×8の基底データの行列とその逆行列を乗じる
行列演算である。
から送出されてきた量子化係数をブロックごとに逆量子
化してDCT係数を求め、マクロブロック全体(6ブロ
ック)の逆量子化処理が終了した段階で、求めた1マク
ロブロック分のDCT係数を逆DCT部184に送出す
る。逆DCT部184は、逆量子化部183から送出さ
れてきたDCT変換係数に対してブロック単位で周波数
逆変換処理を施して、画素ブロックの画素値を求める。
この周波数逆変換処理は、具体的には、以下に示す数1
のような、8×8の行列であるDCT係数ブロックに、
同じく8×8の基底データの行列とその逆行列を乗じる
行列演算である。
【0023】
【数1】
【0024】基底データの行列とその逆行列とは、逆D
CT部184の内蔵メモリに格納されている。ただし、
求められる画素値の内容は処理対象のピクチャの種類に
よって異なり、Iピクチャの場合は実際の画像の画素値
そのものであるが、Pピクチャ、Bピクチャの場合は、
動き補償予測処理における参照画像上の対応する部分の
画素値との差分となる。6ブロック、すなわち1マクロ
ブロック単位での逆DCT変換処理が終了した段階で、
求めた1マクロブロック分の画素値を、動き補償予測部
185へ送出する。
CT部184の内蔵メモリに格納されている。ただし、
求められる画素値の内容は処理対象のピクチャの種類に
よって異なり、Iピクチャの場合は実際の画像の画素値
そのものであるが、Pピクチャ、Bピクチャの場合は、
動き補償予測処理における参照画像上の対応する部分の
画素値との差分となる。6ブロック、すなわち1マクロ
ブロック単位での逆DCT変換処理が終了した段階で、
求めた1マクロブロック分の画素値を、動き補償予測部
185へ送出する。
【0025】逆DCT部184内の処理停止部184a
とダミーデータ送出部184bとは、上記の逆DCT変
換処理の内容を、処理内容制御部185からの指示に従
って変更する部であるが、その動作については、処理内
容制御部185の動作とともに併せて後述する。動き補
償予測部185は、上述の差分値と動きベクトル、予測
モード情報、内蔵するメモリに格納されている参照デー
タをもとに、Pピクチャ、Bピクチャの本来の画素値を
マクロブロック単位で求める。動き補償予測部185
は、求めた画素値のデータを復号ストリーム制御部18
6に送出するとともに、内蔵メモリに格納されている動
き補償予測処理の参照用データの該当部分のマクロブロ
ックを、この新たに求めた画素値データで更新する。I
ピクチャのデータについては動き補償予測の処理は不要
であり、そのまま参照用データとして保存される。
とダミーデータ送出部184bとは、上記の逆DCT変
換処理の内容を、処理内容制御部185からの指示に従
って変更する部であるが、その動作については、処理内
容制御部185の動作とともに併せて後述する。動き補
償予測部185は、上述の差分値と動きベクトル、予測
モード情報、内蔵するメモリに格納されている参照デー
タをもとに、Pピクチャ、Bピクチャの本来の画素値を
マクロブロック単位で求める。動き補償予測部185
は、求めた画素値のデータを復号ストリーム制御部18
6に送出するとともに、内蔵メモリに格納されている動
き補償予測処理の参照用データの該当部分のマクロブロ
ックを、この新たに求めた画素値データで更新する。I
ピクチャのデータについては動き補償予測の処理は不要
であり、そのまま参照用データとして保存される。
【0026】復号ストリーム制御部186は、逆DCT
部184または動き補償予測部185から送出されてき
た画素値データを、各マクロブロックに付加された識別
情報(どのGOPの何番目のピクチャのどの位置のマク
ロブロックか、さらに複数ストリームが平行して復号さ
れている場合は、どのストリームのデータか)にもとづ
いて、ピクチャ、GOPに(必要ならばストリーム毎
に)再構成して、表示部130への表示のために制御部
110に送出する。
部184または動き補償予測部185から送出されてき
た画素値データを、各マクロブロックに付加された識別
情報(どのGOPの何番目のピクチャのどの位置のマク
ロブロックか、さらに複数ストリームが平行して復号さ
れている場合は、どのストリームのデータか)にもとづ
いて、ピクチャ、GOPに(必要ならばストリーム毎
に)再構成して、表示部130への表示のために制御部
110に送出する。
【0027】図4は、上述の各部が行う処理(可変長復
号、逆量子化、逆DCT変換)によって、圧縮ストリー
ムデータに含まれる画像データの情報がどう変わって行
くかを、1ブロック単位で示している。まず、可変長符
号データ401は可変長復号部181によって、8×8
の量子化係数ブロック402に展開される。ついで逆量
子化部182によってDCT変換係数ブロック403に
変換される。そして、逆DCT部184によって逆DC
T変換処理を施されて、最終的に画素値ブロック404
となる。これらの部が行う処理の単位はブロックである
が、各部の間でデータの受け渡しを行う単位はマクロブ
ロックである。つまり、各部とも1マクロブロック分
(6ブロック分)のデータを受け取り、このデータをブ
ロック単位で処理し、6ブロック分(1マクロブロック
分)処理を終えたところで、1マクロブロックの単位で
次の処理を行う部に引き渡すのである。
号、逆量子化、逆DCT変換)によって、圧縮ストリー
ムデータに含まれる画像データの情報がどう変わって行
くかを、1ブロック単位で示している。まず、可変長符
号データ401は可変長復号部181によって、8×8
の量子化係数ブロック402に展開される。ついで逆量
子化部182によってDCT変換係数ブロック403に
変換される。そして、逆DCT部184によって逆DC
T変換処理を施されて、最終的に画素値ブロック404
となる。これらの部が行う処理の単位はブロックである
が、各部の間でデータの受け渡しを行う単位はマクロブ
ロックである。つまり、各部とも1マクロブロック分
(6ブロック分)のデータを受け取り、このデータをブ
ロック単位で処理し、6ブロック分(1マクロブロック
分)処理を終えたところで、1マクロブロックの単位で
次の処理を行う部に引き渡すのである。
【0028】処理内容制御部187は、駒落ち発生の危
険性を判定し、その判定結果をもとに逆DCT部184
の処理内容を制御する。処理内容制御部187は、判定
部187aと逆DCT制御部187bとから成る。判定
部187aは、圧縮ストリーム制御部181の持つスト
リーム管理用の情報のうち、平行して復号処理中の圧縮
ストリームの数と、次に復号処理されるマクロブロック
の属するピクチャの種類(I、P、B)との情報を取得
し、その情報のうち、圧縮ストリーム数を所定の閾値と
比較して、圧縮ストリーム数が閾値を越えていた場合に
は、駒落ちの危険性ありと判断する。この閾値は、判定
部187aの内蔵メモリに格納されており、あらかじめ
マイクロプロセッサの性能に応じて定められた値とす
る。
険性を判定し、その判定結果をもとに逆DCT部184
の処理内容を制御する。処理内容制御部187は、判定
部187aと逆DCT制御部187bとから成る。判定
部187aは、圧縮ストリーム制御部181の持つスト
リーム管理用の情報のうち、平行して復号処理中の圧縮
ストリームの数と、次に復号処理されるマクロブロック
の属するピクチャの種類(I、P、B)との情報を取得
し、その情報のうち、圧縮ストリーム数を所定の閾値と
比較して、圧縮ストリーム数が閾値を越えていた場合に
は、駒落ちの危険性ありと判断する。この閾値は、判定
部187aの内蔵メモリに格納されており、あらかじめ
マイクロプロセッサの性能に応じて定められた値とす
る。
【0029】そして、危険性ありと判断した場合、判定
部187aは、さらにピクチャ種類をチェックし、ピク
チャ種類がPピクチャまたはBピクチャであれば、逆D
CT制御部187bに逆DCT部184の制御を行うよ
う指示する。逆DCT制御部187bは、この指示を受
け、逆DCT部184に対し、次に送出されてくるマク
ロブロックには、逆DCT変換処理を行わないよう指示
を出す。
部187aは、さらにピクチャ種類をチェックし、ピク
チャ種類がPピクチャまたはBピクチャであれば、逆D
CT制御部187bに逆DCT部184の制御を行うよ
う指示する。逆DCT制御部187bは、この指示を受
け、逆DCT部184に対し、次に送出されてくるマク
ロブロックには、逆DCT変換処理を行わないよう指示
を出す。
【0030】判定部187aが行う上記判定処理は、対
象のマクロブロックが可変長復号と逆量子化との処理を
終えて、逆DCT部130に送出されてくる前に行われ
なければならない。逆DCT部184では、処理停止部
184aが逆DCT制御部187bの指示を受け、当該
マクロブロックに対する逆DCT変換処理をスキップさ
せるとともに、ダミーデータ送出部184bに対し、ダ
ミーデータ送出を指示する。
象のマクロブロックが可変長復号と逆量子化との処理を
終えて、逆DCT部130に送出されてくる前に行われ
なければならない。逆DCT部184では、処理停止部
184aが逆DCT制御部187bの指示を受け、当該
マクロブロックに対する逆DCT変換処理をスキップさ
せるとともに、ダミーデータ送出部184bに対し、ダ
ミーデータ送出を指示する。
【0031】ダミーデータ送出部184bは、この指示
を受け、動き補償予測部185に対し、内蔵メモリに格
納しているダミー用の画素値マクロブロックを送出す
る。このダミー用の画素値マクロブロックに含まれる画
素値はすべて0である。図4を例に説明すると、DCT
変換係数ブロック403に対して、画素値ブロック40
40ではなく、ダミーブロック405が逆DCT変換処
理結果として動き補償予測部185に送出されるのであ
る。
を受け、動き補償予測部185に対し、内蔵メモリに格
納しているダミー用の画素値マクロブロックを送出す
る。このダミー用の画素値マクロブロックに含まれる画
素値はすべて0である。図4を例に説明すると、DCT
変換係数ブロック403に対して、画素値ブロック40
40ではなく、ダミーブロック405が逆DCT変換処
理結果として動き補償予測部185に送出されるのであ
る。
【0032】逆DCT変換処理の内容をこのように変更
することから生じる影響については、本実施の形態の説
明の末尾に記す。 (動作)以上のように構成されたマルチメディア情報処
理方法について、以下その動作を説明する。
することから生じる影響については、本実施の形態の説
明の末尾に記す。 (動作)以上のように構成されたマルチメディア情報処
理方法について、以下その動作を説明する。
【0033】図5は、実施の形態1における、処理内容
制御部187と逆DCT部184の処理の流れを示すフ
ローチャートである。以下、このフローチャートに従っ
て、動作を説明する。まず、処理対象の可変長符号デー
タ(1マクロブロック分)が圧縮ストリーム制御部18
1から可変長復号部182に送出される直前に、処理内
容制御部187内の判定部187aが、圧縮ストリーム
制御部181の持つ管理情報を参照して、現在平行復号
処理中の復号ストリーム数をチェックする(S50
1)。
制御部187と逆DCT部184の処理の流れを示すフ
ローチャートである。以下、このフローチャートに従っ
て、動作を説明する。まず、処理対象の可変長符号デー
タ(1マクロブロック分)が圧縮ストリーム制御部18
1から可変長復号部182に送出される直前に、処理内
容制御部187内の判定部187aが、圧縮ストリーム
制御部181の持つ管理情報を参照して、現在平行復号
処理中の復号ストリーム数をチェックする(S50
1)。
【0034】ストリーム数が閾値を越えていた場合、判
定部187aは、さらに前記マクロブロックのピクチャ
種類をチェックする(S502)。そして、ピクチャ種
類がPまたはBピクチャであれば、判定部187aから
その旨通知を受けた逆DCT制御部187bが、逆DC
T部184に指示して、このマクロブロックに対しては
逆DCT変換処理を行わないよう指示する。指示を受け
た逆DCT部ア184内の処理停止部184aは、この
マクロブロックに対する逆DCT変換処理をスキップし
て、ダミーデータ送出部184bに指示して、ダミーの
画素ブロックを動き補償予測部185に出力させる(S
503)。
定部187aは、さらに前記マクロブロックのピクチャ
種類をチェックする(S502)。そして、ピクチャ種
類がPまたはBピクチャであれば、判定部187aから
その旨通知を受けた逆DCT制御部187bが、逆DC
T部184に指示して、このマクロブロックに対しては
逆DCT変換処理を行わないよう指示する。指示を受け
た逆DCT部ア184内の処理停止部184aは、この
マクロブロックに対する逆DCT変換処理をスキップし
て、ダミーデータ送出部184bに指示して、ダミーの
画素ブロックを動き補償予測部185に出力させる(S
503)。
【0035】圧縮ストリーム数が閾値以下であるか、ピ
クチャ種類がPまたはBピクチャでなかった場合は、逆
DCT制御部187bから逆DCT部184への指示は
出されず、処理従来通りの逆DCT変換処理が行われ
(S504)、逆DCT変換処理の結果得られた画素ブ
ロックが復号ストリーム制御部186に出力される(S
505)。
クチャ種類がPまたはBピクチャでなかった場合は、逆
DCT制御部187bから逆DCT部184への指示は
出されず、処理従来通りの逆DCT変換処理が行われ
(S504)、逆DCT変換処理の結果得られた画素ブ
ロックが復号ストリーム制御部186に出力される(S
505)。
【0036】以上のように、本実施の形態によれば、同
時に平行復号処理するストリーム数が増えてマイクロプ
ロセッサの負荷が増大し、駒落ちの危険が生じた場合に
は、PまたはBピクチャのデータには逆DCT変換処理
を行わないようにするので、その処理の分だけマイクロ
プロセッサの負荷を減らすことができ、駒落ち発生の可
能性を小さくできる。ただし、PまたはBピクチャの保
持していた輝度と色差との差分情報は失われるため、こ
れらのピクチャの動き補償予測処理結果の輝度、色差の
画素値は、動き補償予測処理時の参照元のピクチャの画
素値と同一になる。そのため、表示部130に表示され
る際、動き補償予測処理で復号された画像では、画像中
の人や物の動きは正しく表示されるが、光の当たり具合
と色との微妙な変化が失われる。しかし、光の当たり具
合と色との変化は動きにくらべて目立たないし、少なく
ともIピクチャのデータの復号(およそ1/2秒間隔)
ごとに、これらの変化を正しく表す画像が表示されるの
で、駒落ちが発生する場合よりも見やすく自然な動画が
表示される。(実施の形態2)図6は本発明の実施の形
態2におけるマルチメディア情報処理装置の構成を示
す。実施の形態1における構成を示した図1と同等の要
素については同じ参照番号を付し、説明は省略する。ま
た、処理の流れは実施の形態1と似通っているので、動
作の説明は省略する。
時に平行復号処理するストリーム数が増えてマイクロプ
ロセッサの負荷が増大し、駒落ちの危険が生じた場合に
は、PまたはBピクチャのデータには逆DCT変換処理
を行わないようにするので、その処理の分だけマイクロ
プロセッサの負荷を減らすことができ、駒落ち発生の可
能性を小さくできる。ただし、PまたはBピクチャの保
持していた輝度と色差との差分情報は失われるため、こ
れらのピクチャの動き補償予測処理結果の輝度、色差の
画素値は、動き補償予測処理時の参照元のピクチャの画
素値と同一になる。そのため、表示部130に表示され
る際、動き補償予測処理で復号された画像では、画像中
の人や物の動きは正しく表示されるが、光の当たり具合
と色との微妙な変化が失われる。しかし、光の当たり具
合と色との変化は動きにくらべて目立たないし、少なく
ともIピクチャのデータの復号(およそ1/2秒間隔)
ごとに、これらの変化を正しく表す画像が表示されるの
で、駒落ちが発生する場合よりも見やすく自然な動画が
表示される。(実施の形態2)図6は本発明の実施の形
態2におけるマルチメディア情報処理装置の構成を示
す。実施の形態1における構成を示した図1と同等の要
素については同じ参照番号を付し、説明は省略する。ま
た、処理の流れは実施の形態1と似通っているので、動
作の説明は省略する。
【0037】図1との相違点は、可変長復号部610の
処理内容が、処理内容制御部620の指示を受けて変更
される点である。処理内容制御部620は、実施の形態
1の処理内容制御部187の逆DCT制御部187bの
代わりに可変長復号制御部622を備えている。可変長
復号制御部622は、判定部187aの判定(実施の形
態1に同じ)に従い、可変長復号部610に対し、可変
長復号処理の対象となる可変長符号データの範囲を限定
するよう指示を出す。
処理内容が、処理内容制御部620の指示を受けて変更
される点である。処理内容制御部620は、実施の形態
1の処理内容制御部187の逆DCT制御部187bの
代わりに可変長復号制御部622を備えている。可変長
復号制御部622は、判定部187aの判定(実施の形
態1に同じ)に従い、可変長復号部610に対し、可変
長復号処理の対象となる可変長符号データの範囲を限定
するよう指示を出す。
【0038】可変長復号部610は、可変長復号制御部
622の指示を受けると、カウンタ部611が起動し、
可変長復号部610が行う可変長復号処理の結果得られ
る量子化係数が格納されるエリアを監視する。そして、
このエリアに格納された量子化係数の数をカウントして
いく。そして、カウントが16になった段階で、カウン
タ部611は可変長復号部610に可変長復号処理打ち
切りの指示を出す。可変長復号部610は、可変長復号
処理を打ち切り、処理しなかった48係数分のデータは
無条件に値0の量子化係数にする。(「0にする」とい
っても、「0」という値をエリアに格納する処理が必要
なわけではない。一般に、数値を格納するエリアは処理
開始直前に「0」で初期化されるので、16係数分で処
理を打ちきりさえすれば、残り48係数分のエリアは当
然「0」になっている。)図7は、この処理の前後の可
変長符号データと量子化係数データを示す。
622の指示を受けると、カウンタ部611が起動し、
可変長復号部610が行う可変長復号処理の結果得られ
る量子化係数が格納されるエリアを監視する。そして、
このエリアに格納された量子化係数の数をカウントして
いく。そして、カウントが16になった段階で、カウン
タ部611は可変長復号部610に可変長復号処理打ち
切りの指示を出す。可変長復号部610は、可変長復号
処理を打ち切り、処理しなかった48係数分のデータは
無条件に値0の量子化係数にする。(「0にする」とい
っても、「0」という値をエリアに格納する処理が必要
なわけではない。一般に、数値を格納するエリアは処理
開始直前に「0」で初期化されるので、16係数分で処
理を打ちきりさえすれば、残り48係数分のエリアは当
然「0」になっている。)図7は、この処理の前後の可
変長符号データと量子化係数データを示す。
【0039】図7(a)は可変長復号処理前の可変長符
号データ700の模式図であり、有効係数値701は、
0以外の係数のデータであり、0ラン長702は、値が
0の係数が連続して並ぶ個数を示す。図7(b)は、本
実施の形態における処理結果の量子化係数ブロック71
0である。
号データ700の模式図であり、有効係数値701は、
0以外の係数のデータであり、0ラン長702は、値が
0の係数が連続して並ぶ個数を示す。図7(b)は、本
実施の形態における処理結果の量子化係数ブロック71
0である。
【0040】図7(c)は従来の可変長復号処理が行わ
れた場合の結果の量子化係数ブロック720である。可
変長符号データ700の内容は、矢印703の順に量子
化係数ブロック710、720に、ジグザグスキャンし
ながら展開されて行くが、量子化係数ブロック710で
は、16個目の量子化係数を展開した段階で処理が打ち
切られる。網掛け部分711が、可変長復号処理によっ
て展開されたデータである。係数712は、図7(a)
のデータ704に相当する部分だがデータが消えてしま
っている。データ704は図7(b)では、係数722
として可変長復号されている。
れた場合の結果の量子化係数ブロック720である。可
変長符号データ700の内容は、矢印703の順に量子
化係数ブロック710、720に、ジグザグスキャンし
ながら展開されて行くが、量子化係数ブロック710で
は、16個目の量子化係数を展開した段階で処理が打ち
切られる。網掛け部分711が、可変長復号処理によっ
て展開されたデータである。係数712は、図7(a)
のデータ704に相当する部分だがデータが消えてしま
っている。データ704は図7(b)では、係数722
として可変長復号されている。
【0041】このように可変長復号処理を途中で打ち切
るという方法の根拠となるのは、可変長符号データの特
性として、有効係数(0以外の値となる係数)が低周波
数部分に偏る傾向があるという事実である。図7(a)
でいえば矢印703の進行方向に従い、低周波数から高
周波数のデータへと移って行く。図7(b)、(c)で
言えば、各係数間をつなぐジグザグスキャンの進行方向
(右下方向)に進んで行くに従って、低周波数から高周
波数のデータへと移っていく。
るという方法の根拠となるのは、可変長符号データの特
性として、有効係数(0以外の値となる係数)が低周波
数部分に偏る傾向があるという事実である。図7(a)
でいえば矢印703の進行方向に従い、低周波数から高
周波数のデータへと移って行く。図7(b)、(c)で
言えば、各係数間をつなぐジグザグスキャンの進行方向
(右下方向)に進んで行くに従って、低周波数から高周
波数のデータへと移っていく。
【0042】16係数分という数量については必須のも
のではなく、任意の値に設定できるが、大きな値にする
と処理削減の効果が減じるし、逆に小さくしすぎると、
情報が失われ、再生画像が不鮮明になる。以上のよう
に、本実施の形態によれば、同時に平行復号処理するス
トリーム数が増大して駒落ちの危険が生じた場合には、
可変長符号データの高周波数部分を切り捨てることで、
可変長復号処理の処理量を減ずることができる。その結
果、マイクロプロセッサの負荷を減らすことができ、駒
落ち発生の可能性を小さくできる。高周波数部分のデー
タが失われて、再生画像が多少不鮮明となる恐れはある
が、元来、可変長復号処理後の量子化係数の高周波数部
分の値は「0」になることが多いので失われる情報量は
小さい。それに情報量の多い低周波数部分の情報はすべ
て復号されるので、再生画像の骨格はそのまま復元さ
れ、駒落ちの生じる場合よりも、見やすくなる。 (実施の形態3) (構成)図8は本発明の実施の形態1におけるマルチメ
ディア情報処理装置の構成を示す。実施の形態1におけ
る構成を示した図1と同等の要素については同じ参照番
号を付し、説明は省略する。
のではなく、任意の値に設定できるが、大きな値にする
と処理削減の効果が減じるし、逆に小さくしすぎると、
情報が失われ、再生画像が不鮮明になる。以上のよう
に、本実施の形態によれば、同時に平行復号処理するス
トリーム数が増大して駒落ちの危険が生じた場合には、
可変長符号データの高周波数部分を切り捨てることで、
可変長復号処理の処理量を減ずることができる。その結
果、マイクロプロセッサの負荷を減らすことができ、駒
落ち発生の可能性を小さくできる。高周波数部分のデー
タが失われて、再生画像が多少不鮮明となる恐れはある
が、元来、可変長復号処理後の量子化係数の高周波数部
分の値は「0」になることが多いので失われる情報量は
小さい。それに情報量の多い低周波数部分の情報はすべ
て復号されるので、再生画像の骨格はそのまま復元さ
れ、駒落ちの生じる場合よりも、見やすくなる。 (実施の形態3) (構成)図8は本発明の実施の形態1におけるマルチメ
ディア情報処理装置の構成を示す。実施の形態1におけ
る構成を示した図1と同等の要素については同じ参照番
号を付し、説明は省略する。
【0043】図1との相違点は、処理内容制御部820
の指示内容と、この指示を受けて変更される逆DCT部
810の構成、変更後処理内容である。処理内容制御部
820の判定部821は、実施の形態1における判定部
187aと同じ手順で駒落ちの危険性の有無を判定し、
駒落ちの危険性ありと判定した場合には、そのことを逆
DCT制御部822に通知する。すると、逆DCT制御
部822から逆DCT部810に対し、次に逆DCT部
810に送出されてくるDCT係数マクロブロックに対
する逆DCT変換処理から、処理方式(画素算出のため
の演算式)を変更するように指示が出される。この変更
は、逆DCT変換処理結果の画素ブロックを構成する画
素数が少なくなるようにするものである。
の指示内容と、この指示を受けて変更される逆DCT部
810の構成、変更後処理内容である。処理内容制御部
820の判定部821は、実施の形態1における判定部
187aと同じ手順で駒落ちの危険性の有無を判定し、
駒落ちの危険性ありと判定した場合には、そのことを逆
DCT制御部822に通知する。すると、逆DCT制御
部822から逆DCT部810に対し、次に逆DCT部
810に送出されてくるDCT係数マクロブロックに対
する逆DCT変換処理から、処理方式(画素算出のため
の演算式)を変更するように指示が出される。この変更
は、逆DCT変換処理結果の画素ブロックを構成する画
素数が少なくなるようにするものである。
【0044】この時、逆DCT制御部822は、判定部
821が圧縮ストリーム制御部181から得る復号対象
圧縮ストリーム数に応じて逆DCT部810への変更指
示を変える。例えば圧縮ストリーム数が4から7の間で
あれば、1画素ブロックを構成する画素数が8×8=6
4から4×4=16になるように、さらに、ストリーム
数が8以上になれば、2×2=4になるように、逆DC
T変換処理方式を変更するよう逆DCT部810に指示
する、という具合である。
821が圧縮ストリーム制御部181から得る復号対象
圧縮ストリーム数に応じて逆DCT部810への変更指
示を変える。例えば圧縮ストリーム数が4から7の間で
あれば、1画素ブロックを構成する画素数が8×8=6
4から4×4=16になるように、さらに、ストリーム
数が8以上になれば、2×2=4になるように、逆DC
T変換処理方式を変更するよう逆DCT部810に指示
する、という具合である。
【0045】逆DCT制御部822から逆DCT部81
0への指示は、画素数を減らすような変更の指示だけで
なく、増やす形の指示もありうる。つまり、逆DCT部
810は復号される圧縮ストリーム数に応じて、処理結
果の画素数を増減させる。処理内容制御部820の判定
部821は、こうした駒落ち危険性判定と、その結果に
応じた指示とを各GOPごとに一度、その冒頭のマクロ
ブロックの処理を開始する段階で行う。これは、GOP
の途中で逆DCT変換処理方式が変更されると、例えば
1ブロックが8×8の画素ブロックとなるように逆DC
T変換処理されたピクチャデータをもとに1ブロックが
4×4の画素ブロックとなるように逆DCT変換処理さ
れたマクロブロックの動き補償予測処理が行われる、と
いった事態が発生するためである。GOPの冒頭かどう
かは、判定部821が、圧縮ストリーム制御部181の
保持する圧縮ストリーム管理情報を取得して判断する。
0への指示は、画素数を減らすような変更の指示だけで
なく、増やす形の指示もありうる。つまり、逆DCT部
810は復号される圧縮ストリーム数に応じて、処理結
果の画素数を増減させる。処理内容制御部820の判定
部821は、こうした駒落ち危険性判定と、その結果に
応じた指示とを各GOPごとに一度、その冒頭のマクロ
ブロックの処理を開始する段階で行う。これは、GOP
の途中で逆DCT変換処理方式が変更されると、例えば
1ブロックが8×8の画素ブロックとなるように逆DC
T変換処理されたピクチャデータをもとに1ブロックが
4×4の画素ブロックとなるように逆DCT変換処理さ
れたマクロブロックの動き補償予測処理が行われる、と
いった事態が発生するためである。GOPの冒頭かどう
かは、判定部821が、圧縮ストリーム制御部181の
保持する圧縮ストリーム管理情報を取得して判断する。
【0046】逆DCT部810は、逆DCT制御部82
2から指示を受け、この指示に応じて、変換処理方式を
変更する。本実施の形態における逆DCT変換処理方式
の変更とは、具体的にはDCT変換係数から画素値を求
めるための行列演算式における係数である基底値の行列
とその逆行列(数1参照)を変更するということであ
る。複数の演算式を使い分けて、処理結果の画素数が4
×4または2×2になるようにするのである。この変更
対象の基底値行列とその逆行列とは、数1に示す基底値
行列、その逆行列と同様、逆DCT部の内蔵メモリに格
納されている。
2から指示を受け、この指示に応じて、変換処理方式を
変更する。本実施の形態における逆DCT変換処理方式
の変更とは、具体的にはDCT変換係数から画素値を求
めるための行列演算式における係数である基底値の行列
とその逆行列(数1参照)を変更するということであ
る。複数の演算式を使い分けて、処理結果の画素数が4
×4または2×2になるようにするのである。この変更
対象の基底値行列とその逆行列とは、数1に示す基底値
行列、その逆行列と同様、逆DCT部の内蔵メモリに格
納されている。
【0047】基底選択部811は逆DCT制御部822
からの指示(4×4または2×2)を受け、逆DCT部
内蔵メモリに格納されている複数種類の基底値行列か
ら、この指示に合ったものを選択する。逆DCT部81
0は、基底選択部811が選択した、この基底値行列を
使って逆DCT変換処理を実行する。以下に示す数2、
数3が、数1に示す基底値行列以外に選択可能な基底値
行列の例である。
からの指示(4×4または2×2)を受け、逆DCT部
内蔵メモリに格納されている複数種類の基底値行列か
ら、この指示に合ったものを選択する。逆DCT部81
0は、基底選択部811が選択した、この基底値行列を
使って逆DCT変換処理を実行する。以下に示す数2、
数3が、数1に示す基底値行列以外に選択可能な基底値
行列の例である。
【0048】
【数2】
【0049】
【数3】
【0050】数2は、DCT変換基底の行列について、
行をひとつおきに間引いている。この式で表される演算
を実行すると、結果は4×4の行列(画素数16の画素
ブロック)となる。数3は、DCT変換基底の行列につ
いて、列を3列おきに間引いている。この式で表される
演算を実行すると、結果は2×2の行列(画素数4の画
素ブロック)となる。
行をひとつおきに間引いている。この式で表される演算
を実行すると、結果は4×4の行列(画素数16の画素
ブロック)となる。数3は、DCT変換基底の行列につ
いて、列を3列おきに間引いている。この式で表される
演算を実行すると、結果は2×2の行列(画素数4の画
素ブロック)となる。
【0051】図9は、数1〜3に示される行列演算の結
果の関係を示す模式図である。図9(a)は数1、図9
(b)は数2、図9(c)は数3の結果をそれぞれ示
す。この図によって、数2、数3の結果得られる画素ブ
ロックが、本来の数1の結果得られる画素ブロックのう
ちどの画素を抽出したものになるかが分かる。いずれの
場合も、縦横一定の間隔で、偏りなく画素が抽出されて
いる。
果の関係を示す模式図である。図9(a)は数1、図9
(b)は数2、図9(c)は数3の結果をそれぞれ示
す。この図によって、数2、数3の結果得られる画素ブ
ロックが、本来の数1の結果得られる画素ブロックのう
ちどの画素を抽出したものになるかが分かる。いずれの
場合も、縦横一定の間隔で、偏りなく画素が抽出されて
いる。
【0052】数2のような逆DCT変換処理を行うと、
処理結果の各ブロックの大きさ(データ量)は本来の4
分の1となり、これらブロックの集合であるピクチャの
大きさも4分の1になる。そして、最終的に表示装置上
に再生されるビデオストリームのウィンドウの大きさ
(面積)も4分に1となる。同様に数3の処理の結果で
は、各ブロックの大きさ(データ量)、ビデオストリー
ムのウィンドウの大きさ(面積)、ともに16分の1に
なる。
処理結果の各ブロックの大きさ(データ量)は本来の4
分の1となり、これらブロックの集合であるピクチャの
大きさも4分の1になる。そして、最終的に表示装置上
に再生されるビデオストリームのウィンドウの大きさ
(面積)も4分に1となる。同様に数3の処理の結果で
は、各ブロックの大きさ(データ量)、ビデオストリー
ムのウィンドウの大きさ(面積)、ともに16分の1に
なる。
【0053】(動作)以上のように構成されたマルチメ
ディア情報処理方法について、逆DCT変換処理方式の
変更(変換用行列演算式の使い分け)の動作を説明す
る。図10は、実施の形態3における復号装置800の
逆DCT変換処理終了までの処理の流れを示すフローチ
ャートである。以下、このフローチャートに従って動作
を説明する。
ディア情報処理方法について、逆DCT変換処理方式の
変更(変換用行列演算式の使い分け)の動作を説明す
る。図10は、実施の形態3における復号装置800の
逆DCT変換処理終了までの処理の流れを示すフローチ
ャートである。以下、このフローチャートに従って動作
を説明する。
【0054】まず、処理対象のマクロブロックが圧縮ス
トリーム制御部181から可変長復号部182に送出さ
れる直前に、判定部821が、このデータがGOPの先
頭のデータかどうかチェックする(S1001)。先頭
のデータであれば、さらに現在平行して復号処理中の圧
縮ストリーム数をチェックする(S1002)。ストリ
ーム数が閾値を越えていた場合、判定部821は駒落ち
発生の危険性ありと判定し、その判定を逆DCT制御部
822に通知する。逆DCT制御部822は、逆DCT
部810に対し逆DCT変換処理方式の変更(逆DCT
処理の行列演算に用いられる基底値行列の変更)を指示
する(S1003)。指示を受けた逆DCT部810の
基底選択部811は、この指示に応じて逆DCT変換処
理に用いる基底値行列を選択して、逆DCT部810
は、この基底値行列を用いて逆DCT変換処理を実行す
る(S1004)。
トリーム制御部181から可変長復号部182に送出さ
れる直前に、判定部821が、このデータがGOPの先
頭のデータかどうかチェックする(S1001)。先頭
のデータであれば、さらに現在平行して復号処理中の圧
縮ストリーム数をチェックする(S1002)。ストリ
ーム数が閾値を越えていた場合、判定部821は駒落ち
発生の危険性ありと判定し、その判定を逆DCT制御部
822に通知する。逆DCT制御部822は、逆DCT
部810に対し逆DCT変換処理方式の変更(逆DCT
処理の行列演算に用いられる基底値行列の変更)を指示
する(S1003)。指示を受けた逆DCT部810の
基底選択部811は、この指示に応じて逆DCT変換処
理に用いる基底値行列を選択して、逆DCT部810
は、この基底値行列を用いて逆DCT変換処理を実行す
る(S1004)。
【0055】データがGOPの先頭のデータでないか、
ストリーム数が閾値以下である場合は、従来通りの逆D
CT変換処理が行われる(S1005)。そして、逆D
CT変換処理で得られた画素ブロックが、動き補償予測
部185に出力される(S1006)。以上のように、
本実施の形態によれば、逆DCT変換処理の行列演算に
使われる基底値行列の基底値の数が減ることで、行列演
算の演算処理量が小さくなる分、マイクロプロセッサの
処理負荷が小さくなる。さらに、復号結果のビデオスト
リームのデータ量(トラフィック)が小さくなってバス
を通るデータの量も減るので、マイクロプロセッサの負
荷削減、バス上のトラフィック減少の両面から、駒落ち
防止の効果がある。表示装置上に表示される再生画像が
小さくなって見づらくなる点は、多数の画像が同時に表
示できる利点もあるので、いちがいにデメリットとは言
えない。また、画素が間引かれて情報量が減り、再生画
像の精密さが落ちる点についても、その分画像の大きさ
自体も小さくなるのであまり目立たず、駒落ちが発生す
る場合よりは見易い画像となる。 (実施の形態4)図11は本発明の実施の形態4におけ
るマルチメディア情報処理装置の構成を示す。従来の装
置の構成を示した図1と同等の要素については同じ参照
番号を付し、説明は省略する。また、処理の流れは実施
の形態1と似通っているので、動作の説明は省略する。
ストリーム数が閾値以下である場合は、従来通りの逆D
CT変換処理が行われる(S1005)。そして、逆D
CT変換処理で得られた画素ブロックが、動き補償予測
部185に出力される(S1006)。以上のように、
本実施の形態によれば、逆DCT変換処理の行列演算に
使われる基底値行列の基底値の数が減ることで、行列演
算の演算処理量が小さくなる分、マイクロプロセッサの
処理負荷が小さくなる。さらに、復号結果のビデオスト
リームのデータ量(トラフィック)が小さくなってバス
を通るデータの量も減るので、マイクロプロセッサの負
荷削減、バス上のトラフィック減少の両面から、駒落ち
防止の効果がある。表示装置上に表示される再生画像が
小さくなって見づらくなる点は、多数の画像が同時に表
示できる利点もあるので、いちがいにデメリットとは言
えない。また、画素が間引かれて情報量が減り、再生画
像の精密さが落ちる点についても、その分画像の大きさ
自体も小さくなるのであまり目立たず、駒落ちが発生す
る場合よりは見易い画像となる。 (実施の形態4)図11は本発明の実施の形態4におけ
るマルチメディア情報処理装置の構成を示す。従来の装
置の構成を示した図1と同等の要素については同じ参照
番号を付し、説明は省略する。また、処理の流れは実施
の形態1と似通っているので、動作の説明は省略する。
【0056】図1との相違点は、処理内容制御部112
0の指示を受けて変更される逆DCT部1110の変更
後処理内容である。判定部187aは、実施の形態1の
場合と同じ手順(同時に平行して復号処理されるストリ
ームの数を閾値と比較)で駒落ちの危険性の有無を判定
する。そして、駒落ちの危険性ありと判定した場合は、
逆DCT制御部1122が逆DCT部1110に対し、
次に逆DCT部730に送出されてくるマクロブロック
に含まれる色差ブロックについては、直流成分(DC成
分)の画素値を全画素に設定するよう指示を出す。
0の指示を受けて変更される逆DCT部1110の変更
後処理内容である。判定部187aは、実施の形態1の
場合と同じ手順(同時に平行して復号処理されるストリ
ームの数を閾値と比較)で駒落ちの危険性の有無を判定
する。そして、駒落ちの危険性ありと判定した場合は、
逆DCT制御部1122が逆DCT部1110に対し、
次に逆DCT部730に送出されてくるマクロブロック
に含まれる色差ブロックについては、直流成分(DC成
分)の画素値を全画素に設定するよう指示を出す。
【0057】逆DCT部1110の演算停止部1111
は、逆DCT制御部1122の指示を受けると、まず、
処理しようとするブロックの種別を判定する。輝度ブロ
ックであれば、演算停止部1111は何の処理もせず、
従来通りの逆DCT変換処理が行われる。処理対象ブロ
ックが色差ブロックであった場合、演算停止部1111
は、逆DCT変換の行列演算結果の画素値が格納される
エリアを監視し、エリアの先頭に直流成分の画素値が格
納された段階で、逆DCT部1110の逆DCT変換処
理を停止させる。さらに、この直流成分の画素値を、前
記の画素値格納エリアの残り63画素分のエリアにコピ
ーする。つまり、数1に示されるような行列演算におい
て、図9(a)の画素「G00」(直流成分)の値を求め
る計算が終わった時点で数1の行列演算は打ち切られ、
画素「G01〜G77」には画素「G00」の値がコピーされ
る。結果、図9(d)のような、全画素値(64個)が
「G00」である色差用画素値ブロックが作成される。
は、逆DCT制御部1122の指示を受けると、まず、
処理しようとするブロックの種別を判定する。輝度ブロ
ックであれば、演算停止部1111は何の処理もせず、
従来通りの逆DCT変換処理が行われる。処理対象ブロ
ックが色差ブロックであった場合、演算停止部1111
は、逆DCT変換の行列演算結果の画素値が格納される
エリアを監視し、エリアの先頭に直流成分の画素値が格
納された段階で、逆DCT部1110の逆DCT変換処
理を停止させる。さらに、この直流成分の画素値を、前
記の画素値格納エリアの残り63画素分のエリアにコピ
ーする。つまり、数1に示されるような行列演算におい
て、図9(a)の画素「G00」(直流成分)の値を求め
る計算が終わった時点で数1の行列演算は打ち切られ、
画素「G01〜G77」には画素「G00」の値がコピーされ
る。結果、図9(d)のような、全画素値(64個)が
「G00」である色差用画素値ブロックが作成される。
【0058】演算停止部1111が、輝度ブロックと色
差ブロックとを区別する方法は単純である。マクロブロ
ック(6個のブロックからなる)における輝度ブロック
と色差ブロックの配置(順番)が固定されているため、
演算停止部1111は、マクロブロック内で何番目のブ
ロックかというチェックを行うだけで、ブロック種別
(輝度か色差か)を判定できる。
差ブロックとを区別する方法は単純である。マクロブロ
ック(6個のブロックからなる)における輝度ブロック
と色差ブロックの配置(順番)が固定されているため、
演算停止部1111は、マクロブロック内で何番目のブ
ロックかというチェックを行うだけで、ブロック種別
(輝度か色差か)を判定できる。
【0059】(動作)以上のように構成されたマルチメ
ディア情報処理方法について、処理内容制御部1120
の制御を受けた逆DCT部1110の色差ブロック処理
の動作を、1マクロブロック処理の範囲で説明する。図
12は、本実施の形態における復号装置1100の逆D
CT変換処理の処理の流れを示すフローチャートであ
る。以下、このフローチャートに従って動作を説明す
る。
ディア情報処理方法について、処理内容制御部1120
の制御を受けた逆DCT部1110の色差ブロック処理
の動作を、1マクロブロック処理の範囲で説明する。図
12は、本実施の形態における復号装置1100の逆D
CT変換処理の処理の流れを示すフローチャートであ
る。以下、このフローチャートに従って動作を説明す
る。
【0060】逆DCT部1110は、処理対象のマクロ
ブロックを、1ブロックずつ逆DCT変換処理していき
(S1210)、このマクロブロック全体(6ブロッ
ク)の処理が終わるまで、逆DCT変換処理を繰り返す
(S1270)。まず、逆DCT部1110はブロック
の種類を判定し、色差ブロックでなければ(S122
0:No)、従来通りに、ブロックを構成する64個の
係数に対して逆DCT変換処理を行い、画素値ブロック
を求める(S1230、S1240)。
ブロックを、1ブロックずつ逆DCT変換処理していき
(S1210)、このマクロブロック全体(6ブロッ
ク)の処理が終わるまで、逆DCT変換処理を繰り返す
(S1270)。まず、逆DCT部1110はブロック
の種類を判定し、色差ブロックでなければ(S122
0:No)、従来通りに、ブロックを構成する64個の
係数に対して逆DCT変換処理を行い、画素値ブロック
を求める(S1230、S1240)。
【0061】色差ブロックの場合(S1220:Ye
s)は、先頭の1画素(直流成分画素)のみを逆DCT
変換処理で求め(S1250)、この直流成分の画素値
を残り63画素にコピーして、64画素すべてがこの直
流成分の画素値であるような画素ブロックを作成する。
以上のように、本実施の形態によれば、色差ブロック全
体が直流成分の画素値に統一されるので、この色差ブロ
ック、そしてこのブロックを含むマクロブロック、の色
素情報は単色となってしまうが、色差ブロックの逆DC
T変換処理の内容は、64個の成分(画素)のうち1成
分(画素)のみを行列演算で求め、この値を残り63成
分(画素)にコピーするだけ(ステップS1250、1
250)なので、ブロック全体に逆DCT変換処理を行
う場合(ステップS1230を64回繰り返す)より
は、行列演算処理量が減り、マイクロプロセッサの負荷
が削減され、駒落ち発生の可能性は低くなる。本実施の
形態は、色の正確な再現よりも動きの正確な再現が優先
される画像を対象にする場合にのみ有用である。
s)は、先頭の1画素(直流成分画素)のみを逆DCT
変換処理で求め(S1250)、この直流成分の画素値
を残り63画素にコピーして、64画素すべてがこの直
流成分の画素値であるような画素ブロックを作成する。
以上のように、本実施の形態によれば、色差ブロック全
体が直流成分の画素値に統一されるので、この色差ブロ
ック、そしてこのブロックを含むマクロブロック、の色
素情報は単色となってしまうが、色差ブロックの逆DC
T変換処理の内容は、64個の成分(画素)のうち1成
分(画素)のみを行列演算で求め、この値を残り63成
分(画素)にコピーするだけ(ステップS1250、1
250)なので、ブロック全体に逆DCT変換処理を行
う場合(ステップS1230を64回繰り返す)より
は、行列演算処理量が減り、マイクロプロセッサの負荷
が削減され、駒落ち発生の可能性は低くなる。本実施の
形態は、色の正確な再現よりも動きの正確な再現が優先
される画像を対象にする場合にのみ有用である。
【0062】なお、上記全ての実施の形態で、処理制御
の基準を同時に復号する圧縮ビデオストリームの数とし
ているが、マイクロプロセッサの負荷、トラフィック量
を基準としてもよい。また、処理制御は、処理制御部が
圧縮ストリーム管理部の持つ管理情報(圧縮ストリーム
数)を参照しながら行う、というものだったが、圧縮ス
トリーム管理部の側から処理制御部に対して、圧縮スト
リーム数が変動する毎に、その値を通知するというかた
ちにしてもよい。
の基準を同時に復号する圧縮ビデオストリームの数とし
ているが、マイクロプロセッサの負荷、トラフィック量
を基準としてもよい。また、処理制御は、処理制御部が
圧縮ストリーム管理部の持つ管理情報(圧縮ストリーム
数)を参照しながら行う、というものだったが、圧縮ス
トリーム管理部の側から処理制御部に対して、圧縮スト
リーム数が変動する毎に、その値を通知するというかた
ちにしてもよい。
【0063】また、実施の形態3以外では、処理制御を
マクロブロック単位でおこなっていたが、実施の形態3
と同様にGOP毎に一度としてもよい。また、上記の4
つの実施の形態で説明した、復号処理制御の内容につい
ては、組み合わせての実施が可能である。組み合わせに
ついても、特定のビデオストリームのみを対象とする方
法、ストリーム毎に別々の制御を行う方法などが考えら
れる。画質的に最も影響の小さいと思われる高周波成分
の切り捨てのみ行うようにしてもよいし、色彩が重要で
ない画像に限って、色差信号のAC成分の逆DCT変換
処理停止の制御を行うようにしてもよい。さらに、操作
者とのインタフェイス手段を設けて、どの制御を行う
か、あるいは制御の組み合わせを、操作者の指定により
決定することにしてもよい。
マクロブロック単位でおこなっていたが、実施の形態3
と同様にGOP毎に一度としてもよい。また、上記の4
つの実施の形態で説明した、復号処理制御の内容につい
ては、組み合わせての実施が可能である。組み合わせに
ついても、特定のビデオストリームのみを対象とする方
法、ストリーム毎に別々の制御を行う方法などが考えら
れる。画質的に最も影響の小さいと思われる高周波成分
の切り捨てのみ行うようにしてもよいし、色彩が重要で
ない画像に限って、色差信号のAC成分の逆DCT変換
処理停止の制御を行うようにしてもよい。さらに、操作
者とのインタフェイス手段を設けて、どの制御を行う
か、あるいは制御の組み合わせを、操作者の指定により
決定することにしてもよい。
【0064】さらに、上記の実施例ではいずれも、各部
(可変長復号部、逆DCT部)が処理内容制御部の指示
のもとに処理内容を変更していたが、処理内容制御部を
設けず、処理内容を変更するかどうかの判定は各部が独
自に行うようにしてもよい。その際には、処理対象のデ
ータとともに、判定に必要な情報(ストリーム数、閾
値、ピクチャ種類、ブロック種類)が各部に送出されて
くることが前提となる。
(可変長復号部、逆DCT部)が処理内容制御部の指示
のもとに処理内容を変更していたが、処理内容制御部を
設けず、処理内容を変更するかどうかの判定は各部が独
自に行うようにしてもよい。その際には、処理対象のデ
ータとともに、判定に必要な情報(ストリーム数、閾
値、ピクチャ種類、ブロック種類)が各部に送出されて
くることが前提となる。
【0065】
【発明の効果】以上の説明から明らかなように、本発明
のマルチメディア情報処理装置は、MPEGストリーム
である圧縮ストリームを復号する復号手段と、前記復号
手段が復号したストリームを表示する表示手段とを少な
くとも備えるマルティメディア情報処理装置であって、
前記復号手段にかかる復号処理の負荷を計測する負荷計
測手段と、前記負荷計測手段の計測結果に応じて前記復
号手段の処理内容を制御する復号処理制御手段を有する
ことを特徴としているので、復号処理の負荷に応じて復
号処理野内容を制御して、マイクロプロセッサの負荷あ
るいはトラフィックの増大を抑え、復号ストリームの表
示段階における駒落ちの発生を防ぐことができる。
のマルチメディア情報処理装置は、MPEGストリーム
である圧縮ストリームを復号する復号手段と、前記復号
手段が復号したストリームを表示する表示手段とを少な
くとも備えるマルティメディア情報処理装置であって、
前記復号手段にかかる復号処理の負荷を計測する負荷計
測手段と、前記負荷計測手段の計測結果に応じて前記復
号手段の処理内容を制御する復号処理制御手段を有する
ことを特徴としているので、復号処理の負荷に応じて復
号処理野内容を制御して、マイクロプロセッサの負荷あ
るいはトラフィックの増大を抑え、復号ストリームの表
示段階における駒落ちの発生を防ぐことができる。
【0066】制御の方法としては先ず、前記復号手段が
少なくとも周波数逆変換処理を行う周波数逆変換部を有
する場合に、前記復号処理制御手段が前記周波数逆変換
部に対し、PピクチャまたはBピクチャに対する周波数
逆変換処理を実行させないように制御する方法があり、
これによれば、駒落ち発生の可能性がある場合は、Pま
たはBピクチャの逆DCT変換処理を行わないようにす
るので、その処理の分だけマイクロプロセッサの負荷を
減らすことができ、駒落ち発生の可能性を小さくでき
る。
少なくとも周波数逆変換処理を行う周波数逆変換部を有
する場合に、前記復号処理制御手段が前記周波数逆変換
部に対し、PピクチャまたはBピクチャに対する周波数
逆変換処理を実行させないように制御する方法があり、
これによれば、駒落ち発生の可能性がある場合は、Pま
たはBピクチャの逆DCT変換処理を行わないようにす
るので、その処理の分だけマイクロプロセッサの負荷を
減らすことができ、駒落ち発生の可能性を小さくでき
る。
【0067】また、前記復号手段が、少なくとも可変長
復号処理を行う可変長復号部を有する場合に、前記復号
処理制御手段が前記可変長復号部に対し、各ブロック内
の周波数成分を所定数分のみ周波数の低いものから可変
長復号の後、次のブロックの検出まで可変長復号処理を
停止させるように制御すれば、可変長復号処理の処理量
を減ずることができ、その結果、マイクロプロセッサの
負荷を減らして駒落ち発生の可能性を小さくできる。
復号処理を行う可変長復号部を有する場合に、前記復号
処理制御手段が前記可変長復号部に対し、各ブロック内
の周波数成分を所定数分のみ周波数の低いものから可変
長復号の後、次のブロックの検出まで可変長復号処理を
停止させるように制御すれば、可変長復号処理の処理量
を減ずることができ、その結果、マイクロプロセッサの
負荷を減らして駒落ち発生の可能性を小さくできる。
【0068】さらに、前記復号手段が少なくとも周波数
逆変換処理を行う周波数逆変換部を有する場合に、前記
周波数逆変換部は、実行結果として得られる画素数が異
なる周波数逆変換処理実行用の異なった複数の演算式を
有し、前記復号処理制御手段が前記周波数逆変換部に対
し、前記負荷計測手段の計測する負荷の大きさに応じて
前記演算式から一つを選択して、この選択された演算式
によって周波数逆変換処理を実行させるよう制御すれ
ば、逆DCT変換処理の行列演算の演算量が小さくなる
分マイクロプロセッサの処理負荷が小さくなるだけでな
く、復号結果の画素数が減る分、バスを通る復号ストリ
ームのデータ量も減るので、マイクロプロセッサの負荷
削減、バス上のトラフィック量削減の二つの点から、駒
落ち防止の効果がある。
逆変換処理を行う周波数逆変換部を有する場合に、前記
周波数逆変換部は、実行結果として得られる画素数が異
なる周波数逆変換処理実行用の異なった複数の演算式を
有し、前記復号処理制御手段が前記周波数逆変換部に対
し、前記負荷計測手段の計測する負荷の大きさに応じて
前記演算式から一つを選択して、この選択された演算式
によって周波数逆変換処理を実行させるよう制御すれ
ば、逆DCT変換処理の行列演算の演算量が小さくなる
分マイクロプロセッサの処理負荷が小さくなるだけでな
く、復号結果の画素数が減る分、バスを通る復号ストリ
ームのデータ量も減るので、マイクロプロセッサの負荷
削減、バス上のトラフィック量削減の二つの点から、駒
落ち防止の効果がある。
【0069】そして、前記復号手段が、少なくとも周波
数逆変換処理を行う周波数逆変換部を有する場合に、前
記復号処理制御手段が、前記周波数逆変換部に対し、色
差信号の逆周波数変換処理においては直流成分の逆周波
数を求めた段階で変換処理を打ち切り、前記直流成分の
逆周波数変換処理後の値で処理対象ブロックの全画素値
を設定するよう制御すれば、64個の成分(画素)のう
ち1成分(画素)のみを変換処理で求め、この値を残り
63成分(画素)に設定するので、ブロック全体に変換
処理を行う場合よりは、処理量が減り、マイクロプロセ
ッサの負荷が削減されて、駒落ち防止の効果がある。
数逆変換処理を行う周波数逆変換部を有する場合に、前
記復号処理制御手段が、前記周波数逆変換部に対し、色
差信号の逆周波数変換処理においては直流成分の逆周波
数を求めた段階で変換処理を打ち切り、前記直流成分の
逆周波数変換処理後の値で処理対象ブロックの全画素値
を設定するよう制御すれば、64個の成分(画素)のう
ち1成分(画素)のみを変換処理で求め、この値を残り
63成分(画素)に設定するので、ブロック全体に変換
処理を行う場合よりは、処理量が減り、マイクロプロセ
ッサの負荷が削減されて、駒落ち防止の効果がある。
【0070】なお、前記負荷計測手段は、前記復号手段
が並行して復号処理を施す圧縮ストリーム数によって、
負荷の大きさを判定することができる。
が並行して復号処理を施す圧縮ストリーム数によって、
負荷の大きさを判定することができる。
【図1】本発明のマルチメディア情報処理装置の実施の
形態1における構成を示すブロック図である。
形態1における構成を示すブロック図である。
【図2】本発明のマルチメディア情報処理装置が処理す
るストリームデータの一例の構造を示す図である。
るストリームデータの一例の構造を示す図である。
【図3】本実施の形態における複数圧縮ストリームデー
タの平行処理の模式図である。
タの平行処理の模式図である。
【図4】圧縮ストリームデータの最小単位である1ブロ
ック分のデータの内容が復号処理によってどう変わって
行くかを示す図である。
ック分のデータの内容が復号処理によってどう変わって
行くかを示す図である。
【図5】同実施の形態における復号処理制御の動作を示
すフローチャートである。
すフローチャートである。
【図6】本発明のマルチメディア情報処理装置の実施の
形態2における構成を示すブロック図である。
形態2における構成を示すブロック図である。
【図7】同実施の形態における可変長復号処理前後のデ
ータを示す図である。
ータを示す図である。
【図8】本発明のマルチメディア情報処理装置の実施の
形態3における構成を示すブロック図である。
形態3における構成を示すブロック図である。
【図9】同実施の形態における逆DCT変換処理結果の
模式図である。
模式図である。
【図10】同実施の形態における復号処理制御の動作を
示すフローチャートである。
示すフローチャートである。
【図11】本発明のマルチメディア情報処理装置の実施
の形態4における構成を示すブロック図である。
の形態4における構成を示すブロック図である。
【図12】同実施の形態における復号処理制御の動作を
示すフローチャートである。
示すフローチャートである。
110 制御部 120 マルチタスク部 130 表示部 140 受信部 150 蓄積メディア部 160 圧縮データ格納部 170 その他ソフトウェア部 180 復号部 181 圧縮ストリーム制御部 182 可変長復号部 183 逆量子化部 184 逆DCT部 184a 処理停止部 184b ダミーデータ送出部 185 動き補償予測部 186 復号ストリーム制御部 187 処理内容制御部 187a 判定部 187b 逆DCT制御部 600 復号部 610 可変長復号部 611 カウンタ部 620 処理内容制御部 622 可変長復号制御部 800 復号部 810 逆DCT部 811 基底選択部 820 処理内容制御部 821 判定部 822 逆DCT制御部 1110 逆DCT部 1111 演算停止部 1120 処理内容制御部 1122 逆DCT制御部
Claims (6)
- 【請求項1】 動画を圧縮して得られる圧縮ストリーム
を復号する復号手段と、前記復号手段が復号したストリ
ームを表示する表示手段とを少なくとも備えるマルティ
メディア情報処理装置であって、 前記復号手段にかかる復号処理の負荷を計測する負荷計
測手段と、 前記負荷計測手段の計測結果に応じて前記復号手段の処
理内容を、復号処理量を低減させる形で制御する復号処
理制御手段を有することを特徴とするマルチメディア情
報処理装置。 - 【請求項2】 前記復号手段は、周波数逆変換処理を行
う第1の周波数逆変換部を有し、 前記復号処理制御手段は、前記第1の周波数逆変換部に
対し、PピクチャまたはBピクチャに対する周波数逆変
換処理を実行させないように制御することを特徴とする
請求項1記載のマルチメディア情報処理装置。 - 【請求項3】 前記復号手段は、可変長復号処理を行う
可変長復号部を有し、 前記復号処理制御手段は、前記可変長復号部に対し、各
ブロック内の周波数成分を周波数の低いものから所定数
だけ可変長復号の後、次のブロックの検出まで可変長復
号処理を停止させるように制御することを特徴とする請
求項1または2のいずれかに記載のマルチメディア情報
処理装置。 - 【請求項4】 前記復号手段は、周波数逆変換処理を行
う第2の周波数逆変換部を有し、 前記第2の周波数逆変換部は、逆周波数変換処理を実行
するための異なった演算式を複数有し、 前記演算式はそれぞれ結果として得られる画素数が異な
り、 前記復号処理制御手段は、前記第2の周波数逆変換部に
対し、前記負荷計測部の計測した負荷の大きさに応じて
前記演算式を選択させ、この選択された演算式によって
周波数逆変換処理を実行させることを特徴とする請求項
1から請求項3のいずれかに記載のマルチメディア情報
処理装置。 - 【請求項5】 前記復号手段は、周波数逆変換処理を行
う第3の周波数逆変換部を有し、 前記復号処理制御手段は、前記第3の周波数逆変換部に
対し、色差信号の逆周波数変換処理においては直流成分
の画素値を求めた段階で変換処理を打ち切り、前記直流
成分の逆周波数変換処理後の値で処理対象ブロックの全
画素値を設定するよう制御することを特徴とする請求項
1から請求項4のいずれかに記載のマルチメディア情報
処理装置。 - 【請求項6】 前記負荷計測手段は、前記復号手段が並
行して同時に復号処理を施す圧縮ストリームの数によっ
て、負荷を計測することを特徴とする、請求項1から請
求項5のいずれかに記載のマルチメディア情報処理装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30201197A JPH11146398A (ja) | 1997-11-04 | 1997-11-04 | マルチメディア情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30201197A JPH11146398A (ja) | 1997-11-04 | 1997-11-04 | マルチメディア情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11146398A true JPH11146398A (ja) | 1999-05-28 |
Family
ID=17903823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30201197A Pending JPH11146398A (ja) | 1997-11-04 | 1997-11-04 | マルチメディア情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11146398A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002262190A (ja) * | 2001-03-02 | 2002-09-13 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
WO2004015985A1 (en) * | 2002-07-29 | 2004-02-19 | Koninklijke Philips Electronics N.V. | Irregular processing of media data with continuous output |
US6952451B2 (en) | 2000-10-04 | 2005-10-04 | Sanyo Electric Co., Ltd. | Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display |
EP1646243A1 (en) | 2004-09-30 | 2006-04-12 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
JP2006101236A (ja) * | 2004-09-29 | 2006-04-13 | Nec Personal Products Co Ltd | 動画編集システム |
JP2007288443A (ja) * | 2006-04-14 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 画像データ復号装置 |
JP2008526077A (ja) * | 2004-12-22 | 2008-07-17 | エヌエックスピー ビー ヴィ | ビデオストリーム変更装置 |
JP2008532405A (ja) * | 2005-03-03 | 2008-08-14 | エヌエックスピー ビー ヴィ | Mpegデコーダのための適応型フォールバックシステム |
JP2012513135A (ja) * | 2008-12-19 | 2012-06-07 | トムソン ライセンシング | ビデオストリームをブラウジングする方法 |
US8811804B2 (en) | 2010-02-16 | 2014-08-19 | Fujitsu Limited | Methods and systems for reducing moving image data volume while maintaining luminance data of the moving image |
JP2014232192A (ja) * | 2013-05-29 | 2014-12-11 | 三菱電機株式会社 | マルチディスプレイシステム |
-
1997
- 1997-11-04 JP JP30201197A patent/JPH11146398A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6952451B2 (en) | 2000-10-04 | 2005-10-04 | Sanyo Electric Co., Ltd. | Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display |
JP2002262190A (ja) * | 2001-03-02 | 2002-09-13 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
WO2004015985A1 (en) * | 2002-07-29 | 2004-02-19 | Koninklijke Philips Electronics N.V. | Irregular processing of media data with continuous output |
JP2006101236A (ja) * | 2004-09-29 | 2006-04-13 | Nec Personal Products Co Ltd | 動画編集システム |
EP1646243A1 (en) | 2004-09-30 | 2006-04-12 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
US8040951B2 (en) | 2004-09-30 | 2011-10-18 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
JP2008526077A (ja) * | 2004-12-22 | 2008-07-17 | エヌエックスピー ビー ヴィ | ビデオストリーム変更装置 |
US8363714B2 (en) | 2004-12-22 | 2013-01-29 | Entropic Communications, Inc. | Video stream modifier |
US8798135B2 (en) | 2004-12-22 | 2014-08-05 | Entropic Communications, Inc. | Video stream modifier |
JP2008532405A (ja) * | 2005-03-03 | 2008-08-14 | エヌエックスピー ビー ヴィ | Mpegデコーダのための適応型フォールバックシステム |
JP2007288443A (ja) * | 2006-04-14 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 画像データ復号装置 |
JP2012513135A (ja) * | 2008-12-19 | 2012-06-07 | トムソン ライセンシング | ビデオストリームをブラウジングする方法 |
US9277210B2 (en) | 2008-12-19 | 2016-03-01 | Thomson Licensing | Method and apparatus for partial coefficient decoding and spatial scaling |
US8811804B2 (en) | 2010-02-16 | 2014-08-19 | Fujitsu Limited | Methods and systems for reducing moving image data volume while maintaining luminance data of the moving image |
JP2014232192A (ja) * | 2013-05-29 | 2014-12-11 | 三菱電機株式会社 | マルチディスプレイシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160219293A1 (en) | Image decoding device and method thereof using inter-coded predictive encoding code | |
JPH1066087A (ja) | シーン変化点検出方法および動画像の編集表示方法 | |
JP2001346216A (ja) | 動画像圧縮方法および情報処理装置 | |
JPH11146398A (ja) | マルチメディア情報処理装置 | |
JP2007235191A (ja) | 映像再生装置及び映像再生方法 | |
CA2160562A1 (en) | Adaptive video decompression | |
JP2000350212A (ja) | 映像信号復号装置並びに映像信号表示システム | |
JP2001203975A (ja) | 画像記録装置 | |
JP2003069832A (ja) | 画像処理装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP3061125B2 (ja) | Mpeg画像再生装置およびmpeg画像再生方法 | |
JPH10285542A (ja) | 録画装置および録画方法 | |
US6760292B1 (en) | Disc recorder for recording coded data to be reproduced in real time and method of doing the same | |
JP4192149B2 (ja) | データ処理装置およびデータ処理方法 | |
JPH08149408A (ja) | ディジタル動画編集方法及び装置 | |
JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
JP4264535B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP3141149B2 (ja) | 画像符号化装置 | |
JP2003179826A (ja) | 画像再生表示装置 | |
JP4293151B2 (ja) | 映像符号化方法及び映像記録装置 | |
JPH0898142A (ja) | 画像再生装置 | |
JPH08214301A (ja) | 画像信号復号化方法及び画像信号復号化装置 | |
JP3797241B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2005229553A (ja) | 画像処理装置 | |
JPH06276482A (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
JPH08181999A (ja) | 動画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040601 |