JPH11239348A - 映像音声処理装置 - Google Patents
映像音声処理装置Info
- Publication number
- JPH11239348A JPH11239348A JP33629798A JP33629798A JPH11239348A JP H11239348 A JPH11239348 A JP H11239348A JP 33629798 A JP33629798 A JP 33629798A JP 33629798 A JP33629798 A JP 33629798A JP H11239348 A JPH11239348 A JP H11239348A
- Authority
- JP
- Japan
- Prior art keywords
- interrupt
- state
- processing
- header analysis
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ムデータの入力、デコード、出力という一連の処理を行
い、高い周波数で動作させなくても高い処理能力を有
し、製造コストを低減させることができる映像音声処理
装置を提供することを目的とする。 【解決手段】 本発明の映像音声処理装置は、入出力処
理部と、デコード処理部とを備える。入出力処理部は、
外部より非同期に入力される前記データストリームのメ
モリへの格納と格納されたデータストリームのデコード
処理部への供給とをデコード処理部とは独立して行う。
デコード処理部は、データストリームの圧縮映像データ
のヘッダ解析と圧縮音声データの全デコードとを行う逐
次処理部と、ヘッダ解析結果に基いて圧縮映像データの
ヘッダ解析以外のデコードを行う定型処理部とから構成
され、特に逐次処理部においてはヘッダ解析を音声デコ
ードより優先的に行う。
Description
の技術分野に関するものであって、圧縮された映像及び
音声データの伸長、映像及び音声データの圧縮、グラフ
ィックス処理などを行う映像音声処理装置に関する。
長技術が確立されてきたことや、LSI技術が向上して
きたことがあいまって、圧縮映像及び音声データを伸長
するデコーダ、映像及び音声データを圧縮するエンコー
ダ、グラフィックス処理を行うグラフィックス処理装置
などの種々の映像音声処理装置が重要視されている。
Picture Experts Group)規格の圧縮映像及び音声デー
タを伸長する映像音声デコーダがある。この映像音声デ
コーダは、2つのプロセッサを用いて1プロセッサが映
像デコード、他の1プロセッサが音声デコードを行う。
図1に上記映像音声デコード処理の説明図を示す。同図
において縦軸は時間を、横軸は映像デコードを行う映像
用プロセッサと音声デコードを行う音声用プロセッサそ
れぞれの演算量を表している。
クロブロック単位に逐次処理と映像データ本体部分のデ
コード処理とを交互に行う。映像デコードにおいて逐次
処理は、マクロブロックヘッダ部分の解析(ヘッダ解
析)であり、本体部分のデコード処理は、マクロブロッ
クのデコード(ブロックデコード)である。ヘッダ解析
は、多岐にわたる条件判断を必要とする処理であり、そ
の演算量は少ない。ブロックデコードは、ヘッダ解析結
果の各種データを用いて、MPEGストリームの可変長
符号を復号し、さらにブロック単位に逆量子化、逆離散
余弦変換等を行う処理であり、その演算量は大きい。
タの逐次処理と音声データ本体部分のデコード処理とを
交互に行う。
技術によれば、次のような問題があった。従来技術の映
像音声デコーダにおいては、コストがかかるという問題
があった。なぜなら特に映像用プロセッサは、大量の画
像データをリアルタイムに処理することが要求されるた
め、処理能力の高い、つまり高速クロックで動作する高
価なプロセッサを使用する必要があるからである。
ナー(STB(Set Top Box)と呼ばれる)やDVD(D
igital Versatile/Video Disc)再生装置などに用いら
れるAVデコーダ中に上記映像音声処理装置が用いられ
る場合には、放送波から受信されたあるいはディスクか
ら読み出されたMPEGストリームを入力し、そのMP
EGストリームをデコードし、最終的にディスプレイ、
スピーカなどへ映像信号出力及び音声信号出力をするま
でに必要とされる一連の処理量は膨大なものとなる。最
近では、このような一連の膨大な処理を効率良く実行す
る映像音声処理装置に対する要求が高まっている。
び圧縮音声データを表すストリームデータの入力、デコ
ード、出力という一連の処理を行い、高い周波数で動作
させなくても高い処理能力を有し、製造コストを低減さ
せることができる映像音声処理装置を提供することを目
的とする。
め、本発明の映像音声処理装置は、圧縮音声データと圧
縮映像データとを含むデータストリームをデコードする
ことにより映像データ及び音声データを復元する映像音
声処理装置であって、データストリーム中の圧縮映像デ
ータに含まれる所定ブロックのヘッダ解析を行うヘッダ
解析処理とデータストリーム中の圧縮音声データのデコ
ードを行う音声デコード処理とを行い、ヘッダ解析処理
を音声デコード処理より優先的に行う逐次処理手段と、
前記逐次処理手段と並行して、データストリーム中の圧
縮映像データのヘッダ解析処理を除く圧縮映像データの
デコード処理を行う定型処理手段とから構成される。
ロセッサが実行するためのヘッダ解析用スレッドと音声
デコード用スレッドとスレッド切替制御用スレッドとを
記憶するメモリとを有し、プロセッサがヘッダ解析用ス
レッドをメモリから読み出して実行することによりヘッ
ダ解析処理を行うヘッダ解析手段と、プロセッサが音声
デコード用スレッドをメモリから読み出して実行するこ
とにより音声デコード処理を行う音声デコード手段と、
プロセッサがスレッド切替え制御用スレッドをメモリか
ら読み出して実行することにより、ヘッダ解析処理を優
先するようにプロセッサに割り当てるスレッドを切り替
える制御を行う制御手段とを備える。
となる割り込みの発生とその種別を検出する割り込み検
出手段と、割り込みの種別に応じて遷移するヘッダ解析
手段および音声デコード手段の状態が実行状態であるか
待ち状態であるか実行可能状態であるかを管理する状態
管理手段と、ヘッダ解析手段が待ち状態から実行可能状
態に遷移したときプロセッサに割り当てるスレッドを他
のスレッドからヘッダ解析用スレッドに切り替える切替
え手段とを備えることができる。
び音声デコード処理それぞれの状態を記憶する状態テー
ブルと、割り込みの種別に応じて状態テーブルの更新を
行う状態更新手段とを備えることができる。ここで前記
所定ブロックは、データストリーム中の圧縮映像データ
に含まれるマクロブロックであり、割り込み検出手段
は、ヘッダ解析手段によるマクロブロックのヘッダ解析
が終了したときヘッダ解析手段により出力される第1割
り込みと、マクロブロックの復号が終了したとき定型処
理手段により出力される第2割り込みとを検出し、状態
更新手段は、割り込み検出手段により第1割り込みが検
出されると状態テーブル中のヘッダ解析手段の状態を待
ち状態に更新し、割り込み検出手段により第2割り込み
が検出されると状態テーブルのヘッダ解析手段の状態を
実行可能状態に更新するよう構成することができる。
状態である場合、音声デコード手段が待ち状態から実行
可能状態に遷移したとき音声デコード用スレッドをプロ
セッサに割り当てるよう構成することができる。さらに
前記定型処理手段は、データストリーム中の圧縮映像デ
ータを可変長復号するコード変換手段と、可変長復号に
より得られた映像ブロックに対して、所定の演算を施す
ことにより逆量子化および逆離散余弦変換を行う演算手
段と、逆離散余弦変換後の映像ブロックと復号済みのブ
ロックを合成することにより動き補償処理を行って映像
データを復元する合成手段とを備え、ヘッダ解析手段
は、コード変換手段に要求して可変長復号されたヘッダ
情報を取得する取得手段と、取得されたヘッダ情報の解
析を行い、続いて動きベクトルの算出を行う解析手段
と、解析結果として得られるパラメータを定型処理手段
に通知する通知手段と、解析手段による解析過程の所定
時点においてコード変換手段にブロックの可変長復号開
始を指示する開始指示手段とを備えることができる。
映像音声処理装置は、衛星放送受信装置(STB:Set
Top Boxと呼ばれる)、DVD(Digital Versatile Dis
c)再生装置、DVD−RAM記録再生装置などに備え
られ、圧縮映像音声データとして衛星放送から又はDV
DからのMPEGストリームが入力されると、伸長処理
(以下、単にデコードと呼ぶ)を行って、映像データ及
び音声データを外部の出力装置に出力する。<1 映像
音声処理装置の概略構成>図2は、本発明の実施形態に
おける映像音声処理装置の概略構成を示すブロック図で
ある。
部1001、デコード処理1002、メモリコントロー
ラ6を備え、入出力処理とデコード処理とを並行して行
うよう構成されている。また、外部メモリ3は、MPE
Gストリームやデコード後の音声データを一時的に記憶
する作業用メモリ、デコード後の映像データを記憶する
フレームメモリとして利用される。 <1.1 入出力処理部>入出力処理部1001は、映像
音声処理装置1000の内部動作とは非同期に発生する
入出力処理を行う。この入出力処理は、(a)外部から
非同期に入力されるMPEGストリームを入力して外部
メモリ3に一時的に格納すること、(b)外部メモリ3
に格納されたMPEGストリームをデコード処理部10
02に供給すること、(c)デコードされた映像デー
タ、音声データを外部メモリ3から読み出し、外部の表
示装置、音声出力装置(図外)それぞれの出力レートに
合わせて出力することを内容とする。 <1.2 デコード処理部>デコード処理部1002は、
入出力処理部1001の動作とは独立に並行して、入出
力処理部1001によって供給されるMPEGストリー
ムをデコードし、デコード後の映像データ及び音声デー
タを外部メモリ3に格納する。MPEGストリームの圧
縮映像データのデコード処理は演算量が多く処理内容が
多岐にわたるため、デコード処理部1002は、逐次処
理部1003と、定型処理部1004とを備え、それぞ
れが処理を分担する。すなわち逐次処理部1003は、
圧縮映像データのマクロブロックヘッダ部分のヘッダ解
析処理を行い、定型処理部1004は、圧縮映像データ
のマクロブロック本体部分のデコード処理を行う。この
ようにデコード処理部1002においては、圧縮映像デ
ータのマクロブロック毎に逐次処理部1003と定型処
理部1004とが一回ずつそれぞれの処理を行う。
タとそのマクロブロックの関係について説明する。図3
は、MPEGストリームとマクロブロックとの関係を示
す階層構造図である。第1階層は、MPEGストリーム
の流れを示す。第2階層は、1秒間のMPEGストリー
ムであり、複数のフレーム(I、P、Bピクチャ)を含
む。第3階層はフレームであり、1フレームはピクチャ
ヘッダと複数のスライスを含む。第4階層はスライスで
あり、1スライスは、スライスヘッダと複数のマクロブ
ロックを含む。第5階層はマクロブロックであり、1マ
クロブロックはマクロブロックヘッダ部分と6つのブロ
ックを含む。6つのブロックは、4つの輝度ブロックと
2つの色差ブロックであり、ブロックは、8*8画素か
らなる画像を表す。この6つのブロックがマクロブロッ
ク本体部分に相当する。
は、公知文献、例えば株式会社アスキー「ポイント図解
式最新MPEG教科書」に詳しく説明されている。一
方、圧縮音声データのデコード処理(以下音声デコード
処理と略す)は、処理量が圧縮映像データのデコードに
比べて少ない。従って音声デコード処理については、逐
次処理部1003が1マクロブロックのヘッダ解析処理
と次の1マクロブロックのヘッダ解析処理との間の時間
帯に行う。
ッダ解析処理と音声デコード処理とを行う。逐次処理部
1003は、これら2つの処理を、ヘッダ解析処理を優
先的に、それぞれの処理が記述されたプログラムの実行
により逐次的に行う。以下これらの処理をまとめて逐次
処理と呼ぶ。また、定型処理部1004は、マクロブロ
ック本体部分のデコード処理を行う。この処理はブロッ
ク単位に定型的な各種演算を大量に施す処理である。以
下この処理を定型処理と呼ぶ。 <1.2.1 逐次処理部>逐次処理部1003は、プロセ
ッサとメモリとを有し、プロセッサがメモリ中のスレッ
ドプログラム(以下スレッド)を実行することにより優
先的に行うヘッダ解析処理と音声デコード処理とを行
う。逐次処理部1003においては、ヘッダ解析処理を
音声デコード処理より優先させるために、OSがそれら
の処理の実行を制御する。なおここにおいてスレッドと
はマルチスレッドの環境で行われるひとかたまりの処理
プログラムのことを指す。
のヘッダ情報の解析と動きベクトルの計算とを含む。マ
クロブロックのヘッダ部分には、マクロブロック本体部
分のデコードを行うにあたって必要となる情報(ヘッダ
情報)が記録されており、逐次処理部1003は、解析
によって得られた各種データを定型処理部1004に出
力する。動きベクトルとは、参照フレーム中の8*8の
矩形領域を指すベクトルであり、当該ブロックが参照フ
レーム中のどの矩形領域との差分がとられたかを指し示
す。
タのヘッダ部分の解析とデータ本体部分のデコードとを
逐次処理部1003内部のみで独立して行う。このため
音声デコード処理の中断及び再開はヘッダ解析処理に比
べて容易である。また、上記のように音声デコード処理
は、ヘッダ解析と次のヘッダ解析との間の時間帯で十分
に処理できるほど処理量が少ない。これらの理由から逐
次処理部1003においてはヘッダ解析処理を音声デコ
ード処理より優先的に行うよう構成されている。
実行可能な場合には、必ずヘッダ解析処理を実行するよ
う制御する。このときOSは、音声デコード処理が実行
中である場合には、音声デコード処理を中断してからヘ
ッダ解析を実行させる。 <1.2.2 定型処理部>定型処理部1004は、定型処
理として、マクロブロック本体部分について、可変長符
号の復号(VLD:Variable Length code Decoding)、
逆量子化(IQ:Inverse Quantization)、逆離散余弦
変換(IDCT:Inverse Discrete Cosine Transfor
m)、動き補償(MC:Motion Compensation)を同順に
パイプライン方式によって行う。ただし逐次処理部10
03は、VLDについては、マクロブロック本体部分の
みでなく、マクロブロックのヘッダ部分についても行っ
て、VLDされたヘッダ部分のデータを逐次処理部10
03に出力する。
て、復号後のブロックをフレームメモリとしての外部メ
モリ3にメモリコントローラ6を介して格納する。 <2 映像音声処理装置の構成>図4は、映像音声処理
装置1000のより詳細な構成を示すブロック図であ
る。 <2.1 入出力処理部の構成>同図において入出力処理
部1001は、ストリーム入力部1、バッファメモリ
2、入出力プロセッサ5(以下IOプロセッサ5と略
す)、DMAC(Direct Memory Access Controller)
5a、ビデオ出力部12、音声出力部13、ホストI/
F部14とを備える。
に入力されるMPEGデータストリームをパラレルデー
タ(以降、MPEGデータと呼ぶ)に変換する。その
際、ストリーム入力部1は、MPEGデータストリーム
からGOP(Group Of Picture:Iピクチャを1つ含み、
約0.5秒分の動画に相当するMPEGデータストリー
ム)のスタートコードを検出し、その旨をIOプロセッ
サ5に通知する。この通知により変換後のMPEGデー
タは、IOプロセッサ5の制御によりバッファメモリ2
に転送される。
から転送されたMPEGデータを一時的に保持する緩衝
用メモリである。バッファメモリ2に保持されたMPE
Gデータは、さらに入出力プロセッサ5の制御の下でメ
モリコントローラ6を介して外部メモリ3に転送され
る。外部メモリ3は、SDRAM(Synchronous Dynami
c Random Access Memory)チップにより構成され、バッ
ファメモリ2からメモリコントローラ6を介して転送さ
れたMPEGデータを一時的に保持する。さらに、外部
メモリ3は復号後の映像データ(以降、フレームデータ
とも呼ぶ)および復号後の音声データも保持する。
1、バッファメモリ2、外部メモリ3(メモリコントロ
ーラ6が介在する)、FIFOメモリ4の間のデータ入
出力を制御する。すなわち以下の(1)〜(4)に示す
経路のデータ転送(DMA転送)を制御する。 (1)ストリーム入力部1→バッファメモリ2→メモリコント
ローラ6→外部メモリ3 (2)外部メモリ3→メモリコントローラ6→FIFOメモリ4 (3)外部メモリ3→メモリコントローラ6→バッファメモリ2
→ビデオ出力部12 (4)外部メモリ3→メモリコントローラ6→バッファメモリ2
→音声出力部13 これらの径路において入出力プロセッサ5は、MPEG
データ中の映像データと音声データとを独立にそれぞれ
の転送を制御する。また、(1)、(2)は復号前のM
PEGデータの転送経路である。(1)、(2)の転送
経路において入出力プロセッサ5は、圧縮映像データと
圧縮音声データとを別個に転送する。(3)、(4)は
それぞれ、復号後の映像、音声データの転送経路であ
る。復号後の映像、音声データは、外部の表示装置(図
外)、音声出力装置(図外)それぞれの出力レートに合
わせて転送される。
デオ出力部12、音声出力部13とバッファメモリ2と
の間のDMA転送、バッファメモリ2と外部メモリ3と
の間のDMA転送、外部メモリ3とFIFOメモリ4の
間のDMA転送をIOプロセッサ5の制御に従って実行
する。ビデオ出力部12は、外部の表示装置(CRT
等)の出力レート(たとえば水平同期信号Hsyncの周
期)に合せて入出力プロセッサ5にデータ要求を出し、
入出力プロセッサ5により上記(3)の転送経路により
入力される映像データをその表示装置に出力する。
出力レートに合せて入出力プロセッサ5にデータ要求を
出し、入出力プロセッサ5により上記(4)の転送経路
により入力される音声データを音声出力装置(D/Aコ
ンバータ、音声アンプ、スピーカの組み合わせ等)に出
力する。ホストI/F部14は、外部のホストプロセッ
サ、たとえばDVD再生装置の場合にはその制御全般を
行うプロセッサとの通信を行うためのインターフェース
である。この通信では、ホストプロセッサからMPEG
ストリームのデコード開始、停止、早送り再生、逆再生
等の指示などが送られる。 <2.2 デコード処理部の構成>図4においてデコード
処理部1002は、FIFOメモリ4、逐次処理部10
03、定型処理部1004を備え、入出力処理部100
1からFIFOメモリ4を介して供給されるMPEGデ
ータのデコード処理を行う。また、逐次処理部1003
は、プロセッサ7、内部メモリ8を備える。定型処理部
1004は、コード変換部9、画素演算部10、画素読
み書き部11、バッファ200、バッファ201を備え
る。
なり、IOプロセッサ5の制御の下で外部メモリ3から
転送された圧縮映像データ、圧縮音声データをそれぞれ
先入れ先出し式に記憶する。 <2.2.1 逐次処理部>プロセッサ7は、内部メモリ8
に記憶されるOSを実行し、OSの制御の下に同じく内
部メモリ8に記憶されるヘッダ解析処理用のプログラ
ム、音声デコード処理用のプログラムを切替えながら行
う。以下にヘッダ解析処理と音声デコード処理の詳細を
説明する。 <2.2.1.1 ヘッダ解析処理>図5は、プロセッサ7が
実行するヘッダ解析処理の詳細と他の各部への制御内容
を示す。なお、同図に略語で示されるマクロブロックヘ
ッダ中の各データは上記文献等に説明されているのでこ
こでは説明を省略する。
部9にコマンドを発行してVLDされたヘッダ部分のデ
ータを逐次取得し、その内容に従ってコード変換部9、
画素演算部10、画素読み書き部11に対してマクロブ
ロックのデコードに必要な各種データを設定する。また
プロセッサ7は、ヘッダ解析の途中でコード変換部9に
マクロブロック本体部分のデコード開始を指示する。
換部9にMBAI(Macro Block Address Increment)
を取得するためのコマンド発行して(S101)、コー
ド変換部9からMBAIを取得する。このMBAIに基
き当該マクロブロックデータがスキップマクロブロック
(skipped macro block)であれば(今デコードしよう
としているマクロブロックが前フレームの対応するマク
ロブロックと同じであれば)、マクロブロックが省略さ
れているのでS118に進み、スキップマクロブロック
でなければヘッダ解析を続ける(S102、S10
3)。
ock Type)を取得するためのコマンドを発行して、コー
ド変換部9からMBTを取得する。このMBTからブロ
ックのスキャンタイプがジグザグスキャンかオールタネ
ートスキャンかを判断し、画素演算部10にバッファ2
00の読み出し順序を指示する(S104)。さらに、
プロセッサ7はすでに取得したヘッダ部分のデータから
STWC(Spatial Temporal Weight Code)が存在する
か否かを判定し(S105)、存在する場合にはコマン
ドを発行して取得する(S106)。
ame Motion Type)、FiMT(Field Motion Type)、
DT(DCT Type)、QSC(Quantifier Scale Cod
e)、MV(Motion Vector)、CBP(Coded Block Pa
ttern)を取得する(S107〜S116)。その際、
プロセッサ7は、FrMT、FiMT、DTの解析結果
を画素読み書き部11に通知し、QSCの解析結果を画
素演算部10に通知し、CBPの解析結果をコード変換
部9に通知する。これによりIQ、IDCT、動き補償
に必要な情報がコード変換部9、画素演算部10、画素
読み書き部11に設定される。
体部分のVLD開始の指示をコード変換部9に出力する
(S117)。この通知の結果コード変換部9は、VL
Dを開始する。さらにプロセッサ7は、MVデータに基
いて動きベクトルを計算し(S118)、その計算結果
を画素読み書き部11に通知する(S119)。
関する処理(S118〜S119)に先立ってVLD開
始の指示(S117)を行うのは、次の理由による。定
型処理部1004においては、コード変換部9、画素演
算部10、画素読み書き部11の順にパイプライン方式
の処理を行う。この際、定型処理部1004の各部は、
ヘッダ解析結果の各種データを受け取ってから各部の処
理を行う。図5においてS116の処理が完了した時点
で、画素読み書き部11は、動きベクトルのデータを受
け取っていないので処理可能ではないが、コード変換部
9と画素演算部10はそれぞれの処理に必要なデータを
受け取って処理が可能な状態になっている。よって先に
定型処理を開始させておき、コード変換部9及び画素演
算部10が処理を行っている時間中に動きベクトルを計
算して画素読み書き部11に計算結果を通知すれば良
い。これによって本実施形態は、マクロブロックのデコ
ード処理にかかる時間を短縮して、デコード処理部10
02の処理の効率を高めている。
ヘッダ解析終了信号をOSに通知する(S120)。た
だし1フレーム分のヘッダ解析終了時には、プロセッサ
7は、マクロブロックのヘッダ解析終了信号の代わり
に、1フレーム終了信号をOSに通知する。以上のよう
にしてプロセッサ7は、マクロブロック1つ分の圧縮映
像データのヘッダ解析を完了する。 <2.2.1.2 音声デコード処理>音声デコード処理にお
いて、プロセッサ7は、FIFOメモリ4より読み出し
た圧縮音声データについてヘッダ部分とデータ部分の解
析を行い、デコード処理を行って、チャンネルへのダウ
ンミキシングを行う。プロセッサ7は、これらの一連の
処理によって得られる音声データをメモリコントローラ
6を介して外部メモリ3に出力する。 <2.2.2 定型処理部>図6は、デコード処理部100
2の各部の動作タイミングを示している。同図において
横軸は時間軸である。
IFOメモリ4から読み出された圧縮映像データをVL
Dする。同図に示すようにコード変換部9は、VLDし
たデータのうち、ヘッダ部分(図中の破線区間)をプロ
セッサ7に転送し、マクロブロック(輝度ブロックY0
〜Y3と色差ブロックCb、Crとからなる6ブロッ
ク)のデータ(図中の実線区間)をバッファ200を介
して画素演算部10に転送する。コード変換部9による
復号後のマクロブロックデータは空間周波数成分を表す
データである。
際、プロセッサ7のヘッダ解析処理と並行して動作す
る。コード変換部9は、プロセッサ7より各種データを
要求する旨のコマンドを受付けると対応するデータをプ
ロセッサ7に出力する。コード変換部9は、1マクロブ
ロック分のVLDが完了するとプロセッサ7にVLD終
了信号を出力する。
書きこまれる1ブロック分(8×8画素分)の空間周波
数成分を表すデータを保持する。画素演算部10は、バ
ッファ200のブロックデータに対して、IQ及びID
CTをブロック単位に行う。画素演算部10による処理
結果は、輝度ブロックであれば画素の輝度値又はその差
分を表すデータであり、色差ブロックであれば画素の色
差又はその差分を表すデータであり、バッファ201を
介して画素読み書き部11に転送される。
分)の画素データを保持する。画素読み書き部11は、
画素演算部10の処理結果に対して、ブロック単位に動
き補償を行う。すなわち、Pピクチャ、Bピクチャにつ
いては、外部メモリ3の復号済みの参照フレームから動
きベクトルが示す矩形領域をメモリコントローラ6を介
して切り出して、画素演算部10の処理結果のブロック
と合成することにより、元のブロック画像に復号する。
画素読み書き部11による復号結果は、メモリコントロ
ーラ6を介して外部メモリ3に格納される。 <3 各部の処理タイミング>以上のように構成された
逐次処理部1003及び定型処理部1004の各部の処
理タイミングについて以下に説明する。
部の処理タイミングを示す。なお同図において、横軸は
時間を示し、t0〜t4は、時間軸上の時刻を示す。同
図において、プロセッサ7は、まず1マクロブロック分
のヘッダ解析処理(ヘッダ情報の解析と動きベクトルの
計算)を行う(t0〜t2)。この処理中においてプロ
セッサ7は、ヘッダ情報の解析を終了すると(t1)、
動きベクトルの計算処理の前に、コード変換部9にマク
ロブロック本体部分のVLD開始指示を出力する。プロ
セッサ7は、1マクロブロック分のヘッダ解析を終了し
た後、音声デコード処理を開始する(t2)。コード変
換部9がマクロブロック本体部分のVLDを終了すると
(t3)、プロセッサ7は、音声デコード処理を中断し
てヘッダ解析処理を開始する。
ック分のヘッダ解析終了した後すぐに次のマクロブロッ
クのヘッダ解析を行わずに音声デコード処理を行うの
は、次の理由による。すなわち、プロセッサ7はヘッダ
解析を行う際、コード変換部9にコマンドを発行してコ
ード変換部9によりVLDされたヘッダ部分の情報を必
要とするので、プロセッサ7がヘッダ解析を行うとき
は、コード変換部9がヘッダ部分のVLDを行える状態
でなければならない。これに対しプロセッサ7がヘッダ
解析を終了した時点においては、コード変換部9はマク
ロブロック本体のVLDを行っており、ヘッダ部分のV
LDを行えない状態だからである。
解析と並行してマクロブロックヘッダ部分のVLDを行
う(t0〜)。次にコード変換部9は、プロセッサ7か
らのVLD開始指示を受けてマクロブロック本体部分の
VLDを開始する(t1)。コード変換部9は、マクロ
ブロック本体部分のVLDが終了すると、終了の旨を示
すVLD終了信号を逐次処理部1003に出力する。こ
れによってプロセッサ7の音声デコード処理が中断され
てヘッダ解析処理が開始される(t3)。
それぞれコード変換部9、画素演算部10に続いてパイ
プライン方式で処理を行う。以上の処理タイミングに示
すようにプロセッサ7がヘッダ解析を優先的に実行する
ことにより、定型処理部1004の各部はマクロブロッ
クのデコードに必要な各種データを受けとって滞りなく
処理を行うことができる。加えて定型処理部1004の
各部は、パイプライン方式による処理を行うので高速処
理が可能である。またプロセッサ7は、1マクロブロッ
クのヘッダ解析と次の1マクロブロックのヘッダ解析の
間の空き時間を利用して音声デコード処理を行うことに
よって、プロセッサ7のアイドル時間は少なくなり処理
効率が向上する。
おけるヘッダ情報の解析が終了した時点(t1)におい
てコード変換部9にマクロブロック本体のVLD開始指
示を出すので、VLD開始タイミングが早められ、早め
られた時間分1マクロブロック全体のデコードにかかる
時間が短くなっている。 <4 逐次処理部のOS>上記の処理タイミングのよう
に各処理が効率良く行われるようにするためにプロセッ
サ7ではOSが動作する。OSは、ヘッダ解析終了やマ
クロブロック本体のVLD終了等の信号を割り込み信号
として検出し、それらの検出に起因してヘッダ解析処理
を優先しつつヘッダ解析と音声デコード処理との切り替
えを行う。
ア構成図を示す。同図において映像スレッドは、プロセ
ッサ7がヘッダ解析処理を実行ためのスレッドである。
音声スレッドは、プロセッサ7が音声デコード処理を実
行するためのスレッドである。アイドルスレッドは、プ
ロセッサ7がヘッダ解析処理も音声デコード処理も行わ
ない場合に実行するアイドリング用のスレッドである。
に介在して、割り込みによって遷移する各スレッドの状
態を管理する。ここにおいて各スレッドは、実行状態、
待ち状態、実行可能状態の3状態を取り得る。またOS
は、各スレッドの遷移後の状態に応じて映像スレッドを
優先させながら何れかのスレッドをプロセッサ7に割り
当てる。さらにOSは、ヘッダ解析処理及び定型処理に
おいてエラーが発生した場合には、エラー処理を行う。 <4.1 割り込み信号>図9は、OSが検出する各種割
り込み信号を示す表である。
別を示す。3列目は、割り込み信号の出力元を示す。4
列目は、割り込み信号の要因を示す。なお、同図におい
ては説明を容易にするため1列目に識別番号を付加して
いる。 ヘッダ解析終了信号は、プロセッサ7が1マクロブロ
ック分のヘッダ解析処理終了時に出力する信号である。
フレーム分のヘッダ解析処理終了時にヘッダ解析終了
信号の代わりに出力する信号である。 VLD busy信号は、コード変換部9が出力する
信号である。コード変換部9は、通常の場合にはプロセ
ッサ7より発行されるコマンドに対応するデータをプロ
セッサ7に返すのであるが、当該データについてVLD
が済んでいない場合には当該データの代わりにVLD
busy信号を出力する。
マクロブロック分のVLD終了時に出力する信号であ
る。 垂直同期信号は、外部より映像音声処理装置1000
に入力される信号である。1フレーム分のマクロブロッ
クデコードの周期を垂直同期信号の周期に合わせるため
の信号である。
部9がVLD busy信号を出力した後、当該デー
タのVLDが済んだ場合に出力する信号である。 Audio Data busy信号は、FIFOメ
モリ4がプロセッサ7より圧縮音声データを要求された
ときに、対応する圧縮音声データが外部メモリ3からま
だ入力されていない場合に出力する信号である。
は、FIFOメモリ4がのAudio Data b
usy信号を出力した後、対応する圧縮音声データが外
部メモリ3から入力された場合に出力する信号である。 VLDエラー信号は、コード変換部9がVLDにおい
てエラーが発生した場合に出力する信号である。
部11が動き補償においてエラーが発生した場合に出力
する信号である。 <4.2 スレッドの状態遷移>図9に示す割り込み信号
のうちからの信号が発生したときに、映像スレッド
及び音声スレッドの状態は以下のように遷移する。 <4.2.1 映像スレッド>図10は、映像スレッドの状
態遷移を示す図である。
び〜は、その矢印の遷移がその割り込み信号に起因
することを示している。また待ち状態に記載されている
(1)〜(3)はそれぞれ具体的な待ち要因を示す。
〜と(1)〜(3)と〜とはそれぞれ対応してい
る。詳しくは、映像スレッドは、プロセッサ7に実行さ
れることにより1マクロブロックのヘッダ解析が終了す
ると()、実行状態から待ち状態に遷移してコード変
換部9によるマクロブロック本体部分のVLD終了を待
ち((1))、VLDが終了すると()、待ち状態か
ら実行可能状態に遷移する。
行されることにより1フレーム分のヘッダ解析が終了す
ると()、実行状態から待ち状態に遷移して外部から
垂直同期信号が入力されるのを待ち((2))、垂直同
期信号が入力されると()、待ち状態から実行可能状
態へと遷移する。また映像スレッドは、コード変換部9
よりVLD busy信号が出力されると()、実行
状態から待ち状態へと遷移して当該データのVLDが完
了するのを待ち((3))、コード変換部9よりVLD
ready信号が出力されると()、待ち状態から
実行可能状態へと遷移する。 <4.2.2 音声スレッド>図11は、音声スレッドの状
態遷移を示す図である。
近に示される割り込み信号、によって起こることを
示し、割り込み信号と待ち要因(4)と割り込み信号
とが対応している。すなわち、音声スレッドは、FI
FOメモリ4よりAudio Data busy信号
が出力されると()、実行状態から待ち状態に遷移し
てFIFOメモリ4にデータが用意されるのを待ち
((4))、FIFOメモリ4よりAudio Dat
a ready信号が出力されると()、待ち状態か
ら実行可能状態へと遷移する。 <4.3 スレッド管理>OSは、スレッドとスレッドの
現在の状態とを対応させた状態表を有し、割り込み信号
〜を検出すると、割り込み信号の種別に応じて状態
表の書き換えを行うことによってスレッドの状態を管理
する。
同図は、1列目がスレッド種別を示し、2列目がスレッ
ド種別のスレッドの現在の状態を示す。例えばOSは、
ヘッダ解析終了信号を検出すると、図10の映像スレ
ッドの状態を実行状態から待ち状態に書き換える。この
ようにOSは、図10及び図11に示した割り込みによ
るスレッドの遷移に応じて状態表の書き換えを行う。 <4.4 プロセッサの割り当て>OSは、割り込みに応
じて状態表の書き換えを行った後、プロセッサ7に割り
当てるスレッドを選択する選択処理を行う。
るスレッドを選択する場合の選択処理を示すフローチャ
ートである。まずOSは、状態表を参照して映像スレッ
ドが実行状態であるか否かを判定する(ステップ12
1)。判定の結果、映像スレッドが実行状態であればこ
の選択処理を終了する。
ドが実行状態でない場合は、次にOSは、映像スレッド
が実行可能状態か否かを判定する(ステップ122)。
その結果、映像スレッドが実行可能状態である場合に
は、OSは、現在実行状態にある音声スレッドを実行可
能状態に遷移させてから映像スレッドを実行状態に遷移
させる。つまりOSは、プロセッサ7が実行する音声ス
レッドと映像スレッドとの切り替えを行う。(ステップ
123、124)。
態である場合には本選択処理を終了し、映像スレッドが
実行可能状態である場合には映像スレッドを実行状態に
遷移させることによって映像スレッドが優先して実行さ
れるように制御している。ステップ122の判定の結
果、映像スレッドが実行可能状態でない場合、つまり映
像スレッドが待ち状態である場合には、OSは、音声ス
レッドが実行可能状態であるか否かを判定する(ステッ
プ125)。
ドが実行可能状態である場合には、OSは、音声スレッ
ドを実行状態にする(ステップ126)。ステップ12
5の判定の結果、音声スレッドが実行可能状態でない場
合、すなわち、映像スレッドと音声スレッドが共に待ち
状態である場合には、OSは、プロセッサ7にアイドル
スレッドという何も処理を行わないプログラムをプロセ
ッサ7に実行させる(ステップ127)。 <4.5 エラー処理>OSは、図9に示すVLDエラ
ー信号および10動き補償エラー信号を検出した場合、
プロセッサ7に実行中のスレッドを中断させてエラー処
理を行う。エラー処理においてOSは、定型処理部10
04の画素演算部10及び画素読み書き部11にリセッ
ト信号を出力して当該マクロブロックのデコードに関す
るデータを全て破棄させる。このとき画素読み書き部1
1は、リセット信号が入力されるとエラー補償を行う。
ここでエラー補償とは、次のスライスのマクロブロック
のデコードを行うために、破棄したマクロブロックの1
つ前のフレームの同位置のマクロブロックを外部メモリ
3から読み出す処理である。
表における映像スレッドの状態を実行可能状態に書き換
える。これによって図13に示すOSの選択処理により
映像スレッドが実行状態になる。プロセッサ7は、映像
スレッドが割り当てられて次のスライスのマクロブロッ
クのヘッダ解析を実行する。 <5 動作説明>以上のように構成された映像音声処理
装置1000について、その動作を説明する。 <5.1 入出力処理部の動作>入出力処理部1001に
おいて、ストリーム入力部1から非同期に入力されるM
PEGストリームは、入出力プロセッサ5の制御によっ
て、バッファメモリ2、メモリコントローラ6を介して
一旦外部メモリ3に格納され、さらに、メモリコントロ
ーラ6を介してFIFOメモリ4に保持される。このと
きIOプロセッサ5は、FIFOメモリ4に残量に応じ
て圧縮動画データ、圧縮音声データを供給する。このよ
うに入出力プロセッサ5は、FIFOメモリ4に過不足
なく一定量の圧縮映像データ、圧縮音声データを供給す
るので、デコード処理部1002は、非同期の入出力と
は切り離されて、デコード処理に専従することができ
る。ここまでの処理は、上記入出力処理部1001によ
り、デコード処理部1002とは独立に並行してなされ
る。 <5.2 デコード処理部1002の動作>一方、デコー
ド処理部1002において、FIFOメモリ4に保持さ
れたMPEGストリームデータは、プロセッサ7、コー
ド変換部9、画素演算部10、画素読み書き部11によ
り復号される。FIFOメモリ4以降の復号動作を示す
説明図を、エラーが起こらなかった場合の動作(正常時
の動作)を図14、図15に、VLDエラー時の動作を
図16、図17に、動き補償エラー時の動作を図18、
図19に示す。 <5.2.1 正常時の動作>図14、図15は、デコード
処理部1002の各部における復号動作を図7に基いて
詳細に示した図である。
の制御によってヘッダ解析終了信号及びVLD終了
信号に起因して映像スレッドによるヘッダ解析と音声ス
レッドによる音声デコードと交互に繰り返して行う。詳
しくは、プロセッサ7は、1マクロブロック分のヘッダ
解析を行い、解析結果をコード変換部9、画素演算部1
0、画素読み書き部11に通知した後、コード変換部9
に対してマクロブロックのVLD開始を指示する。その
後プロセッサ7は、動きベクトルを計算し画素読み書き
部11に計算結果を出力する。この出力の後、プロセッ
サ7は、ヘッダ解析終了信号を出力する。
と図13の選択処理によって音声スレッドを実行状態に
する。音声スレッドが実行状態になることによりプロセ
ッサ7は、音声デコード処理を開始する。デコード後の
音声データは内部メモリ8に一旦保持され、さらにメモ
リコントローラ6により外部メモリ3にDMA転送され
る。
信号を検出すると、映像スレッドが実行可能状態になる
ので図13の選択処理によって音声スレッドを実行可能
状態にし、映像スレッドを実行状態にする。これによっ
てプロセッサ7は、次のマクロブロックのヘッダ解析を
開始する。また、コード変換部9は、プロセッサ7から
マクロブロックのVLD開始指示を受けて、マクロブロ
ック本体のVLDを実行し、マクロブロック内の各ブロ
ック毎にバッファ200に格納する。コード変換部9
は、VLDを終えるとプロセッサ7にVLD終了信号
を出力する。
して、バッファ200に格納されたブロックデータをブ
ロック単位にIQ、IDCTを施し、その処理結果をバ
ッファ201に格納する。画素読み書き部11は、画素
演算部10と並行して、バッファ201のブロックデー
タと、プロセッサ7によるヘッダ解析により通知された
動きベクトルとに基づいて、図14、図15に示すよう
に外部メモリ3の参照フレームからの矩形領域の切り出
しと、ブロック合成とを行う。ブロック合成結果は、メ
モリコントローラ6を介して外部メモリ3に格納され
る。
場合の動作であるが、スキップマクロブロックの場合に
はコード変換部9及び画素演算部10は動作せず、画素
読み書き部11のみが動作する。スキップマクロブロッ
クがある場合には、参照フレーム中の矩形領域と同じ画
像なので、画素読み書き部11により、その画像が復号
画像として外部メモリ3にコピーされることになる。
換部9は、プロセッサ7へのVLD終了信号を次のよ
うにして生成する。すなわち、コード変換部9は、ま
ず、プロセッサ7が画素読み書き部11に動き補償動作
の開始の制御信号を送付したことを示す信号と、画素読
み書き部11が動き補償動作が可能であることを示す信
号と、スキップマクロブロックであることを示す信号と
の論理積を取る。次にコード変換部9は、この論理積と
マクロブロックの末尾に付加されているマクロブロック
終了信号との論理和を取って、その論理和の結果をV
LD終了信号としてプロセッサに入力する。 <5.2.2 VLDエラー時の動作>図16、図17は、
コード変換部9においてVLDエラーが発生した場合
の動作を示す図である。
ヘッダ解析処理の最中にコード変換部9より出力される
VLDエラー信号を検出すると、エラー処理を実行
し、画素演算部10及び画素読み書き部11にリセット
信号を出力する。これによって画素演算部10及び画素
読み書き部11ではデコード中のマクロブロックに関す
るデータが破棄される。エラー処理の後、OSは、映像
スレッドを実行可能状態にする。これによって図13の
選択処理により映像スレッドが実行状態になり、次のス
ライスのマクロブロックのヘッダ解析が開始される。
ある。 <5.2.3 動き補償エラー時の動作>図18、図19
は、画素読み書き部11において10動き補償エラーが
発生した場合の動作を示す図である。
ある。以上の構成により、本発明の映像音声処理装置
は、デコード処理部1002において逐次処理部100
3と定型処理部1004とが圧縮映像データのデコード
処理を分担して行う。これによって、従来の1つのプロ
セッサが圧縮映像データの全デコードを行う場合に比べ
ると、逐次処理部1003と定型処理部1004におけ
る処理にかかる負荷が軽減され、処理効率が向上する。
また逐次処理手段が、マクロブロック毎のヘッダ解析処
理を優先的に行うことによってヘッダ解析に基いて行わ
れる定型処理手段のデコード処理が滞ることなく行われ
時間的な処理効率が向上する。さらに音声デコード処理
は、圧縮映像データのデコードに比べて処理量が少ない
ため逐次処理手段がヘッダ解析処理の合間に行うことに
よって、より時間的な処理効率が向上する。このように
処理効率が向上するのでデコード処理部1002は、高
速な動作クロックを用いなくてもMPEGストリームの
フルデコードを実現することができる。具体的には本映
像音声処理装置を、1チップにLSI化した場合、10
0MHz以下の動作クロック(実際には54MHz)で
上記フルデコードが可能である。
gital Signal Processor)とを搭載したコンピュータで
実現することもできる。この場合、コンピュータの主記
憶装置は、圧縮映像データに含まれるマクロブロック毎
のヘッダ解析を行うためのヘッダ解析用プログラムと、
圧縮音声データのデコードを行うための音声デコード用
プログラムと、ヘッダ解析プログラムを優先させながら
ヘッダ解析プログラムと音声デコードプログラムとを切
替えるためのOS用プログラムと、圧縮映像データのヘ
ッダ解析を除く圧縮映像データのデコードを行うための
定型処理用プログラムとを予め記憶する。そして汎用C
PUは、ヘッダ解析用プログラム、音声デコード用プロ
グラム、OS用プログラムを実行し、DSPは、定型処
理用プログラムを実行する。つまりCPUは、実施形態
の逐次処理部1003が行う逐次処理を行い、DSP
は、定型処理部1004の定型処理を行う。この構成に
よって、汎用CPUは、ヘッダ解析処理を優先的に遅滞
なく行い、またヘッダ解析処理を行わない空き時間に音
声デコード処理を行うので、汎用CPUのスループット
が向上する。またCPUがヘッダ解析処理を遅滞なく行
うので、DSPは、ヘッダ解析処理による処理結果のデ
ータを受けとって定型処理を遅滞なく行うことができ
る。
データと圧縮映像データとを含むデータストリームをデ
コードすることにより映像データ及び音声データを復元
する映像音声処理装置であって、データストリーム中の
圧縮映像データに含まれる所定ブロックのヘッダ解析を
行うヘッダ解析処理とデータストリーム中の圧縮音声デ
ータのデコードを行う音声デコード処理とを行い、ヘッ
ダ解析処理を音声デコード処理より優先的に行う逐次処
理手段と、前記逐次処理手段と並行して、データストリ
ーム中の圧縮映像データのヘッダ解析処理を除く圧縮映
像データのデコード処理を行う定型処理手段とから構成
される。
手段とで圧縮映像データのデコード処理を分担して行う
ことによって、従来の1つのプロセッサが圧縮映像デー
タの全デコードを行うのに比べて処理にかかる負荷が軽
減され、処理効率が向上する。また逐次処理手段が、ヘ
ッダ解析処理を優先的に行うことによってヘッダ解析に
基いて行われる定型処理手段のデコード処理が滞ること
なく行われることになり、時間的な処理効率が向上す
る。さらに音声デコード処理は、圧縮映像データのデコ
ードに比べて処理量が少ないため、逐次処理手段がヘッ
ダ解析処理の合間に行うことによって、より時間的な処
理効率が向上する。これらにより本発明の映像音声処理
装置は、高い周波数で動作させなくても高い処理能力を
有し、製造コストを低減させることができる。
セッサが実行するためのヘッダ解析用スレッドと音声デ
コード用スレッドとスレッド切替制御用スレッドとを記
憶するメモリとを有し、プロセッサがヘッダ解析用スレ
ッドをメモリから読み出して実行することによりヘッダ
解析処理を行うヘッダ解析手段と、プロセッサが音声デ
コード用スレッドをメモリから読み出して実行すること
により音声デコード処理を行う音声デコード手段と、プ
ロセッサがスレッド切替え制御用スレッドをメモリから
読み出して実行することにより、ヘッダ解析処理を優先
するようにプロセッサに割り当てるスレッドを切り替え
る制御を行う制御手段とを備えることができる。
処理が優先的に実行されるようプロセッサに割り当てる
スレッドを切替えるので、ヘッダ解析及び音声デコード
処理が円滑に切り替えられ、時間的な処理効率が向上す
る。また制御手段は、スレッドの切替えの要因となる割
り込みの発生とその種別を検出する割り込み検出手段
と、割り込みの種別に応じて遷移するヘッダ解析手段お
よび音声デコード手段の状態が実行状態であるか待ち状
態であるか実行可能状態であるかを管理する状態管理手
段と、ヘッダ解析手段が待ち状態から実行可能状態に遷
移したときプロセッサに割り当てるスレッドを他のスレ
ッドからヘッダ解析用スレッドに切り替える切替え手段
とを備えることができる。
検出手段が割り込みの発生を検出し、状態管理手段が割
り込みによって遷移するヘッダ解析及び音声デコードの
状態を管理して、切替え手段は、ヘッダ解析手段が実行
可能になった場合にヘッダ解析手段をプロセッサに割り
当てる。このように制御手段は、割り込みによって駆動
する方式であるので、ヘッダ解析手段と音声デコード手
段とのいずれを実行状態にすべきかを常に監視するとい
う負担から解放される。
び音声デコード処理それぞれの状態を記憶する状態テー
ブルと、割り込みの種別に応じて状態テーブルの更新を
行う状態更新手段とを備えることができる。ここで前記
所定ブロックは、データストリーム中の圧縮映像データ
に含まれるマクロブロックであり、割り込み検出手段
は、ヘッダ解析手段によるマクロブロックのヘッダ解析
が終了したときヘッダ解析手段により出力される第1割
り込みと、マクロブロックの復号が終了したとき定型処
理手段により出力される第2割り込みとを検出し、状態
更新手段は、割り込み検出手段により第1割り込みが検
出されると状態テーブル中のヘッダ解析手段の状態を待
ち状態に更新し、割り込み検出手段により第2割り込み
が検出されると状態テーブルのヘッダ解析手段の状態を
実行可能状態に更新するよう構成することができる。
り込み検出手段によって第1割り込み、第2割り込みが
検出されると、状態テーブル中のヘッダ解析手段の状態
を待ち状態、実行可能状態と更新する。この更新により
切替え手段が実行可能状態になったヘッダ解析をプロセ
ッサに実行させるので、定型処理手段によってヘッダ部
分の復号が終了するとすぐにヘッダ解析が行われること
となり、処理効率が向上する。
状態である場合、音声デコード手段が待ち状態から実行
可能状態に遷移したとき音声デコード用スレッドをプロ
セッサに割り当てるよう構成することができる。この構
成によれば、切替え手段は、音声デコード手段が実行状
態であっても、ヘッダ解析手段が実行可能になったとき
は、プロセッサにヘッダ解析をを実行させる。これによ
ってヘッダ解析が音声デコードに優先して行われること
となり、処理効率が向上する。
ム中の圧縮映像データを可変長復号するコード変換手段
と、可変長復号により得られた映像ブロックに対して、
所定の演算を施すことにより逆量子化および逆離散余弦
変換を行う演算手段と、逆離散余弦変換後の映像ブロッ
クと復号済みのブロックを合成することにより動き補償
処理を行って映像データを復元する合成手段とを備え、
ヘッダ解析手段は、コード変換手段に要求して可変長復
号されたヘッダ情報を取得する取得手段と、取得された
ヘッダ情報の解析を行い、続いて動きベクトルの算出を
行う解析手段と、解析結果として得られるパラメータを
定型処理手段に通知する通知手段と、解析手段による解
析過程の所定時点においてコード変換手段にブロックの
可変長復号開始を指示する開始指示手段とを備えること
ができる。
ード処理をヘッダ解析と定型処理手段とで分担し、定期
処理手段においては、定型的な計算を中心とする処理を
コード変換手段、演算手段、合成手段がパイプライン方
式で行う。一方、ヘッダ解析手段においては解析手段が
ヘッダ情報の解析という条件判断を伴う処理を行って、
通知手段が解析結果で得られるパラメータを定型処理に
通知する。このように処理の圧縮映像データのデコード
処理を処理の性質によって定型的な演算処理と条件判断
処理とに分けることによって定型処理手段における高速
処理を可能にしている。またヘッダ解析手段は、開始指
示手段が解析過程の所定時点においてコード変換手段に
ブロックの可変長復号開始を指示することによって、定
型処理手段による処理の開始を早め、これによりヘッダ
解析手段の処理と定型処理手段の処理とを合わせた1マ
クロブロックにかかるデコード処理時間を短くしてい
る。
動きベクトルの算出の前に可変長復号開始を指示し、前
記通知手段は、算出された動きベクトルを合成手段に通
知するよう構成することができる。この構成によれば、
開始指示手段は、解析手段による動きベクトルの算出の
前に可変長復号開始を指示するので、1マクロブロック
にかかるデコード処理時間は、動きベクトルの算出にか
かる時間分短くなる。また制御手段は、スレッドの切替
えの要因となる割り込みの発生とその種別を検出する割
り込み検出手段と、割り込み検出手段によりエラー割り
込みが検出された場合、定型処理手段における当該所定
ブロックに関するデータを破棄させてヘッダ解析手段を
実行可能状態にするエラー処理手段と、割り込みの種別
に応じて遷移するヘッダ解析手段および音声デコード手
段の状態が実行状態であるか待ち状態であるか実行可能
状態であるかを管理する状態管理手段と、ヘッダ解析手
段が実行可能状態に遷移したときプロセッサにヘッダ解
析用スレッドを割り当てる切替え手段とを備えることが
できる。
検出手段、状態管理手段、切替え手段に加えてエラー処
理手段を備え、エラー処理手段は、エラー割り込みが発
生すると、定型処理手段の各部をリセットしてからヘッ
ダ解析手段を実行状態にする。これによってプロセッサ
は、次のスライスのマクロブロックのヘッダ解析を実行
する。このようにエラーが発生した場合においても本映
像音声処理装置は、制御手段が円滑にエラー処理を行っ
た後、プロセッサに次のスライスのマクロブロックのヘ
ッダ解析を実行させるので、時間的な処理効率が向上す
る。
によるマクロブロックのヘッダ解析が終了したときヘッ
ダ解析手段により出力される第1割り込みと、マクロブ
ロックの復号が終了したとき定型処理手段により出力さ
れる第2割り込みと、可変長復号中にエラーが発生した
場合にコード変換手段により出力される第3割り込み
と、動き補償処理中にエラーが発生した場合に合成手段
により出力される第4割り込みとを検出し、状態更新手
段は、割り込み検出手段により第1割り込みが検出され
ると状態テーブル中のヘッダ解析手段の状態を待ち状態
に更新し、割り込み検出手段により第2割り込みが検出
されると状態テーブルのヘッダ解析手段の状態を実行可
能状態に更新し、割り込み検出手段により第3及び第4
割り込みが検出されると状態テーブル中のヘッダ解析手
段の状態を実行可能状態に更新し、エラー処理手段は、
割り込み検出手段により第3及び第4割り込みが検出さ
れると定型処理手段における当該所定ブロックに関する
データを破棄させるよう構成することができる。
長復号エラーを起こした場合及び合成手段が動き補償エ
ラーを起こした場合において、エラー処理手段は、定型
処理手段の各部をリセットしてからヘッダ解析手段を実
行状態にする。このようにエラーが発生した場合におい
ても本映像音声処理装置は、制御手段が円滑に次のスラ
イスのマクロブロックのヘッダ解析をプロセッサに実行
させるので、時間的な処理効率が向上する。
ヘッダ解析が終了したときヘッダ解析手段により出力さ
れる第1割り込みと、所定ブロックの定型処理が終了し
たとき定型処理手段により出力される第2割り込みと、
1フレーム分のヘッダ解析が終了したときヘッダ解析手
段により出力される第3割り込みと、ヘッダ取得手段が
要求した場合に、ヘッダ情報が可変長復号されていない
ときコード変換手段により出力される第4割り込みと、
映像処理装置の外部より入力される垂直同期信号である
第5割り込みと、第4割り込みの後、ヘッダ取得手段が
要求したヘッダ情報が可変長復号されたときコード変換
手段により出力される第6割り込みと、音声デコード手
段がデコードするデータを所定のメモリに要求した場合
に、そのメモリに当該データがない場合にメモリより出
力される第7割り込みと、第7割り込みの後、音声デコ
ード手段が要求したデータが所定のメモリに入力された
ときメモリより出力される第8割り込みとを検出し、状
態更新手段は、割り込み検出手段により第1割り込み、
第3割り込み、第4割り込みが検出されると状態テーブ
ル中のヘッダ解析手段の状態を待ち状態に更新し、第2
割り込み、第5割り込み、第6割り込みが検出されると
状態テーブルのヘッダ解析手段の状態を実行可能状態に
更新し、第7割り込みが検出されると状態テーブルの音
声デコード手段の状態を待ち状態に更新し、第8割り込
みが検出されると状態テーブルの音声デコード手段の状
態を実行可能状態に更新するよう構成することができ
る。
込み検出手段による第1〜第8割り込み検出に応じて、
ヘッダ解析手段及び音声デコード手段の状態を更新し、
その更新に応じて切替え手段がヘッダ解析手段を優先さ
せながらヘッダ解析及び音声デコードをプロセッサに実
行させる。このように制御手段が各種割り込みに対処す
るので、プロセッサにおける時間的な処理効率が向上す
る。
縮音声データと圧縮映像データとを含むデータストリー
ムをデコードすることにより映像データ及び音声データ
を復元するプログラムを記録しているコンピュータ読み
取り可能なプログラム記録媒体であって、データストリ
ーム中の圧縮映像データに含まれる所定ブロックのヘッ
ダの解析を行うヘッダ解析処理と、データストリーム中
の圧縮音声データのデコードを行う音声デコード処理
と、ヘッダ解析処理が優先的に実行されるようにヘッダ
解析処理と音声デコード処理とを切替える制御処理と、
データストリーム中の圧縮映像データのヘッダ解析処理
を除く圧縮映像データのデコードを行う定型処理とから
なるプログラムを記録している。
サと第2プロセッサとを有する映像音声処理装置であ
り、ヘッダ解析処理、音声デコード処理、制御処理は、
第1プロセッサによって実行され、定型処理は第2プロ
セッサにより実行されることを特徴とする。この構成に
よれば、第1プロセッサは、ヘッダ解析処理を優先的に
遅滞なく行い、またヘッダ解析処理を行わない空き時間
に音声デコード処理を行うので第1プロセッサのスルー
プットが向上する。また第1プロセッサがヘッダ解析を
遅滞なくおこなうおかげで、第2プロセッサは、ヘッダ
解析処理による処理結果のデータを受けとって定型処理
を遅滞なく行うことができる。
音声デコード処理の切替えの要因となる割り込みの発生
とその種別を検出する割り込み検出処理と、割り込みの
種別に応じて遷移するヘッダ解析処理及び音声デコード
処理の状態が実行状態であるか待ち状態であるか実行可
能状態であるかを管理する状態管理手段と、ヘッダ解析
処理が待ち状態から実行可能状態に遷移した場合に、実
行される処理を音声デコード処理からヘッダ解析処理に
切替える切替え処理とからなる。
ッダ解析処理が実行可能になった場合に遅滞なくヘッダ
解析処理を実行することとなり、処理効率が向上する。
ード処理の説明図を示す。
概略構成を示すブロック図である。
を示す階層構造図である。
ック図である。
と他の各部への制御内容を示す。
ている。同図において横軸は時間軸である。
示す。
す。
る。
選択する場合の選択処理を示すフローチャートである。
7に基いて詳細に示した図である。
の各部における復号動作を図7に基いて詳細に示した図
である。
した場合の動作を示す図である。
おいてVLDエラーが発生した場合の動作を示す図であ
る。
生した場合の動作を示す図である。
おいて動き補償エラーが発生した場合の動作を示す図で
ある。
Claims (22)
- 【請求項1】 圧縮音声データと圧縮映像データとを含
むデータストリームをデコードすることにより映像デー
タ及び音声データを復元する映像音声処理装置であっ
て、 データストリーム中の圧縮映像データに含まれる所定ブ
ロックのヘッダ解析を行うヘッダ解析処理とデータスト
リーム中の圧縮音声データのデコードを行う音声デコー
ド処理とを行い、ヘッダ解析処理を音声デコード処理よ
り優先的に行う逐次処理手段と、 前記逐次処理手段と並行して、データストリーム中の圧
縮映像データのヘッダ解析処理を除く圧縮映像データの
デコード処理を行う定型処理手段とを備えることを特徴
とする映像音声処理装置。 - 【請求項2】 逐次処理手段は、プロセッサと、プロセ
ッサが実行するためのヘッダ解析用スレッドと音声デコ
ード用スレッドとスレッド切替制御用スレッドとを記憶
するメモリとを有し、 プロセッサがヘッダ解析用スレッドをメモリから読み出
して実行することによりヘッダ解析処理を行うヘッダ解
析手段と、 プロセッサが音声デコード用スレッドをメモリから読み
出して実行することにより音声デコード処理を行う音声
デコード手段と、 プロセッサがスレッド切替え制御用スレッドをメモリか
ら読み出して実行することにより、ヘッダ解析処理を優
先するようにプロセッサに割り当てるスレッドを切り替
える制御を行う制御手段とを備えることを特徴とする請
求項1記載の映像音声処理装置。 - 【請求項3】 前記制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
別を検出する割り込み検出手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
音声デコード手段の状態が実行状態であるか待ち状態で
あるか実行可能状態であるかを管理する状態管理手段
と、 ヘッダ解析手段が待ち状態から実行可能状態に遷移した
ときプロセッサに割り当てるスレッドを他のスレッドか
らヘッダ解析用スレッドに切り替える切替え手段とを備
えることを特徴とする請求項2記載の映像音声処理装
置。 - 【請求項4】 前記状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
を記憶する状態テーブルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
更新手段とを備えることを特徴とする請求項3記載の映
像音声処理装置。 - 【請求項5】 前記所定ブロックは、データストリーム
中の圧縮映像データに含まれるマクロブロックであり、 割り込み検出手段は、ヘッダ解析手段によるマクロブロ
ックのヘッダ解析が終了したときヘッダ解析手段により
出力される第1割り込みと、マクロブロックの復号が終
了したとき定型処理手段により出力される第2割り込み
とを検出し、 状態更新手段は、割り込み検出手段により第1割り込み
が検出されると状態テーブル中のヘッダ解析手段の状態
を待ち状態に更新し、割り込み検出手段により第2割り
込みが検出されると状態テーブルのヘッダ解析手段の状
態を実行可能状態に更新するよう構成されることを特徴
とする請求項4記載の映像音声処理装置。 - 【請求項6】 切替え手段は、ヘッダ解析手段が待ち状
態である場合、音声デコード手段が待ち状態から実行可
能状態に遷移したとき音声デコード用スレッドをプロセ
ッサに割り当てるよう構成されることを特徴とする請求
項3記載の映像音声処理装置。 - 【請求項7】 状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
を記憶する状態テーブルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
更新手段とを備えることを特徴とする請求項6記載の映
像音声処理装置。 - 【請求項8】 前記所定ブロックは、データストリーム
中の圧縮映像データに含まれるマクロブロックであり、 割り込み検出手段は、ヘッダ解析手段によるマクロブロ
ックのヘッダ解析が終了したときヘッダ解析手段により
出力される第1割り込みとマクロブロックの復号が終了
したとき定型処理手段により出力される第2割り込みと
を検出し、 状態更新手段は、割り込み検出手段により第1割り込み
が検出されると状態テーブル中のヘッダ解析手段の状態
を待ち状態に更新し、割り込み検出手段により第2割り
込みが検出されると状態テーブルのヘッダ解析手段の状
態を実行可能状態に更新するよう構成されることを特徴
とする請求項7記載の映像音声処理装置。 - 【請求項9】 前記定型処理手段は、 データストリーム中の圧縮映像データを可変長復号する
コード変換手段と、 可変長復号により得られた映像ブロックに対して、所定
の演算を施すことにより逆量子化および逆離散余弦変換
を行う演算手段と、 逆離散余弦変換後の映像ブロックと復号済みのブロック
を合成することにより動き補償処理を行って映像データ
を復元する合成手段とを備え、 ヘッダ解析手段は、 コード変換手段に要求して可変長復号されたヘッダ情報
を取得する取得手段と、 取得されたヘッダ情報の解析を行い、続いて動きベクト
ルの算出を行う解析手段と、 解析結果として得られるパラメータを定型処理手段に通
知する通知手段と、 解析手段による解析過程の所定時点においてコード変換
手段にブロックの可変長復号開始を指示する開始指示手
段とを備えることを特徴とする請求項2記載の映像音声
処理装置。 - 【請求項10】 前記開始指示手段は、解析手段による
動きベクトルの算出の前に可変長復号開始を指示し、 前記通知手段は、算出された動きベクトルを合成手段に
通知するよう構成されることを特徴とする請求項9記載
の映像音声処理装置。 - 【請求項11】 制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
別を検出する割り込み検出手段と、 割り込み検出手段によりエラー割り込みが検出された場
合、定型処理手段における当該所定ブロックに関するデ
ータを破棄させてヘッダ解析手段を実行可能状態にする
エラー処理手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
音声デコード手段の状態が実行状態であるか待ち状態で
あるか実行可能状態であるかを管理する状態管理手段
と、 ヘッダ解析手段が実行可能状態に遷移したときプロセッ
サにヘッダ解析用スレッドを割り当てる切替え手段とを
備えることを特徴とする請求項10記載の映像音声処理
装置。 - 【請求項12】 状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
を記憶する状態テーブルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
更新手段とを備えることを特徴とする請求項11記載の
映像音声処理装置。 - 【請求項13】 割り込み検出手段は、ヘッダ解析手段
によるマクロブロックのヘッダ解析が終了したときヘッ
ダ解析手段により出力される第1割り込みと、マクロブ
ロックの復号が終了したとき定型処理手段により出力さ
れる第2割り込みと、可変長復号中にエラーが発生した
場合にコード変換手段により出力される第3割り込み
と、動き補償処理中にエラーが発生した場合に合成手段
により出力される第4割り込みとを検出し、 状態更新手段は、割り込み検出手段により第1割り込み
が検出されると状態テーブル中のヘッダ解析手段の状態
を待ち状態に更新し、割り込み検出手段により第2割り
込みが検出されると状態テーブルのヘッダ解析手段の状
態を実行可能状態に更新し、割り込み検出手段により第
3及び第4割り込みが検出されると状態テーブル中のヘ
ッダ解析手段の状態を実行可能状態に更新し、 エラー処理手段は、割り込み検出手段により第3及び第
4割り込みが検出されると定型処理手段における当該所
定ブロックに関するデータを破棄させるよう構成される
ことを特徴とする請求項12記載の映像音声処理装置。 - 【請求項14】 制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
別を検出する割り込み検出手段と、 割り込み検出手段によりエラー割り込みが検出された場
合、定型処理手段における当該所定ブロックに関するデ
ータを破棄させてヘッダ解析手段を実行可能状態にする
エラー処理手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
音声デコード手段の状態が実行状態であるか待ち状態で
あるか実行可能状態であるかを管理する状態管理手段
と、 ヘッダ解析手段が実行可能状態に遷移したときプロセッ
サにヘッダ解析用スレッドを割り当てる切替え手段とを
備えることを特徴とする請求項10記載の映像音声処理
装置。 - 【請求項15】 状態管理手段はヘッダ解析処理および
音声デコード処理それぞれの状態を記憶する状態テーブ
ルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
更新手段とを備えることを特徴とする請求項14記載の
映像音声処理装置。 - 【請求項16】 割り込み検出手段は、ヘッダ解析手段
によるマクロブロックのヘッダ解析が終了したときヘッ
ダ解析手段により出力される第1割り込みと、マクロブ
ロックの復号が終了したとき定型処理手段により出力さ
れる第2割り込みと、可変長復号中にエラーが発生した
場合にコード変換手段により出力される第3割り込み
と、動き補償処理中にエラーが発生した場合に合成手段
により出力される第4割り込みとを検出し、 状態更新手段は、割り込み検出手段により第1割り込み
が検出されると状態テーブル中のヘッダ解析手段の状態
を待ち状態に更新し、割り込み検出手段により第2割り
込みが検出されると状態テーブルのヘッダ解析手段の状
態を実行可能状態に更新し、割り込み検出手段により第
3及び第4割り込みが検出されると状態テーブル中のヘ
ッダ解析手段の状態を実行可能状態に更新し、 エラー処理手段は、割り込み検出手段により第3及び第
4割り込みが検出されると定型処理手段における当該所
定ブロックに関するデータを破棄させるよう構成される
ことを特徴とする請求項15記載の映像音声処理装置。 - 【請求項17】 制御手段は、 スレッドの切替えの要因となる割り込みの発生とその種
別を検出する割り込み検出手段と、 割り込みの種別に応じて遷移するヘッダ解析手段および
音声デコード手段の状態が実行状態であるか待ち状態で
あるか実行可能状態であるかを管理する状態管理手段
と、 ヘッダ解析手段が待ち状態から実行可能状態に遷移した
ときプロセッサに割り当てるスレッドを他のスレッドか
らヘッダ解析用スレッドに切り替える切替え手段とを備
えることを特徴とする請求項9記載の映像音声処理装
置。 - 【請求項18】 状態管理手段は、 ヘッダ解析処理および音声デコード処理それぞれの状態
を記憶する状態テーブルと、 割り込みの種別に応じて状態テーブルの更新を行う状態
更新手段とを備えることを特徴とする請求項17記載の
映像音声処理装置。 - 【請求項19】 割り込み検出手段は、所定ブロックの
ヘッダ解析が終了したときヘッダ解析手段により出力さ
れる第1割り込みと、所定ブロックの定型処理が終了し
たとき定型処理手段により出力される第2割り込みと、
1フレーム分のヘッダ解析が終了したときヘッダ解析手
段により出力される第3割り込みと、ヘッダ取得手段が
要求した場合に、ヘッダ情報が可変長復号されていない
ときコード変換手段により出力される第4割り込みと、
映像処理装置の外部より入力される垂直同期信号である
第5割り込みと、第4割り込みの後、ヘッダ取得手段が
要求したヘッダ情報が可変長復号されたときコード変換
手段により出力される第6割り込みと、音声デコード手
段がデコードするデータを所定のメモリに要求した場合
に、そのメモリに当該データがない場合にメモリより出
力される第7割り込みと、第7割り込みの後、音声デコ
ード手段が要求したデータが所定のメモリに入力された
ときメモリより出力される第8割り込みとを検出し、 状態更新手段は、割り込み検出手段により第1割り込
み、第3割り込み、第4割り込みが検出されると状態テ
ーブル中のヘッダ解析手段の状態を待ち状態に更新し、 第2割り込み、第5割り込み、第6割り込みが検出され
ると状態テーブルのヘッダ解析手段の状態を実行可能状
態に更新し、 第7割り込みが検出されると状態テーブルの音声デコー
ド手段の状態を待ち状態に更新し、 第8割り込みが検出されると状態テーブルの音声デコー
ド手段の状態を実行可能状態に更新するよう構成される
ことを特徴とする請求項18記載の映像音声処理装置。 - 【請求項20】 圧縮音声データと圧縮映像データとを
含むデータストリームをデコードすることにより映像デ
ータ及び音声データを復元するプログラムを記録してい
るコンピュータ読み取り可能なプログラム記録媒体であ
って、 データストリーム中の圧縮映像データに含まれる所定ブ
ロックのヘッダの解析を行うヘッダ解析処理と、 データストリーム中の圧縮音声データのデコードを行う
音声デコード処理と、ヘッダ解析処理が優先的に実行さ
れるようにヘッダ解析処理と音声デコード処理とを切替
える制御処理と、 データストリーム中の圧縮映像データのヘッダ解析処理
を除く圧縮映像データのデコードを行う定型処理とから
なるプログラム記録媒体。 - 【請求項21】 前記コンピュータは、第1プロセッサ
と第2プロセッサとを有する映像音声処理装置であり、
ヘッダ解析処理、音声デコード処理、制御処理は、第1
プロセッサによって実行され、定型処理は第2プロセッ
サにより実行されることを特徴とする請求項20記載の
プログラム記録媒体。 - 【請求項22】 前記制御処理は、ヘッダ解析処理と音
声デコード処理の切替えの要因となる割り込みの発生と
その種別を検出する割り込み検出処理と、 割り込みの種別に応じて遷移するヘッダ解析処理及び音
声デコード処理の状態が実行状態であるか待ち状態であ
るか実行可能状態であるかを管理する状態管理手段と、 ヘッダ解析処理が待ち状態から実行可能状態に遷移した
場合に、実行される処理を音声デコード処理からヘッダ
解析処理に切替える切替え処理とからなることを特徴と
する請求項21記載のプログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33629798A JP3410669B2 (ja) | 1997-11-28 | 1998-11-26 | 映像音声処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-327434 | 1997-11-28 | ||
JP32743497 | 1997-11-28 | ||
JP33629798A JP3410669B2 (ja) | 1997-11-28 | 1998-11-26 | 映像音声処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001182644A Division JP2002051337A (ja) | 1997-11-28 | 2001-06-15 | 映像音声処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11239348A true JPH11239348A (ja) | 1999-08-31 |
JP3410669B2 JP3410669B2 (ja) | 2003-05-26 |
Family
ID=26572505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33629798A Expired - Lifetime JP3410669B2 (ja) | 1997-11-28 | 1998-11-26 | 映像音声処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3410669B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001324998A (ja) * | 2000-03-08 | 2001-11-22 | Matsushita Electric Ind Co Ltd | 映像音声処理装置 |
US6847687B2 (en) | 2000-03-08 | 2005-01-25 | Matsushita Electric Industrial Co., Ltd. | Audio and video processing apparatus |
JP2007026095A (ja) * | 2005-07-15 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 並列演算装置 |
JP2008118616A (ja) * | 2006-11-02 | 2008-05-22 | Intervideo Inc | マルチスレッドビデオデコーディングのための方法および装置 |
JP2013084311A (ja) * | 2013-02-01 | 2013-05-09 | Panasonic Corp | 画像音声信号処理装置及びそれを用いた電子機器 |
US10230991B2 (en) | 2003-08-21 | 2019-03-12 | Socionext Inc. | Signal-processing apparatus including a second processor that, after receiving an instruction from a first processor, independantly controls a second data processing unit without further instrcuction from the first processor |
-
1998
- 1998-11-26 JP JP33629798A patent/JP3410669B2/ja not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001324998A (ja) * | 2000-03-08 | 2001-11-22 | Matsushita Electric Ind Co Ltd | 映像音声処理装置 |
US6847687B2 (en) | 2000-03-08 | 2005-01-25 | Matsushita Electric Industrial Co., Ltd. | Audio and video processing apparatus |
JP4538161B2 (ja) * | 2000-03-08 | 2010-09-08 | パナソニック株式会社 | 映像音声処理装置 |
US10230991B2 (en) | 2003-08-21 | 2019-03-12 | Socionext Inc. | Signal-processing apparatus including a second processor that, after receiving an instruction from a first processor, independantly controls a second data processing unit without further instrcuction from the first processor |
US11563985B2 (en) | 2003-08-21 | 2023-01-24 | Socionext Inc. | Signal-processing apparatus including a second processor that, after receiving an instruction from a first processor, independantly controls a second data processing unit without further instruction from the first processor |
JP2007026095A (ja) * | 2005-07-15 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 並列演算装置 |
JP2008118616A (ja) * | 2006-11-02 | 2008-05-22 | Intervideo Inc | マルチスレッドビデオデコーディングのための方法および装置 |
JP2013084311A (ja) * | 2013-02-01 | 2013-05-09 | Panasonic Corp | 画像音声信号処理装置及びそれを用いた電子機器 |
Also Published As
Publication number | Publication date |
---|---|
JP3410669B2 (ja) | 2003-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0919953B1 (en) | Audio-video decoding system | |
USRE48845E1 (en) | Video decoding system supporting multiple standards | |
US8270800B2 (en) | Information processing apparatus and method, recording medium, and program | |
US8401072B2 (en) | Information processing apparatus and method, recording medium, and program | |
US6310921B1 (en) | Media processing apparatus which operates at high efficiency | |
US5699117A (en) | Moving picture decoding circuit | |
US20050147174A1 (en) | Encoding apparatus and method of same and decoding apparatus and method of same | |
JPH05268590A (ja) | 動画像符号化復号化回路 | |
CA2597536A1 (en) | Agile decoder | |
JP2000295616A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体 | |
JP2009296169A (ja) | 動画像復号装置および符号化装置 | |
JP3410669B2 (ja) | 映像音声処理装置 | |
JP3589565B2 (ja) | 映像音声処理装置 | |
JP3123496B2 (ja) | 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体 | |
JP2000175201A (ja) | 画像処理装置及び方法、並びに提供媒体 | |
JP2002051337A (ja) | 映像音声処理装置 | |
US7103100B1 (en) | Digital signal processing apparatus and method and providing medium | |
JP3380236B2 (ja) | 映像音声処理装置 | |
US20070206870A1 (en) | Encoded Data Decoding Apparatus | |
JP2002245448A (ja) | 演算装置 | |
JP2001324998A (ja) | 映像音声処理装置 | |
JP2001320653A (ja) | 画像復号装置及び画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080320 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120320 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130320 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130320 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140320 Year of fee payment: 11 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |