JP2001324998A - 映像音声処理装置 - Google Patents
映像音声処理装置Info
- Publication number
- JP2001324998A JP2001324998A JP2001064650A JP2001064650A JP2001324998A JP 2001324998 A JP2001324998 A JP 2001324998A JP 2001064650 A JP2001064650 A JP 2001064650A JP 2001064650 A JP2001064650 A JP 2001064650A JP 2001324998 A JP2001324998 A JP 2001324998A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- stream
- processing
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
速めることなく、入力される音声と映像とで符号化信号
の転送量や復号演算量の比率が大きく異なる少なくとも
2種類のデータ方式の再生を可能とすること。 【解決手段】 データの入出力制御を行うI/Oプロセ
ッサは、入力され内部バッファメモリに転送されたデー
タストリームをビデオ及びオーディオストリームに分離
しメモリコントローラに外部メモリ内のビデオ及びオー
ディオ用バッファエリアへのデータ転送を指示する手段
と、外部メモリ内のビデオあるいはオーディオ用バッフ
ァエリアからビデオ及びオーディオストリームFIFO
へビデオ及びオーディオストリームの転送を行う第1及
び第2メモリバッファコントロール手段と、第1及び第
2メモリバッファコントロール手段とビデオ及びオーデ
ィオ用バッファエリアをアサインする手段とを含む。
Description
の技術分野に関するものであって、圧縮されたビデオ及
び音声データの伸長、ビデオ及び音声データの圧縮、グ
ラフィックス処理などを行う映像音声処理装置に関する
ものである。
長技術が確立されてきたことや、LSI技術が向上して
きたことがあいまって、圧縮ビデオ及び音声データを伸
長するデコーダ、ビデオ及び音声データを圧縮するエン
コーダ、グラフィックス処理を行うグラフィックス処理
装置などの種々の映像音声処理装置が重要視されてい
る。
o規格の圧縮ビデオ及びオーディオストリームを伸長す
る映像音声処理装置がある。DVD−Video規格で
知られるオーディオ信号のうちリニアPCMフォーマッ
トではその多くがサンプリング周波数48KHz、16
bit、2チャンネルであり、ビデオ信号の量がオーデ
ィオ信号の量よりも圧倒的に多い。この映像音声処理装
置は、LSI技術の向上に伴い、1チップ化に集積化さ
れたLSIとして実現されることも多い。このような映
像音声処理装置のうち、たとえばDVD−Video規
格の圧縮ビデオ及びオーディオストリームを伸長する映
像音声処理装置はおおよそ図5に示す構成となってい
る。
出力処理部1100、デコ−ド処理部1200及びメモ
リコントローラ1300を含み、外部には外部メモリ1
400が接続される。入出力処理部1100は、外部よ
り入力されるプログラムストリ−ムを入力するストリー
ム入力部1110と、データ転送時の内部バッファとし
て使用されるバッファメモリ1120と、複数のタスク
手段を切り替えながら実行するI/Oプロセッサ114
0とで構成される。デコード処理部1200は、(Firs
t In First Out、以下FIFO)メモリ1210と、ビ
デオストリームの復号処理を行うビデオ処理部1220
と、オーディオストリームの復号処理を行うオーディオ
処理部1230とで構成される。FIFOメモリ121
0は、ビデオストリームをビデオ処理部1220に転送
するビデオストリームFIFO1211と、オーディオ
ストリームをオーディオ処理部1230に転送するオー
ディオストリームFIFO1212とを含んでいる。又
メモリコントローラ1300は映像音響処理装置本体部
1000と外部メモリ1400との間でデータの入出力
を行うものである。
0は、ビデオ用バッファエリア1410とオーディオ用
バッファエリア1420が割り当てられている。
リームパーシング手段1141は、ストリーム入力部1
110より入力され内部バッファメモリ1120に転送
されたデータストリームを、オーディオ及びビデオスト
リームに分離し、メモリコントローラ1130に外部メ
モリ1400内のビデオ及びオーディオ用バッファエリ
アへのデータ転送を指示するものである。ビデオバッフ
ァコントロール手段1142は、ビデオ用バッファエリ
ア1310からビデオストリームFIFO1211へビ
デオストリームの転送を行うものである。オーディオバ
ッファコントロール手段1143は、オーディオ用バッ
ファエリア1420からオーディオストリームFIFO
1212へオーディオストリームの転送を行うものであ
る。
eo規格のプログラムストリームがストリーム入力部1
110から入力されると、I/Oプロセッサ1140の
ストリームパーシング手段1141はビデオストリーム
とオーディオ用符号化信号とに分離する。そしてメモリ
コントローラ1300を通じて、ビデオ用符号化信号を
ビデオ用バッファエリア1410へ、オーディオ用符号
化信号はオーディオ用バッファエリア1420にそれぞ
れ転送する。次にビデオバッファコントロール手段11
42はビデオ処理部1220からのストリーム供給リク
エストに応じて、ビデオ用バッファエリア1410から
ビデオストリームFIFO1211へビデオストリーム
を転送する。オーディオバッファコントロール手段11
43は、オーディオ処理部1230からのストリーム供
給リクエストに応じて、オーディオ用バッファエリア1
420からオーディオストリームFIFO1212へオ
ーディオストリームを転送する。ビデオ処理部1220
は、ビデオストリームFIFO1211からビデオスト
リームを受信し、復号処理を行い映像出力信号を生成す
る。オーディオ処理部1230は、オーディオストリー
ムFIFO1212からオーディオストリームを受信
し、復号処理を行い音声出力信号を生成する。
に動画を対象としたDVD−Video規格のビデオス
トリームがほとんどである。その場合にプログラムスト
リームに含まれるビデオストリームは、オーディオスト
リームに比べてデータ量が著しく大きく、また復号処理
にかかる処理量もオーディオの復号処理より大きい場合
がほとんどである。例えば、ビデオバッファコントロー
ル手段1142のデータ転送処理能力はオーディオバッ
ファコントロール手段1143と比較すると著しく大き
く、またデコード処理部1200におけるビデオ処理部
1220の処理優先順位はオーディオ処理部1230よ
り高い場合がほとんどである。DVD−Video規格
のうちリニアPCMフォーマットの音声信号の多くはコ
ンパクトディスク規格とほぼ同一レベルの情報量を有
し、2ch、サンプリング周波数48kHz、16ビッ
トリニアPCM信号である。
理装置では、オーディオ処理部とビデオ処理部とが夫々
あらかじめ独立している。又他の映像音声規格として入
力される音声と映像とで符号化信号の転送量や復号演算
量の比率がDVD−Video規格のプログラムストリ
ームと大きく異なるDVD−Audio規格が知られて
いる。これは音声信号をより高音質に再生できるように
音声信号の情報量を高めたもので、サンプリング周波数
96kHz、6ch、24ビットリニアPCMや192
kHz、2ch、24ビットリニアPCMが選択でき
る。この場合、映像信号は一定間隔でスチル画像を表示
する。映像音声処理装置においてDVD−Video規
格のプログラムストリームの処理に加えて、DVD−A
udio規格に準拠したプログラムストリームの処理に
も対応しようとした場合、オーディオバッファコントロ
ール手段のデータ転送能力や音声処理部の演算処理能力
はDVD−Video規格のプログラムストリームの復
号処理の場合と比べ高い能力が必要となる。これに対応
するため回路規模を増大させたり、クロックの速度を速
めると、結果としてコストや消費電力の増大につながっ
てしまう。
従来の問題点に鑑みてなされたものであって、回路規模
を増大させたり、クロックの速度を速めることなく、例
えばDVD−Video規格及びDVD−Audio規
格に準拠するプログラムストリームのように、入力され
る音声と映像とで符号化信号の転送量や復号演算量の比
率が大きく異なる少なくとも2種類のデータ方式の再生
が可能な映像音声処理装置を提供するものである。
は、オーディオ及びビデオのデータストリームを含み、
オーディオ及びビデオの情報量が異なる少なくとも2種
類のデータストリームを復号し、再生する映像音声処理
装置であって、ビデオ及びオーディオストリームを記憶
するビデオ及びオーディオ用バッファエリアを含む外部
メモリと、前記外部メモリからオーディオストリーム及
びビデオストリームを夫々転送するオーディオストリー
ムFIFO及びビデオストリームFIFOと、を含み、
ビデオ及びオーディオストリームを復号するデコード処
理部と、入力された前記データストリームをオーディオ
及びビデオストリームに分離し、前記外部メモリ内のビ
デオ及びオーディオ用バッファエリアへのデータ転送を
指示するストリームパーシング手段と、前記外部メモリ
内のビデオ及びオーディオ用バッファエリアから夫々前
記ビデオ及びオーディオストリームFIFOへビデオ及
びオーディオストリームの転送を行うデータ転送量の異
なる第1,第2のバッファコントロール手段と、データ
ストリームの種類に応じて前記第1,第2のバッファコ
ントロール手段と前記ビデオ及びオーディオ用バッファ
エリアと前記ビデオ及びオーディオストリームFIFO
をアサインするバッファコントロールアサイン手段と、
を備えることを特徴とするものである。
音声処理装置において、前記バッファコントロールアサ
イン手段は、オーディオストリームのデコード方式を示
すオーディオデコーダ選択情報に応じて前記第1,第2
のバッファコントロール手段と前記外部メモリのビデオ
及びオーディオ用バッファエリア、及び前記ビデオ及び
オーディオストリームFIFOへのアサインを決定する
アサイン手段であることを特徴とするものである。
音声処理装置において、前記映像音声処理装置は、前記
第1のバッファコントロール手段と第2のバッファコン
トロール手段の最大可能データ転送量をそれぞれX及び
Yとし、単位時間当たりの処理クロック数をそれぞれA
及びBとした場合、X>Y及びA>Bの関係であること
を特徴とするものである。
音声処理装置において、前記映像音声処理装置は、映像
及び音声の記録のための第1の映像・音声規格及び前記
第1の映像・音声規格よりも映像の情報量が少なく、音
声の情報量が多い第2の映像・音声規格に準拠したプロ
グラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第1の映像・音声規格のオーディオデコーダ
を示す場合、前記第1バッファコントロール手段をビデ
オバッファエリアと前記ビデオストリームFIFOにア
サインし、前記第2のバッファコントロール手段を前記
オーディオバッファエリアと前記オーディオストリーム
FIFOにアサインすることを特徴とするものである。
音声処理装置において、前記映像音声処理装置は、映像
及び音声の記録のための第1の映像・音声規格及び前記
第1の映像・音声規格よりも映像の情報量が少なく、音
声の情報量が多い第2の映像・音声規格に準拠したプロ
グラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第2の映像・音声規格のオーディオデコーダ
を示す場合、前記第1のバッファコントロール手段をオ
ーディオバッファエリア、オーディオ用ストリームFI
FOにアサインし、前記第2のバッファコントロール手
段をビデオバッファエリア及び前記ビデオ用ストリーム
FIFOにアサインすることを特徴とするものである。
音声処理装置において、前記映像音声処理装置は、映像
及び音声の記録のための第1の映像・音声規格及び前記
第1の映像・音声規格よりも映像の情報量が少なく、音
声の情報量が多い第2の映像・音声規格に準拠したプロ
グラムストリームを復号する映像音声処理装置であり、
前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第1の映像・音声規格のオーディオデコーダ
を示す場合、前記第1のバッファコントロール手段をビ
デオバッファエリアと前記ビデオストリームFIFOに
アサインし、前記第2のバッファコントロール手段を前
記オーディオバッファエリアと前記オーディオストリー
ムFIFOにアサインすると共に、前記ホストインター
フェース部より伝達されるオーディオデコーダ選択情報
が第2の映像・音声規格のオーディオデコーダを示す場
合、前記第1のバッファコントロール手段をオーディオ
バッファエリア、オーディオ用ストリームFIFOにア
サインし、前記第2のバッファコントロール手段をビデ
オバッファエリア及び前記ビデオ用ストリームFIFO
にアサインすることを特徴とするものである。
ビデオのデータストリームを含み、オーディオ及びビデ
オの情報量が異なる少なくとも2種類のデータストリー
ムを復号し、再生する映像音声処理装置であって、前記
映像音声処理装置は、入出力処理部、デコ−ド処理部、
メモリコントローラ、及び外部メモリを含んで構成さ
れ、入出力処理部は、外部より非同期に入力される前記
デ−タストリ−ムを入力するストリーム入力部と、デー
タ転送時の内部バッファとして使用されるバッファメモ
リと、複数のタスク手段を切り替えながら実行するI/
Oプロセッサとを含んで構成され、デコード処理部は、
ビデオストリームに含まれる所定ブロックのヘッダ解析
とオーディオストリームの復号処理を行う逐次処理部
と、前記逐次処理部の復号処理と並行してビデオストリ
ームのヘッダ解析処理を除く復号処理を行う定型処理部
と、前記外部メモリから前記メモリコントローラにより
転送されるオーディオストリームを逐次処理部に転送す
るオーディオストリームFIFOと、外部メモリから前
記メモリコントローラにより転送されるビデオストリー
ムを定型処理部に転送するビデオストリームFIFO
と、を含んで構成され、メモリコントローラは、外部メ
モリのデータ入出力の制御を行うコントローラであり、
前記外部メモリは、前記メモリコントローラより転送さ
れるビデオ及びオーディオストリームを記憶するビデオ
及びオーディオ用バッファエリアを含んで構成され、前
記入出力処理部のI/Oプロセッサは、前記ストリーム
入力部より入力され前記バッファメモリに転送された前
記データストリームをオーディオ及びビデオストリーム
に分離し前記メモリコントローラに外部メモリ内のビデ
オ及びオーディオ用バッファエリアへのデータ転送を指
示するストリームパーシング手段と、前記外部メモリ内
のビデオあるいはオーディオ用バッファエリアから前記
ビデオ及びオーディオストリームFIFOへビデオ及び
オーディオストリームの転送を行う第1,第2のバッフ
ァコントロール手段と、データストリームの種類に応じ
て前記第1,第2のバッファコントロール手段と前記ビ
デオ及びオーディオ用バッファエリアと前記ビデオ及び
オーディオストリームFIFOをアサインするバッファ
コントロールアサイン手段と、を備えることを特徴とす
るものである。
音声処理装置において、前記映像音声処理装置は、前記
入出力処理部による入出力処理と、前記デコード処理部
によるデコード処理とを平行して行うよう構成されるこ
とを特徴とするものである。
音声処理装置において、前記入出力処理部は、外部のC
PUと前記I/Oプロセッサとの通信を行うホストイン
ターフェース部を備え、前記I/Oプロセッサは、少な
くともホストインターフェース部より伝達されるホスト
コミュニケーション情報を記憶するI/Oメモリを備
え、前記ホストコミュニケーション情報は、オーディオ
ストリームのデコード方式を示すオーディオデコーダ選
択情報を含んで構成され、前記バッファコントロールア
サイン手段は、オーディオデコーダ選択情報に応じて前
記第1,第2のバッファコントロール手段と前記外部メ
モリのビデオ及びオーディオ用バッファエリア、及び前
記ビデオ及びオーディオストリームFIFOへのアサイ
ンを決定するアサイン手段であることを特徴とするもの
である。
像音声処理装置において、前記映像音声処理装置は、前
記第1のバッファコントロール手段と第2のバッファコ
ントロール手段の最大可能データ転送量をそれぞれX及
びYとし、単位時間当たりの処理クロック数をそれぞれ
A及びBとした場合、X>Y及びA>Bの関係であるこ
とを特徴とするものである。
映像音声処理装置において、前記映像音声処理装置は、
映像及び音声の記録のための第1の映像・音声規格及び
前記第1の映像・音声規格よりも映像の情報量が少な
く、音声の情報量が多い第2の映像・音声規格に準拠し
たプログラムストリームを復号する映像音声処理装置で
あり、前記バッファコントロールアサイン手段は、前記
ホストインターフェース部より伝達されるオーディオデ
コーダ選択情報が第1の映像・音声規格のオーディオデ
コーダを示す場合、前記第1バッファコントロール手段
をビデオバッファエリアと前記ビデオストリームFIF
Oにアサインし、前記第2のバッファコントロール手段
を前記オーディオバッファエリアと前記オーディオスト
リームFIFOにアサインすることを特徴とするもので
ある。
映像音声処理装置において、前記映像音声処理装置は、
映像及び音声の記録のための第1の映像・音声規格及び
前記第1の映像・音声規格よりも映像の情報量が少な
く、音声の情報量が多い第2の映像・音声規格に準拠し
たプログラムストリームを復号する映像音声処理装置で
あり、前記バッファコントロールアサイン手段は、前記
ホストインターフェース部より伝達されるオーディオデ
コーダ選択情報が第2の映像・音声規格のオーディオデ
コーダを示す場合、前記第1のバッファコントロール手
段をオーディオバッファエリア、オーディオ用ストリー
ムFIFOにアサインし、前記第2のバッファコントロ
ール手段をビデオバッファエリア及び前記ビデオ用スト
リームFIFOにアサインすることを特徴とするもので
ある。
映像音声処理装置において、前記映像音声処理装置は、
映像及び音声の記録のための第1の映像・音声規格及び
前記第1の映像・音声規格よりも映像の情報量が少な
く、音声の情報量が多い第2の映像・音声規格に準拠し
たプログラムストリームを復号する映像音声処理装置で
あり、前記バッファコントロールアサイン手段は、前記
ホストインターフェース部より伝達されるオーディオデ
コーダ選択情報が第1の映像・音声規格のオーディオデ
コーダを示す場合、前記第1のバッファコントロール手
段をビデオバッファエリアと前記ビデオストリームFI
FOにアサインし、前記第2のバッファコントロール手
段を前記オーディオバッファエリアと前記オーディオス
トリームFIFOにアサインすると共に、前記ホストイ
ンターフェース部より伝達されるオーディオデコーダ選
択情報が第2の映像・音声規格のオーディオデコーダを
示す場合、前記第1のバッファコントロール手段をオー
ディオバッファエリア、オーディオ用ストリームFIF
Oにアサインし、前記第2のバッファコントロール手段
をビデオバッファエリア及び前記ビデオ用ストリームF
IFOにアサインすることを特徴とするものである。
像音声処理装置において、前記逐次処理部は、ビデオス
トリームに含まれる所定ブロックのヘッダ解析を行うヘ
ッダ解析処理手段と、少なくとも第1の映像・音声規格
のオーディオストリームの音声復号処理を行う第1オー
ディオデコード手段と及び第2の映像・音声規格のオー
ディオストリームの音声復号処理を行う第2オーディオ
デコード手段を含むオーディオ処理手段と、前記ヘッダ
解析処理手段と前記オーディオ処理手段の切り替えを行
うオペレーションスレッド手段と、を含んで構成される
ことを特徴とするものである。
像音声処理装置において、前記映像音声処理装置は、映
像及び音声の記録のための第1の映像・音声規格及び前
記第1の映像・音声規格よりも映像の情報量が少なく、
音声の情報量が多い第2の映像・音声規格に準拠したプ
ログラムストリームを復号する映像音声処理装置であ
り、前記逐次処理部は、ビデオストリームに含まれる所
定ブロックのヘッダ解析を行うヘッダ解析処理手段と、
少なくとも第1の映像・音声規格のオーディオストリー
ムの音声復号処理を行う第1オーディオデコード手段と
及び第2の映像・音声規格のオーディオストリームの音
声復号処理を行う第2オーディオデコード手段を含むオ
ーディオ処理手段と、前記ヘッダ解析処理手段と前記オ
ーディオ処理手段の切り替えを行うオペレーションスレ
ッド手段と、を含んで構成され、前記オスペレーション
スレッド手段は、前記ヘッダ解析処理手段によるビデオ
ストリームに含まれる所定ブロックのヘッダ解析処理を
前記第2オーディオ処理手段によるオーディオストリー
ムの音声復号処理より優先的に行うようスレッド切り替
えを実行するヘッダ解析優先手段を含み、前記オーディ
オ処理手段が、オペレーションスレッド手段からの割り
込みを禁止する割込み禁止設定手段を備えることを特徴
とするものである。
音声処理装置について図面を参照しながら説明する。図
1は、本発明の実施の形態1における映像音声処理装置
の全体構成を示すブロック図である。
は、映像及び音声の記録のための第1の映像・音声規格
であるDVD−Video規格準拠のプログラムストリ
ームのデコード処理に加え、第1の映像・音声規格より
も映像の情報量が少なく、音声の情報量が多い第2の映
像・音声規格であるDVD−Audio規格準拠のプロ
グラムストリームのデコード処理にも対応している。
力処理部2100、デコード処理部2200、メモリコ
ントローラ2300を備え、入出力処理とデコード処理
とを並行して行うよう構成されている。また、外部メモ
リ2400は、MPEGストリームやデコード後の音声
データを一時的に記憶する作業用メモリ、デコード後の
映像データを記憶するフレームメモリとして利用され
る。
置本体部2000の内部動作とは非同期に発生する以下
の入出力処理を行うものである。 (a)外部から非同期に入力されるプログラムストリー
ムを入力して外部メモリ2400に一時的に格納する。 (b)外部メモリ2400に格納された映像及びオーデ
ィオストリームをデコード処理部2200に供給する。 (c)デコードされた映像データ、音声データを外部メ
モリ2400から読み出し、外部の表示装置、音声出力
装置(図外)それぞれの出力レートに合わせて出力す
る。
部2110、バッファメモリ2120、I/Oプロセッ
サ2130、DMAC(Direct Memory Access Control
ler)2140、ビデオ出力部2150、オーディオ出
力部2160、及びホストI/F部2170を備える。
リアルに入力されるプログラムストリームをパラレルデ
ータに変換し、I/Oプロセッサ2130の制御により
バッファメモリ2120に転送するものである。
力部2110から転送されたストリームデータを一時的
に保持する緩衝用メモリである。I/Oプロセッサ21
30はバッファメモリ2120に保持されたストリーム
データをメモリコントローラ2300を介して外部メモ
リ2400に転送するものである。
hronous Dynamic Random Access Memory)チップにより
構成され、バッファメモリ2120からメモリコントロ
ーラ2300を介して転送されたストリームデータを一
時的に保持するメモリである。本実施の形態では、映像
及びオーディオストリームを夫々記憶するビデオバッフ
ァエリア2410及びオーディオ用バッファエリア24
20が確保されているものとする。さらに、外部メモリ
2400は復号後の映像データ(以降、フレームデータ
とも呼ぶ)及び復号後の音声データも保持する。
ようにストリーム入力部2110、バッファメモリ21
20、ビデオ及びオーディオストリームFIFO221
1、2212の間のデータ入出力を制御する。又メモリ
コントローラ2300を介して外部メモリ2400の入
出力を制御する。すなわち以下の(1)〜(4)に示す
経路のデータ転送(DMA転送)を制御するものであ
る。 (1)ストリーム入力部2110→バッファメモリ21
20→メモリコントローラ2300→外部メモリ240
0 (2)外部メモリ2400→メモリコントローラ230
0→FIFOメモリ2210 (3)外部メモリ2400→メモリコントローラ230
0→バッファメモリ2120→ビデオ出力部2150 (4)外部メモリ2400→メモリコントローラ230
0→バッファメモリ2120→オーディオ出力部216
0
130は、プログラムストリーム中のビデオストリーム
とオーディオストリームとの転送をそれぞれ独立に制御
する。また、(1)、(2)は復号前のストリームの転
送経路であり、これらの転送経路においてI/Oプロセ
ッサ2130は、映像符号化信号とオーディオストリー
ムとを別個に転送する。(3)、(4)はそれぞれ、復
号後の映像、音声データの転送経路である。復号後の映
像、音声データは、外部の表示装置(図外)、音声出力
装置(図外)それぞれの出力レートに合わせて転送され
る。
30は上記(1)〜(4)を含むデータ入出力管理を時
分割多重実行できるマルチスレッド型のプロセッサであ
る。各スレッドは、一定時間ごとに起動され、割り当て
られた時間分の処理を実行するため、実時間動作を保証
できるよう構成される。またI/Oプロセッサは、内部
に各スレッドのワーク用メモリとしてI/Oメモリ21
31を装備し、また内部に外部メモリ2400とFIF
Oメモリ2210へのストリーム転送のタスクアサイン
を制御するバッファコントロールアサイン手段2138
を含んで構成される。本実施の形態では、説明を容易に
するため、I/Oプロセッサ内の各処理の構成を以下の
ように設定する。
トリーム入力部2110より入力されたプログラムスト
リームの解析を行い、AVデコードに必要なデータかど
うかの判断を行い、オーディオ・ビデオ・副映像の各ス
トリームの分離処理とバッファメモリ2120への転送
制御を行うタスクである。その結果たとえば、多国語対
応プログラムストリームから外部ホストCPU等により
選択されるオーディオストリームを選択することができ
る。
は、上記(2)の経路のデータ転送を専門に扱うタスク
であり、バッファコントロールアサイン手段2138の
制御によりビデオあるいはオーディオストリームの転送
制御を行う。バッファコントロールアサイン手段213
8により、このタスクがビデオストリーム転送用に割り
当てられた場合の第1バッファコントロール手段213
3は、デコード処理部2200のリクエストに応じて、
外部メモリ2400のビデオバッファエリア2410か
らメモリコントローラ2300を介してFIFOメモリ
2210内のビデオストリームFIFO2211へビデ
オストリームデータを転送する。又オーディオストリー
ム転送用に割り当てられた場合、第1バッファコントロ
ール手段2133は、デコード処理部2200のリクエ
ストに応じて、外部メモリ2400のオーディオバッフ
ァエリア2420からメモリコントローラ2300を介
してFIFOメモリ2210内のオーディオストリーム
FIFO2212へオーディオストリームデータを転送
する。
は、第1バッファコントロール手段2133と同様、上
記(2)の経路のデータ転送を扱うタスクであるが、他
にオーディオ出力データの転送を扱う(4)の経路等の
データ転送も扱う。第1バッファコントロール手段は上
記(2)の経路のデータ転送を専門に扱うのに対し、第
2バッファコントロール手段は上記(2)の経路のデー
タ転送以外のタスクも掛け持っている。その分第1バッ
ファコントロール手段2133より最大転送レートは小
さい。ここで第1,第2バッファコントロール手段の最
大可能データ転送量をそれぞれX及びYとし、単位時間
当たりの処理クロック数をそれぞれA及びBとした場
合、X>Y及びA>Bの関係であるものとする。
ホストI/F部2170を介して本映像音声処理装置を
制御する外部ホストプロセッサとの通信を行うタスクで
ある。例えば外部プロセッサから入力される、音声符号
化方式を選択するオーディオデコーダ選択情報等の各ホ
ストコミュニケーション情報は、このタスクによりI/
Oメモリ2131に格納される。
36は、デコード処理部2200との通信手段であり、
例えばデコード処理部2200へのホストプロセッサか
らの制御情報はこのタスクにより伝達される。
(3)の経路のデータ転送を行うタスクであり、外部メ
モリ2400内部のビデオ出力信号をビデオ出力部21
50へ出力する。
トロールアサイン手段2138は、ホストインターフェ
ース手段2135によってI/Oメモリ2131に格納
されたオーディオデコーダ選択情報を読み込む。そして
DVD−Video規格のオーディオデコーダが選択さ
れている場合は、第1バッファコントロール手段213
3をビデオストリーム転送用に割り当て、第2バッファ
コントロール手段2134をオーディオストリーム転送
用に割り当てる。又DVD−Audio規格のオーディ
オデコーダが選択されている場合は、第1バッファコン
トロール手段2133をオーディオストリーム転送用に
割り当て、第2バッファコントロール手段2134をビ
デオストリーム転送用に割り当てる。これはDVD−V
ideo規格のプログラムストリームが、動画を扱うビ
デオストリームとオーディオストリームを多重化したも
ので、ビデオストリームの占めるデータ割合がオーディ
オストリームに比べ非常に大きい。逆にDVD−Aud
io規格のプログラムストリームは、プリローディング
用の静止画ストリーム以外はすべてオーディオストリー
ムである。よって、扱う最大データ転送量が大きい第1
バッファコントロール手段への割り当てをそれぞれ、前
者の場合はビデオ、後者の場合はオーディオとしてい
る。
2100の動作とは独立に並行して、入出力処理部21
00によって供給されるビデオ及びオーディオストリー
ムをデコードし、I/Oプロセッサとの通信により、デ
コード後の映像データ及び音声データを外部メモリ24
00に格納する。
FIFOメモリ2210、逐次処理部2220と、定型
処理部2230とを備え、ビデオストリームの復号処理
は逐次処理部2220と、定型処理部2230のそれぞ
れが処理を分担する。すなわち逐次処理部2220は、
ビデオストリームのマクロブロックヘッダ部分のヘッダ
解析処理を行い、定型処理部2230は、ビデオストリ
ームのマクロブロック本体部分のデコード処理を行う。
このようにデコード処理部2200においては、圧縮ビ
デオストリームのマクロブロック毎に逐次処理部222
0と定型処理部2230とが一回ずつそれぞれの処理を
行う。一方、オーディオストリームのデコード処理(以
下音声デコード処理と略す)は、逐次処理部2220が
1マクロブロックのヘッダ解析処理と次の1マクロブロ
ックのヘッダ解析処理との間の時間帯に行う。
におけるビデオストリームとそのマクロブロックのデー
タ構成は、公知の文献、たとえば(ISO/IEC 13818-2 "I
nfomation Technology-Generic Coding of Moving Pict
ures and Accociated Adio:Part2-Video")に詳しく説
明されているので、ここでは説明は省略する。
Oからなり、それぞれビデオ用FIFOメモリ221
1、オーディオ用FIFOメモリ2212として割り当
てられる。I/Oプロセッサ2130の制御の下で外部
メモリ2400から転送されたビデオストリーム、オー
ディオストリームをそれぞれ先入れ先出し式に記憶す
る。尚、ビデオ用FIFOメモリ2211はビデオスト
リームのマクロブロック本体部分のデコード処理を行う
定型処理部2230と連結しており、オーディオ用FI
FOメモリ2212はオーディオストリームのデコード
処理全般を行う逐次処理部2220と連結している。
プロセッサと内部メモリ2228とを有し、メモリに含
まれるスレッドプログラム(以下、スレッドという)を
実行するものである。なおここでスレッドとはマルチス
レッドの環境で行われるひとかたまりの処理プログラム
のことを指す。逐次処理部2220はビデオのマクロブ
ロックのヘッダ解析処理を主に行うヘッダ解析処理手段
2221と、オーディオストリームのデコード処理を行
うオーディオ処理手段2222と、ビデオ処理手段とオ
ーディオ処理手段の切り替えを行うオペレーションスレ
ッド手段2223とが含まれる。
析処理を音声デコード処理より優先させるために、オペ
レーションスレッド手段2223は内部のヘッダ解析優
先手段2226によりヘッダ解析処理を音声デコード処
理より優先的に行うよう構成されている。
るヘッダ解析処理は、マクロブロックのヘッダ情報の解
析と動きベクトルの計算とを含む。マクロブロックのヘ
ッダ部分には、マクロブロック本体部分のデコードを行
うにあたって必要となる情報(ヘッダ情報)が記録され
ており、逐次処理部2220は、解析によって得られた
各種データを定型処理部2230に出力する。動きベク
トルとは、参照フレーム中の8*8の矩形領域を指すベ
クトルであり、当該ブロックが参照フレーム中のどの矩
形領域との差分がとられたかを指し示す。
音声デコード処理は、オーディオストリームのヘッダ部
分の解析とデータ本体部分のデコードとを逐次処理部2
220内部のみで独立して行う。このため音声デコード
処理の中断及び再開はヘッダ解析処理に比べて容易であ
る。
るDVD−Video規格の音声デコード処理は、動画
再生処理を扱うビデオ処理と比べると、ビデオ処理にお
けるマクロブロックのヘッダ解析と次のヘッダ解析との
間の時間帯で十分に処理できるほど処理量が少ない。こ
れらの理由から逐次処理部2220においてはヘッダ解
析処理を音声デコード処理より優先的に行うよう構成さ
れている。
るDVD−Audio規格の音声デコード処理は、最短
表示間隔が0.4秒の静止画再生処理を扱うビデオ処理
と比べ、ストリームのデータ転送量や復号処理にかかる
演算量は決して少ないとはいえない。
のヘッダ解析と次のヘッダ解析との間の時間帯でそのま
ま処理しようとすると、オペレーションスレッド手段2
223内部のヘッダ解析優先手段2226により、静止
画再生の切り替え直後に次の静止画表示用のビデオスト
リームのデコード開始時において、ヘッダ解析処理を音
声デコード処理より優先的に行うため、結果として過渡
的にオーディオデコード処理量の不足が生じてしまう。
み禁止設定手段2227が装備され、DVD−Audi
o規格対応の第2オーディオデコード手段2225で
は、割込み禁止設定手段2227によってオペレーショ
ンスレッド手段2223のスレッド割り込みを制限し、
オーディオ処理におけるリアルタイム性を確保してい
る。
部2231、画素演算部2232、画素読み書き部22
33を備える。定型処理部2230はビデオデコード処
理におけるマクロブロック本体部分について、コード変
換部2231による可変長符号の復号(VLD:Variabl
e Length code Decoding)、画素演算部2232による
逆量子化(IQ:Inverse Quantization)と逆離散余弦
変換(IDCT:Inverse Discrete Cosine Transfor
m)、画素読み書き部2233による動き補償(MC:Mo
tion Compensation)を同順に定型処理としてパイプラ
イン方式によって行う。ただし定型処理部2230は、
VLDについては、マクロブロック本体部分のみでな
く、マクロブロックのヘッダ部分についても行って、復
号されたヘッダ部分のデータを逐次処理部2220に出
力する。定型処理部2230は、動き補償において、復
号後のブロックをフレームメモリとしての外部メモリ2
400にメモリコントローラ2300を介して格納す
る。
Video規格対応の第1オーディオデコード手段22
24と、DVD−Audio規格対応の第2オーディオ
デコード手段2225とで構成され、また内部に割込み
禁止設定手段2227が装備されている。第1オーディ
オデコード手段2224は、たとえばドルビーディジタ
ル方式(通称AC3)や、MPEGオーディオ(ISO
/IEC11172−3あるいは13818−3)を対
象とするデコード手段であってもよい。又第2オーディ
オデコード手段2225は、PackedPCM方式を
対象とするデコード手段であってもよい。
00の各主要部で行われる処理タイミングを図4に示
す。なお同図において、横軸は時間を示し、t0〜t4
は、時間軸上の時刻を示す。同図において、逐次処理部
2220はオペレーションスレッド手段2223を介し
てヘッダ解析処理手段2221により、まず1マクロブ
ロック分のヘッダ解析処理(ヘッダ情報の解析と動きベ
クトルの計算)を行う(t0〜t2)。この処理中にお
いて逐次処理部2220はオペレーションスレッド手段
2223を介して、ヘッダ情報の解析を終了すると(t
1)、動きベクトルの計算処理の前に、コード変換部2
231にマクロブロック本体部分のVLD開始指示を出
力する。逐次処理部2220は、1マクロブロック分の
ヘッダ解析を終了した後、オペレーションスレッド手段
2223を介してオーディオ処理手段2222により音
声デコード処理を開始する(t2)。コード変換部22
31がマクロブロック本体部分のVLDを終了すると
(t3)、逐次処理部2220はオペレーションスレッ
ド手段2223のヘッダ解析優先手段2226により、
音声デコード処理を中断してヘッダ解析処理手段222
1へスレッド処理を移行し、ヘッダ解析処理を開始す
る。
る音声デコード処理が、第1オーディオデコード手段2
224(DVD−Video規格のデコード処理)によ
って行われる場合であれば、オペレーションスレッド手
段2223によるスレッド切替えは、スムーズに行われ
るが、第2オーディオデコード手段2225(DVD−
Audio規格のデコード処理)によって行われる場合
は、割込み禁止設定手段2227によって割り込みタイ
ミングが制限される。これは上記の説明でも触れたよう
に、DVD−Video規格のプログラムストリーム再
生における音声デコード処理は、動画再生処理を扱うビ
デオ処理と比べると、ビデオ処理におけるマクロブロッ
クのヘッダ解析と次のヘッダ解析との間の時間帯で十分
に処理できるほど処理量が少ないのに対し、DVD−A
udio規格のプログラムストリーム再生における音声
デコード処理が、最短表示間隔が0.4秒の静止画再生
処理を扱うビデオ処理と比べ、処理量が大きいからであ
る。そこで割込み禁止設定手段2227によってオペレ
ーションスレッド手段2223のスレッド割り込みを制
限する。こうすればDVD−Audio規格においても
オーディオ処理のリアルタイム性を確保することができ
る。
の動作について説明する。尚、本実施の形態では説明を
容易にするため、最初にDVD−Video規格のデコ
ード処理における入出力処理部及びデコード処理部にお
ける動作を説明し、次にDVD−Audio規格のデコ
ード処理における入出力処理部及びデコード処理部にお
ける動作を説明する。
における入出力処理部>まずデコード開始前に、ホスト
I/F部2170を介してI/Oプロセッサ2130の
制御(ホストインターフェース手段2135)によっ
て、ホストコミュニケーション情報がI/Oメモリ21
31に格納される。ここで音声符号化方式を選択するオ
ーディオデコーダ選択情報によってDVD−Video
規格のオーディオデコーダが選択される。
トリーム入力部2110から非同期に入力されるプログ
ラムストリームは、I/Oプロセッサ2130の制御
(ストリームパーシング手段2132)によって、解析
がおこなわれ、分離処理とバッファメモリ2120、メ
モリコントローラ2300を介して一旦外部メモリ24
00に格納される。
ントローラ2300を介してFIFOメモリ2210に
保持される。このときI/Oプロセッサ2130では、
内部のバッファコントロールアサイン手段2138によ
って、I/Oメモリ2131に格納されているオーディ
オデコーダ選択情報を読み出す。ここではDVD−Vi
deo規格のオーディオデコーダが選択されていること
から、第1バッファコントロール手段2133をビデオ
ストリーム転送用に割り当て、第2バッファコントロー
ル手段2134をオーディオストリーム転送用に割り当
てる。これはDVD−Video規格のプログラムスト
リームが、動画を扱うビデオストリームとオーディオス
トリームを多重化したもので、ビデオストリームの占め
るデータ割合がオーディオストリームに比べ非常に大き
いためである。
2133は、デコード処理部2200のリクエストに応
じて、外部メモリ2400のビデオバッファエリア24
10からメモリコントローラ2300を介してFIFO
メモリ2210内のビデオストリームFIFO2211
へビデオストリームデータを転送する。又第2バッファ
コントロール手段2134は、外部メモリ2400のオ
ーディオバッファエリア2420からメモリコントロー
ラ2300を介してFIFOメモリ2210内のオーデ
ィオストリームFIFO2212へオーディオストリー
ムデータを転送する。
FIFOメモリ2210に過不足なく一定量のビデオ及
びオーディオストリームデータを供給するので、デコー
ド処理部2200は、非同期の入出力とは切り離され
て、デコード処理に専従することができる。ここまでの
処理は、上記入出力処理部2100により、デコード処
理部2200とは独立に並行してなされる。
におけるデコード処理部>まず逐次処理部2220で
は、I/Oプロセッサ2130内のデコード処理部イン
ターフェース手段2136を介してオーディオデコーダ
選択情報を入手し、オーディオ処理手段2222におけ
るデコーダとして第1オーディオデコード手段2224
をセットする。
スレッド手段2223の制御によってヘッダ解析処理手
段2221によるビデオヘッダ解析処理とオーディオ処
理手段2222によるオーディオデコードとを交互に繰
り返して行う。逐次処理部2220は、ヘッダ解析処理
手段2221によって1マクロブロック分のヘッダ解析
を行い、解析結果を定型処理部2230のコード変換部
2231、画素演算部2232、画素読み書き部223
3に通知した後、コード変換部2231に対してマクロ
ブロックのVLD開始を指示する。その後逐次処理部2
220は、動きベクトルを計算し、画素読み書き部22
33に計算結果を出力する。この出力の後、逐次処理部
2220はオペレーションスレッド手段2223を介し
て、ヘッダ解析を終了する。
ヘッダ解析終了後、オーディオ処理手段2222を実行
状態にする。オーディオ処理手段2222が実行状態に
なることにより、逐次処理部2220はオーディオデコ
ード処理を開始する。オーディオ処理手段2222の実
行によって、オーディオデコード処理は、内部の第1オ
ーディオデコード手段2224によって、オーディオス
トリームFIFO2212からオーディオストリームが
読み込まれ、デコード処理が行なわれる。デコード後の
音声データは内部メモリ2228に一旦保持され、さら
にメモリコントローラ2300により外部メモリ240
0にDMA転送される。
ッド手段2223は、定型処理部2230のコード変換
部2231によるVLD終了を検出すると、ヘッダ解析
処理手段2221が実行可能状態になるので、ヘッダ解
析優先手段2224により、音声デコード処理を中断し
てヘッダ解析処理手段2221へ処理を移行し、ヘッダ
解析処理を開始する。これによって逐次処理部2220
では、次のマクロブロックのヘッダ解析を開始する。
る音声デコード処理が、第1オーディオデコード手段2
224(DVD−Video規格のデコード処理)によ
って行われるため、オペレーションスレッド手段222
3によるスレッド切替えは、ビデオのヘッダ解析を優先
し、スムーズに行われるので、ビデオ動画の処理はリア
ルタイム性を維持することができる。
における入出力処理部>上記DVD−Video規格の
デコード処理における場合と同様、デコード開始前に、
ホストI/F部2170を介してホストインターフェー
ス手段2135によって、ホストコミュニケーション情
報がI/Oメモリ2131に格納される。ここで音声符
号化方式を選択するオーディオデコーダ選択情報によっ
てDVD−Audio規格のオーディオデコーダが選択
される。
トリーム入力部2110から非同期に入力されるプログ
ラムストリームはストリームパーシング手段2132に
よって、解析がおこなわれ、分離され、バッファメモリ
2120、メモリコントローラ2300を介して一旦外
部メモリ2400に格納される。
ントローラ2300を介してFIFOメモリ2210に
保持される。このときI/Oプロセッサ2130では、
内部のバッファコントロールアサイン手段2138によ
って、I/Oメモリ2131に格納されているオーディ
オデコーダ選択情報を読み出し、DVD−Audio規
格のオーディオデコーダが選択されていることから、第
1バッファコントロール手段2133をオーディオスト
リーム転送用に割り当て、第2バッファコントロール手
段2134をビデオストリーム転送用に割り当てる。こ
れは、DVD−Audio規格のプログラムストリーム
が、プリローディング用の静止画ストリーム以外はすべ
てオーディオストリームであるので、扱う最大データ転
送量が大きい第1バッファコントロール手段へオーディ
オを割り当てている。
2134は、デコード処理部2200のリクエストに応
じて、外部メモリ2400のビデオバッファエリア24
10からメモリコントローラ2300を介してFIFO
メモリ2210内のビデオストリームFIFO2211
へビデオストリームデータを転送する。第1バッファコ
ントロール手段2133は、外部メモリ2400のオー
ディオバッファエリア2420からメモリコントローラ
2300を介してFIFOメモリ2210内のオーディ
オストリームFIFO2212へオーディオストリーム
データを転送する。
像音声処理装置は、バッファコントロール処理にかかる
回路規模や演算処理量の増大を伴うことなくDVD−A
udioデコード対応を実現することができる。本実施
の形態によれば、DVD−Audioデコード対応のた
めにバッファコントロール処理は、ホストCPUからの
デコーダ選択により切り替わるバッファコントロールア
サイン手段2138を追加するのみでよい。
におけるデコード処理部>上記DVD−Video規格
のデコード処理における場合と同様、まず逐次処理部2
220では、I/Oプロセッサ2130内のデコード処
理部I/F手段2136を介してオーディオデコーダ選
択情報を入手し、オーディオ処理手段2222における
デコーダとして第2オーディオデコード手段2225を
セットする。
スレッド手段2223の制御によってヘッダ解析処理手
段2221によるビデオヘッダ解析処理とオーディオ処
理手段2222によるオーディオデコードと交互に繰り
返して行う。動作順序等については基本的にDVD−V
ideo規格のデコード処理の場合とほぼ同じである
が、音声デコード処理中のコード変換部2231による
VLD終了を検出する処理がDVD−Video規格の
デコード処理の場合に比べると大きく遅延がかかり、結
果としてその分オーディオ処理の時間が延長される。
5(DVD−Audio規格のデコード処理)によって
デコード処理が行われるため、割込み禁止設定手段22
27によって割り込みタイミングを制限する。これは上
記の説明でも触れたように、DVD−Video規格の
プログラムストリーム再生における音声デコード処理
は、動画再生処理を扱うビデオ処理と比べると、ビデオ
処理におけるマクロブロックのヘッダ解析と次のヘッダ
解析との間の時間帯で十分に処理できるほど処理量が少
ない。一方DVD−Audio規格のプログラムストリ
ーム再生における音声デコード処理は、最短表示間隔が
0.4秒の静止画再生処理を扱うビデオ処理と比べ、処
理量が大きい。従って割込み禁止設定手段2227によ
って、オペレーションスレッド手段2223のスレッド
割り込みを制限する。これにより静止画復号処理による
一時的な処理量不足を回避することが可能である。逐次
処理部の処理性能を向上させる必要なくDVD−Vid
eo及びDVD−Audioの双方に対するデコード対
応の実現が容易となる。オーディオ処理におけるリアル
タイム性を確保することができる。
像音声処理装置は、デコード処理にかかる回路規模や演
算処理量の増大を伴うことなくDVD−Audioデコ
ード対応を実現することができる。本実施の形態によれ
ば、DVD−Audioデコード対応のためにデコード
処理は、オーディオ処理手段に割込み禁止設定手段を追
加するのみでよい。
ァコントロールアサイン手段を備えることによって、復
号処理を行うプログラムストリームに含まれるビデオス
トリームとオーディオストリームに応じて、バッファエ
リアからFIFOへ符号化信号の転送を行うバッファコ
ントロールタスクとの組み合わせを変更することが可能
となる。従って映像及び音声符号化データを扱うバッフ
ァコントロールタスクが固定してアサインされる場合と
比較すると、ストリームの特性に適した組み合わせによ
る符号化信号のデータ転送が可能となり、双方のバッフ
ァコントロールタスクの処理能力をあげる必要がないの
で、コストアップすることなく、入力ストリームへの対
応性を向上することができる。
ュニケーション記憶手段とバッファコントロールアサイ
ン手段とを備えて構成されることで、音声符号化方式情
報に応じて第1及び第2バッファコントロール手段と映
像及びオーディオ用バッファエリア、ストリームFIF
Oへのアサインを決定することが可能となり、例えばD
VD−Video規格の音声符号化の復号処理の場合と
DVD−Audio規格の音声符号化の復号処理の場合
とでバッファコントロールタスクのアサインを容易に指
定できるので、入力される音声と映像とで符号化信号の
転送量や復号演算量の比率が大きく異なるストリームへ
の適合が容易となる。
コミュニケーション記憶手段とバッファコントロールア
サイン手段とを備えて構成することで、DVD−Aud
io準拠のプログラムストリーム再生時は音声処理優先
のバッファコントロール処理が行われ、DVD−Vid
eo準拠のプログラムストリーム再生時は映像処理優先
のバッファコントロール処理が行われるので、バッファ
コントロールタスクの性能向上の必要なくDVD−Vi
deo及びDVD−Audioの双方に対するデコード
対応の実現が容易となる。
置の全体構成を示すブロック図である。
Oプロセッサの構成を示すブロック図である。
処理部の構成を示すブロック図である。
0の各主要部で行われる処理タイミングを示す図であ
る。
ク図である。
Claims (15)
- 【請求項1】 オーディオ及びビデオのデータストリー
ムを含み、オーディオ及びビデオの情報量が異なる少な
くとも2種類のデータストリームを復号し、再生する映
像音声処理装置であって、 ビデオ及びオーディオストリームを記憶するビデオ及び
オーディオ用バッファエリアを含む外部メモリと、 前記外部メモリからオーディオストリーム及びビデオス
トリームを夫々転送するオーディオストリームFIFO
及びビデオストリームFIFOと、を含み、ビデオ及び
オーディオストリームを復号するデコード処理部と、 入力された前記データストリームをオーディオ及びビデ
オストリームに分離し、前記外部メモリ内のビデオ及び
オーディオ用バッファエリアへのデータ転送を指示する
ストリームパーシング手段と、 前記外部メモリ内のビデオ及びオーディオ用バッファエ
リアから夫々前記ビデオ及びオーディオストリームFI
FOへビデオ及びオーディオストリームの転送を行うデ
ータ転送量の異なる第1,第2のバッファコントロール
手段と、 データストリームの種類に応じて前記第1,第2のバッ
ファコントロール手段と前記ビデオ及びオーディオ用バ
ッファエリアと前記ビデオ及びオーディオストリームF
IFOをアサインするバッファコントロールアサイン手
段と、を備えることを特徴とする映像音声処理装置。 - 【請求項2】 前記バッファコントロールアサイン手段
は、オーディオストリームのデコード方式を示すオーデ
ィオデコーダ選択情報に応じて前記第1,第2のバッフ
ァコントロール手段と前記外部メモリのビデオ及びオー
ディオ用バッファエリア、及び前記ビデオ及びオーディ
オストリームFIFOへのアサインを決定するアサイン
手段であることを特徴とする請求項1記載の映像音声処
理装置。 - 【請求項3】 前記映像音声処理装置は、前記第1のバ
ッファコントロール手段と第2のバッファコントロール
手段の最大可能データ転送量をそれぞれX及びYとし、
単位時間当たりの処理クロック数をそれぞれA及びBと
した場合、X>Y及びA>Bの関係であることを特徴と
する請求項2記載の映像音声処理装置。 - 【請求項4】 前記映像音声処理装置は、映像及び音声
の記録のための第1の映像・音声規格及び前記第1の映
像・音声規格よりも映像の情報量が少なく、音声の情報
量が多い第2の映像・音声規格に準拠したプログラムス
トリームを復号する映像音声処理装置であり、 前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第1の映像・音声規格のオーディオデコーダ
を示す場合、前記第1バッファコントロール手段をビデ
オバッファエリアと前記ビデオストリームFIFOにア
サインし、前記第2のバッファコントロール手段を前記
オーディオバッファエリアと前記オーディオストリーム
FIFOにアサインすることを特徴とする請求項3記載
の映像音声処理装置。 - 【請求項5】 前記映像音声処理装置は、映像及び音声
の記録のための第1の映像・音声規格及び前記第1の映
像・音声規格よりも映像の情報量が少なく、音声の情報
量が多い第2の映像・音声規格に準拠したプログラムス
トリームを復号する映像音声処理装置であり、 前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第2の映像・音声規格のオーディオデコーダ
を示す場合、前記第1のバッファコントロール手段をオ
ーディオバッファエリア、オーディオ用ストリームFI
FOにアサインし、前記第2のバッファコントロール手
段をビデオバッファエリア及び前記ビデオ用ストリーム
FIFOにアサインすることを特徴とする請求項3記載
の映像音声処理装置。 - 【請求項6】 前記映像音声処理装置は、映像及び音声
の記録のための第1の映像・音声規格及び前記第1の映
像・音声規格よりも映像の情報量が少なく、音声の情報
量が多い第2の映像・音声規格に準拠したプログラムス
トリームを復号する映像音声処理装置であり、 前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第1の映像・音声規格のオーディオデコーダ
を示す場合、前記第1のバッファコントロール手段をビ
デオバッファエリアと前記ビデオストリームFIFOに
アサインし、前記第2のバッファコントロール手段を前
記オーディオバッファエリアと前記オーディオストリー
ムFIFOにアサインすると共に、 前記ホストインターフェース部より伝達されるオーディ
オデコーダ選択情報が第2の映像・音声規格のオーディ
オデコーダを示す場合、前記第1のバッファコントロー
ル手段をオーディオバッファエリア、オーディオ用スト
リームFIFOにアサインし、前記第2のバッファコン
トロール手段をビデオバッファエリア及び前記ビデオ用
ストリームFIFOにアサインすることを特徴とする請
求項3記載の映像音声処理装置。 - 【請求項7】 オーディオ及びビデオのデータストリー
ムを含み、オーディオ及びビデオの情報量が異なる少な
くとも2種類のデータストリームを復号し、再生する映
像音声処理装置であって、 前記映像音声処理装置は、入出力処理部、デコ−ド処理
部、メモリコントローラ、及び外部メモリを含んで構成
され、 入出力処理部は、 外部より非同期に入力される前記デ−タストリ−ムを入
力するストリーム入力部と、 データ転送時の内部バッファとして使用されるバッファ
メモリと、 複数のタスク手段を切り替えながら実行するI/Oプロ
セッサとを含んで構成され、 デコード処理部は、 ビデオストリームに含まれる所定ブロックのヘッダ解析
とオーディオストリームの復号処理を行う逐次処理部
と、 前記逐次処理部の復号処理と並行してビデオストリーム
のヘッダ解析処理を除く復号処理を行う定型処理部と、 前記外部メモリから前記メモリコントローラにより転送
されるオーディオストリームを逐次処理部に転送するオ
ーディオストリームFIFOと、 外部メモリから前記メモリコントローラにより転送され
るビデオストリームを定型処理部に転送するビデオスト
リームFIFOと、を含んで構成され、 メモリコントローラは、 外部メモリのデータ入出力の制御を行うコントローラで
あり、 前記外部メモリは、 前記メモリコントローラより転送されるビデオ及びオー
ディオストリームを記憶するビデオ及びオーディオ用バ
ッファエリアを含んで構成され、 前記入出力処理部のI/Oプロセッサは、 前記ストリーム入力部より入力され前記バッファメモリ
に転送された前記データストリームをオーディオ及びビ
デオストリームに分離し前記メモリコントローラに外部
メモリ内のビデオ及びオーディオ用バッファエリアへの
データ転送を指示するストリームパーシング手段と、 前記外部メモリ内のビデオあるいはオーディオ用バッフ
ァエリアから前記ビデオ及びオーディオストリームFI
FOへビデオ及びオーディオストリームの転送を行う第
1,第2のバッファコントロール手段と、 データストリームの種類に応じて前記第1,第2のバッ
ファコントロール手段と前記ビデオ及びオーディオ用バ
ッファエリアと前記ビデオ及びオーディオストリームF
IFOをアサインするバッファコントロールアサイン手
段と、を備えることを特徴とする映像音声処理装置。 - 【請求項8】 前記映像音声処理装置は、前記入出力処
理部による入出力処理と、前記デコード処理部によるデ
コード処理とを平行して行うよう構成されることを特徴
とする請求項7記載の映像音声処理装置。 - 【請求項9】 前記入出力処理部は、外部のCPUと前
記I/Oプロセッサとの通信を行うホストインターフェ
ース部を備え、 前記I/Oプロセッサは、少なくともホストインターフ
ェース部より伝達されるホストコミュニケーション情報
を記憶するI/Oメモリを備え、 前記ホストコミュニケーション情報は、オーディオスト
リームのデコード方式を示すオーディオデコーダ選択情
報を含んで構成され、 前記バッファコントロールアサイン手段は、オーディオ
デコーダ選択情報に応じて前記第1,第2のバッファコ
ントロール手段と前記外部メモリのビデオ及びオーディ
オ用バッファエリア、及び前記ビデオ及びオーディオス
トリームFIFOへのアサインを決定するアサイン手段
であることを特徴とする請求項7記載の映像音声処理装
置。 - 【請求項10】 前記映像音声処理装置は、前記第1の
バッファコントロール手段と第2のバッファコントロー
ル手段の最大可能データ転送量をそれぞれX及びYと
し、単位時間当たりの処理クロック数をそれぞれA及び
Bとした場合、X>Y及びA>Bの関係であることを特
徴とする請求項9記載の映像音声処理装置。 - 【請求項11】 前記映像音声処理装置は、映像及び音
声の記録のための第1の映像・音声規格及び前記第1の
映像・音声規格よりも映像の情報量が少なく、音声の情
報量が多い第2の映像・音声規格に準拠したプログラム
ストリームを復号する映像音声処理装置であり、 前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第1の映像・音声規格のオーディオデコーダ
を示す場合、前記第1バッファコントロール手段をビデ
オバッファエリアと前記ビデオストリームFIFOにア
サインし、前記第2のバッファコントロール手段を前記
オーディオバッファエリアと前記オーディオストリーム
FIFOにアサインすることを特徴とする請求項10記
載の映像音声処理装置。 - 【請求項12】 前記映像音声処理装置は、映像及び音
声の記録のための第1の映像・音声規格及び前記第1の
映像・音声規格よりも映像の情報量が少なく、音声の情
報量が多い第2の映像・音声規格に準拠したプログラム
ストリームを復号する映像音声処理装置であり、 前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第2の映像・音声規格のオーディオデコーダ
を示す場合、前記第1のバッファコントロール手段をオ
ーディオバッファエリア、オーディオ用ストリームFI
FOにアサインし、前記第2のバッファコントロール手
段をビデオバッファエリア及び前記ビデオ用ストリーム
FIFOにアサインすることを特徴とする請求項10記
載の映像音声処理装置。 - 【請求項13】 前記映像音声処理装置は、映像及び音
声の記録のための第1の映像・音声規格及び前記第1の
映像・音声規格よりも映像の情報量が少なく、音声の情
報量が多い第2の映像・音声規格に準拠したプログラム
ストリームを復号する映像音声処理装置であり、 前記バッファコントロールアサイン手段は、前記ホスト
インターフェース部より伝達されるオーディオデコーダ
選択情報が第1の映像・音声規格のオーディオデコーダ
を示す場合、前記第1のバッファコントロール手段をビ
デオバッファエリアと前記ビデオストリームFIFOに
アサインし、前記第2のバッファコントロール手段を前
記オーディオバッファエリアと前記オーディオストリー
ムFIFOにアサインすると共に、 前記ホストインターフェース部より伝達されるオーディ
オデコーダ選択情報が第2の映像・音声規格のオーディ
オデコーダを示す場合、前記第1のバッファコントロー
ル手段をオーディオバッファエリア、オーディオ用スト
リームFIFOにアサインし、前記第2のバッファコン
トロール手段をビデオバッファエリア及び前記ビデオ用
ストリームFIFOにアサインすることを特徴とする請
求項10記載の映像音声処理装置。 - 【請求項14】 前記逐次処理部は、 ビデオストリームに含まれる所定ブロックのヘッダ解析
を行うヘッダ解析処理手段と、 少なくとも第1の映像・音声規格のオーディオストリー
ムの音声復号処理を行う第1オーディオデコード手段と
及び第2の映像・音声規格のオーディオストリームの音
声復号処理を行う第2オーディオデコード手段を含むオ
ーディオ処理手段と、 前記ヘッダ解析処理手段と前記オーディオ処理手段の切
り替えを行うオペレーションスレッド手段と、を含んで
構成されることを特徴とする請求項9記載の映像音声処
理装置。 - 【請求項15】 前記映像音声処理装置は、映像及び音
声の記録のための第1の映像・音声規格及び前記第1の
映像・音声規格よりも映像の情報量が少なく、音声の情
報量が多い第2の映像・音声規格に準拠したプログラム
ストリームを復号する映像音声処理装置であり、 前記逐次処理部は、 ビデオストリームに含まれる所定ブロックのヘッダ解析
を行うヘッダ解析処理手段と、 少なくとも第1の映像・音声規格のオーディオストリー
ムの音声復号処理を行う第1オーディオデコード手段と
及び第2の映像・音声規格のオーディオストリームの音
声復号処理を行う第2オーディオデコード手段を含むオ
ーディオ処理手段と、 前記ヘッダ解析処理手段と前記オーディオ処理手段の切
り替えを行うオペレーションスレッド手段と、を含んで
構成され、 前記オスペレーションスレッド手段は、前記ヘッダ解析
処理手段によるビデオストリームに含まれる所定ブロッ
クのヘッダ解析処理を前記第2オーディオ処理手段によ
るオーディオストリームの音声復号処理より優先的に行
うようスレッド切り替えを実行するヘッダ解析優先手段
を含み、 前記オーディオ処理手段が、オペレーションスレッド手
段からの割り込みを禁止する割込み禁止設定手段を備え
ることを特徴とする請求項7記載の映像音声処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001064650A JP4538161B2 (ja) | 2000-03-08 | 2001-03-08 | 映像音声処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000062839 | 2000-03-08 | ||
JP2000-62839 | 2000-03-08 | ||
JP2001064650A JP4538161B2 (ja) | 2000-03-08 | 2001-03-08 | 映像音声処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001324998A true JP2001324998A (ja) | 2001-11-22 |
JP4538161B2 JP4538161B2 (ja) | 2010-09-08 |
Family
ID=26586977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001064650A Expired - Fee Related JP4538161B2 (ja) | 2000-03-08 | 2001-03-08 | 映像音声処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4538161B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1643487A1 (en) * | 2004-09-30 | 2006-04-05 | Matsushita Electric Industrial Co Ltd | Audio decoding apparatus |
CN111986684A (zh) * | 2020-09-08 | 2020-11-24 | 广州视源电子科技股份有限公司 | 音视频处理电路及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07170290A (ja) * | 1993-12-15 | 1995-07-04 | Sony Corp | 通信システム |
JPH0993577A (ja) * | 1995-09-28 | 1997-04-04 | Toshiba Corp | 動画像デコード装置 |
JPH10307731A (ja) * | 1997-03-04 | 1998-11-17 | Matsushita Electric Ind Co Ltd | 非同期に実行すべきタスクが多数あっても、非同期イベントタスクを効率良く実行することができるプロセッサ |
JPH11239348A (ja) * | 1997-11-28 | 1999-08-31 | Matsushita Electric Ind Co Ltd | 映像音声処理装置 |
-
2001
- 2001-03-08 JP JP2001064650A patent/JP4538161B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07170290A (ja) * | 1993-12-15 | 1995-07-04 | Sony Corp | 通信システム |
JPH0993577A (ja) * | 1995-09-28 | 1997-04-04 | Toshiba Corp | 動画像デコード装置 |
JPH10307731A (ja) * | 1997-03-04 | 1998-11-17 | Matsushita Electric Ind Co Ltd | 非同期に実行すべきタスクが多数あっても、非同期イベントタスクを効率良く実行することができるプロセッサ |
JPH11239348A (ja) * | 1997-11-28 | 1999-08-31 | Matsushita Electric Ind Co Ltd | 映像音声処理装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1643487A1 (en) * | 2004-09-30 | 2006-04-05 | Matsushita Electric Industrial Co Ltd | Audio decoding apparatus |
US7693722B2 (en) | 2004-09-30 | 2010-04-06 | Panasonic Corporation | Simultaneous audio decoding apparatus for plural compressed audio streams |
CN111986684A (zh) * | 2020-09-08 | 2020-11-24 | 广州视源电子科技股份有限公司 | 音视频处理电路及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP4538161B2 (ja) | 2010-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0919953B1 (en) | Audio-video decoding system | |
US7342967B2 (en) | System and method for enhancing performance of personal video recording (PVR) functions on hits digital video streams | |
US8270800B2 (en) | Information processing apparatus and method, recording medium, and program | |
US8009741B2 (en) | Command packet system and method supporting improved trick mode performance in video decoding systems | |
JPH10507597A (ja) | マルチメディア・システムのためのプログラマブルなオーディオ−ビデオ同期方法および装置 | |
JPWO2007032123A1 (ja) | マルチストリーム復号装置 | |
JP2009111932A (ja) | 動画像復号化装置 | |
US6847687B2 (en) | Audio and video processing apparatus | |
KR100640885B1 (ko) | 듀얼 비디오 디코딩을 위한 비디오 버퍼 제어 장치 | |
JP2008216472A (ja) | 音声復号化装置及び音声復号化システム | |
JP2001324998A (ja) | 映像音声処理装置 | |
US6128340A (en) | Decoder system with 2.53 frame display buffer | |
JP3410669B2 (ja) | 映像音声処理装置 | |
CN101637027B (zh) | 解码方法、解码器以及解码装置 | |
JP4770023B2 (ja) | デジタル信号処理装置および方法、並びにデジタル信号処理プログラム | |
JP4433319B2 (ja) | 信号再生装置 | |
JP5589654B2 (ja) | 映像音声再生装置、および映像音声再生方法 | |
JP2007074544A (ja) | 画像復号再生装置 | |
JP2000228759A (ja) | Hd/sd対応デコード装置 | |
KR20010102899A (ko) | Mpeg2파일 재생시스템에 있어서 mpeg2파일의 멀티디스플레이 구현장치 및 방법 | |
JP2001320653A (ja) | 画像復号装置及び画像復号方法 | |
JP3161344B2 (ja) | 復号化装置 | |
JP2002051337A (ja) | 映像音声処理装置 | |
JPH11275575A (ja) | 画像復号装置および方法、並びに提供媒体 | |
JPH1055614A (ja) | 符号化・多重化システム、符号化装置及び多重化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4538161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |