JP2006166154A - 動画像再生システム - Google Patents
動画像再生システム Download PDFInfo
- Publication number
- JP2006166154A JP2006166154A JP2004356113A JP2004356113A JP2006166154A JP 2006166154 A JP2006166154 A JP 2006166154A JP 2004356113 A JP2004356113 A JP 2004356113A JP 2004356113 A JP2004356113 A JP 2004356113A JP 2006166154 A JP2006166154 A JP 2006166154A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- encoded data
- data
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】汎用プロセッサで多重分離処理と時間管理処理を行なっている動画像再生システムにおいて、高画質な高ビットレート動画データの再生を行なった場合、汎用プロセッサの処理負荷が増え動画像再生のためのりアルタイムな時間管理ができない。
【解決手段】蓄積メディア100から多重分離処理108または復号化処理109、110へ、多重化ストリームデータを、汎用プロセッサ101でのファイル管理処理107を経由せずに、直接転送できる転送装置103を備える。これにより、汎用プロセッサ101以外での多重分離処理108を可能とし、同期制御処理111も汎用プロセッサ101以外で制御する。
【選択図】 図1
【解決手段】蓄積メディア100から多重分離処理108または復号化処理109、110へ、多重化ストリームデータを、汎用プロセッサ101でのファイル管理処理107を経由せずに、直接転送できる転送装置103を備える。これにより、汎用プロセッサ101以外での多重分離処理108を可能とし、同期制御処理111も汎用プロセッサ101以外で制御する。
【選択図】 図1
Description
本発明は、複数のストリームが多重化された多重化ストリームを再生するストリーム再生システムにおいて、特に、ビデオ符号化データやオーディオ符号化データが多重化された多重化ストリームを、蓄積メディアからリアルタイムに再生する動画像再生システムに関する。
蓄積メディアから、ビデオ符号化データやオーディオ符号化データが多重化された多重化ストリームを、リアルタイムに再生する動画像再生システムとして、特許文献1などがある。この従来例では、様々な方式の多重化ストリームに対応するため、汎用プロセッサ(文献ではCPUと表記)が、ソフトウェアによって多重化ストリームの多重分離処理を行なうことを特徴としている。
一方、蓄積メディアに格納される多重化ストリームの多重化方式として、たとえばASF(Advanced System Format)がある。図12にASFの概略構造図を示す。図12(A)はASFの最上位レイヤのデータ構造を示している。このレイヤは、ASFファイルのプロパティやオーディオ、ビデオの符号化方式などの情報を格納するHeaderObject(以下「ヘッダオブジェクト」という)と、符号化されたオーディオデータ及びビデオデータをDataObject(以下「データオブジェクト」という)と、基準画面情報を格納するIndexObject(以下「インデックスオブジェクト」という)とから構成される。図12(B)(C)(D)にデータオブジェクトにおける下位層の内部構造を示す。図12(B)が示すように、データオブジェクトは固定長のPacket(以下パケット)単位で管理され、さらにそのパケットは図12(C)が示すように、PacketHeader(以下「パケットヘッダ」という)と一個以上のPayload(以下「ペイロード」という)と呼ばれるデータブロックで構成されている。ペイロードは図12(D)に示すように、ペイロードヘッダとペイロードデータから構成され、ペイロードヘッダにはペイロードデータのサイズと再生時刻情報PTSが格納されている。
次に、図13にASFファイルの分離処理の一般的な処理フロー概略を示す。再生開始時、ステップ1300において、ヘッダオブジェクト取得を行う。ステップ1301では、取得したヘッダオブジェクトの解析を行い、ファイルサイズ、パケットサイズなどの情報を取得する。これら情報をもとに、多重化ストリーム内でのパケット位置を算出可能となる。上記が管理情報解析処理で行われる内容である。
次に、ステップ1302では、オーディオ、ビデオデータ取得を行うために、ヘッダオブジェクトから取得した情報をもとに、パケットの取得を行う。ステップ1303では、パケットの解析を行い、ビデオまたはオーディオのペイロードを取得する。ステップ1304では、取得したペイロードの解析を行い、ビデオデータやオーディオデータの抽出とそれぞれの再生時刻情報を取得する。上記が多重分離処理により行われる内容である。
従って、多重化ストリームの多重分離処理により、各メディアデータと各メディアの再生時刻情報が取得されることから、多重分離処理と再生時刻との同期処理は、同一のプロセッサで行うことが好ましい。なお、ASFは、非特許文献1に詳述される。
従って、多重化ストリームの多重分離処理により、各メディアデータと各メディアの再生時刻情報が取得されることから、多重分離処理と再生時刻との同期処理は、同一のプロセッサで行うことが好ましい。なお、ASFは、非特許文献1に詳述される。
また、近年の蓄積メディアは、ビデオやオーディオだけでなく、文字データやアプリケーションなどの様々なデータを格納するために、PCなどで使用されている、たとえばFATシステムなどの、ファイルシステムを通じたアクセスが一般的である。このファイルシステムはオペレーティングシステム(以下OS)に大きく依存するため、OSが動作する汎用プロセッサで行うことが一般的である。
以上より、周知のリアルタイム動画像再生システムの従来例として図11に示す構成が一般的である。この従来例の構成は、多重化ストリームを格納する蓄積メディア1100と、汎用プロセッサ1101と、ビデオやオーディオ復号化処理を行う信号処理プロセッサ1102と、図示しない外部デバイスに出力するオーディオ出力部1103とビデオ出力部1104とからなる。汎用プロセッサ1101では、多重化ストリームファイル内のデータ管理情報を解析する管理情報解析処理1105と、多重化ストリームファイル内の位置情報を、ファイルシステムに基づき蓄積メディア内部の位置情報に変換し、蓄積メディアにアクセスするファイル管理処理1106と、多重化ストリームを分離する多重分離処理1107と、再生時刻情報によりオーディオまたはビデオ復号化処理の開始、あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御1108とを行う。信号処理プロセッサ1102では、多重分離処理1107から分離されたオーディオ符号化データを復号化するオーディオ復号化処理1109と、多重分離処理1107から分離されたビデオ符号化データを復号化するビデオ復号化処理1110を行う。
上記従来例の汎用プロセッサで処理されるタスク遷移について、図14にタイミングチャートを示す。オーディオとビデオの再生時刻に合わせた同期制御を行う必要性から、数msの時間制約を持った実時間処理を行う必要性がある。それに対し、蓄積メディアへのアクセス処理と多重分離処理は、数百msの時間制約である。
特開1996−296078号公報
Microsoft Advanced Systems Format ("ASF") Specification v. 1.2
ISO/IEC14496-1Information technology - Coding of audio-visual objects - Part 1 : Systems
しかしながら、今後予想される高画質対応の高ビットレートな動画像データを蓄積メディアから再生する場合、蓄積メディアへのアクセスや、多重化ストリームの分離処理の処理が増加することが予想される。
これを従来例のシステム構成で実現すると、汎用プロセッサでの処理負荷の増加により、オーディオおよびビデオのデータを再生時刻に合わせて同期制御を行うことが困難になり、リアルタイム動画再生が不可能になる。
また、近年、汎用プロセッサのオペレーティングシステムとして、Linuxなどの実時間性を保障できない、非リアルタイムオペレーティングシステムを使用する例が見られる。
このような、非リアルタイムなオペレーティングシステムの環境下では、処理負荷よりも数十msの同期制御を行うこと自体が困難である。
これら課題を解決する手段の一つとして、ビデオやオーディオ復号化処理を行う信号処理プロセッサで蓄積メディアへのアクセスと多重化ストリームの分離処理を行うことも考えられる。しかしながら、ファイルシステム構造を有した蓄積メディアへのアクセスをビデオやオーディオ復号化処理を行う信号処理プロセッサで行うことは、非効率である。また、多重分離処理をハードウェア構成で行うには、多様な多重化方式への対応が困難である。
本発明は、このような従来の課題を解決するためになされたものであり、高ビットレートな動画像データを蓄積メディアから再生する場合や、さらには、非リアルタイムなオペレーティングシステムの環境下でも、滑らかな動画再生を実現しうる動画再生システムを提供することを目的とする。
本発明は、このような従来の課題を解決するためになされたものであり、高ビットレートな動画像データを蓄積メディアから再生する場合や、さらには、非リアルタイムなオペレーティングシステムの環境下でも、滑らかな動画再生を実現しうる動画再生システムを提供することを目的とする。
本発明は上記課題を解決するために、本発明に関する動画像再生システムは、ビデオ符号化データおよびオーディオ符号化データと、ビデオ符号化データおよびオーディオ符号化データを管理するためのデータ管理情報と、ビデオ符号化データおよびオーディオ符号化データの再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
多重化ストリームを格納する蓄積メディアと、蓄積メディアから多重化ストリームを転送する転送装置と、転送された多重化ストリームを一時記憶するバッファと、バッファに一時記憶された多重化ストリームをビデオ符号化データとオーディオ符号化データとデータ管理情報と再生時刻情報とに分離する多重分離手段と、ビデオ符号化データを復号化するビデオ復号化手段と、オーディオ符号化データを復号化するオーディオ復号化手段と、再生時刻情報を入力としビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、管理情報解析手段によって解析された結果を入力とし、蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置が、ファイル管理手段が設定した蓄積メディアへのアクセス情報をもとに、多重分離手段からの転送開始指示によって蓄積メディアから多重化ストリームをバッファへ直接転送可能なことを特徴とするものである。
多重化ストリームを格納する蓄積メディアと、蓄積メディアから多重化ストリームを転送する転送装置と、転送された多重化ストリームを一時記憶するバッファと、バッファに一時記憶された多重化ストリームをビデオ符号化データとオーディオ符号化データとデータ管理情報と再生時刻情報とに分離する多重分離手段と、ビデオ符号化データを復号化するビデオ復号化手段と、オーディオ符号化データを復号化するオーディオ復号化手段と、再生時刻情報を入力としビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、管理情報解析手段によって解析された結果を入力とし、蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置が、ファイル管理手段が設定した蓄積メディアへのアクセス情報をもとに、多重分離手段からの転送開始指示によって蓄積メディアから多重化ストリームをバッファへ直接転送可能なことを特徴とするものである。
上記構成において、汎用プロセッサは、多重分離手段、オーディオ復号化手段またはビデオ復号化手段から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、位置に対しファイルシステムに基づき蓄積メディア内部の位置への変換と、転送装置への設定処理とを行う。
上記構成において、転送装置は、ファイル管理手段からの転送要求を複数キューイング可能な要求蓄積キューと、要求蓄積キューが空またはある閾値以下になることを検出するキュー検出手段とを有し、多重分離手段は、キュー検出手段の検出信号をもとに、管理情報解析手段への要求タイミングを制御する。
本発明の別の動画像再生システムは、ビデオ符号化データおよびオーディオ符号化データと、ビデオ符号化データおよびオーディオ符号化データを管理するためのデータ管理情報と、ビデオ符号化データおよびオーディオ符号化の再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
多重化ストリームを格納する蓄積メディアと、多重化ストリーム内のオーディオ符号化データを転送する第1の転送手段を有し多重化ストリーム内のビデオ符号化データを転送する第2の転送手段を有する転送装置と、第1の転送手段により転送されたオーディオ符号化データを一時記憶するオーディオバッファと、第2の転送手段により転送されたビデオ符号化データを一時記憶するビデオバッファと、オーディオバッファに格納された符号化データを復号化するオーディオ復号化手段と、ビデオバッファに格納された符号化データを復号化するビデオ復号化手段と、オーディオバッファまたはビデオバッファに格納された符号化データのそれぞれに対応する再生時刻情報を一時的に格納する時刻情報バッファと、この時刻情報バッファから再生時刻情報を取得し、ビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、蓄積メディアへのアクセスまたは管理情報解析手段によって解析されたデータ管理情報から蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置は、ファイル管理処理手段が設定した蓄積メディアへのアクセス情報をもとに、オーディオ復号化手段およびビデオ復号化手段からの転送開始指示によって、蓄積メディアからオーディオバッファおよびビデオバッファへ直接転送可能であることを特徴とするものである。
多重化ストリームを格納する蓄積メディアと、多重化ストリーム内のオーディオ符号化データを転送する第1の転送手段を有し多重化ストリーム内のビデオ符号化データを転送する第2の転送手段を有する転送装置と、第1の転送手段により転送されたオーディオ符号化データを一時記憶するオーディオバッファと、第2の転送手段により転送されたビデオ符号化データを一時記憶するビデオバッファと、オーディオバッファに格納された符号化データを復号化するオーディオ復号化手段と、ビデオバッファに格納された符号化データを復号化するビデオ復号化手段と、オーディオバッファまたはビデオバッファに格納された符号化データのそれぞれに対応する再生時刻情報を一時的に格納する時刻情報バッファと、この時刻情報バッファから再生時刻情報を取得し、ビデオ復号化手段によって復号化されたビデオデータまたはオーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
データ管理情報を解析する管理情報解析手段と、蓄積メディアへのアクセスまたは管理情報解析手段によって解析されたデータ管理情報から蓄積メディア内の任意の場所へアクセスするための設定を転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
転送装置は、ファイル管理処理手段が設定した蓄積メディアへのアクセス情報をもとに、オーディオ復号化手段およびビデオ復号化手段からの転送開始指示によって、蓄積メディアからオーディオバッファおよびビデオバッファへ直接転送可能であることを特徴とするものである。
上記構成において、転送装置は、管理情報解析手段から得られる再生時刻情報と、オーディオ符号化データおよびビデオ符号化データとを結合する再生時刻結合手段を有し、蓄積メディアからオーディオバッファまたはビデオバッファへ、オーディオ符号化データまたはビデオ符号化データを転送する際に、管理情報解析手段から得られた再生時刻情報をオーディオ符号化データまたはビデオ符号化データに付記し転送する。
ただし、本発明において、信号処理プロセッサは、多重分離手段と、オーディオ復号化手段と、同期制御手段とを備えた信号処理プロセッサと、ビデオ復号化手段を備えるプロセッサとの二つのプロセッサ構成や、ビデオ復号化手段と、同期制御手段とを備えた信号処理プロセッサと、オーディオ復号化手段を備えるプロセッサとの二つのプロセッサ構成など、信号処理プロセッサの詳細な構成は特定しない。
本発明の動画像再生システムによれば、蓄積メディアから多重分離処理へ、または復号化処理手段へ多重化ストリームデータを、直接転送できる転送装置を新たに加えることによって、汎用プロセッサでのファイル管理処理を経由せずに多重化ストリームの転送を可能としている。さらには、多重化ストリームの管理情報解析処理と蓄積メディアのファイル管理処理を汎用プロセッサで行わせることで、ビデオやオーディオ復号化処理を行う信号処理プロセッサでは非効率なファイルシステム構造に基づいた蓄積メディアへのアクセス処理を行わない構成としている。さらには、同期制御を汎用プロセッサでは行なわない構成にしている。
従って、汎用プロセッサは、多重分離処理あるいは復号化処理から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、ファイルシステム構造に基づき、蓄積メディア内部の位置への変換と、転送装置への設定処理とを行うだけになる。
結果、汎用プロセッサで動画像再生時に必要な処理の発生頻度は、図14で示した同期制御タスクの数msの時間制約を持った実時間処理から解放され、時間制約は数百msの間隔に削減できる。さらに、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
本発明の各実施の形態を、図面を参照しながら詳細に説明する。
図1は、本発明の請求項1に記載の動画像再生システムの第1の実施の形態のブロック図である。
図1における動画像再生システムでは、多重化ストリームを格納する蓄積メディア100と、汎用プロセッサ101とビデオやオーディオ復号化処理を行う信号処理プロセッサ102と、多重化ストリームを蓄積メディアから転送する転送装置103と、多重化ストリームを一時的に格納するバッファ112と、図示しない外部デバイスに出力するオーディオ出力部104とビデオ出力部105とから構成される。汎用プロセッサ101では、多重化ストリームファイル内のデータ管理情報を解析する管理情報解析処理106と、多重化ストリームファイル内の位置情報をファイルシステム構造に基づき、蓄積メディア内部の位置情報に変換するファイル管理処理107を行う。信号処理プロセッサ102では、多重化ストリームを分離する多重分離処理108と、多重分離処理108から分離されたオーディオ符号化データを復号化するオーディオ復号化処理109と、多重分離処理108から分離されたビデオ符号化データを復号化するビデオ復号化処理110と、再生時刻情報により、オーディオまたはビデオの復号化処理の開始時刻あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御処理111とを行う。図中細線矢印はデータフローを、点線矢印は制御を示している。
次にこのように構成された本実施の形態の動作例を、多重化ストリームの方式として前述のASFを適用し、図2、図3の処理フロー概要に従って、図1を参照しながら、以下に説明する。ただし、図2は汎用プロセッサでの処理ステップ、図3は信号処理プロセッサでの多重分離処理部分の処理ステップである。
はじめに、汎用プロセッサでの処理ステップを説明する。
再生開始時、ステップ200において、管理情報解析処理106は、ファイル管理処理107を経由し、蓄積メディア100からヘッダオブジェクト部分を取得する。ステップ201では、管理情報解析処理106は、ヘッダオブジェクトの解析を行いファイルサイズやパケットサイズ、全パケットの総数などの情報を取得する。これにより、多重分離処理108からのパケット要求により、取得すべきパケットの多重化ストリームファイル内の位置が算出可能となる。ステップ202では、初回のパケットをバッファ112に転送する処理を行う。ステップ203では、信号処理プロセッサ102へ多重分離処理108の起動を指示する。ステップ204では、現在のパケット番号が、パケット総数を超えているか否かを判断する。超えていない場合は、信号処理プロセッサからの次パケットの要求待ち205の状態になる。
信号処理プロセッサ102で多重分離処理108と復号化処理109、110が開始され、汎用プロセッサ101が、多重分離処理108から次パケットの要求を受けると、待ち状態から解除される。次ステップ206では、管理情報解析処理106は多重分離処理108から受けた要求情報に含まれるパケット番号に基づき、多重化ストリーム内の要求パケットの位置の算出を行う。ステップ207では、ファイル管理処理107は、管理情報解析処理106によって算出された要求パケットの位置を、蓄積メディア内部の位置に変換する。ステップ208では、変換された蓄積メディア内部の位置を転送装置103に設定する。そして、再び、信号処理プロセッサからの次パケットの要求待ち205の状態になる。汎用プロセッサ101は、これら一連の動作を行い、要求されたパケット番号がパケット総数を超えた時点で再生終了を行う。
次に、信号処理プロセッサ102での多重分離処理での処理ステップを説明する。
汎用プロセッサ101から、多重分離処理108へ起動が指示されてから、ステップ300では、次のパケットの要求を行い、ビデオ、または、オーディオの復号化処理109、110からのデータ要求待ち301の状態になる。復号化処理からデータ要求が来ると、ステップ302では、要求がビデオであるか、オーディオであるかを判断する。ビデオからの要求である場合、ステップ303では、バッファ112内のパケット解析を行い、ビデオ符号化データを抽出する。ステップ304では、抽出したビデオ符号化データに対応する再生時刻情報を抽出する。そして、符号化データはビデオ復号化処理110へ、再生時刻情報は同期制御処理111へ、それぞれ送信する。ステップ305では、パケットからすべてのデータを抽出したかを判断し、抽出が完了していない場合は、再び、ビデオ、または、オーディオの復号化処理からのデータ要求待ち301の状態になる。抽出が完了した場合は,ステップ308において、次のパケットデータの転送開始を転送装置103に指示する。そして、転送完了待ち309の状態になる。転送完了後、再び、ステップ300において、次パケットの要求を汎用プロセッサへ送信する。信号処理プロセッサは、これら一連の動作を再生終了となるまで続ける。
以上、本実施の形態が示す動画像再生システムでは、転送装置103を新たに加えることによって、汎用プロセッサ101を経由せずに、蓄積メディア100から多重分離処理108への転送を可能としている。さらには、多重化ストリームの管理情報解析処理106と、蓄積メディア100へアクセスするためのファイル管理処理107を、汎用プロセッサ101で処理させることで、信号処理プロセッサ102では非効率なファイルシステム構造に基づいた蓄積メディア100へのアクセス処理を、行わない構成としている。
従って、動画像再生中、汎用プロセッサ101は、多重分離処理108から送信される次のパケット要求に応じて、多重化ストリームファイル内における次パケットの位置を算出する処理と、ファイルシステム構造に基づいた蓄積メディア100内部の位置への変換と、転送装置103への設定処理とを行うだけとなる。従って、図14に示す従来例のタイミングチャートにおいて、同期制御タスク処理と多重分離タスクがなくなり、ファイル管理処理タスク(ただし、管理情報解析処理を含む。)のみとなる。今、例として、1パケットサイズ8KB、再生する動画像のビットレートが384kbpsであると仮定すると、ファイル管理タスクの起動は、約160msの間隔となり、従来数msの起動間隔であった時間制約から大幅に緩和される。結果、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
次に本発明の請求項3に記載の第2の実施の形態について図面を参照しながら具体的に説明する。
図4は本発明の請求項3に記載の第2の実施の形態の動画像再生システムのブロック図である。
図4における動画像再生システムでは、図1記載の請求項1に記載の動画像再生システムの構成に加え、転送装置400には、複数の転送要求を格納する要求蓄積キュー401と蓄積キュー401がある閾値以下になることを検出するキュー検出手段402を備える。
次にこのように構成された本実施の形態の動作を以下に説明する。
基本動作は請求項1に記載の動画像再生システムにおける第1の実施の形態と同様であるが、多重分離処理403は、要求蓄積キュー401の段数がある閾値以下になるとキュー検出手段402から出力される信号に基づいて、パケットの要求を複数まとめて要求する。今、キューの段数を5段と仮定し、閾値を1段とすると、転送要求を4段まとめて行うことが可能となる。従って、先の実施の形態の場合、ファイル管理タスクの起動間隔は約640msとなり、さらなる汎用プロセッサでの時間制約を緩和でき、さらなる高ビットレート動画像ファイルへの対応が可能となる。
基本動作は請求項1に記載の動画像再生システムにおける第1の実施の形態と同様であるが、多重分離処理403は、要求蓄積キュー401の段数がある閾値以下になるとキュー検出手段402から出力される信号に基づいて、パケットの要求を複数まとめて要求する。今、キューの段数を5段と仮定し、閾値を1段とすると、転送要求を4段まとめて行うことが可能となる。従って、先の実施の形態の場合、ファイル管理タスクの起動間隔は約640msとなり、さらなる汎用プロセッサでの時間制約を緩和でき、さらなる高ビットレート動画像ファイルへの対応が可能となる。
次に本発明の請求項4の第3の実施の形態について図面を参照しながら具体的に説明する。
図5は本発明の請求項4に記載の動画像再生システムの第3の実施の形態のブロック図である。
図5における動画像再生システムでは、多重化ストリームを格納する蓄積メディア500と、汎用プロセッサ501とビデオやオーディオの復号化処理を行う信号処理プロセッサ502と、多重化ストリームを蓄積メディアから転送する複数チャンネルを構成する第1の転送手段514および第2の転送手段515をもった転送装置503と、多重化ストリームデータのオーディオ符号化データを一時的に格納するオーディオバッファ504と、多重化ストリームデータのビデオ符号化データを一時的に格納するビデオバッファ505と、図示しない外部デバイスに出力するオーディオ出力部506およびビデオ出力部507とから構成される。
汎用プロセッサ501では、多重化ストリームファイル内の管理情報を解析する管理情報解析処理508と、多重化ストリームファイル内の位置情報をファイルシステム構造に基づき、蓄積メディア内部の位置情報に変換するファイル管理処理509とを行う。信号処理プロセッサ502では、オーディオバッファ504から符号化データを取得し復号化するオーディオ復号化処理510と、ビデオバッファ505から符号化データを取得し復号化するビデオ復号化処理511と、管理情報解析処理508からのビデオ、オーディオそれぞれの再生時刻情報を時刻情報バッファ512に入力する処理と、時刻情報バッファ512に蓄えられた再生時刻情報を取得し、オーディオまたはビデオ復号化処理の開始時刻、あるいは復号化されたオーディオまたはビデオデータの出力時刻を制御する同期制御処理513を行う。
本実施の形態は蓄積メディア500において蓄積される多重化ストリームの別の方式として、非特許文献2に詳述されるファイルフォーマット(以下MP4)に、適した構成であり、このMP4について以下に概説する。
図6にMP4の概略構造図を示す。図6(A)MP4の最上位レイヤのデータ構造を示している。このレイヤは、ファイル識別子を格納するftyp部と、オーディオおよびビデオなどのコーデック情報や、再生時刻情報、データサイズなどを格納するmoov部と、オーディオおよびビデオなどのデータをサンプル単位で格納したmdat部からなる。また、図6(B)(C)にmoov部とmdat部における下位層の内部構造を示す。図6(B)が示すように、moov部はオーディオ及びビデオのtrakからなり、mdat部はオーディオデータおよびビデオデータのsample(以下サンプル)の集合から構成される。さらに、図6(C)が示すように、オーディオとビデオそれぞれのtrakにはコーデック情報や、再生時刻情報、データサイズが格納されているstbl部があり、mdat部のサンプルには幾つかの複数フレームが格納されている。
このMP4方式の多重化ストリームでは、moov部のtrak内部にオーディオデータまたはビデオデータに関する情報がすべて入っているため、moov部を解析することにより、再生すべきデータがファイル内のどこに位置するかを算出可能となる。
次に、上記のように構成された本実施の形態の動作例を、多重化ストリームの方式としてMP4を適用し、図7、図8の処理フロー概要に従って、図5を参照しながら、以下に説明する。ただし、図7は汎用プロセッサでの処理ステップ、図8は信号処理プロセッサでのオーディオ復号化処理部分の処理ステップである。
はじめに、汎用プロセッサでの処理ステップを説明する。
はじめに、汎用プロセッサでの処理ステップを説明する。
再生開始時、ステップ700において、管理情報解析処理508は、ファイル管理処理509を経由し、蓄積メディア500からmoov部を取得する。ステップ701では、管理情報解析処理508は、moov部の解析を行い、コーデック情報や、再生時刻情報、サンプル内のフレーム数などの情報を取得する。これにより、多重化ストリームのmdat部に格納されたオーディオ、ビデオの符号化データの位置を算出可能となる。ステップ702では、オーディオまたはビデオの初期データの転送処理を行う。ここで転送量はオーディオバッファ504、ビデオバッファ505のサイズに依存する。ステップ703では、信号処理プロセッサ502へ、各復号化処理510,511の起動を指示する。そして、信号処理プロセッサ502からのデータ要求待ち704の状態になる。
信号処理プロセッサ502で復号化処理が開始され、信号処理プロセッサ502からデータ要求を受けると、待ち状態から解除される。ステップ705では、データ要求がビデオ復号化処理からか、オーディオ復号化処理からかを判断する。オーディオ復号化処理510からの場合、次ステップ711では、再生すべきオーディオのデータがあるかどうかを判断する。データがある場合、ステップ712では、管理情報解析処理508は、次に転送すべきオーディオ符号化データの位置の算出を行う。ステップ713では、ファイル管理処理509は、管理情報解析処理508によって算出されたオーディオ符号化データの位置を、蓄積メディア内部の位置に変換する。ステップ714では、変換された蓄積メディア内部の位置を転送装置503に設定する。ステップ715では、次に転送すべきオーディオ符号化データに対応する再生時刻情報を、時刻情報バッファ512へ転送する。そして、再び、信号処理プロセッサからのデータ要求待ち704の状態になる。なお、ビデオ復号化処理511からのデータ要求の場合も同様の動作を行う(ステップ707〜710)。汎用プロセッサ501は、これら一連の動作を行い、データがなくなった時点で再生終了を行う。
次に、信号処理プロセッサ502での符号化処理、ここではオーディオ復号化処理510での処理ステップを説明する。ビデオ符号化処理511でも同様な処理フローのため省略する。
汎用プロセッサ501から、オーディオ復号化処理510へ起動が指示されてから、ステップ800では、次データの要求を行なう。ステップ801では、オーディオバッファ504から1フレーム分の符号化データを取得する。ステップ802では、取得した符号化データの復号化処理を行う。復号化処理完了後、同期制御処理513から出力指示が来るまで、データ出力タイミング待ち状態803になる。同期制御処理513から出力指示を受け、オーディオ出力部506へデータの出力完了後、次ステップ804において、オーディオバッファ504にデータを転送すべきかどうかを判断する。また、オーディオバッファ504に十分なデータが存在する場合は、再びオーディオバッファ504から1フレーム分の符号化データの取得を行う。オーディオバッファ504に十分なデータがない場合は、ステップ805において、次のデータの転送開始を転送装置503に指示する。そして、転送完了待ち806の状態になる。転送完了後、再び、ステップ800において、次データの要求を汎用プロセッサ501へ送信する。信号処理プロセッサ502は、これら一連の動作を再生終了となるまで続ける。
以上、本実施の形態が示す動画像再生システムでは、複数の転送手段514、515を備えた転送装置503を新たに加えることによって、汎用プロセッサ501を経由せずに、蓄積メディア500から、オーディオ符号化データ、ビデオ符号化データを独立して、それぞれの復号化処理へ転送可能としている。
これにより、動画像再生中、汎用プロセッサ501は、復号化処理510、511から送信されるデータの要求に応じて、次パケットの多重化ストリームファイル内での位置の算出処理と、ファイルシステム構造に基づいた蓄積メディア500内部の位置情報への変換と、転送装置503への設定処理とを行うだけとなる。従って、図14に示す従来例のタイミングチャートにおいて、同期制御タスク処理と多重分離タスクがなくなり、ファイル管理処理タスク(ただし、管理情報解析処理と同期制御処理への再生時刻情報送信を含む。)のみとなる。結果、MP4のような多重化フォーマットに対応可能であり、かつ、汎用プロセッサで非リアルタイムなOSを使用した環境下でも、高ビットレートな動画像データを滑らかな動画再生処理を提供することが可能となる。
次に本発明の請求項5の第4の実施の形態について図面を参照しながら具体的に説明する。
図9は本発明の請求項5に記載の動画像再生システムの第5の実施の形態のブロック図である。
図9は、図5の動画像再生システムにおいて、転送装置900に再生時刻結合処理903を設け、再生時刻情報をオーディオデータおよびビデオデータに付記してオーディオバッファ901およびビデオバッファ902へ転送する構成である。
次にこのように構成された本実施の形態の動作を以下に説明する。
基本動作は請求項4に記載の動画像再生システムにおける実施例と同様であるが、図9の動画像再生システムにおいて、ビデオ復号化処理904またはオーディオ復号化処理905により、転送装置900が起動され、蓄積メディア(906)から転送する際に、管理情報解析処理(907)から取得した再生時刻情報PTSと、その再生時刻情報PTSに対応するフレームデータとを、再生時刻結合処理903にて、図10に示すフォーマットで結合しオーディオバッファ901またはビデオバッファ902への転送を行う。
基本動作は請求項4に記載の動画像再生システムにおける実施例と同様であるが、図9の動画像再生システムにおいて、ビデオ復号化処理904またはオーディオ復号化処理905により、転送装置900が起動され、蓄積メディア(906)から転送する際に、管理情報解析処理(907)から取得した再生時刻情報PTSと、その再生時刻情報PTSに対応するフレームデータとを、再生時刻結合処理903にて、図10に示すフォーマットで結合しオーディオバッファ901またはビデオバッファ902への転送を行う。
これにより、オーディオ符号化データおよびビデオ符号化データのフレームデータとそれぞれの再生時刻情報PTSとが、一対一で管理することが可能となりデータ管理が容易になる。
本発明にかかる動画像再生システムは、高ビットレートな動画像データを蓄積メディアから再生する場合や、非リアルタイムなオペレーティングシステムの環境下でも、滑らかな動画再生を実現しうるという効果を有し、動画再生システムに有用である。
100 蓄積メディア
101 汎用プロセッサ
102 信号処理プロセッサ
103 転送装置
108 多重分離処理
109 オーディオ復号化処理
110 ビデオ復号化処理
111 同期制御処理
401蓄積キュー
402キュー検出手段
403多重分離処理
500 蓄積メディア
501 汎用プロセッサ
502 信号処理プロセッサ
503 転送装置
510 オーディオ復号化処理
511 ビデオ復号化処理
512 時刻情報バッファ
903 再生時刻結合処理
101 汎用プロセッサ
102 信号処理プロセッサ
103 転送装置
108 多重分離処理
109 オーディオ復号化処理
110 ビデオ復号化処理
111 同期制御処理
401蓄積キュー
402キュー検出手段
403多重分離処理
500 蓄積メディア
501 汎用プロセッサ
502 信号処理プロセッサ
503 転送装置
510 オーディオ復号化処理
511 ビデオ復号化処理
512 時刻情報バッファ
903 再生時刻結合処理
Claims (5)
- ビデオ符号化データおよびオーディオ符号化データと、前記ビデオ符号化データおよび前記オーディオ符号化データを管理するためのデータ管理情報と、前記ビデオ符号化データおよび前記オーディオ符号化データの再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
前記多重化ストリームを格納する蓄積メディアと、前記蓄積メディアから前記多重化ストリームを転送する転送装置と、転送された前記多重化ストリームを一時記憶するバッファと、前記バッファに一時記憶された前記多重化ストリームを前記ビデオ符号化データと前記オーディオ符号化データと前記データ管理情報と前記再生時刻情報とに分離する多重分離手段と、前記ビデオ符号化データを復号化するビデオ復号化手段と、前記オーディオ符号化データを復号化するオーディオ復号化手段と、前記再生時刻情報を入力とし前記ビデオ復号化手段によって復号化されたビデオデータまたは前記オーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
前記データ管理情報を解析する管理情報解析手段と、前記管理情報解析手段によって解析された結果を入力とし、前記蓄積メディア内の任意の場所へアクセスするための設定を前記転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
前記転送装置が、前記ファイル管理手段が設定した前記蓄積メディアへのアクセス情報をもとに、前記多重分離手段からの転送開始指示によって前記蓄積メディアから前記多重化ストリームを前記バッファへ直接転送可能なことを特徴とする動画像再生システム。 - 汎用プロセッサは、多重分離手段、オーディオ復号化手段またはビデオ復号化手段から送信される次データの要求に応じて、次データの多重化ストリームファイル内での位置の算出と、前記位置に対しファイルシステムに基づき蓄積メディア内部の位置への変換と、転送装置への設定処理とを行う請求項1記載の動画像再生システム。
- 転送装置は、ファイル管理手段からの転送要求を複数キューイング可能な要求蓄積キューと、前記要求蓄積キューが空またはある閾値以下になることを検出するキュー検出手段とを有し、多重分離手段は、前記キュー検出手段の検出信号をもとに、前記管理情報解析手段への要求タイミングを制御する請求項1記載の動画像再生システム。
- ビデオ符号化データおよびオーディオ符号化データと、前記ビデオ符号化データおよび前記オーディオ符号化データを管理するためのデータ管理情報と、前記ビデオ符号化データおよび前記オーディオ符号化の再生時刻を管理するための再生時刻情報とが多重化された、多重化ストリームを再生する動画像再生システムであって、
前記多重化ストリームを格納する蓄積メディアと、前記多重化ストリーム内の前記オーディオ符号化データを転送する第1の転送手段を有し前記多重化ストリーム内の前記ビデオ符号化データを転送する第2の転送手段を有する転送装置と、前記第1の転送手段により転送された前記オーディオ符号化データを一時記憶するオーディオバッファと、前記第2の転送手段により転送された前記ビデオ符号化データを一時記憶するビデオバッファと、前記オーディオバッファに格納された符号化データを復号化するオーディオ復号化手段と、前記ビデオバッファに格納された符号化データを復号化するビデオ復号化手段と、前記オーディオバッファまたは前記ビデオバッファに格納された符号化データのそれぞれに対応する再生時刻情報を一時的に格納する時刻情報バッファと、この時刻情報バッファから再生時刻情報を取得し、前記ビデオ復号化手段によって復号化されたビデオデータまたは前記オーディオ復号化手段によって復号化されたオーディオデータの出力を制御する同期制御手段とを備えた信号処理プロセッサと、
前記データ管理情報を解析する管理情報解析手段と、前記蓄積メディアへのアクセスまたは前記管理情報解析手段によって解析された前記データ管理情報から前記蓄積メディア内の任意の場所へアクセスするための設定を前記転送装置に行うファイル管理手段とを備えた汎用プロセッサとから構成され、
前記転送装置は、前記ファイル管理処理手段が設定した前記蓄積メディアへのアクセス情報をもとに、前記オーディオ復号化手段および前記ビデオ復号化手段からの転送開始指示によって、前記蓄積メディアから前記オーディオバッファおよび前記ビデオバッファへ直接転送可能であることを特徴とする動画像再生システム。 - 転送装置は、管理情報解析手段から得られる再生時刻情報と、オーディオ符号化データおよびビデオ符号化データとを結合する再生時刻結合手段を有し、前記蓄積メディアから前記オーディオバッファまたは前記ビデオバッファへ、前記オーディオ符号化データまたは前記ビデオ符号化データを転送する際に、前記管理情報解析手段から得られた前記再生時刻情報を前記オーディオ符号化データまたは前記ビデオ符号化データに付記し転送する請求項4記載の動画像再生システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004356113A JP2006166154A (ja) | 2004-12-09 | 2004-12-09 | 動画像再生システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004356113A JP2006166154A (ja) | 2004-12-09 | 2004-12-09 | 動画像再生システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006166154A true JP2006166154A (ja) | 2006-06-22 |
Family
ID=36667636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004356113A Pending JP2006166154A (ja) | 2004-12-09 | 2004-12-09 | 動画像再生システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006166154A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014507897A (ja) * | 2011-02-10 | 2014-03-27 | インテル コーポレイション | 共有ビデオ−オーディオパイプライン |
-
2004
- 2004-12-09 JP JP2004356113A patent/JP2006166154A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014507897A (ja) * | 2011-02-10 | 2014-03-27 | インテル コーポレイション | 共有ビデオ−オーディオパイプライン |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4270379B2 (ja) | デジタル情報の効率的な伝送および再生 | |
CN102301730B (zh) | 多路音视频传输和处理方法、装置及*** | |
US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
US20080033978A1 (en) | Program, data processing method, and system of same | |
JP3438223B2 (ja) | 多重化装置および多重化方法、並びに伝送装置および伝送方法 | |
JP2005176069A (ja) | 分散並列トランスコーダシステム及び分散並列トランスコード方法 | |
EP1744553A1 (en) | Recording/reproduction/edition device | |
JP4715306B2 (ja) | ストリーム制御装置、ストリーム再生方法、映像記録再生システム | |
JP2001204032A (ja) | Mpeg復号装置 | |
US6718119B1 (en) | Video/audio decoding apparatus and method | |
JP2006287642A (ja) | Mpegコンテンツの同期再生方法、クライアント端末、mpegコンテンツの同期再生プログラム | |
KR101051063B1 (ko) | 영상 수록 재생 장치, 영상 수록 방법, 영상 재생 방법 및 영상 수록 재생 방법 | |
US9420278B2 (en) | Audiovisual content generation method for multistage high-speed reproduction | |
US20080232782A1 (en) | Recording apparatus, image reproducing apparatus, and special reproduction method therefor | |
US8428422B2 (en) | Moving picture multiplexing apparatus, audio and video recording apparatus and moving picture multiplexing method | |
JP2006166154A (ja) | 動画像再生システム | |
US7664373B2 (en) | Program, data processing method, and system of same | |
KR20100029010A (ko) | 멀티미디어 데이터를 처리하기 위한 다중 프로세서 시스템들 및 그것의 방법들 | |
JPH1166754A (ja) | 多チャンネルデータ記録媒体と伝送記録及び再生装置 | |
JP2008040245A (ja) | Mpeg4−aacフォーマット変換装置 | |
JPH11225309A (ja) | 音響信号処理装置及びオーディオ高速再生方法 | |
JP2001045477A (ja) | 映像・音声圧縮データ切り替え器および映像・音声圧縮データ切り替え方法 | |
JP2010130140A (ja) | 音声再生装置、及び音声再生方法 | |
JP2006014256A (ja) | 映像音声データ記録再生装置 | |
JP2009049855A (ja) | コンテンツ再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060828 |