JP2001309310A - マルチメディアデータ再生装置、マルチメディアデータ再生方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動画像データに音声データが埋め込まれてい
るマルチメディアデータから音声データと動画像データ
とを同時間帯に再生させるマルチメディアデータ再生装
置を提供する。 【解決手段】 本マルチメディアデータ再生装置１００
は、音声データが埋め込まれた動画像データを保持する
JPEGファイル入力部１１と、音声データを抽出する音声
データ取出し部１２と、音声データを再生するオーディ
オデコーダ２２と、動画像データを再生するビデオデコ
ーダ２１と、音声データ抽出後にオーディオデコーダ２
２とビデオデコーダ２１と再生開始させてビデオデコー
ダ２１の再生を制御することにより動画像データの再生
を音声データの再生にあわせて同時間帯再生させる制御
部２３とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データに音
声データが埋め込まれたマルチメディアデータから音声
データと動画像データとを再生するマルチメディアデー
タ再生装置、マルチメディアデータ再生方法及び記録媒
体に関する。

【０００２】

【従来の技術】近年、デジタルスチルカメラにおいては
静止画だけでなく、動画像及び音声の記録が可能となっ
ている。一般に、デジタルスチルカメラにより撮影され
た動画像はモーションＪＰＥＧ方式により圧縮されて記
録される。モーションＪＰＥＧ方式とは、動画像を構成
する各フレーム１枚ずつをＪＰＥＧ方式により符号化す
る符号化方式である。

【０００３】ここで音声データを格納する領域を動画像
データとは別に設けた場合、音声データを追加した分だ
け情報量が増加してしまうという問題点がある。この問
題を解決し、記録時間をより長くするために、電子透か
し技術を応用し、モーションＪＰＥＧ方式により圧縮さ
れた動画像データに音声データを埋め込む技術の利用が
考えられる。

【０００４】ここで音声データを動画像データに埋め込
む方法の一例を簡単に説明しておく。図８（ａ）は、複
数のフレームからなる動画像データを示す。動画像デー
タの各フレームは８画素×８ラインのブロック毎にＤＣ
Ｔ符号化され、量子化される。同図（ｂ）に量子化ＤＣ
Ｔ係数ブロックの一例を示す。同図（ｂ）において、丸
印により囲まれた８つのＡＣ係数は、音声データの埋め
込みにより改ざんされている。同図（ｃ）は音声データ
の一例を示し、先頭から８ビットが同図（ｂ）の丸印で
囲まれた８つのＡＣ係数に対してその低周波側からジグ
ザグスキャン順に埋め込まれている。同図（ｄ）は、同
図（ｂ）の８つのＡＣ係数と同図（ｃ）の８ビットとを
対応させている。同図（ｄ）において、奇数のＡＣ係数
には音声データの１が対応し、偶数のＡＣ係数には音声
データの０が対応している。このように同図における埋
め込み方法は、ＤＣＴ係数ブロックの低周波側からジグ
ザグスキャン順に８つのＡＣ係数をそれぞれ埋め込み対
象とし、埋め込む音声データのビット値が０である場
合、ＡＣ係数が偶数になるように元のＡＣ係数の値を改
ざんし、埋め込む音声データのビット値が１である場
合、ＡＣ係数が奇数になるように元のＡＣ係数の値を改
ざんする方法である。こうして音声データが埋め込まれ
たＤＣＴ係数ブロックは、可変長符号化されてモーショ
ンＪＰＥＧファイルとなる。

【０００５】音声データが埋め込まれたモーションＪＰ
ＥＧファイルを再生させる場合、まず可変長復号してＤ
ＣＴ係数ブロックにし、ＤＣＴ係数ブロックから音声デ
ータを抽出してからＤＣＴ係数ブロックについては逆量
子化及び逆ＤＣＴを施し、抽出された音声データと逆Ｄ
ＣＴ後の動画像データとをそれぞれの再生装置により再
生させる。

【０００６】

【発明が解決しようとする課題】ところで音声データと
動画像データとをパーソナルコンピュータ（以下、パソ
コンと省略する）等により再生させる場合、音声データ
については、汎用のパソコンに備えられた音源ボードに
音声データを渡すことにより、パソコンのＣＰＵ処理能
力に関係無く、録音時と同じレートで音声データを再生
させることができる。一方、動画像データの再生はパソ
コンのＣＰＵ処理能力に依存しており、録画時と同じフ
レームレートにより再生させることができない場合があ
る。このような場合、例えば図９に示すように同期間記
録された音声データ（同図中９１）と動画像データ（同
図中９２）とを同時刻に再生開始すると、音声データは
録音時と同じレートで再生されるので記録時の期間と同
じ再生期間となるが（同図中９３）、動画像データは録
画時と同じフレームレートで再生されずに記録時の期間
をオーバーし（同図中９４）、音声データと動画像デー
タとの再生時間帯が異なるという問題があった。

【０００７】上記問題に鑑みて、本発明は音声データの
埋め込まれた動画像データから同記録期間分の音声デー
タと動画像データとを同時間帯に再生させるマルチメデ
ィアデータ再生装置、マルチメディアデータ再生方法及
び記録媒体を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記課題を解決するため
本発明のマルチメディアデータ再生装置は、音声データ
が埋め込まれた動画像データから音声データを抽出し、
抽出後に動画像データと音声データとを同時に再生開始
させ、再生開始時から動画像データのフレームの再生に
要する期間を実測し、実再生期間と動画像データの記録
期間との比較結果に応じて動画像データの各フレームを
再生させるか否かを制御することにより音声データと動
画像データとを同時間帯に再生する。

【０００９】

【発明の実施の形態】以下に本発明のマルチメディアデ
ータ再生装置の実施形態について図面を用いて説明す
る。 （第１実施形態）図１は、本実施形態にかかるマルチメ
ディアデータ再生装置の構成を示すブロック図である。

【００１０】同図に示すようにマルチメディアデータ再
生装置１００は、前処理部１０と本処理部２０とから構
成される。前処理部１０は、ＪＰＥＧファイル入力部１
１、音声データ取り出し部１２、埋め込み条件入力部１
３及び音声データ再構築部１４から構成される。ＪＰＥ
Ｇファイル入力部１１は、外部より入力されるモーショ
ンＪＰＥＧファイルを記憶する。ここでモーションＪＰ
ＥＧファイルは、モーションＪＰＥＧ方式により圧縮さ
れたファイルであり、音声データと動画像データとから
なり、動画像データは図８（ｂ）に示したように音声デ
ータの埋め込みにより部分的に改ざんされているものと
する。より詳しくはモーションＪＰＥＧファイルは、動
画像データがブロック毎にＤＣＴ符号化され、量子化さ
れ、一方音声データは、先頭から所定ビットずつ（本実
施形態においては８ビットずつ）のビット列に分割さ
れ、量子化ＤＣＴ係数ブロック中の８つの係数に音声デ
ータのビット列が埋め込まれてから可変長符号化された
ものである。

【００１１】音声データ取り出し部１２は、ＪＰＥＧフ
ァイル入力部１１に記憶されたＪＰＥＧファイルを可変
長復号してから音声データを抽出し、音声データ再構築
部１４に出力する。埋め込み条件入力部１３は、ＪＰＥ
Ｇファイル入力部１１に記憶されるＪＰＥＧファイルに
おける音声データの埋め込み方法を音声データ取り出し
部１２に通知する。数種類ある埋め込み方法の中からＪ
ＰＥＧファイルに対応する埋め込み方法を音声データ取
り出し部１２に通知する。これにより音声データ取り出
し部１２は、通知された埋め込み方法に応じた抽出方法
により動画像データから音声データを抽出する。

【００１２】音声データ再構築部１４は、音声データ取
り出し部１２より出力された音声データを抽出される順
に蓄積して１つの音声データを再構築し、オーディオデ
ーコーダ２２に出力する。本処理部２０は、ビデオデコ
ーダ２１、オーディオデコーダ２２及び制御部２３から
構成される。

【００１３】ビデオデコーダ２１は、制御部２３の指示
に従って、ＪＰＥＧファイル入力部１１より可変長復号
された動画像データを読み出し、ブロック単位に逆量子
化及び逆ＤＣＴを行って動画像データを復号して外部の
表示装置等に出力する。音声デコーダ２１は、制御部２
３の指示に従って、音声データ再構築部１４より音声デ
ータを読み出して再生する。

【００１４】制御部２３は、再生開始部２２１、計測部
２３２及び再生制御部２３３から構成され、ビデオデコ
ーダ２１及びオーディオデコーダ２２によって同記録期
間分の音声データと動画像データとが同時間帯に再生さ
れるよう制御する。より詳しくは、制御部２３は、動画
像データを連続する所定数フレーム毎の組に分割して組
毎に目標の再生時刻を割り振り、各組の再生時間帯にお
いて、フレーム毎に目標の再生時刻と実際の再生時刻と
を比較し、実際の再生時刻が目標の再生時刻より早まっ
ている場合には、目標の再生時刻と一致するようにフレ
ームの再生時刻を遅延させて再生させ、実際の再生時刻
が目標の再生時刻より遅延している場合には、当該組の
再生時間帯において再生可能な限り、フレームの先頭か
ら順に再生させ、次の組の再生開始に遅延を生じさせな
いようにする。ここにおいて組毎の目標の再生時刻は先
頭の組の再生開始時刻と各組のフレーム枚数と記録時に
おけるフレームレートとから求められる。

【００１５】図２は、前処理部１０の処理手順を示すフ
ローチャートである。ステップ２０１においてＪＰＥＧ
ファイル入力部１１は、外部から入力されるモーション
ＪＰＥＧファイルの合計フレーム数（ＭＡＸ）を数え、
フレーム番号（ｉ）の初期値として１を初期設定する。
ここでＪＰＥＧファイル入力部１１は、モーションＪＰ
ＥＧファイルを可変長復号しておく。

【００１６】ステップ２０２において音声データ取り出
し部１２は、可変長復号されたモーションＪＰＥＧファ
イルの第ｉフレーム（第１フレーム）のデータをＪＰＥ
Ｇファイル入力部１２より読み出す。ステップ２０３に
おいて音声データ取り出し部１２は、第ｉフレームを構
成する量子化ＤＣＴ係数から音声データを抽出して音声
データ再構築部１４に出力する。音声データ再構築部１
４は、出力される音声データを順次蓄積することにより
１つの音声データを再構築する。

【００１７】ステップ２０４、２０５においては、現フ
レーム番号に１を加え（ステップ２０４）、１加えられ
たフレーム番号（ｉ）が合計フレーム数（ＭＡＸ）以下
かどうか判定する。以上のようにしてフレーム番号
（ｉ）が合計フレーム数（ＭＡＸ）以下の間ステップ２
０２からステップ２０５の処理を繰り返し、合計フレー
ム数を超えた時点で処理を終了する。

【００１８】図３は、制御部２３による処理手順を示す
フローチャートである。制御部２３は、同図の処理に先
立ってＪＰＥＧファイル入力部１１に記憶される動画像
データを先頭から所定数フレームずつの組に分割し、先
頭の組から順に組番号を付けておく。本実施形態におい
ては所定数フレームの数は１０フレームとする。

【００１９】ステップ３０１において、制御部２３は、
初期値として組番号Ｌの値を１に設定する。また制御部
２３は、内部に備える時計により現在時刻を測定しそれ
を先頭組の再生開始時刻Ｔ０として設定する。制御部２
３は、各組に対してステップ３０２〜ステップ３０６の
処理を繰り返す。

【００２０】ステップ３０２、ステップ３０３におい
て、制御部２３の計測部２３２は、現在時刻Ｔ１を測定
し、現在時刻Ｔ１が第Ｌ組の再生開始時刻に達している
か否かを判定する。具体的には、計測部２３２は、現在
時刻Ｔ１と先頭組の再生開始時刻Ｔ０との減算により先
頭組の再生開始から現在に至るまでの経過時間（実経過
時間とする）を算出し、また記録時のフレームレートに
基いて先頭組の再生開始から第Ｌ組の再生開始に至るま
での目標の経過時間（目標経過時間とする）を算出す
る。ここで目標経過時間は、第Ｌ組の総フレーム数を
Ｍ、記録時のフレームレートをＮとするとき（Ｌ−１）
×Ｍ／Ｎで与えられる。

【００２１】そして計測部２３２は、実経過時間と目標
経過時間との比較により実経過時間の値が目標経過時間
以上であれば第Ｌ組の再生開始時刻に達していると判定
してステップ３０４に進む。計測部２３２は、実経過時
間の値が目標経過時間より小さい場合、未だ第Ｌ組の再
生開始時刻に達していないと判定してステップ３０２に
戻る。

【００２２】ステップ３０４において制御部２３の再生
開始部２２１は、ビデオデコーダ２１に第Ｌ組の動画像
データの再生を開始するよう指示を与える。この指示に
よりビデオデコーダ２１は、第Ｌ組の動画像データの再
生を開始する。ステップ３０６において制御部２３は、
Ｌの値に１を加え、ステップ３０６においてＬの値が総
組数を超えたか否か判定し、超えていない場合にはステ
ップ３０２の処理に戻る。

【００２３】ステップ３０６において制御部２３は、Ｌ
の値が総組数を超えた時点で処理を終了する。図４は、
制御部２３による第Ｌ組における再生制御の処理手順を
示すフローチャートである。ステップ４０１において制
御部２３は、組内のフレームを識別するためのフレーム
番号ｎを０に初期化し、また現在時刻を測定してそれを
第Ｌ組の先頭のフレームの再生開始時刻Ｔ２として設定
する。

【００２４】制御部２３は、第Ｌ組の各フレームについ
てステップ４０２〜ステップ４０９の処理を繰り返す。
ステップ４０２、ステップ４０３において、制御部２３
の計測部２３２は、現在時刻Ｔ３を測定し、現在時刻Ｔ
３が第ｎ＋１フレームの再生開始時刻に達しているか否
かを判定する。具体的には、計測部２３２は、現在時刻
Ｔ３と先頭フレームの再生開始時刻Ｔ２との減算により
第Ｌ組の先頭フレームの再生開始から現在にいたるまで
の経過時間（フレーム再生実経過時間）を算出し、また
先頭フレームの再生開始から第ｎ＋１フレームの再生開
始に至るまでの目標の経過時間（フレーム再生目標経過
時間とする）を算出する。そして計測部２３２は、フレ
ーム再生実経過時間とフレーム再生目標経過時間との比
較によりフレーム再生実経過時間の値がフレーム再生目
標経過時間以上であれば第ｎフレームの再生開始時刻に
達していると判定してステップ４０４に進む。計測部２
３２は、フレーム再生実経過時間の値がフレーム再生目
標経過時間より小さければステップ４０２に戻る。

【００２５】ステップ４０４において計測部２３２は、
次の組、すなわち第Ｌ＋１組の再生開始時刻までの残り
時間で、第Ｌ組における１フレーム分の再生ができるか
否かを判定する。具体的には計測部２３２は、第Ｌ組に
おけるフレームをすべて再生し終えた場合の目標の経過
時間から１フレームの再生にかかると予測される予測再
生時間Ｆとを減算した値（Ｍ／Ｎ−Ｆ）と、フレーム再
生実経過時間とを比較する。比較の結果、フレーム再生
実経過時間がＭ／Ｎ−Ｆと同じかそれ以下である場合、
計測部２３２は、次の組の再生開始までの残り時間で１
フレーム分の再生が可能であると判定しステップ４０５
に進む。なおここにおいて予測再生時間Ｆは、ステップ
４０３において計算されたフレーム再生実経過時間をそ
の組において再生済みのフレーム数で割ることにより得
られる。

【００２６】一方、フレーム再生実経過時間がＭ／Ｎ−
Ｆより大きければ１フレーム分の再生は不可能であると
判定して図４のフローチャートを終了する。このとき再
生制御部２３３はビデオデコーダ２１に対して、第ｎフ
レームの再生が終了した時点で第ｎ＋１フレーム以降の
フレームの再生をスキップさせる。これによりビデオデ
コーダ２１は、第Ｌ組における第ｎ＋１フレーム以降の
再生を行わずに次の第Ｌ＋１組の再生処理を行うことと
なる。

【００２７】ステップ４０５において再生開始部２２１
は、ビデオデコーダ２１に第ｎ＋１フレームの復号と表
示の指示、すなわち再生の指示を与える。ステップ４０
６において再生開始部２２１は、音声再生フラグの値が
ＦＡＬＳＥか否か判定する。ここにおいて音声再生フラ
グは、再生開始部２２１が保持するフラグであり、その
初期値はＦＡＬＳＥである。

【００２８】音声再生フラグの値がＦＡＬＳＥの場合、
ステップ４０７において再生開始部２２１はオーディオ
デコーダ２２に再生開始の指示を与え、音声再生フラグ
の値をＴＲＵＥに変更する。ここでステップ４０７の処
理が行われるのは、先頭の組における先頭のフレームの
再生がなされたときのみとなる。ステップ４０８、４０
９において制御部２３は、ｎの値に１を加え、ｎが第Ｌ
組の総フレーム数Ｍを超えたか否か判定する。ｎがＭよ
り小さい間であって、次組の再生開始時刻までの残り時
間が１フレームの予測再生時間以上ある間、ステップ４
０２からステップ４０９の処理を繰り返す。

【００２９】このような構成によりマルチメディアデー
タ再生装置１００は、モーションＪＰＥＧの各フレーム
に埋め込まれた音声データをすべて抽出した後、音声デ
ータと動画像データとの再生を同時に開始する。再生時
においてマルチメディアデータ再生装置１００は、動画
像データの再生については、連続するＭフレーム毎の組
を単位として、フレームレートから計算される各組の目
標の再生開始時刻に合わせて各組の再生を開始する。各
組の再生時においては、フレームレートに基いて各フレ
ームの目標の再生時刻を計算し、第ｎフレームについ
て、次のフレームの目標の再生時刻より早く再生終了し
た場合は、次のフレームの目標の再生時刻を待って次の
フレームの再生を開始し、次のフレームの目標の再生時
刻までに第ｎフレームの再生が終了しなかった場合には
次の組の再生開始時刻に遅延が生じないと予想されると
きのみ直ちに次のフレームの再生を行う。次の組の再生
開始時刻に遅延が生じると予想されるときは、第ｎフレ
ーム以降のフレームの再生を省略し、次の組の目標の再
生開始時刻を待って次の組の再生を開始する。このよう
に再生することによりマルチメディアデータ再生装置１
００は、同記録期間分の音声データと動画像データとを
同時間帯に再生することができる。 また本実施形態の
マルチメディアデータ再生装置１００は、組毎、フレー
ム毎に実際の再生にかかる時刻と目標の再生開始時刻と
を比較して、比較に応じた再生を行うので、例えば時間
経過とともに動画像データを再生するハードウェアの処
理負荷が変化しすることにより動画像データの再生にか
かる処理速度が変化した場合であっても、その変化に追
従して音声データと動画像データとを同時間帯に再生す
ることができる。

【００３０】（第２実施形態）以下に第２実施形態にか
かるマルチメディアデータ再生装置２００について説明
する。本実施形態のマルチメディアデータ再生装置２０
０は、動画像データの再生方法が第１実施形態のマルチ
メディアデータ再生装置１００とは異なっている。要す
るにマルチメディアデータ再生装置２００は、１枚のフ
レームにかかる再生時間を予め計測し、動画像データ全
体の記録に要した記録時間（これが動画像データ全体の
目標再生時間となる）と１枚のフレームにかかる実際の
再生時間とから動画像データ全体の目標再生時間におい
て再生可能なフレーム数を算出し、フレーム数分のフレ
ームをフレーム全体の中から選択して再生することによ
り、動画像データを再生するハードウェアの処理能力に
左右されることなく、同記録時間分の音声データと動画
像データとを同時間帯に再生するものである。

【００３１】以下では、第１実施形態とは異なる点を中
心に説明する。なおマルチメディアデータ再生装置２０
０とマルチメディアデータ再生装置１００とは、各構成
要素の機能が異なるものの、それら各構成要素の名称は
同じであるので、以下の説明においては、図１のブロッ
ク図をマルチメディアデータ再生装置２００の構成とし
て流用するものとする。

【００３２】図５は、初期設定の処理手順を示すフロー
チャートである。マルチメディアデータ再生装置２００
は、図２の処理の替わりに図５の処理を実行する。ステ
ップ６０１において、ＪＰＥＧファイル入力部１１は、
外部よりモーションＪＰＥＧファイルを読み込んで記憶
し、可変長復号を施して動画像データのフレーム総数Ｎ
ｓｕｍを計数する。

【００３３】ステップ６０２において、ＪＰＥＧファイ
ル入力部１１は、外部より入力される動画像データの録
画時のフレームレートＮｓｅｃを制御部２３に出力す
る。ここにおいてフレームレートＮｓｅｃは、モーショ
ンＪＰＥＧファイルとは別に外部より入力されるものと
しているが、モーションＪＰＥＧファイル中に記述され
ているものとしてそれをＪＰＥＧファイル入力部１１が
読み取るよう構成してもよい。

【００３４】ステップ６０３において音声データ取り出
し部１２は、可変長復号された動画像データに埋め込ま
れた音声データのビット列を抽出して音声データ再構築
部１４に出力し、音声データ再構築部１４は、ビット列
から１つの音声データを再構築する。ステップ６０４に
おいて制御部２３の再生制御部２３３は、ＪＰＥＧファ
イル入力部１１に記憶される動画像データの先頭の１フ
レーム目をビデオデコーダ２１に再生させることにより
外部の表示装置に１フレーム目の画像を表示させる。こ
のとき計測部２３２は、１フレーム目の再生開始から再
生終了までの時間を計測し、それを実再生時間Ｔｄｐｙ
とする。

【００３５】図５に示す初期設定処理の後、計測部２３
２は、図５において得られたフレーム総数Ｎｓｕｍ、フ
レームレートＮｓｅｃ及び実再生時間Ｔｄｐｙを用いて
以下の（式１）〜（式３）に示す計算を実行することに
より再生可能なフレーム数Ｎｄｐｙを算出する。 （式１） １フレームを録画するのに要した時間Ｔｒｅｃ＝１００
０／Ｎｓｅｃ（単位；ｍｓｅｃ） （式２） 目標再生時間（音声再生時間）Ｔａ＝Ｎｓｕｍ×Ｔｒｅ
ｃ （式３） 目標再生時間中に再生可能なフレーム数Ｎｄｐｙ＝Ｔａ
／Ｔｄｐｙ 再生制御部２３３は、再生可能なフレーム数Ｎｄｐｙに
応じて動画像データ全体のフレーム中から再生させるフ
レームと再生させないフレームとを決定する再生フレー
ム決定処理を行う。

【００３６】図６は、再生フレーム決定処理の処理手順
を示すフローチャートである。ステップ５０１において
再生制御部２３３は、再生フラグＰＬＹＦ（ｉ）を０に
初期化する。ここにおいてｉは１からフレーム総数Ｎｓ
ｕｍまでの整数であり、再生フラグＰＬＹＦ（ｉ）は各
フレームと一対一で対応し、各フレームについて再生さ
せるか否かを示す。

【００３７】ステップ５０２において再生制御部２３３
は、割合Ｐを算出する。Ｐは次式により与えられる。 （式４） Ｐ＝Ｎｓｕｍ／Ｎｄｐｙ 割合Ｐは、すなわち再生可能なフレーム数Ｎｄｐｙに対
するフレーム総数Ｎｓｕｍの割合である。

【００３８】ステップ５０３において再生制御部２３３
は、割合Ｐが１以下であるか否かを判定する。割合Ｐが
１以下である場合、再生可能なフレーム数Ｎｄｐｙはフ
レーム総数Ｎｓｕｍより多い。これは目標再生時間内に
すべてのフレームが再生可能であることを意味するの
で、再生制御部２３３は、ステップ５０４において、す
べての再生フラグＰＬＹＦ（ｉ）に１をセットする。こ
れによりビデオデコーダ２１はすべてのフレームを再生
することとなる。

【００３９】一方、割合Ｐが１より大きい場合、再生可
能なフレーム数Ｎｄｐｙはフレーム総数Ｎｓｕｍより少
ない。これは目標再生時間内にすべてのフレームを再生
することが不可能であることを意味する。この場合にお
いて再生制御部２３３は、全フレームのうちのいくつか
をスキップして再生させる。スキップ再生するために再
生制御部２３３は、ステップ５０６〜５０８の処理にお
いて再生させるフレームを決定する。

【００４０】ステップ５０６において再生制御部２３３
はフレームのスキップ間隔を表す変数ｓｋｉｐを算出す
る。変数ｓｋｉｐは以下の式により与えられる。 （式５） ｓｋｉｐ＝ＩＮＴ（Ｐ）＋１ つまり変数ｓｋｉｐは割合Ｐの整数部分に１を加えた値
となる。

【００４１】ステップ５０７において再生制御部２３３
は変数ｓｋｉｐの間隔で再生フラグＰＬＹＦ（ｉ）に１
をセットする。参考までにこの内容をＢＡＳＩＣ形式で
記述すると以下のようになる。 ここにおいてｃｎｔは再生フラグ（ｉ）を１にセットし
た数のカウント値である。

【００４２】ステップ５０７の処理において例えばｓｋ
ｉｐ＝６の場合、再生フラグ（１）、再生フラグ
（７）、再生フラグ（１３）、再生フラグ（１９）・・
・というように６つ間隔で再生フラグ（ｉ）が１にセッ
トされる。なお上記ＢＡＳＩＣ形式で示した処理におい
ては、再生フラグ（１）には必ず１がセットされる。こ
れは第１フレームを必ず再生させるようにするためであ
るが、その理由は第１フレームは他のフレームに比べて
視覚的な重要度が高い場合が多いからである。

【００４３】ステップ５０８において再生制御部２３３
は、再生可能なフレーム数Ｎｄｐｙとステップ５０７に
おいて１がセットされた再生フラグ（ｉ）の数を減算し
て、残りのフレーム数を算出し、そのフレーム数分だけ
再生フラグ（ｉ）に１をセットする。このとき再生制御
部２３３は、ステップ５０７において１がセットされた
再生フラグ（ｉ）の中間の再生フラグ（ｉ）に１をセッ
トする。この処理により先のｓｋｉｐ＝６の例の場合で
あれば、再生フラグ（４）、再生フラグ（１０）、再生
フラグ（１６）・・・というように再生フラグ（ｉ）に
１がセットされる。参考までにステップ５０８の処理内
容をＢＡＳＩＣ形式で記述すると以下のようになる。 以上のようにして再生制御部２３３は、再生フラグ
（ｉ）に１をセットすることにより、全フレームのうち
から再生可能なフレーム数Ｎｄｐｙ分のフレームを再生
させるフレームとして選択する。

【００４４】図７は、動画像再生処理を示すフローチャ
ートである。再生制御部２３３は、動画像再生処理の開
始時にオーディオデコーダ２２に音声データの再生を開
始させる指示を与え、再生フラグＰＬＹＦ（ｉ）につい
て再生フラグＰＬＹＦ（１）から順にステップ７０１〜
ステップ７０５の処理を繰り返す。

【００４５】ステップ７０２において再生制御部２３３
は、再生フラグＰＬＹＦ（ｉ）が１であるか０であるか
を判定する。判定の結果、１であると判定した場合、再
生制御部２３３は、ビデオデコーダ２１に対応する第ｉ
フレームを再生する指示を与える。ステップ７２０の判
定の結果、再生フラグＰＬＹＦ（ｉ）が０であると判定
した場合、再生制御部２３３は、ビデオデコーダ２１に
対応する第ｉフレームの再生をスキップさせる。

【００４６】このようにして再生制御部２３３は、再生
フラグＰＬＹＦ（ｉ）の値に応じてビデオデコーダ２１
の再生を制御する。先のｓｋｉｐ＝６の例であれば、６
間隔の再生フラグ（１）、（７）、（１３）、（１９）
が１であり、またその間の再生フラグ（４）、（１
０）、（１６）が１であるので、再生制御部２３３は、
ビデオデコーダ２１に第１、４、７、１０、１３、１
６、１９フレームを再生させてそれ以外のフレームの再
生をスキップさせる。

【００４７】以上の構成によりマルチメディアデータ再
生装置２００は、１フレームの再生にかかる実再生時間
Ｔｄｐｙと動画像データ全体の目標再生時間Ｔａとか
ら、目標再生時間Ｔａ内に再生可能なフレーム数Ｎｄｐ
ｙを算出し、当該フレーム数Ｎｄｐｙの枚数分をフレー
ム全体の中からほぼ等間隔になるように選択し、選択し
たフレームを音声データとともに再生することにより、
動画像データを再生するハードウェアの処理能力に左右
されることなく、同記録時間分の音声データと動画像デ
ータとを同時間帯に再生することができるという効果が
ある。

【００４８】またマルチメディアデータ再生装置２００
は、全フレームからほぼ均等にフレームを間引いて再生
させるので視覚的な劣化が少ないという効果がある。以
上、本発明にかかるマルチメディアデータ再生装置につ
いて実施形態に基いて説明したが本発明はこれらの実施
形態に限らず、以下のようにしてもよい。 （１）第２実施形態における再生処理は、第１実施形態
における図４のフローチャートに示す組毎の再生処理の
替わりとしてもよい。すなわち制御部２３は、動画像デ
ータを連続する所定数フレーム毎の組に分割して組毎に
目標の再生時刻を割り振り、各組の再生時間帯において
は、各組の目標再生時間と１フレームの再生にかかる実
再生時間とから組における再生可能なフレーム数を算出
し、再生可能なフレーム数分を組内の全フレームのなか
からほぼ等間隔になるように選択し、選択したフレーム
を再生する。音声データについては先頭の組の再生開始
と同時に再生開始する。 （２）第１実施形態においては、フレームを所定数フレ
ームからなる組に分割して組単位で繰り返し再生処理を
行う構成としているが、フレーム全体を１つの組とみな
して再生処理を行うよう構成してもよい。 （３）マルチメディアデータ再生装置１００、２００の
各構成要素の動作手順を、汎用のコンピュータ又はプロ
グラム実行機能を有する機器等に実行させるためのコン
ピュータプログラムを、記録媒体に記録し又は各種通信
路等を介して、流通させ頒布することもできる。このよ
うな記録媒体にはＩＣカード、光ディスク、フレキシブ
ルディスク、ＲＯＭ等がある。

【００４９】

【発明の効果】本発明のマルチメディアデータ再生装置
は、動画像データに同じ記録期間の音声データが埋め込
まれたマルチメディアデータから、音声データと動画像
データとを再生するマルチメディアデータ再生装置であ
って、前記マルチメディアデータを記憶する記憶手段
と、前記マルチメディアデータから全ての音声データを
抽出する抽出手段と、前記音声データを再生する音声再
生手段と、前記動画像データを再生する動画像再生手段
と、音声データ抽出後、前記動画像データが前記音声デ
ータの再生にあわせて同時間帯に再生されるよう前記音
声再生制御手段と前記動画像再生手段それぞれによる再
生を制御する制御手段とを備える。

【００５０】また前記制御手段は、音声データ抽出後に
音声再生手段と動画像再生手段とに同時に再生を開始さ
せる開始制御手段と、前記動画像再生手段により動画像
データのフレームが再生される毎に、再生開始時から当
該フレームの再生完了までの期間を示す実再生期間を計
測する計測手段と、前記記録期間と前記実再生期間とに
基いて、前記音声データと前記動画像データとが同時間
帯に再生されるよう、前記動画像再生手段に対してフレ
ーム毎に再生させるか否かの制御を行う再生制御手段と
を備える。

【００５１】この構成によれば本装置は、音声データが
埋め込まれた動画像データから音声データを抽出した
後、両データの再生を同時に開始させ、当該再生中に動
画像データの再生にかかる再生開始時からの期間（実再
生期間）を計測し、当該実再生期間と動画像データ全体
の記録に要した期間（記録期間）とに応じて動画像デー
タのフレーム毎に再生させるか否かを制御する。つまり
本装置は、動画像データの再生期間が記録期間と一致す
るよう動画像データの再生を制御することとなる。これ
により再生レートが動画像再生手段の処理能力に依存し
て記録時のレートと一致しない場合においても、動画像
データと音声データとは同時間帯に再生される。なおこ
こにおいて音声データは処理負荷が軽いため再生時に遅
延することなく記録期間と同期間で再生される。

【００５２】前記再生制御手段は、フレームが再生され
る毎に前記実再生期間と前記記録期間とを比較する比較
手段と、前記比較結果に応じて、前記実再生期間が前記
記録期間内のときは順次にフレームを再生させ、前記実
再生期間が記録期間外のときはフレームを再生させない
よう前記動画像再生手段を制御するフレーム制御手段と
を備える。

【００５３】この構成によれば本装置は、再生開始時か
ら前記記録期間の間、動画像データを再生することとな
り、音声データと動画像データとを同時間帯再生させる
ことができる。前記フレーム制御手段は、前記比較結果
により前記実再生期間が前記記録期間よりも短くかつ前
記実再生期間と前記記録期間との差が１フレーム分の実
再生期間より長い場合に次のフレームを再生させ、その
他の場合にはフレームを再生させないよう前記動画像再
生手段を制御するので、動画像データが前記記録期間を
オーバーして再生されることがないという効果がある。

【００５４】前記制御手段は、さらに、前記実再生期間
を用いて動画像再生手段による再生が記録時のフレーム
レートより速いか否かを判定する判定手段を備え、前記
再生制御手段は、さらに、前記判定手段により速いと判
定された場合、前記記録時のフレームレートに一致させ
て次のフレームを再生させるよう前記動画像再生手段を
制御するので、本装置は、動画像再生手段の処理能力が
高く再生レートが速い場合であっても、再生レートが遅
くなるように制御するので、動画像データの再生期間が
音声データの再生期間より短くなることなく、動画像デ
ータと音声データと同時間帯に再生させることができる
という効果がある。

【００５５】前記制御手段は、さらに、動画像データを
連続する複数のフレームからなる組に分割する分割手段
を備え、前記計測手段は、前記組毎に、前記動画像再生
手段により動画像データのフレームが再生される毎に、
当該組の再生開始時から当該フレームの再生完了までの
期間を示す実再生期間を計測し、前記再生制御手段は、
１組分の記録期間と前記実再生期間との比較に基づい
て、前記１組分の記録期間内に当該組の動画像データが
再生されるよう前記動画像再生手段に対して各フレーム
を再生させるか否かの制御を行うことにより、前記音声
データと前記動画像データとが同時間帯に再生されるよ
う制御する。

【００５６】この構成によれば、本装置は、組毎に動画
像データの再生を制御することにより動画像データと音
声データとを同時間帯に再生させることができるという
効果がある。前記制御手段は、前記動画像再生手段に１
フレームの再生を前処理として行わせることにより１フ
レームの再生に要する期間を示す実再生期間を計測する
計測手段と、前記実再生期間と動画像データの記録時の
フレームレートとに基づいて、前記記録期間と同じ期間
内において前記動画像再生手段により再生可能なフレー
ム数を示す再生フレーム数を算出する算出手段と、前記
動画像データ中から前記再生フレーム数分のフレームを
選択する選択手段と、音声データ抽出後に前記音声再生
手段と前記動画像再生手段とに同時に再生を開始させ、
前記動画像再生手段に対して前記選択手段により選択さ
れたフレームを再生させ、選択されないフレームを再生
させないよう制御する再生制御手段とを備える。

【００５７】この構成によれば、本装置は、動画像デー
タと音声データとを同時間帯に再生させる処理に先立っ
て、再生速度を実測し、実測値に応じたフレーム数分の
フレームを予め選択しておくことにより、選択したフレ
ームと音声データとを同時間帯再生させることができ
る。前記選択手段は、前記動画像データのフレーム順に
対して略等間隔に前記再生フレーム数分のフレームを選
択するよう構成される。

【００５８】この構成により本装置は、上記効果に加え
て、略等間隔に選択したフレームを再生させるので、他
の選択の仕方による再生よりも人間の視覚的な積分効果
がより高く働くこととなり、フレーム省略による劣化を
抑えることができるという効果がある。前記選択手段
は、前記総フレーム数を前記再生フレーム数で割った値
の整数部分に１を加えた値を定数とするとき、前記動画
像データのフレーム順の先頭から前記定数に相当するフ
レーム数毎に１フレームを選択し、その結果、選択され
たフレームの枚数が前記再生フレーム数に満たない場合
は未だ選択されていないフレームを対象として残りの枚
数分のフレームを選択するよう構成されるので、前記定
数に基づいて容易に略等間隔のフレーム選択を行うこと
ができる。

【００５９】前記選択手段は、前記未だ選択されていな
いフレームの先頭側からフレーム順に略等間隔に前記残
りの枚数分のフレームを選択するよう構成される。この
構成によれば先頭側から残りの枚数分のフレームが選択
されるので、動画像データの前方の劣化を後方より少な
くできるという効果がある。

【図面の簡単な説明】

【図１】マルチメディアデータ再生装置の構成を示す。

【図２】前処理部１０による処理を示すフローチャート
である。

【図３】制御部２３による処理を示すフローチャートで
ある。

【図４】制御部２３による第Ｌ組の再生制御処理を示す
フローチャートである。

【図５】初期設定の処理を示すフローチャートである。

【図６】再生フレーム決定処理の処理手順を示すフロー
チャートである。

【図７】動画像再生処理を示すフローチャートである。

【図８】（ａ）は複数のフレームから構成される動画像
データの一例を示す。（ｂ）は音声データの埋め込みに
より改ざんされた動画像データのＤＣＴ係数ブロックの
一例を示す。（ｃ）音声データの一例を示す。（ｄ）改
ざんされたＤＣＴ係数と音声データとの関係を示す。

【図９】音声データ及び動画像データの録音及び録画時
間と、音声再生及び動画像再生時間との関係を示す。

【符号の説明】

１０ 前処理部 １１ ＪＰＥＧファイル入力部 １２ 音声データ取り出し部 １３ 埋め込み条件入力部 １４ 音声データ再構築部 ２０ 本処理部 ２１ ビデオデコーダ ２２ オーディオデコーダ ２３ 制御部 １００ マルチメディアデータ再生装置 ２２１ 再生開始部 ２３２ 計測部 ２３３ 再生制御部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA08 FA10 GA11 GB11 GB22 GB36 HA27 JA03 JA12 5C063 AC01 AC06 DA05 DA13 5D044 AB05 AB07 FG10 FG21 GK03 GK08

Claims (16)

【特許請求の範囲】
1. 【請求項１】 動画像データに同じ記録期間の音声デー
   タが埋め込まれたマルチメディアデータから、音声デー
   タと動画像データとを再生するマルチメディアデータ再
   生装置であって、 前記マルチメディアデータを記憶する記憶手段と、 前記マルチメディアデータから全ての音声データを抽出
   する抽出手段と、 前記音声データを再生する音声再生手段と、 前記動画像データを再生する動画像再生手段と、 音声データ抽出後、前記動画像データが前記音声データ
   の再生にあわせて同時間帯に再生されるよう前記音声再
   生制御手段と前記動画像再生手段それぞれによる再生を
   制御する制御手段とを備えることを特徴とするマルチメ
   ディアデータ再生装置。
2. 【請求項２】 前記制御手段は、 音声データ抽出後に音声再生手段と動画像再生手段とに
   同時に再生を開始させる開始制御手段と、 前記動画像再生手段により動画像データのフレームが再
   生される毎に、再生開始時から当該フレームの再生完了
   までの期間を示す実再生期間を計測する計測手段と、 前記記録期間と前記実再生期間とに基いて、前記音声デ
   ータと前記動画像データとが同時間帯に再生されるよ
   う、前記動画像再生手段に対してフレーム毎に再生させ
   るか否かの制御を行う再生制御手段とを備えることを特
   徴とする請求項１記載のマルチメディアデータ再生装
   置。
3. 【請求項３】 前記再生制御手段は、 フレームが再生される毎に前記実再生期間と前記記録期
   間とを比較する比較手段と、 前記比較結果に応じて、前記実再生期間が前記記録期間
   内のときは順次にフレームを再生させ、前記実再生期間
   が記録期間外のときはフレームを再生させないよう前記
   動画像再生手段を制御するフレーム制御手段とを備える
   ことを特徴とする請求項２記載のマルチメディアデータ
   再生装置。
4. 【請求項４】 前記フレーム制御手段は、 前記比較結果により前記実再生期間が前記記録期間より
   も短くかつ前記実再生期間と前記記録期間との差が１フ
   レーム分の実再生期間より長い場合に次のフレームを再
   生させ、その他の場合にはフレームを再生させないよう
   前記動画像再生手段を制御することを特徴とする請求項
   ３記載のマルチメディアデータ再生装置。
5. 【請求項５】 前記制御手段は、さらに、 前記実再生期間を用いて動画像再生手段による再生が記
   録時のフレームレートより速いか否かを判定する判定手
   段を備え、前記再生制御手段は、 さらに、前記判定手段により速いと判定された場合、前
   記記録時のフレームレートに一致させて次のフレームを
   再生させるよう前記動画像再生手段を制御することを特
   徴とする請求項３又は４記載のマルチメディアデータ再
   生装置。
6. 【請求項６】 前記制御手段は、さらに、 動画像データを連続する複数のフレームからなる組に分
   割する分割手段を備え、 前記計測手段は、前記組毎に、前記動画像再生手段によ
   り動画像データのフレームが再生される毎に、当該組の
   再生開始時から当該フレームの再生完了までの期間を示
   す実再生期間を計測し、 前記再生制御手段は、１組分の記録期間と前記実再生期
   間との比較に基づいて、前記１組分の記録期間内に当該
   組の動画像データが再生されるよう前記動画像再生手段
   に対して各フレームを再生させるか否かの制御を行うこ
   とにより、前記音声データと前記動画像データとが同時
   間帯に再生されるよう制御することを特徴とする請求項
   ５記載のマルチメディアデータ再生装置。
7. 【請求項７】 前記制御手段は、 前記動画像再生手段に１フレームの再生を前処理として
   行わせることにより１フレームの再生に要する期間を示
   す実再生期間を計測する計測手段と、 前記実再生期間と動画像データの記録時のフレームレー
   トとに基づいて、前記記録期間と同じ期間内において前
   記動画像再生手段により再生可能なフレーム数を示す再
   生フレーム数を算出する算出手段と、 前記動画像データ中から前記再生フレーム数分のフレー
   ムを選択する選択手段と、 音声データ抽出後に前記音声再生手段と前記動画像再生
   手段とに同時に再生を開始させ、前記動画像再生手段に
   対して前記選択手段により選択されたフレームを再生さ
   せ、選択されないフレームを再生させないよう制御する
   再生制御手段とを備えることを特徴とする請求項１記載
   のマルチメディアデータ再生装置。
8. 【請求項８】 前記選択手段は、 前記動画像データのフレーム順に対して略等間隔に前記
   再生フレーム数分のフレームを選択することを特徴とす
   る請求項７記載のマルチメディアデータ再生装置。
9. 【請求項９】 前記選択手段は、 前記総フレーム数を前記再生フレーム数で割った値の整
   数部分に１を加えた値を定数とするとき、前記動画像デ
   ータのフレーム順の先頭から前記定数に相当するフレー
   ム数毎に１フレームを選択し、その結果、選択されたフ
   レームの枚数が前記再生フレーム数に満たない場合は未
   だ選択されていないフレームを対象として残りの枚数分
   のフレームを選択することを特徴とする請求項８記載の
   マルチメディアデータ再生装置。
10. 【請求項１０】 前記選択手段は、 前記未だ選択されていないフレームの先頭側からフレー
    ム順に略等間隔に前記残りの枚数分のフレームを選択す
    ることを特徴とする請求項９記載のマルチメディアデー
    タ再生装置。
11. 【請求項１１】 動画像データに同じ記録期間の音声デ
    ータが埋め込まれたマルチメディアデータから、音声デ
    ータと動画像データとを再生するマルチメディアデータ
    再生方法であって、 前記マルチメディアデータから全ての音声データを抽出
    する抽出ステップと、音声データ抽出後に音声再生装置
    と動画像再生装置に対して、音声データの再生と動画像
    データの再生とを同時に開始させる再生ステップと、 前記動画像データが前記音声データの再生にあわせて同
    時間帯に再生されるよう前記動画像再生装置を制御する
    制御ステップとからなることを特徴とするマルチメディ
    アデータ再生方法。
12. 【請求項１２】 前記制御ステップは、 前記動画像再生手段により動画像データのフレームが再
    生される毎に、再生開始時から当該フレームの再生完了
    までの期間を示す実再生期間を計測する計測ステップ
    と、 前記記録期間と前記実再生期間との比較に基づいて、前
    記音声データと前記動画像データとが同時間帯に再生さ
    れるよう、前記動画像再生装置に対してフレーム毎に再
    生させるか否かの制御を行う再生制御ステップとからな
    ることを特徴とする請求項１１記載のマルチメディアデ
    ータ再生方法。
13. 【請求項１３】 前記マルチメディアデータ再生方法
    は、 前記再生ステップに先立つ処理として 前記動画像再生装置に１フレームの再生を行わせること
    により１フレームの再生に要する期間を示す実再生期間
    を計測する計測ステップと、 前記実再生期間と動画像データの記録時のフレームレー
    トとに基づいて、前記記録期間と同じ期間内において前
    記動画像再生手段が再生可能なフレーム数を示す再生フ
    レーム数を算出する算出ステップと、 前記動画像データの中から前記再生フレーム数分のフレ
    ームを選択する選択ステップとを有し、 前記制御ステップは、前記動画像再生装置に対して、前
    記選択ステップにより選択されたフレームを再生させ、
    選択されないフレームを再生させないよう制御すること
    を特徴とする請求項１１記載のマルチメディアデータ再
    生方法。
14. 【請求項１４】 動画像データに同じ記録期間の音声デ
    ータが埋め込まれたマルチメディアデータから、音声デ
    ータと動画像データとを再生するためのプログラムが記
    録されたコンピュータ読み取り可能な記録媒体であっ
    て、当該プログラムはコンピュータに、 前記マルチメディアデータから全ての音声データを抽出
    する抽出ステップと、 音声データを再生する音声再生ステップと、 動画像データを再生する動画像再生ステップと、 前記音声データ抽出後に、前記動画像データが前記音声
    データの再生にあわせて同時間帯に再生されるよう前記
    音声再生ステップと前記動画像再生ステップそれぞれに
    よる再生を制御する制御ステップとを実行させることを
    特徴とするコンピュータ読み取り可能な記録媒体。
15. 【請求項１５】 前記制御ステップは、 音声データ抽出後に音声再生ステップと動画像再生ステ
    ップとに同時に再生を開始させる開始制御ステップと、 前記動画像再生手段により動画像データのフレームが再
    生される毎に、再生開始時から当該フレームの再生完了
    までの期間を示す実再生期間を計測する計測ステップ
    と、 前記記録期間と前記実再生期間とに基いて、前記音声デ
    ータと前記動画像データとが同時間帯に再生されるよ
    う、前記動画像再生ステップに対してフレーム毎に再生
    させるか否かの制御を行う再生制御ステップとからなる
    ことを特徴とする請求項１４記載のコンピュータ読み取
    り可能な記録媒体。
16. 【請求項１６】 前記再生制御ステップは、フレームが
    再生される毎に前記実再生期間と前記記録期間とを比較
    する比較ステップと、 前記比較結果に応じて、前記実再生期間が前記記録期間
    内のときは順次にフレームを再生させ、前記実再生期間
    が記録期間外のときはフレームを再生させないよう前記
    動画像再生ステップを制御するフレーム制御ステップと
    からなることを特徴とする請求項１４記載のコンピュー
    タ読み取り可能な記録媒体。