JP5696552B2 - 再生装置、再生方法およびプログラム - Google Patents

再生装置、再生方法およびプログラム Download PDF

Info

Publication number
JP5696552B2
JP5696552B2 JP2011064900A JP2011064900A JP5696552B2 JP 5696552 B2 JP5696552 B2 JP 5696552B2 JP 2011064900 A JP2011064900 A JP 2011064900A JP 2011064900 A JP2011064900 A JP 2011064900A JP 5696552 B2 JP5696552 B2 JP 5696552B2
Authority
JP
Japan
Prior art keywords
video
audio
importance
reproduction
determination time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011064900A
Other languages
English (en)
Other versions
JP2012204876A (ja
Inventor
政宏 角谷
政宏 角谷
美和 嶋田
美和 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011064900A priority Critical patent/JP5696552B2/ja
Publication of JP2012204876A publication Critical patent/JP2012204876A/ja
Application granted granted Critical
Publication of JP5696552B2 publication Critical patent/JP5696552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

本発明は、再生装置、再生方法およびプログラムに関する。
動画のコンテンツにおいては、映像と音声が別々の切り離された情報であるため、映像と音声との同期をとる必要がある。しかし、例えばフレームレートが30fpsのコンテンツで、1秒間あたり30枚と決まっている映像に対し、音声は連続したストリームであり、映像1枚ごとに対応して区切られた音声があるわけではない。また、映像と音声はそれぞれのデータ量に差がある。特に、映像データと音声データのデータ量が大きく違ってくる理由として、映像のデータ量は、高画質になるにしたがって飛躍的に大きくなること、同じ動画内であっても、画面の精細度によって一定時間あたりのデータ量が大きく変化することなどがある。これに対し、音声データ量は大きく変化しない。
このように、映像データはフレームなどによる区切りがあるのに対し、音声データが区切りのないデータであること、音声データと映像データは、データ量に差があること等が、映像と音声のずれの原因となる。しかし、映像と音声との同期をとることは人手によるところが大きく、必ずしも正確とはいえないため、ずれの少ない同期を実行することが課題である。
このような課題に対応する例として、例えば、映像と音声とを別々のクロックで再生する再生装置がある。この再生装置では、動画データの再生に先立ち音声データを無音再生させ、その再生時間から音声データ用クロックと映像データ用クロックとの誤差を演算し、再生時のタイミングを調整する。また、映像データと音声データとの再生位置のずれを、音量レベルが特定値よりも低い区間の音声データの再生速度を変更することにより同期させる方法もある。さらに、音声データを一定時間周期で区切り、データを接続することにより再生速度を変更する例もある。再生速度の変更は、区切り位置近くの音声データの波形スタイルに応じて、切り出し開始および終了点を決めて波形を接続することにより行う。
特開2004−7140号公報 特開2006−050362号公報 特開平06−259093号公報
しかしながら、上記のように、単に映像と音声とを再生速度を変えることにより同期させる方法では、同期する瞬間に音声または映像あるいはその両方が途切れてしまうことがあり、視聴者に違和感や不快感をもたらす。また、他の処理の割り込み等があってリアルタイム処理ができない状態が継続し、映像と音声の同期がずれてしまった場合には、そのずれを修正することが難しい。すなわち処理能力の不足のため、再生映像がコマ落ちしてしまう、音声が途切れてしまう、ずれがある一定間隔のまま修正されない、など、視聴者に違和感、不快感を与える問題がある。
そこで本発明は、違和感のない映像と音声との同期が可能な再生装置、再生方法を提供することを目的とする。
ひとつの態様である再生装置は、符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置である。この再生装置において、信号取得部は、前記ストリームを取得する。復号再生部は、取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第1のずれ判定時間における第1の映像および第1の音声を再生する。ずれ判定部は、前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定する。映像重要度算出部は、前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出する。音声重要度算出部は、前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出する。自動補正部は、前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2の映像および前記第2の音声の再生を制御することを特徴としている。
別の態様である再生方法は、符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法である。この再生方法においては、前記ストリームを取得し、第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、前記第1のずれ判定時間における第1の映像と第1の音声との再生時のずれ量を判定する。また、前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出する。この再生方法では、前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御することを特徴としている。
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用・効果を奏するので、前述した課題が解決される。
上述した態様によれば、違和感のない映像と音声との同期が可能な再生装置、再生方法およびプログラムが提供される。
一実施の形態による再生装置の構成を示すブロック図である。 一実施の形態による再生装置の機能を示すブロック図である。 一実施の形態による再生装置の機能を示すブロック図である。 一実施の形態による再生装置の動作を示すフローチャートである。 一実施の形態による再生装置の動作を示すフローチャートである。 一実施の形態による再生装置の動作を示すフローチャートである。 一実施の形態による再生装置の動作を示すフローチャートである。 一実施の形態による周波数領域毎の音量の算出方法を説明する図である。 標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
以下、図面を参照して実施の形態を説明する。まず、図1および図2A、図2Bを参照しながら、一実施の形態による再生装置1の構成について説明する。図1は、本実施の形態による再生装置の構成を示すブロック図、図2A、図2Bは、本実施の形態による再生装置1の機能を示すブロック図である。本実施の形態による再生装置1は、ローカル環境において映像及び音声のコンテンツデータをデコードし再生する際に、音声および映像を同期させる機能を有する。再生装置1は、例えば、携帯情報端末(Personal Data Assistants:PDA)、パーソナルコンピュータ(Personal Computer:PC)、移動電話機などとして実現される。
図1に示すように、再生装置1は、入力再生部5、ずれ判定部7、音声重要度判定部9、映像重要度判定部11、比較評価部13、自動補正部15、記憶部35、タイマ37を有し、互いにシステムバス17で接続され、主制御部3により制御される。入力再生部5は、信号取得部19、分離部21、音声復号部23、音声再生部25、映像復号部27、映像再生部29を有している。自動補正部15は、音声操作部31、映像操作部33を有している。
図1、図2A、図2Bに示すように信号取得部19は、符号化された映像データおよび符号化された音声データを含むストリーム53を取得する。分離部21は、信号取得部19で取得されたストリーム53を符号化された映像データの映像ストリーム57と符号化された音声データの音声ストリーム55とに分離する。
音声復号部23は、音声ストリーム55を復号化しつつ、自動補正部15からの出力に応じた操作を行って、再生可能な音声データを生成する。音声再生部25は、自動補正部15からの再生開始箇所に関する情報と音声復号部23からの音声データとに基づき、音声を再生する。映像復号部27は、映像ストリーム57を復号化し、自動補正部15からの出力に応じた操作を行って、再生可能な映像データを生成する。映像再生部29は、自動補正部15からの再生開始箇所に関する情報と、映像復号部27からの映像データとに基づき映像を再生する。
ずれ判定部7は、音声再生部25で再生された音声と、映像再生部29で再生された映像とのずれ量を判定する。音声重要度判定部9は、音声復号部23で復号化された音声データに基づき音声重要度SLを算出する。映像重要度判定部11は、分離部21で分離された映像ストリーム57に基づき映像重要度ILを算出する。比較評価部13は、算出された音声重要度SLと映像重要度ILとを比較する。
自動補正部15は、比較評価部13における比較結果に基づき、コンテンツデータの再生状態を自動的に補正する装置であり、音声操作部31においては音声データを操作し、映像操作部33においては映像データを操作する。音声操作部31においては、ずれ量および音声データに基づき、無音間引き操作61、無音補間操作63、または再生速度変更操作65の少なくとも一つが行われる。映像操作部33においては、ずれ量および映像データに基づき、フレーム間引き操作67、またはフレーム補間操作69が行われる。
記憶部35は、Ramdom Access Memory(RAM)、Read Only Memory(ROM)等であり、上記操作を行うためのプログラムや、映像ストリーム57、復号化された映像データ、音声ストリーム55、復号化された音声データなどを格納する。主制御部3は、再生装置1の動作を制御するための演算処理装置である。
以下、図3から図5を参照しながら、本実施の形態による再生装置1の動作を説明する。図3、図4A〜図4Cは、再生装置1の動作を示すフローチャートである。図3に示すように、信号取得部19が動画コンテンツ等の符号化された音声データおよび映像データを含むストリームを取得し、ストリームは、分離部21により映像ストリームと音声ストリームに分離される(S100)。主制御部3は、ずれ判定部7により、閾値Aの設定を行う(S101)。音声復号部23は、音声ストリーム55についてある程度のバッファ分デコードを行うが、このバッファ長が閾値Aとされ、例えば1秒とすることができる。
続いて、主制御部3は、ずれ判定部7により、閾値Bを、閾値Aに対応する動画のフレーム数として算出する(S101)。すなわち、ずれ判定部7は、ストリーム53から、閾値Aの時間に対応するフレーム数を算出し、これを閾値Bとする。例えば、閾値A=1秒のとき、動画のフレームレートから閾値B=30フレームと算出される。
入力再生部5は、動画および音声の再生を開始するとともに、図示せぬ音声タイマ、動画カウンタを起動する(S102)。音声タイマは、計時機能を有し、音声の再生済みサンプル数を計数することにより、再生済みの音声の時間を計測する。すなわち、音声タイマの値は、再生済み音声サンプル数を音声のサンプリングレートで割ったものである。動画カウンタは、計数機能を有し、表示した映像のフレーム数を計数する。
入力再生部5は、動画を1フレーム再生する(S103)。すなわち、音声復号部23は、音声ストリーム55を復号化して音声データを作成し、音声再生部25は、音声データを再生する。また、映像復号部27は、映像ストリーム57を復号化し、映像データを作成し、映像再生部29は、動画を再生する。
ずれ判定部7は、1フレーム再生された時点で、これまで再生された映像のフレーム数を示す動画カウンタの値(動画カウンタ値ICt)と閾値Bとを比較する(S104)。ずれ判定部7は、動画カウンタ値ICtが閾値Bに満たないと判別すると(S104:Yes)、現在映像再生部29が再生しているフレームが、映像ストリームのGroup of Pictures(GOP)端か否か判定する(S107)。現在再生しているフレームがGOP端でない場合には(S107:No)、処理はS103に戻り、追加で1フレーム再生を行う。
現在再生している部分がGOP端である場合には(S107:Yes)、音声と映像とは、GOP長に含まれる数のフレームが再生された際のずれを判定されることになる。ここで、ずれを判定される区間をずれ判定区間JAということにする。ここでは、ずれ判定区間JA=GOP長となる。
動画カウンタ値ICtが閾値B以上のときであって(S104:No)、動画カウンタ値ICtが閾値Bであれば(S105:Yes)、主制御部3は、S108に処理を進める。このとき、ずれ判定区間JA=閾値Bとなる。動画カウンタ値ICtが閾値Bより大きければ(S105:No)、主制御部3はエラーを出力し(S106)、処理を終了する。
続いて、ずれ判定部7は、音声タイマの値(音声タイマ値ST)と、再生済み映像フレームに閾値Aを掛けて閾値Bで割ったもの(再生済み映像フレームにあたる時間)との差を算出する。すなわち、ずれ判定部7は、ずれ量L1として、(音声タイマ値ST−閾値A×(動画カウンタ値ICt/閾値B))の値を算出する。ずれ判定部7は、算出した値が、所定のずれ許容時間AT未満か否かを判別する(S108)。所定のずれ許容時間ATは、例えば1/30秒とすることができる。
ずれ判定部7は、(音声タイマ値ST−閾値A×(動画カウンタ値ICt/閾値B))<(ずれ許容時間AT)(S108:Yes)のときには、同期が取れているためずれを修正する必要なしと判別する。ずれ判定部7は、このとき、閾値A=音声タイマ値ST、閾値B=動画カウンタ値ICtとした後、音声タイマ値ST=0、動画カウンタ値ICt=0とリセットし(S109)、S103に戻る。
ずれ判定部7は、(音声タイマ値ST−閾値A×(動画カウンタ値ICt/閾値B)<(ずれ許容時間AT)でない場合には、同期が取れていないと判別し(S108:No)、主制御部3は、処理を図4Aのフローチャートの処理に進める。
図4Aに示すように、主制御部3は、自動補正部15により、(ずれ時間L1)=(音声タイマ値ST―閾値A×(動画カウンタ値ICt/閾値B))と設定する(S131)。ずれ時間L1は、映像と音声のずれ時間を表し、再生済み音声時間から再生済み映像時間を引いた時間であり、音声が遅れているときは負の値、映像が遅れているときは正の値をとる。
主制御部3は、映像復号部23により、映像ストリーム57について次に再生する部分のGOP構造を判定し、Bi−directional Predicted Frame(Bフレーム)を含むか否か判別する(S131)。例えば、GOP構造が「Inter Video Bitrate Balance Profille:IBBP」であるか否か判別される。
Bフレームを含まない場合には(S132:No)、音声を優先して操作するため、自動補正部15は、処理を図4BのS135に進める。Bフレームを含む場合には(S132:Yes)、映像と音声のどちらを優先して操作する方が与える違和感が少ないかを、音声重要度SLおよび映像重要度ILをもとに判定する。
S133では、映像の重要さを示す映像重要度ILおよび音声の重要さを示す音声重要度SLを算出する。以下、S133の処理について説明する。映像重要度ILは、映像の複雑さを示す値として算出される。音声重要度SLは、音声の音量の特徴を示す値として算出される。
まず、映像重要度ILの算出方法について説明する。映像重要度判定部11は、映像のデコード処理を行う前に例えばH.264のパラメータ情報を解析し、(−1)×量子化係数(Quantization Parameter:QP)、デコード前のフレームあたりデータ量、動きベクトル総量の各パラメータを正規化した後加算することで、映像重要度ILを算出する。
映像そのものを再生しながら映像を解析するのは処理負荷的に厳しいため、映像重要度ILは、映像を符号化した際に付加される量子化係数、フレーム(ピクチャ)サイズ、動きベクトル総量に基づき求める。ここで、量子化係数に基づく映像重要度を、量子化重要度IL1、フレームサイズに基づく映像重要度を、サイズ重要度IL2、動きベクトル総量に基づく映像重要度を、ベクトル重要度IL3とする。
以下、量子化重要度IL1の算出方法について説明する。量子化重要度IL1は、エンコード時にマクロブロック(Macroblock:MB)毎に設定される量子化係数QPに基づいて算出される。量子化係数QPとは、映像データを圧縮する際に目標とするデータサイズになるように、映像の複雑さおよび劣化の解りにくさに応じて設定されるパラメータである。量子化係数QPは、各MBヘッダに直前MBの量子化係数QPとの差という形で設定されており、1ピクチャ当たり量子化値QPpは以下の式1により算出できる。
QPp=26+PIQM+Σ(SQD+(ΣMQD/Mb))/(NSGM+1)
・・・(式1)
ここで、一つ目の「Σ」は、各ピクチャに含まれる全スライス分の和を示し、二つ目の「Σ」は各スライスに含まれる全マクロブロック分の和を示す。また、各変数は以下の通りである。
式1において、PIQMは、pic_init_qp_minus26を示し、Picture Parameter Set(PPS)に定義される、QPの初期値を設定する値であり、実際の初期値から26引いた値が設定される。SQDは、slice_qp_deltaを示し、スライスヘッダに定義される値であり、スライス毎のQPの初期値を設定する値である。MQDは、mb_qp_deltaを示し、マクロブロック毎に定義される値であり、当該マクロブロックと、直前のマクロブロックの量子化パラメータQPの差分値である。Mbは、Macroblocksを示し、スライスヘッダに定義される値であり、スライスに含まれるマクロブロック数である。NSGMは、num_slice_groups_minus1を示し、PPSに定義される値であり、ピクチャに含まれるスライス数から1を減じた値を表す。
さらに、この1ピクチャ当たりの量子化値QPpを、ずれ判定区間JA分の数のピクチャについて足し合わせ、平均をとったものをピクチャ平均QPaとすると、
ピクチャ平均QPa=ΣQPp/ずれ判定区間JA ・・・(式2)
と表される。ここで「Σ」は、ずれ判定区間JAに含まれるピクチャ数(すなわち、GOP長または閾値B)分の和を示す。
映像重要度判定部11は、量子化重要度IL1を式3のように算出する。すなわち、
量子化重要度IL1=102−(2×ピクチャ平均QPa) ・・・(式3)
とすることで、量子化重要度IL1は、1〜100の範囲の値に正規化される。
以下、サイズ重要度IL2の算出方法について説明する。サイズ重要度IL2は、映像の重要度算出のパラメータの一つとして、ピクチャのデータサイズに基づき算出される。ピクチャのデータサイズは、Network Abstraction Layer(NAL)のうちnal_unit_typeに応じて計測される。データサイズは、nal_unit_typeが「1」、すなわち、Instantenous Decoding Refresh(IDR)ピクチャの場合、または、「5」、すなわち、IDR以外のピクチャの場合、のもののバイナリサイズとして計測できる。これを、映像の大きさに対して正規化するため、ピクチャデータサイズはピクチャサイズ(1ピクチャの縦画素数×横画素数)で除される。さらに、映像重要度判定部11は、ずれ判定区間JAに含まれるピクチャデータサイズ合計を算出し、それを映像データ量DVとする。すなわち、
映像データ量DV=Σ(ピクチャデータサイズ/ピクチャサイズ) ・・・(式4)
ここで、「Σ」は、ずれ判定区間JAに含まれるピクチャ分の和を表す。さらに、映像重要度判定部11は、これまで再生した部分の映像データ量DVの平均を算出しておき、それを(平均サイズ)とすると、サイズ重要度IL2は以下の式5のように表される。
サイズ重要度IL2
=max(((映像データ量DV)/(平均サイズ))×50、100)・・(式5)
式5により、サイズ重要度IL2は、1〜100の範囲の値に正規化される。
以下、ピクチャの動きベクトル総量に基づくベクトル重要度IL3の算出方法について説明する。映像重要度判定部11は、ベクトル重要度IL3の算出において、まず動きベクトル総量をフレーム毎の全マクロブロックについて足し合わせ、1マクロブロックあたりの平均をとる。ベクトル重要度IL3は、1マクロブロックあたりの平均動きベクトル総量を例えば10倍し上限を100で抑える。ベクトル重要度IL3の例として、以下の式6が挙げられる。
ベクトル重要度IL3=max((Σ(各マクロブロックの動きベクトル長)
/ピクチャのマクロブロック数×10)、100) ・・(式6)
ここで「Σ」は、1ピクチャ内のマクロブロック数分の和を表す。式6により、ベクトル重要度IL3は、1〜100の範囲の値に正規化される。
映像重要度判定部11は、以上のように算出した量子化重要度IL1、サイズ重要度IL2およびベクトル重要度IL3に基づき映像重要度ILを算出する。映像重要度ILは、例えば量子化重要度IL1、サイズ重要度IL2およびベクトル重要度IL3の算術平均、すなわち、映像重要度IL=(IL1+IL2+IL3)/3として算出される。
続いて、音声重要度SLの算出について説明する。音声重要度判定部9は、例えば音声復号部23により復号化された音声データの1フレーム分相当を周波数領域に転写する。音声重要度判定部9は、所定周波数範囲毎に振幅の積分を算出し、1フレーム分の時間における周波数毎の音量とする。
図5は、周波数領域毎の音量の算出方法を説明する図である。図5において、縦軸は、音量に応じた振幅x(i)を示し、横軸は周波数iを対数軸で示している。図5は、例えば1フレーム分の音声データを周波数領域の振幅に変換した結果を表している。横軸は、周波数10〜10k+1(kは整数)毎の周波数範囲に区切られている。このとき、この周波数範囲毎の振幅の積分が、周波数範囲毎の音量(以下、周波数毎の音量という)に相当する。フレームに時間的順序を表すフレーム番号jを付し、フレーム番号jにおける周波数毎の音量SVa(j)を以下の式7で表す。
Figure 0005696552
式7により、周波数毎の音量SVa(j)は、0〜100までの範囲に正規化される。
以下、上記音量SVa(j)を用いた変動重要度SL1の算出方法について説明する。変動重要度SL1は、周波数帯毎の音声レベル変化量の平均である。すなわち、変動重要度SL1は、式7の周波数毎の音量SVa(j)それぞれについて、前サンプル(ここでは、前フレーム)との差を取り、その差をS108における音声タイマ値STに対応するずれ判定時間、および全周波数に対応する周波数領域について足し合わせ、その平均を計算する。ずれ判定時間に含まれるフレーム数をフレーム数FN、全周波数領域を10〜10(Nは自然数)とすると、変動重要度SL1は、以下の式8で表される。
変動重要度SL1=1/NΣ(Σ|SVa(j)−SV(j−1)|)/FN ・・・(式8)
ここで、一つ目の「Σ」は、全周波数領域分の和を表し、二つめの「Σ」は、ずれ判定時間におけるフレーム数分の和(j=1〜FN)を表す。なお、式8により音声重要度SL1は、0〜100までの値として算出される。
次に、上記音量SVa(j)を用いた音量重要度SL2の算出方法について説明する。音量重要度SL2は、音量レベル全体の総和であり、周波数毎の音量SVaそれぞれについて、S108の音声タイマ値STに対応するずれ判定時間に含まれるフレーム、および全周波数に対応する周波数領域について足し合わせ、その平均を計算する。すなわち、以下の式9で表される。
音量重要度SL2=1/NΣΣSVa(j)/FN ・・・(式9)
ここで、一つ目の「Σ」は、全周波数領域分(10〜10)の和を表し、二つめの「Σ」は、ずれ判定時間におけるフレーム数分の和(j=1〜FN)を表す。なお、音声重要度SL2は、0〜100までの値として算出される。
音声重要度判定部9は、以上のように算出された変動重要度SL1および音量重要度SL2に基づき、音声重要度SLを設定する。例えば、音声重要度SL=(変動重要度SL1+音量重要度SL2)/2と算出される。
図4AのS134では、比較評価部13が、上記のように算出した映像重要度ILと、音声重要度SLとの大小を判別する。比較評価部13は、映像重要度ILの方が音声重要度SLより大きい場合には(S134:Yes)、音声を優先的に操作するため、処理を図4BのS135に進ませる。比較評価部13は、音声重要度SLの方が映像重要度ILより大きい場合には(S134:No)、映像を優先的に操作するため、処理を図4CのS145に進ませる。以下、比較評価部13の判別結果に応じて、自動補正部15は、映像と音声との同期を行う。
まず、音声を優先的に操作する場合について説明する。図4Bに示すように、S135において、自動補正部15の音声操作部31は、操作対象(これから再生するずれ判定時間分)の音声部分に無音に近い部分か、音声変化量が小さいと判断できる部分があるかどうかを判断する。無音に近いと判断するのは、例えば音量重要度SL2が、ホワイトノイズに対して予め算出された音声重要度SL以下である場合とすることができる。音声変化量が小さいと判断するのは、例えば変動重要度SL1が、ホワイトノイズに対して予め算出された変動重要度SL1以下とすることができる。
S135において、操作対象の音声部分に無音に近い部分か、音声変化量が小さいと判断できる部分(以下、無音に近い部分と音声変化量が小さいと判断できる部分を合わせて無音相当部分という)があると判別されると(S135:Yes)、音声操作部31は、ずれ時間L1が正の数か否か判別する(S136)。ずれ時間L1が正の数である場合には(S136:Yes)、音声が進んでいるので、音声操作部31は、ずれ時間L1分、無音に近い部分または音声変化量が小さいと判断できる部分を何回も再生して伸張することにより、同期処理を完了する(S137)。
S136において、ずれ時間L1が負の数であり、映像が遅れていると判別された場合には(S136:No)、音声操作部31は、ずれ時間L1の絶対値が無音相当部分の時間(無音相当時間という)よりも大きいか否か判別する(S138)。ずれ時間L1の絶対値が無音相当時間よりも長い場合には(S138:Yes)、音声操作部31は、無音相当部分を再生せずに削除し(S139)、ずれ時間L1=ずれ時間L1+無音相当時間とし(S140)、S142に処理を進める。ずれ時間L1の絶対値が無音相当時間以下の場合には(S138:No)、音声操作部31は、ずれ時間L1分の無音相当部分の音声を削除して同期処理を完了し(S141)、S153に処理を進める。
S135において、無音相当部分がない場合には(S135:No)、音声操作部31は、速度変更率VC=(音声タイマ値ST/(音声タイマ値ST+|ずれ時間L1|)が一定値以上か否かを判別する(S142)。判別に用いる一定値は、例えば0.8とすることができる。
速度変更率VCが一定値未満の場合には(S142:No)、音声操作部31は、処理をS145に進める。これは、音声再生速度を一定以上変化させると、音声の速度を変更することによる違和感の方が、映像を操作することによる違和感よりも大きいと判断されるためである。ここで、音声操作部31は、音声の再生速度を上記一定値に応じた割合だけ変更した後、処理をS145に進めるようにしてもよい。
速度変更率VCが一定値以上の場合には(S142:No)、音声操作部31は、音声再生速度変更値=(音声タイマ値ST+ずれ時間L1)/音声タイマ値STとし(S143)、音声再生速度を音声再生速度変更値に応じて変更することにより、同期処理を完了する(S144)。
ここで、音声再生速度変更方法について説明する。ここで採用する音声再生速度変更方法は、デジタル音声データの一部を省略したり挿入したりすることにより、その音程を変えずにデジタル音声データの再生速度を変換する方法である。
音声操作部31は、まず、操作対象、すなわちこれから再生するずれ判定区間JAに相当する音声部分の音声データを、一定周期の区間に区切り、省略または伸張する割合を決める。例えば、10%省略するのであれば、音声操作部31は、区切られた音声データにおいて、10区間毎に1区間を目安として省略すればよいし、10%伸張するのであれば、10区間毎に1区間を目安として挿入すればよい。次に、音声操作部31は、省略または伸張する割合に応じて音声データを操作する。このような音声再生速度の変更は、例えば、特許文献3に記載の方法など、従来の様々な方法を適用することができる。
映像を処理する場合には、図4Cに示すように、まず、映像操作部33は、ずれ時間L1の正負を判別する(S145)。映像操作部33は、ずれ時間L1が正の場合には(S145:Yes)、音声に対し映像が遅れているので、フレーム間引き処理を行い、負の場合には(S145:NO)、音声に対し映像が進んでいるので、フレーム補間処理を行う。
フレーム間引き処理では、映像操作部33は、まず、フレーム間引き枚数を算出する(S146)。すなわち、映像操作部33は、フレーム間引き枚数=ずれ時間L1/フレームレート(Frame per Second:FPS)を算出する。小数点以下については四捨五入する。
映像操作部33は、操作対象(これから再生する、ずれ判定区間JA分)の映像に非参照ピクチャがある場合には、フレーム間引き枚数を超えない範囲で再生する映像データに含まないように間引く(S147)。非参照ピクチャの枚数がフレーム間引き枚数に至らない場合には、映像操作部33は、その後、Pピクチャの後のBピクチャのうち、量子化係数QPの高いものから間引く(S148)。S148までの処理でフレーム間引き枚数に至らない場合には、映像操作部33は、Iフレーム及びPフレームのような参照ピクチャを間引く。このように参照ピクチャを間引く際には、次のフレームのためにピクチャをデコードする(S149)。
上記のように、フレームの間引きを行う際には、映像操作部33は、後フレームへの影響を小さくするため、まず、非参照フレームを間引き、次に、IBBPにおけるBフレームを間引く。さらに、IPPPにおける量子化係数QPの大きいフレーム順でフレームを間引く。映像操作部33は、フレームを間引いた場合には、非参照フレームを除き、後続のフレームの為デコードは行なう。以上により、同期処理を完了する。
ずれ時間L1が負の数の場合には(S145:No)、フレーム補間処理を行う。映像操作部33は、フレーム補間枚数=−ずれ時間L1/FPSを算出する(S150)。小数点以下については四捨五入する。
映像操作部33は、補間するフレームとして、なるべく量子化係数QPの高いものについてそのフレームと次フレームの平均フレームを作成する(S151)。例えば、フレーム補間する場合、映像操作部33は、対象箇所の前後フレームについて各ピクセルの各画素値の平均値を求め、これを補間フレームとして前後フレームの間に挿入する。
フレーム補間の際、映像操作部33は、閾値Bに対して、補間するフレームがなるべく均等に配置されるように、補間枚数分だけ補間処理を行う(S152)。補間すべきフレーム枚数分の間引きを完了した後、処理は、S153の初期化処理に進む。
S153の初期化処理として、主制御部3は、閾値Aに再生済み音声時間(音声タイマ値ST)を代入、閾値Bに表示済み映像フレーム数(動画カウンタ値ICt)を代入する。その後、主制御部3は、音声タイマ値ST=0、動画カウンタ値ICt=0と初期化し、S103に戻って処理を繰り返す。
なお、本実施の形態の分離部21、音声復号部23、音声再生部25、映像復号部27、映像再生部29は、本発明の復号再生部の一例である。音声重要度判定部9は、音声重要度算出部の一例であり、映像重要度判定部11は、映像重要度算出部の一例である。
以上説明したように、本実施の形態による再生装置1においては、映像重要度IL、音声重要度SLが算出される。映像重要度ILは、映像の複雑さの度合いを示し、復号化前の映像ストリームに基づき算出される。音声重要度SLは、音声の音量の特徴を示し、復号化した音声データに基づき算出される。また、再生装置1は、映像重要度IL、音声重要度SL、およびずれ判別区間JAにおけるずれ時間L1に応じて、映像および音声のいずれを優先して操作するかを判別することにより同期を行う。
よって、本実施の形態による再生装置1において、映像重要度IL、音声重要度SLの算出は、映像そのもの再生中に行われるわけではないので、再生に影響を与えないという効果がある。また、再生装置1によれば、同期処理による視聴者への影響が少ないと考えられる方法を用いて同期処理を行うことが可能となる。よって、処理能力の不足のため、再生映像がコマ落ちしてしまう、音声が途切れてしまう、ずれがある一定間隔のまま修正されない、など、視聴者に違和感、不快感を与えることが少なくなるという効果がある。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、S153の初期化処理では、閾値Aとして音声タイマ値STを設定し、閾値Bとして、動画カウンタ値ICtを設定したが、これに限定されない。例えば、S153が行われる度に音声タイマ値Sおよび動画カウンタ値ICtの値を記憶部35に記憶しておき、それぞれの平均値を算出して、閾値A、閾値Bの初期値として代入するようにしてもよい。
閾値Aは、変動重要度SL1が大きい場合には小さくし、変動重要度SL1が小さい場合には、大きくするようにしてもよい。例えば、算出された変動重要度SL1を記憶部35に記憶して、変動重要度SL1の統計分布を算出し、現在の変動重要度SL1が、確率分布で上位20%の範囲に入るか否かで、音声の変化量が大きいか否かを判別する。音声の変化量が大きいと判別されたときには、閾値A=0.5秒、それ以外は閾値A=1秒などと逐次更新するようにしてもよい。変化量の大きい部分は視聴者がリップシンクずれを感じる機会が多いと考えられるためである。
映像重要度ILは、量子化重要度IL1、サイズ重要度IL2、またはベクトル重要度IL3のいずれか少なくとも一つに基づき算出することができる。なお、サイズ重要度IL2は、(平均サイズ)が安定するであろう、再生開始30秒以降などにサイズ重要度IL2を反映させるようにしてもよい。音声重要度SLは、変動重要度SL1または音量重要度SL2のいずれか少なくとも一つに基づき算出することができる。
映像重要度IL、音声重要度SLの算出は、別の算出方法を用いるものでもよい。例えば、動きが小さく量子化係数が大きい場合には、絵が細かいが動きが少ないパターンであると考えられる(音楽がメインで背景として映像が使われている場合など)ので音声の重要度に少し下駄をはかせるなどの調整を行うようにしてもよい。また、小さい音声の大小は人間にとって差に気づきやすい傾向がある為、音声重要度SLの算出における式7の被積分関数x(i)を10×(x(i))1/2に置き換えるようにしてもよい。これにより、同期のための操作を、人間が視聴した際に気になる度合いにより近づける効果がある。
本実施の形態による再生装置は、データの圧縮を伴い符号化されるH.264、MPEG2等によるデジタル動画像の再生装置として適用が可能である。
ここで、上記実施の形態による映像音声の再生方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図6は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図6に示すように、コンピュータ300は、Central Processing Unit(CPU)302、メモリ304、入力装置306、出力装置308、外部記憶装置312、媒体駆動装置314、ネットワーク接続装置等がバス310を介して接続されている。
CPU302は、コンピュータ300全体の動作を制御する演算処理装置である。メモリ304は、コンピュータ300の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ304は、例えばRandom Access Memory(RAM)、Read Only Memory(ROM)等である。入力装置306は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をCPU302に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置308は、コンピュータ300による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、CPU302により送付される表示データに応じてテキストや画像を表示する。
外部記憶装置312は、例えば、ハードディスクなどの記憶装置であり、CPU302により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置314は、可搬記録媒体316に書き込みおよび読み出しを行うための装置である。CPU302は、可搬型記録媒体316に記録されている所定の制御プログラムを、記録媒体駆動装置314を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。CPU302は、可搬記録媒体316に記録された動画コンテンツを読み出して、再生させるようにすることもできる。記憶可搬記録媒体316は、例えばConpact Disc(CD)−ROM、Digital Versatile Disc(DVD)、Universal Serial Bus(USB)メモリ等である。
ネットワーク接続装置318は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。CPU302は、ネットワーク接続装置318を介して外部の動画コンテンツを取得し、再生させるようにすることもできる。バス310は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
上記実施の形態による映像音声再生方法をコンピュータに実行させるプログラムは、例えば外部記憶装置312に記憶させる。CPU302は、外部記憶装置312からプログラムを読み出し、コンピュータ300に映像音声再生の動作を行なわせる。このとき、まず、映像音声再生の処理をCPU302に行わせるための制御プログラムを作成して外部記憶装置312に記憶させておく。そして、入力装置306から所定の指示をCPU302に与えて、この制御プログラムを外部記憶装置312から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体316に記憶するようにしてもよい。
CPU302は、可搬記録媒体316に記録された動画コンテンツを読み出して、再生させるようにすることもできる。
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置であって、
前記ストリームを取得する信号取得部と、
取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第1のずれ判定時間における第1の映像および第1の音声を再生する復号再生部と、
前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定するずれ判定部と、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出する映像重要度算出部と、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出する音声重要度算出部と、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2の映像および前記第2の音声の再生を制御する自動補正部と、
を有することを特徴とする再生装置。
(付記2)
前記映像重要度は、前記映像の符号化の際に付加される量子化係数、データ量、または動きベクトル長の総量のいずれか少なくとも1つに基づいて算出されることを特徴とする付記1に記載の再生装置。
(付記3)
前記音声重要度は、前記音声データの所定周波数範囲毎の音量の時間的変化量の平均値、または前記音声データの所定周波数範囲毎の音量の平均値のいずれか少なくとも1つに基づいて算出されることを特徴とする付記1または付記2に記載の再生装置。
(付記4)
前記自動補正部は、さらに、復号前の前記第2の映像中に非参照ピクチャがあるか否かに基づき前記第2の映像と前記第2の音声との再生時のずれを補正することを特徴とする付記1から付記3のいずれかに記載の再生装置。
(付記5)
前記自動補正部は、
前記音声データを操作する音声操作部と、
前記映像データを操作する映像操作部と、
を有し、
復号前の前記映像中に非参照ピクチャがあるか否か、および前記映像重要度と前記音声重要度との大小関係に基づき、前記再生時のずれを補正する際に音声操作部と映像操作部のいずれの操作を優先するかを決定することを特徴とする付記4に記載の再生装置。
(付記6)
前記自動補正部は、
前記映像重要度が前記音声重要度より大きいときには、前記音声操作部の操作を優先し、
前記音声重要度が前記映像重要度より大きいときには、前記映像操作部による操作を行うことにより前記映像と前記音声の再生時のずれを補正することを特徴とする付記5に記載の再生装置。
(付記7)
前記音声操作部は、
前記第2のずれ判定時間に対応する区間に、前記音声重要度が所定値以下の無音相当区間がある場合であって、
前記第1の音声の再生が前記第1の映像の再生よりも進んでいる場合には、前記無音相当区間を繰り返し再生し、
前記第1の映像の再生が、前記第1の音声の再生よりも進んでいる場合には、前記ずれ量に応じて前記無音相当区間を削除する操作、前記音声の再生速度を変更する操作、映像操作部での操作を行う操作のいずれか少なくとも一つの操作を行い、
前記音声重要度を算出する区間に、前記音声重要度が所定値以下の無音相当区間がない場合であって、
前記ずれ量が、前記第2のずれ判別時間に対し所定割合未満の場合には、前記音声の再生速度を変更し、
前記ずれ量が、前記第2のずれ判別時間に対し所定割合以上の場合には、前記映像操作部による操作を行うことを特徴とする付記5または付記6に記載の再生装置。
(付記8)
前記映像操作部は、
前記第1の音声の再生が前記第1の映像の再生よりも進んでいる場合には、少なくとも非参照ピクチャを再生しない処理を行い、
前記第1の映像の再生が、前記第1の音声の再生よりも進んでいる場合には、前後のフレームの画素値の平均を有するフレームを補間する処理を行うことを特徴とする付記5または付記6に記載の再生装置。
(付記9)
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法であって、
前記ストリームを取得し、
第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
前記第1のずれ判定時間における第1の映像と第1の音声との再生時のずれ量を判定し、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御する、
ことを特徴とする再生方法。
(付記10)
前記第1の映像および前記第1の音声を再生し、前記ずれ量を判定し、前記映像重要度を算出し、前記音声重要度を算出し、前記再生を制御することを繰り返し行うことを特徴とする付記9に記載の再生方法。
(付記11)
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する処理をコンピュータに実行させるためのプログラムであって、
前記ストリームを取得し、
第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定し、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御する処理を前記コンピュータに実行させるためのプログラム。
(付記12)
前記第1の映像および前記第1の音声を再生する処理、前記ずれ量を判定する処理、前記映像重要度を算出する処理、前記音声重要度を算出する処理、および前記再生を制御する処理を繰り返し前記コンピュータに実行させるための付記11に記載のプログラム。
1 映像音声再生装置
3 主制御部
5 入力再生部
7 ずれ判定部
9 音声重要度判定部
11 映像重要度判定部
13 比較評価部
15 自動補正部
17 システムバス
19 信号取得部
21 分離部
23 音声復号部
25 音声再生部
27 映像復号部
29 映像再生部
31 音声操作部
33 映像操作部

Claims (8)

  1. 符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置であって、
    前記ストリームを取得する信号取得部と、
    取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第1のずれ判定時間における第1の映像および第1の音声を再生する復号再生部と、
    前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定するずれ判定部と、
    前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出する映像重要度算出部と、
    前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出する音声重要度算出部と、
    前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第2の映像および前記第2の音声の再生を制御する自動補正部と、
    を有することを特徴とする再生装置。
  2. 前記映像重要度は、前記映像の符号化の際に付加される量子化係数、データ量、または動きベクトル長の総量のいずれか少なくとも1つに基づいて算出されることを特徴とする請求項1に記載の再生装置。
  3. 前記音声重要度は、前記音声データの所定周波数範囲毎の音量の時間的変化量の平均値、または前記音声データの所定周波数範囲毎の音量の平均値のいずれか少なくとも1つに基づいて算出されることを特徴とする請求項1または請求項2に記載の再生装置。
  4. 前記自動補正部は、さらに、復号前の前記第2の映像中に非参照ピクチャがあるか否かに基づき前記第2の映像と前記第2の音声との再生時のずれを補正することを特徴とする請求項1から請求項3のいずれか一項に記載の再生装置。
  5. 前記自動補正部は、
    前記音声データを操作する音声操作部と、
    前記映像データを操作する映像操作部と、
    を有し、
    復号前の前記映像中に非参照ピクチャがあるか否か、および前記映像重要度と前記音声重要度との大小関係に基づき、前記再生時のずれを補正する際に音声操作部と映像操作部のいずれの操作を優先するかを決定することを特徴とする請求項4に記載の再生装置。
  6. 前記自動補正部は、
    前記映像重要度が前記音声重要度より大きいときには、前記音声操作部の操作を優先し、
    前記音声重要度が前記映像重要度より大きいときには、前記映像操作部による操作を行うことにより前記映像と前記音声の再生時のずれを補正することを特徴とする請求項5に記載の再生装置。
  7. 符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法であって、
    前記ストリームを取得し、
    第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
    第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
    前記第1のずれ判定時間における第1の映像と第1の音声との再生時のずれ量を判定し、
    前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
    前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
    前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御することを特徴とする再生方法。
  8. 符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する処理をコンピュータに実行させるためのプログラムであって、
    前記ストリームを取得し、
    第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
    前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定し、
    前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
    前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
    前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御する処理を前記コンピュータに実行させるためのプログラム。
JP2011064900A 2011-03-23 2011-03-23 再生装置、再生方法およびプログラム Active JP5696552B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011064900A JP5696552B2 (ja) 2011-03-23 2011-03-23 再生装置、再生方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011064900A JP5696552B2 (ja) 2011-03-23 2011-03-23 再生装置、再生方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012204876A JP2012204876A (ja) 2012-10-22
JP5696552B2 true JP5696552B2 (ja) 2015-04-08

Family

ID=47185426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011064900A Active JP5696552B2 (ja) 2011-03-23 2011-03-23 再生装置、再生方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5696552B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6786172B2 (ja) * 2017-04-24 2020-11-18 株式会社ユニバーサルエンターテインメント 遊技機
JP6786171B2 (ja) * 2017-04-24 2020-11-18 株式会社ユニバーサルエンターテインメント 遊技機
JP6786173B2 (ja) * 2017-04-24 2020-11-18 株式会社ユニバーサルエンターテインメント 遊技機

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259093A (ja) * 1993-03-08 1994-09-16 Fujitsu Ltd デジタル音声データの再生速度変換方法及び装置
JPH09311689A (ja) * 1996-05-17 1997-12-02 Ekushingu:Kk 情報出力装置
JPH1023381A (ja) * 1996-07-01 1998-01-23 Ekushingu:Kk 情報供給装置、出力端末および情報供給システム
JP3629253B2 (ja) * 2002-05-31 2005-03-16 株式会社東芝 音声再生装置および同装置で用いられる音声再生制御方法
JP4735932B2 (ja) * 2003-09-02 2011-07-27 ソニー株式会社 コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム
JP4359120B2 (ja) * 2003-10-31 2009-11-04 財団法人エヌエイチケイエンジニアリングサービス コンテンツ品質評価装置及びそのプログラム
JP2006050362A (ja) * 2004-08-06 2006-02-16 Casio Comput Co Ltd 音声付き動画再生装置、及び再生クロック補正方法

Also Published As

Publication number Publication date
JP2012204876A (ja) 2012-10-22

Similar Documents

Publication Publication Date Title
JP6287315B2 (ja) 動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラム
JP4717060B2 (ja) 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路
US7676142B1 (en) Systems and methods for multimedia time stretching
JP4472360B2 (ja) オーディオおよびビデオストリームの同期のための装置および方法
JP7509190B2 (ja) 復号装置および方法、並びにプログラム
KR100547445B1 (ko) 디지털 오디오신호 및 오디오/비디오신호의 변속처리방법및 이를 이용한 디지털 방송신호의 변속재생방법
EP2104105A1 (en) Digital audio and video clip encoding
CN109168083B (zh) 一种流媒体实时播放方法及装置
JP7233546B2 (ja) メディアタイトルのバッファ制約バージョンを生成する際の符号化演算の最適化
JP2003018603A (ja) 動画像符号化方法及び装置
US20090147842A1 (en) Video processing
JP5696552B2 (ja) 再生装置、再生方法およびプログラム
JP2008167061A (ja) 符号化装置及び符号化方法
JPH10285529A (ja) 画像編集装置および画像編集方法
JP4790669B2 (ja) トランスコーダ
JP2009004897A (ja) 動画像符号化装置
JP5471328B2 (ja) 動画像再生装置及び動画像再生方法並びにプログラム
JP6776126B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2008312013A (ja) トランスコード装置、トランスコーダ、デコーダおよびトランスコード方法
CN114915840A (zh) 适用于嵌入式设备的音视频处理方法、装置、设备及介质
CN111866542B (zh) 音频信号处理方法、多媒体信息处理方法、装置及电子设备
JP2006236475A (ja) 符号化データ再生装置
JP2011087001A (ja) 画像処理装置および方法
JPWO2008129648A1 (ja) フレームレート変換装置、フレームレート変換方法及び動画像符号化装置
JP5232898B2 (ja) トランスコーダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150126

R150 Certificate of patent or registration of utility model

Ref document number: 5696552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150