JP5696552B2 - 再生装置、再生方法およびプログラム - Google Patents
再生装置、再生方法およびプログラム Download PDFInfo
- Publication number
- JP5696552B2 JP5696552B2 JP2011064900A JP2011064900A JP5696552B2 JP 5696552 B2 JP5696552 B2 JP 5696552B2 JP 2011064900 A JP2011064900 A JP 2011064900A JP 2011064900 A JP2011064900 A JP 2011064900A JP 5696552 B2 JP5696552 B2 JP 5696552B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- audio
- importance
- reproduction
- determination time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
QPp=26+PIQM+Σ(SQD+(ΣMQD/Mb))/(NSGM+1)
・・・(式1)
ピクチャ平均QPa=ΣQPp/ずれ判定区間JA ・・・(式2)
と表される。ここで「Σ」は、ずれ判定区間JAに含まれるピクチャ数(すなわち、GOP長または閾値B)分の和を示す。
量子化重要度IL1=102−(2×ピクチャ平均QPa) ・・・(式3)
とすることで、量子化重要度IL1は、1〜100の範囲の値に正規化される。
映像データ量DV=Σ(ピクチャデータサイズ/ピクチャサイズ) ・・・(式4)
サイズ重要度IL2
=max(((映像データ量DV)/(平均サイズ))×50、100)・・(式5)
式5により、サイズ重要度IL2は、1〜100の範囲の値に正規化される。
ベクトル重要度IL3=max((Σ(各マクロブロックの動きベクトル長)
/ピクチャのマクロブロック数×10)、100) ・・(式6)
変動重要度SL1=1/NΣ(Σ|SVa(j)−SV(j−1)|)/FN ・・・(式8)
音量重要度SL2=1/NΣΣSVa(j)/FN ・・・(式9)
ここで、上記実施の形態による映像音声の再生方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図6は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図6に示すように、コンピュータ300は、Central Processing Unit(CPU)302、メモリ304、入力装置306、出力装置308、外部記憶装置312、媒体駆動装置314、ネットワーク接続装置等がバス310を介して接続されている。
CPU302は、可搬記録媒体316に記録された動画コンテンツを読み出して、再生させるようにすることもできる。
(付記1)
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置であって、
前記ストリームを取得する信号取得部と、
取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第1のずれ判定時間における第1の映像および第1の音声を再生する復号再生部と、
前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定するずれ判定部と、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出する映像重要度算出部と、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出する音声重要度算出部と、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2の映像および前記第2の音声の再生を制御する自動補正部と、
を有することを特徴とする再生装置。
(付記2)
前記映像重要度は、前記映像の符号化の際に付加される量子化係数、データ量、または動きベクトル長の総量のいずれか少なくとも1つに基づいて算出されることを特徴とする付記1に記載の再生装置。
(付記3)
前記音声重要度は、前記音声データの所定周波数範囲毎の音量の時間的変化量の平均値、または前記音声データの所定周波数範囲毎の音量の平均値のいずれか少なくとも1つに基づいて算出されることを特徴とする付記1または付記2に記載の再生装置。
(付記4)
前記自動補正部は、さらに、復号前の前記第2の映像中に非参照ピクチャがあるか否かに基づき前記第2の映像と前記第2の音声との再生時のずれを補正することを特徴とする付記1から付記3のいずれかに記載の再生装置。
(付記5)
前記自動補正部は、
前記音声データを操作する音声操作部と、
前記映像データを操作する映像操作部と、
を有し、
復号前の前記映像中に非参照ピクチャがあるか否か、および前記映像重要度と前記音声重要度との大小関係に基づき、前記再生時のずれを補正する際に音声操作部と映像操作部のいずれの操作を優先するかを決定することを特徴とする付記4に記載の再生装置。
(付記6)
前記自動補正部は、
前記映像重要度が前記音声重要度より大きいときには、前記音声操作部の操作を優先し、
前記音声重要度が前記映像重要度より大きいときには、前記映像操作部による操作を行うことにより前記映像と前記音声の再生時のずれを補正することを特徴とする付記5に記載の再生装置。
(付記7)
前記音声操作部は、
前記第2のずれ判定時間に対応する区間に、前記音声重要度が所定値以下の無音相当区間がある場合であって、
前記第1の音声の再生が前記第1の映像の再生よりも進んでいる場合には、前記無音相当区間を繰り返し再生し、
前記第1の映像の再生が、前記第1の音声の再生よりも進んでいる場合には、前記ずれ量に応じて前記無音相当区間を削除する操作、前記音声の再生速度を変更する操作、映像操作部での操作を行う操作のいずれか少なくとも一つの操作を行い、
前記音声重要度を算出する区間に、前記音声重要度が所定値以下の無音相当区間がない場合であって、
前記ずれ量が、前記第2のずれ判別時間に対し所定割合未満の場合には、前記音声の再生速度を変更し、
前記ずれ量が、前記第2のずれ判別時間に対し所定割合以上の場合には、前記映像操作部による操作を行うことを特徴とする付記5または付記6に記載の再生装置。
(付記8)
前記映像操作部は、
前記第1の音声の再生が前記第1の映像の再生よりも進んでいる場合には、少なくとも非参照ピクチャを再生しない処理を行い、
前記第1の映像の再生が、前記第1の音声の再生よりも進んでいる場合には、前後のフレームの画素値の平均を有するフレームを補間する処理を行うことを特徴とする付記5または付記6に記載の再生装置。
(付記9)
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法であって、
前記ストリームを取得し、
第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
前記第1のずれ判定時間における第1の映像と第1の音声との再生時のずれ量を判定し、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御する、
ことを特徴とする再生方法。
(付記10)
前記第1の映像および前記第1の音声を再生し、前記ずれ量を判定し、前記映像重要度を算出し、前記音声重要度を算出し、前記再生を制御することを繰り返し行うことを特徴とする付記9に記載の再生方法。
(付記11)
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する処理をコンピュータに実行させるためのプログラムであって、
前記ストリームを取得し、
第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定し、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御する処理を前記コンピュータに実行させるためのプログラム。
(付記12)
前記第1の映像および前記第1の音声を再生する処理、前記ずれ量を判定する処理、前記映像重要度を算出する処理、前記音声重要度を算出する処理、および前記再生を制御する処理を繰り返し前記コンピュータに実行させるための付記11に記載のプログラム。
3 主制御部
5 入力再生部
7 ずれ判定部
9 音声重要度判定部
11 映像重要度判定部
13 比較評価部
15 自動補正部
17 システムバス
19 信号取得部
21 分離部
23 音声復号部
25 音声再生部
27 映像復号部
29 映像再生部
31 音声操作部
33 映像操作部
Claims (8)
- 符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置であって、
前記ストリームを取得する信号取得部と、
取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第1のずれ判定時間における第1の映像および第1の音声を再生する復号再生部と、
前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定するずれ判定部と、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出する映像重要度算出部と、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出する音声重要度算出部と、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第2の映像および前記第2の音声の再生を制御する自動補正部と、
を有することを特徴とする再生装置。 - 前記映像重要度は、前記映像の符号化の際に付加される量子化係数、データ量、または動きベクトル長の総量のいずれか少なくとも1つに基づいて算出されることを特徴とする請求項1に記載の再生装置。
- 前記音声重要度は、前記音声データの所定周波数範囲毎の音量の時間的変化量の平均値、または前記音声データの所定周波数範囲毎の音量の平均値のいずれか少なくとも1つに基づいて算出されることを特徴とする請求項1または請求項2に記載の再生装置。
- 前記自動補正部は、さらに、復号前の前記第2の映像中に非参照ピクチャがあるか否かに基づき前記第2の映像と前記第2の音声との再生時のずれを補正することを特徴とする請求項1から請求項3のいずれか一項に記載の再生装置。
- 前記自動補正部は、
前記音声データを操作する音声操作部と、
前記映像データを操作する映像操作部と、
を有し、
復号前の前記映像中に非参照ピクチャがあるか否か、および前記映像重要度と前記音声重要度との大小関係に基づき、前記再生時のずれを補正する際に音声操作部と映像操作部のいずれの操作を優先するかを決定することを特徴とする請求項4に記載の再生装置。 - 前記自動補正部は、
前記映像重要度が前記音声重要度より大きいときには、前記音声操作部の操作を優先し、
前記音声重要度が前記映像重要度より大きいときには、前記映像操作部による操作を行うことにより前記映像と前記音声の再生時のずれを補正することを特徴とする請求項5に記載の再生装置。 - 符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法であって、
前記ストリームを取得し、
第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
前記第1のずれ判定時間における第1の映像と第1の音声との再生時のずれ量を判定し、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御することを特徴とする再生方法。 - 符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する処理をコンピュータに実行させるためのプログラムであって、
前記ストリームを取得し、
第1のずれ判定時間、前記ストリームに基づき第1の映像および第1の音声を再生し、
前記第1のずれ判定時間における前記第1の映像と前記第1の音声との再生時のずれ量を判定し、
前記第1のずれ判定時間の次の第2のずれ判定時間において再生される第2の映像の複雑さの度合いを示す映像重要度を算出し、
前記第2のずれ判定時間において再生される第2の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第2のずれ判定時間における前記第2の映像および前記第2の音声の再生を制御する処理を前記コンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011064900A JP5696552B2 (ja) | 2011-03-23 | 2011-03-23 | 再生装置、再生方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011064900A JP5696552B2 (ja) | 2011-03-23 | 2011-03-23 | 再生装置、再生方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012204876A JP2012204876A (ja) | 2012-10-22 |
JP5696552B2 true JP5696552B2 (ja) | 2015-04-08 |
Family
ID=47185426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011064900A Active JP5696552B2 (ja) | 2011-03-23 | 2011-03-23 | 再生装置、再生方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5696552B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6786172B2 (ja) * | 2017-04-24 | 2020-11-18 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
JP6786171B2 (ja) * | 2017-04-24 | 2020-11-18 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
JP6786173B2 (ja) * | 2017-04-24 | 2020-11-18 | 株式会社ユニバーサルエンターテインメント | 遊技機 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06259093A (ja) * | 1993-03-08 | 1994-09-16 | Fujitsu Ltd | デジタル音声データの再生速度変換方法及び装置 |
JPH09311689A (ja) * | 1996-05-17 | 1997-12-02 | Ekushingu:Kk | 情報出力装置 |
JPH1023381A (ja) * | 1996-07-01 | 1998-01-23 | Ekushingu:Kk | 情報供給装置、出力端末および情報供給システム |
JP3629253B2 (ja) * | 2002-05-31 | 2005-03-16 | 株式会社東芝 | 音声再生装置および同装置で用いられる音声再生制御方法 |
JP4735932B2 (ja) * | 2003-09-02 | 2011-07-27 | ソニー株式会社 | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
JP4359120B2 (ja) * | 2003-10-31 | 2009-11-04 | 財団法人エヌエイチケイエンジニアリングサービス | コンテンツ品質評価装置及びそのプログラム |
JP2006050362A (ja) * | 2004-08-06 | 2006-02-16 | Casio Comput Co Ltd | 音声付き動画再生装置、及び再生クロック補正方法 |
-
2011
- 2011-03-23 JP JP2011064900A patent/JP5696552B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012204876A (ja) | 2012-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6287315B2 (ja) | 動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラム | |
JP4717060B2 (ja) | 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路 | |
US7676142B1 (en) | Systems and methods for multimedia time stretching | |
JP4472360B2 (ja) | オーディオおよびビデオストリームの同期のための装置および方法 | |
JP7509190B2 (ja) | 復号装置および方法、並びにプログラム | |
KR100547445B1 (ko) | 디지털 오디오신호 및 오디오/비디오신호의 변속처리방법및 이를 이용한 디지털 방송신호의 변속재생방법 | |
EP2104105A1 (en) | Digital audio and video clip encoding | |
CN109168083B (zh) | 一种流媒体实时播放方法及装置 | |
JP7233546B2 (ja) | メディアタイトルのバッファ制約バージョンを生成する際の符号化演算の最適化 | |
JP2003018603A (ja) | 動画像符号化方法及び装置 | |
US20090147842A1 (en) | Video processing | |
JP5696552B2 (ja) | 再生装置、再生方法およびプログラム | |
JP2008167061A (ja) | 符号化装置及び符号化方法 | |
JPH10285529A (ja) | 画像編集装置および画像編集方法 | |
JP4790669B2 (ja) | トランスコーダ | |
JP2009004897A (ja) | 動画像符号化装置 | |
JP5471328B2 (ja) | 動画像再生装置及び動画像再生方法並びにプログラム | |
JP6776126B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2008312013A (ja) | トランスコード装置、トランスコーダ、デコーダおよびトランスコード方法 | |
CN114915840A (zh) | 适用于嵌入式设备的音视频处理方法、装置、设备及介质 | |
CN111866542B (zh) | 音频信号处理方法、多媒体信息处理方法、装置及电子设备 | |
JP2006236475A (ja) | 符号化データ再生装置 | |
JP2011087001A (ja) | 画像処理装置および方法 | |
JPWO2008129648A1 (ja) | フレームレート変換装置、フレームレート変換方法及び動画像符号化装置 | |
JP5232898B2 (ja) | トランスコーダ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5696552 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |