JPWO2018211613A1 - 符号化映像再生装置および符号化映像再生方法 - Google Patents

Abstract

本発明は符号化映像の再生装置に関し、ストリーム情報ファイルから、映像情報と音声情報とを分離し、それぞれアクセスユニット単位に分割するストリーム分離部と、映像情報および音声情報を、それぞれの表示開始時刻と関連付けて記録するバッファと、表示開始時刻に基づいて、映像情報および音声情報をバッファから読み出して復号するデコーダと、バッファに対する表示開始時刻、映像情報および音声情報の記録の制御と、バッファからデコーダへの映像情報および音声情報の供給を制御するデータ供給制御部と、を備え、データ供給制御部は、先行するストリーム情報ファイルの映像情報および音声情報の供給を終えると、先行するストリーム情報ファイルの最終のアクセスユニットの表示開始時刻を、後続するストリーム情報ファイルの映像情報および音声情報の供給に先立って、後続するストリーム情報ファイルの最初のアクセスユニットの表示開始時刻に再設定する。

Description

本発明は、ＳＤカード、光ディスク等の情報記録媒体に記録された符号化映像の再生装置に関する。

近年、広告媒体として、画像表示装置の画面に動画映像を表示する電子広告（デジタルサイネージ）が普及している。デジタルサイネージに使用される画像表示装置としては、高性能なプロセッサを搭載したＰＣ（パーソナルコンピュータ）を使用することが多いが、コスト、信頼性、および耐環境性などの観点からは、電子広告表示機能が組み込まれた専用の画像表示装置（組み込み機器）の適用が望ましい。しかし、一般的に組み込み機器では、プロセッサ性能、メモリサイズなどが制限されていることに加え、符号化映像を復号化するＡＶデコーダはハードウェアでの実装となるため、操作制約が厳しく復号処理の自由度が少ないといった問題がある。

デジタルサイネージの一形態として、可搬性記録媒体に保存された符号化映像をループ再生で表示する形態が広く用いられている。しかしながら複数の映像ストリームを順次再生する場合、映像ストリーム自体に記録されている映像フレーム単位での表示時間に従って表示制御を行う必要があるため、映像ストリーム毎にＡＶデコーダの初期化処理が必要となっていた。ＡＶデコーダの初期化処理とは、ＡＶデコーダに供給する映像の解像度およびフレームレート設定などの事前設定、ＡＶデコーダのバッファの初期化処理などを含んでいる。

また、映像ストリームの多重化フォーマットが変更される際にも初期化処理が必要となることが多い。このような初期化処理に必要となる時間が、映像ストリームの切換えに際して、黒画像表示期間となるような映像間のギャップを生じさせる原因となっていた。デジタルサイネージでは、ギャップに起因する映像を表示しない待ち時間の発生は映像表示時間の機会損失につながるため、非常に問題視されている。また、シーン切換え時に、映像輝度および音声出力レベルが大きく異なると、ユーザーにとって違和感を生じさせ、不快となるといった問題があった。

このような問題を解決する１つの手段として、例えば、特許文献１に開示されるように、映像および音声の繋ぎ目をオーバーラップさせる映像音声情報を別途作成し、自然な映像シーンの切換えが視聴できる映像編集装置が知られている。

特開平７−２３３２９号公報

先行文献１に開示される従来技術では、映像シーンの繋ぎ目付近の映像音声を一時的に記録しておき、オーバーラップさせる映像音声をオフラインで別途作成している。この方式は汎用コンピュータのような高速処理が可能な性能のプロセッサを持つ場合に有用な方法であり、組み込み機器で映像シーンの合成処理を行うとＣＰＵ（Control Processing Unit）の負荷が高くなり、多くの処理時間を必要とするため実用的ではない。

また、一般的には、組み込み機器に搭載されているＡＶデコーダは、映像ファイルの単位毎に再生処理を行うのが一般的となっており、再生処理毎に初期化処理を行う必要があり、ギャップを生じることなくループ再生を行うことができないといった問題がある。

本発明は上記のような問題を解決するためになされたものであり、映像ファイルを順次再生した場合に、映像ストリームの切換えに際して、ギャップを生じさせず、連続的に映像表示を行うことが可能な符号化映像再生装置を提供することを目的とする。

本発明に係る符号化映像再生装置は、符号化された映像情報と音声情報とが多重化されたストリーム情報ファイルを再生する符号化映像再生装置であって、前記ストリーム情報ファイルから、前記映像情報と前記音声情報とを分離し、それぞれアクセスユニット単位に分割するストリーム分離部と、前記アクセスユニット単位に分割された、前記映像情報および前記音声情報を、それぞれの表示開始時刻と関連付けて記録するバッファと、前記表示開始時刻に基づいて、前記映像情報および前記音声情報を前記バッファから読み出して復号するデコーダと、前記バッファに対する前記表示開始時刻、前記映像情報および前記音声情報の記録の制御と、前記バッファから前記デコーダへの前記映像情報および前記音声情報の供給を制御するデータ供給制御部と、を備え、前記データ供給制御部は、先行するストリーム情報ファイルの映像情報および音声情報の供給を終えると、前記先行するストリーム情報ファイルの最終のアクセスユニットの表示開始時刻を、後続するストリーム情報ファイルの映像情報および音声情報の供給に先立って、前記後続するストリーム情報ファイルの最初のアクセスユニットの表示開始時刻に再設定する。

本発明に係る符号化映像再生装置によれば、映像ストリームの切換えに際して、映像間にギャップを生じさせず、連続的に映像表示を行うことが可能となる。

本発明に係る符号化映像再生装置のシステム構成を示す機能ブロック図である。 ＳＤカードの論理ファイル構造を示す模式図である。 再生制御情報ファイルのシンタックスを説明する図である。 符号化圧縮映像ファイルの蓄積順配列と表示順配列の関係を説明する模式図である。 プレイリスト情報のシンタックスを説明する図である。 符号化映像情報および符号化音声情報の保存形態を説明する図である。 映像表示とデータ供給のタイミングを示す図である。 ストリーム情報ファイルを再生する場合についての、映像輝度および音声出力レベルの調整を説明する図である。 本発明に係る符号化映像再生装置における全体動作を説明する図である。 静的解析処理の動作を示すフローチャートである。 ファイル再生処理の動作を示すフローチャートである。

＜実施の形態＞
＜装置構成＞
図１は、本発明に係る実施の形態の符号化映像再生装置１００のシステム構成を示す機能ブロック図である。

図１に示すように符号化映像再生装置１００は、システム制御部１０１、再生ドライバ１０２、ストリーム制御部１１０、映像音声デコーダ１１４（デコーダ）、映像音声調整部１１５およびメモリ１２０を備えており、再生ドライバ１０２、ストリーム制御部１１０、映像音声デコーダ１１４および映像音声調整部１１５はデコーダブロック１１９を構成している。デコーダブロック１１９は、システム制御部１０１からのデコーダ制御信号に基づいてストリーム情報の再生処理を行う。

符号化映像再生装置１００は、操作部１３０を介してユーザー等からの要求を受け付け、ＳＤカード１４０に記録されている映像ファイル等を読み出して再生し、液晶表示装置等の表示装置１１６に表示する。一般的に操作部１３０は、符号化映像再生装置１００のフロントパネルに配置されている操作パネル、リモートコントローラなどの入力機器を指す。

システム制御部１０１は、符号化映像再生装置１００全体を統合制御し、操作部１３０を介して与えられた命令の内容を解釈し、デコーダブロック１１９を制御することで任意のストリーム情報を再生する。例えば、再生ドライバ１０２を制御してＳＤカード１４０等の情報記録媒体から情報を読み出し、再生する。

ＳＤカード１４０には、後述する符号化映像情報と符号化音声情報が多重化されたストリーム情報、および当該ストリーム情報の再生制御情報が記録されている。再生制御情報とは、ストリーム情報から分離した符号化映像および音声ストリームに関する映像および音声の属性情報、ストリーム情報のアクセス単位、通常はＧＯＰ（Group of Picture）単位で再生開始時間情報と再生開始位置情報の対応関係を示す情報などを含んでいる。

また、ストリーム情報としては、ＭＰＥＧ（Moving Picture Experts Group）−２ ＴＳ（Transport Stream）フォーマット、ＭＰ４フォーマット、ＷＭＶ（Windows Media Video）フォーマットに対応する情報を含んでいる（Windowsは登録商標）。

ＭＰ４フォーマットおよびＷＭＶフォーマットで多重化されたストリーム情報ファイルは、ファイル内部に再生制御情報を保持している。一方、ＭＰＥＧ−２ ＴＳフォーマットは当該再生制御情報をストリーム情報ファイル内に保持していないため、当該ストリーム情報ファイルに関連付けられた再生制御情報ファイルを別途に保持している。

ストリーム制御部１１０は、システム全体のストリームの流れを統括制御し、ストリーム制御部１１０内には、ストリーム分離部１１１およびＡＶバッファ１１２（バッファ）を有している。再生ドライバ１０２がＳＤカード１４０から読み出したストリーム情報ファイルには、符号化映像情報と符号化音声情報が多重化されており、ストリーム分離部１１１で、符号化映像情報と符号化音声情報に分離され、ＡＶバッファ１１２に保存される。

映像音声デコーダ１１４は、ＭＰＥＧ−２などで符号化された符号化映像情報を復号化処理して映像情報に復号すると共に、ＡＣ（Audio Coding number）−３などで符号化された符号化音声情報を復号化処理して音声情報に復号する。

映像音声調整部１１５は、映像音声デコーダ１１４から出力される映像情報および音声情報を受け、それぞれ映像画質調整および出力音量レベル調整を行って、出力映像信号および出力音声信号として表示装置１１６に出力する。

システム制御部１０１内には、データ供給制御部１５１、静的解析部１５２（解析部）および出力映像音声制御部１５３を有している。

データ供給制御部１５１は、メモリ１２０から読み出したプレイリスト情報１６０に基づいて、再生ドライバ１０２から映像ストリーム情報を読み出すようにストリーム制御部１１０を制御し、ストリーム分離部１１１で分離された符号化映像情報および符号化音声情報をＡＶバッファ１１２にアクセスユニット単位で保存するようにストリーム分離部１１１を制御する。

プレイリスト情報１６０は、ＳＤカード１４０に記録されている映像ファイルをどのような順番で再生するかを示す情報であり、再生対象のファイル名、再生開始時刻と再生終了時刻、開始点および終了点近傍の解析情報などが保存されている。

静的解析部１５２は、ストリーム情報ファイルの再生開始時刻と再生終了時刻の近傍の、例えば符号化圧縮単位の０．５秒間の映像情報および音声情報を解析し、プレイリスト情報１６０の開始点および終了点の属性情報として記録する。

出力映像音声制御部１５３は、プレイリスト情報１６０内に記録される開始点および終了点の属性情報に基づいて、映像音声調整部１１５を制御する。

なお、データ供給制御部１５１、静的解析部１５２および出力映像音声制御部１５３の各機能は、システム制御部１０１内に組み込まれたファームウェアなどで実現しても良いが、同様の機能を有するハードウェアで実現しても構わない。また、データ供給制御部１５１、静的解析部１５２および出力映像音声制御部１５３は、それぞれ別個の構成として示しているが、それぞれの機能が統合された１つの構成としても構わない。

また、同様にストリーム制御部１１０内のストリーム分離部１１１およびＡＶバッファ１１２の各機能は、ストリーム制御部１１０内に組み込まれたファームウェアなどで実現しても良いが、同様の機能を有するハードウェアで実現しても構わない。

＜復号処理の流れ＞
次に、符号化映像再生装置１００における復号処理の流れについて説明する。再生ドライバ１０２がＳＤカード１４０から読み出したストリーム情報ファイルを再生する場合、システム制御部１０１はストリーム制御部１１０を制御して予めＳＤカード１４０から再生対象のストリーム情報ファイルに関連する再生制御情報を読み出しておく。システム制御部１０１は、読み出した再生制御情報をメモリ１２０に保持し、必要に応じて読み出す。システム制御部１０１は、メモリ１２０から読み出した再生制御情報に基づいて、制御統括下にある各部に対して再生準備を行うよう指示する。

再生ドライバ１０２がＳＤカード１４０から読み出したストリーム情報ファイルは、ストリーム制御部１１０に入力され、ストリーム分離部１１１で符号化映像情報と符号化音声情報に分離される。

その後、ストリーム分離部１１１は、符号化映像情報および符号化音声情報をアクセスユニット毎に分割し、ＡＶバッファ１１２にアクセスユニット単位で保存する。なお、アクセスユニットとは符号化映像情報および符号化音声情報で取扱う複数のデータの処理単位であり、符号化映像情報では１フレーム単位、符号化音声情報では所定時間（例えば、０．１秒）単位のデータでアクセスユニットが形成される。

ＡＶバッファ１１２に記録されたアクセスユニット情報は、順次、映像音声デコーダ１１４に供給される。映像音声デコーダ１１４では、符号化映像情報を復号化処理して映像情報に復号し、符号化声情報を復号化処理して音声情報に復号する。

復号された映像情報および音声情報は映像音声調整部１１５に入力され、映像画面全体のブライトネス、シャープネスなどの映像画質調整を行うと共に、出力音量レベル調整を行って出力映像信号および出力音声信号とし、表示装置１１６に出力する。

表示装置１１６では、入力された出力映像信号に基づいた画像を表示し、また、出力音声信号に基づいた音をスピーカーを介して放音し、視聴に供する。

＜システム制御部による制御＞
本発明に係る符号化映像再生装置１００においては、システム制御部１０１による制御に特徴を有している。すなわち、データ供給制御部１５１がＡＶバッファ１１２にデータを保存するのに先立って、静的解析部１５２がストリーム情報ファイル２２１のデータ解析を行い、完全にフレーム画像を復号可能なピクチャを開始点および終了点とするように並べ替えを行う。

また、静的解析部１５２では、ストリーム情報ファイルの再生開始時刻と再生終了時刻の近傍の、例えば符号化圧縮単位の０．５秒間の映像情報および音声情報を予め解析し、映像情報の輝度分布、最終映像フレームの輝度を取得し、また、音声情報の音量レベル分布、最終音声アクセスユニットの音量レベルを取得し、プレイリスト情報１６０内に開始点および終了点の属性情報として記録する。

出力映像音声制御部１５３は、プレイリスト情報１６０内に記録された開始点および終了点の属性情報に基づいて、映像シーンの繋ぎ目で、映像音声調整部１１５を制御することにより、急俊な映像輝度変化および音声出力レベル変化が起きないように、画質および音質の出力制御を行う。これにより、映像シーンの切換え点において、映像輝度および音声出力レベルが大きく変化しても、ユーザーにとって違和感のない映像シーンの切換えができる。

＜ＳＤカードの論理ファイル構造＞
図２は、ＳＤカード１４０の論理ファイル構造を示す模式図である。ルートディレクトリ２００は、論理的に階層構造を成すファイル構造の最上位階層のディレクトリ構造である。ルートディレクトリ２００は、ＳＤカード１４０に記録されているコンテンツ管理情報である再生制御情報ファイル２１１をまとめて記録したフォルダである再生制御情報ディレクトリ２１０と、ストリーム情報ファイル２２１をまとめて記録したフォルダであるストリーム管理ディレクトリ２２０とを有している。なお、再生制御情報ディレクトリ２１０が構築される記憶領域を再生制御情報領域と呼称し、ストリーム管理ディレクトリ２２０が構築される記憶領域をストリーム情報領域と呼称する。

図２において、再生制御情報ファイル２１１およびストリーム情報ファイル２２１は、５桁のファイル名により記録され、一対一で対応付けされている。ファイル名は５桁の数字であれば良く、連番である必要はない。また、ＭＰ４フォーマットとＷＭＶフォーマットに関しては、ストリーム情報ファイル２２１内に再生制御情報を含むため、個別に対応した再生制御情報ファイル２１１を設ける必要はない。

なお、図２では、再生制御情報ファイル２１１とストリーム情報ファイル２２１は個別のディレクトリ内に配置する例を示したが、同一のディレクトリ内に配置しても良いし、これらのファイルがルートディレクトリ２００に直接配置されていても構わない。また、再生制御情報ファイル２１１とストリーム情報ファイル２２１は、一対一で対応付けされているものとしたが、再生制御情報ファイル２１１に、対応するストリーム情報ファイル２２１がまとめて記録されていても構わない。

＜再生制御情報ファイルのシンタックス＞
図３は、再生制御情報ファイル２１１におけるシンタックスを説明する図である。「Ｓｔａｒｔ_ＰＴＳ３０１」は対象となるストリーム情報ファイル２２１の最初のアクセスユニットの表示開始時刻を意味するＰＴＳ（Presentation Time Stamp）を示し、「Ｅｎｄ_ＰＴＳ３０２」は最終のアクセスユニットの表示開始時刻を意味するＰＴＳを示す。

「属性情報管理テーブル３１０」には、ストリーム情報ファイル２２１の映像属性情報（解像度、ビットレート、フレームレート、ＨＤＲ対応の有無）および音声属性情報（チャンネル数、サンプリングレート）、著作権保護に規定される暗号化の必要性情報、ＭＰＥＧ−ＴＳ方式かＭＰＥＧ−ＰＳ（Program Stream）方式か、映像と音声を分離するためのパケット識別子などの多重化方式情報などの情報が記録されている。

「アクセスポイント管理テーブル３２０」には、頭出し再生に必要となる情報が記録されている。例えば映像データがＭＰＥＧ−２のビデオストリームでエンコードされている場合、ＧＯＰ（Group of Picture）の先頭が、アクセスポイントに相当する。本実施の形態ではストリーム情報ファイル２２１のどのパケットに、ＧＯＰの先頭が存在するかが頭出し再生に必要となる情報として記録されている。

「アクセスポイント管理テーブル３２０」の「ｎｕｍ_ｏｆ_ｅｎｔｒｙ３２１」は、アクセスポイントの総数を示し、「ｎｕｍ_ｏｆ_ｅｎｔｒｙ３２１」の１つ下の行にあるループ文（ｆｏｒ以下）は、「ｎｕｍ_ｏｆ_ｅｎｔｒｙ３２１」の数だけ繰り返される。

「ＰＴＳ_ＧＯＰ_Ｓｔａｒｔ３３１」は、アクセスポイントの表示開始ＰＴＳを示し、「ＳＰＮ_ＧＯＰ_Ｓｔａｒｔ３３２」はストリーム情報ファイル２２１の先頭からアクセスポイントの先頭までの相対パケット数である。パケットは固定長であることから、ストリーム情報ファイル２２１の先頭からアクセスポイント先頭までの相対バイト数は、「ＳＰＮ_ＧＯＰ_Ｓｔａｒｔ３３２」の値とパケット当たりのバイト数を掛け合せた値で算出できる。符号化映像再生装置１００は、ストリーム情報ファイル２２１の先頭からのバイト数から、ディスク上のアクセスポイントの位置を割り出し、頭出し再生を行う。

＜ピクチャの並べ替え＞
図４は、符号化圧縮映像ファイルの蓄積順配列と表示順配列の関係を説明する模式図である。ストリーム情報ファイル２２１は、蓄積順配列４０１に示されるように、蓄積フレーム順に記録されるが、本実施の形では、再生開始前に、静的解析部１５２がストリーム情報ファイル２２１のデータ解析を静的に行い表示順配列４０２のように並べ替えを行う。

すなわち、符号化圧縮単位であるＧＯＰは、フレーム内でデータ圧縮されたＩピクチャ（Ｉ）と、時間的に前方向のＩピクチャまたはＰピクチャによる動き補償を加えてデータ圧縮されたＰピクチャ（Ｐ）と、時間的に前後方向のＩピクチャおよびＰピクチャによる動き補償を加えてデータ圧縮されたＢピクチャ（Ｂ）とで構成されている。

蓄積順配列４０１では、Ｉピクチャは、ＧＯＰの先頭に位置しており、次に、Ｂピクチャが連続し、その後にＰピクチャとなり、以下、Ｂ、Ｂ、Ｐの順で繰り返して配列される。

通常、ストリーム情報ファイル２２１の表示開始時刻はＳｔａｒｔ_ＰＴＳ３０１（Ｓ_ＰＴＳ３０１と略記）で規定され、表示終了時刻はＥｎｄ_ＰＴＳ３０２（Ｅ_ＰＴＳ３０２と略記）で規定され、図４の蓄積順配列４０１ではＩピクチャの次のＢピクチャがＳ_ＰＴＳ３０１となり、最後のＰピクチャがＥ_ＰＴＳ３０２となっている。しかしながら、図４においてＳ_ＰＴＳ３０１となったＢピクチャは、フレーム画像を完全に復号化できるとは限らない。例えば当該ＢピクチャがオープンＧＯＰで得られる場合は、当該Ｂピクチャを得るために参照するピクチャが前に存在しないため、フレーム画像を完全に復号化することができず、ブロックノイズが発生するなどの問題がある。

そこで、本実施の形態では、再生開始前に、静的解析部１５２がストリーム情報ファイル２２１のデータ解析を静的に行い、完全にフレーム画像を復号可能なピクチャを開始点および終了点とするように並べ替えを行って表示順配列４０２を得る。図４に示す表示順配列４０２では、ＧＯＰの先頭がＢピクチャであり、さらにＢピクチャが続き、その次がＩピクチャとなっており、当該Ｉピクチャを開始点であるＳ_ＶＡＬＩＤ_ＰＴＳ４１１とし、ＧＯＰの最後のＰピクチャを終了点であるＥ_ＶＡＬＩＤ_ＰＴＳ４１２としている。

Ｉピクチャはフレーム内でデータ圧縮されているので完全に復号可能であり、最後のＰピクチャは時間的に前方向のＰピクチャによる動き補償を加えてデータ圧縮されているので完全に復号可能である。

また、静的解析部１５２は、Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１の映像フレームを含むＧＯＰにおいて、Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１以降の映像フレームの映像輝度情報および表示開始時刻以降の音声出力レベルを検出する。同様にＥ_ＶＡＬＩＤ_ＰＴＳ４１２の映像フレームを含むＧＯＰにおいて、Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２までの映像フレームの映像輝度情報と、当該表示終了時刻までの音声出力レベルを検出する。

なお、本実施の形態では、１つの符号化圧縮単位で情報を保持する例を示しているが、例えば複数の符号化圧縮単位で情報を保持する構成としても良いし、１つの符号化圧縮単位よりも少ないフレーム数で情報を保持する構成としても良い。

静的解析部１５２で得られたＳ_ＶＡＬＩＤ_ＰＴＳ４１１、Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２、映像輝度情報および音声出力レベルの情報は、メモリ１２０のプレイリスト情報１６０にフィードバックされる。

＜プレイリスト情報のシンタックス＞
図５は、プレイリスト情報１６０におけるシンタックスを説明する図である。「ｎｕｍ_ｏｆ_ＰｌａｙＬｉｓｔ５０１」は、サイネージ表示を行う単位となるプレイリストの総数、「ＰｌａｙＬｉｓｔ_Ａｔｔｒｉｂｕｔｅ５０２」は、プレイリストの総時間、プレイリスト名称、および記録日時のようなプレイリストの属性情報が保持されている。

「ＰｌａｙＬｉｓｔ_Ａｔｔｒｉｂｕｔｅ５０２」の１つ下の行にあるループ文（ｆｏｒ以下）は、「ｎｕｍ_ｏｆ_ＰｌａｙＬｉｓｔ５０１」の数だけ繰り返される。

「ｎｕｍ_ｏｆ_ＭｏｖｉｅＦｉｌｅ５０３」は、プレイリストを構成しているストリーム情報ファイル２２１の総数を示し、「ｎｕｍ_ｏｆ_ＭｏｖｉｅＦｉｌｅ５０３」の１つ下の行にあるループ文（ｆｏｒ以下）は、「ｎｕｍ_ｏｆ_ＭｏｖｉｅＦｉｌｅ５０３」の数だけ繰り返される。

「ｓｔｒｅａｍ_ｎａｍｅ５０４」は、再生の対象となるストリーム情報ファイル２２１のファイル名を示し、「Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１」および「Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２」は、それぞれ再生対象のストリーム情報ファイル２２１の所定区間の再生開始時刻と再生終了時刻を示す。本実施の形態では、フレーム画像を完全に復号可能なピクチャのＰＴＳを「Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１」、「Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２」としている。これらの情報から、符号化映像再生装置１００は、ストリーム情報ファイル２２１のどの区間を再生すれば良いのかを判断することができる。

なお、「ｓｔｒｅａｍ_ｎａｍｅ５０４」、「Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１」および「Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２」の情報を再生区間情報と呼称する。

映像輝度情報５１０と音声レベル情報５１１は、前述したように静的解析部１５２において解析されたストリーム情報ファイル２２１の開始点近傍と終了点近傍の、映像輝度と音声出力レベルの情報である。

解析日時情報５１２とは、静的解析部１５２においてストリーム情報ファイル２２１を解析した日時の情報であり、解析対象となるストリーム情報ファイル２２１を特定するファイル特定情報と関連付けて記録する。

静的解析部１５２は、「Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１」、「Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２」、映像輝度情報５１０および音声レベル情報５１１を得るためにストリーム情報ファイル２２１の解析を映像ファイル再生処理に先立って行うが、解析には多くの時間を必要とする。このため、解析日時情報５１２とファイル特定情報とを関連付けて記録することで、ストリーム情報ファイル２２１に変化がなければ、すなわち、以前に解析された結果と変化がない場合は、解析処理を行わないようにする。デジタルサイネージでは、符号化映像をループ再生で表示する形態が広く用いられているので、一度解析した後は、解析日時情報５１２が変更されることは少なく、解析を繰り返すことを回避することができ、解析に伴う復号処理の遅延を回避できる。

なお、ファイル特定情報とは、ファイルの更新日時、ファイルサイズ、ファイル名などを関連付けた情報であり、ストリーム情報ファイル２２１の変化の有無は、これらのファイル特定情報の変更の有無で判断する。

なお、静的解析部１５２で抽出される「Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１」、「Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２」、映像輝度情報５１０、音声レベル情報５１１および解析日時情報５１２を、静的解析情報と呼称する。

＜ＡＶバッファへの保存＞
図６は、ストリーム分離部１１１で分離された符号化映像情報および符号化音声情報をＡＶバッファ１１２に保存する場合の保存形態を説明する図である。図６に示すように、ＳＤカード１４０には、複数のストリーム情報ファイル２２１が記録されている。ストリーム情報ファイル２２１は、ＭＰＥＧ−ＴＳフォーマットで作成されたＭＴＳファイル、ＭＰ４フォーマットで作成されたＭＰ４ファイルおよびＷＭＶフォーマットで作成されたＷＭＶファイルなど様々な多重化フォーマットで作成されたファイルを含んでも良い。

多重化されたファイルであるストリーム情報ファイル２２１は、ストリーム分離部１１１で符号化映像情報と符号化音声情報に分離され、図６に示されるように、アクセスユニット単位でＡＶバッファ１１２に保存される。

ＡＶバッファ１１２は、映像用バッファ６０１および音声用バッファ６０２を備え、それぞれのバッファは、連続的にデータを供給するために複数のバッファ領域を有しており、バッファ領域にアクセスユニット単位で情報が記録される。この情報の記録領域を、アクセスユニット情報領域と呼称する。

本実施の形態では映像用バッファ６０１として３０領域、音声用バッファ６０２として１０領域のバッファ領域を有しているものとする。

映像のフレームレートが３０ｆｐｓ（frames per second）である場合、１／３０秒×３０＝１秒分の映像データを保存することができる。また、音声も１アクセスユニットが０．１秒とすると、０．１秒×１０＝１秒分の音声データを保存することが可能となる。

映像用バッファ６０１のアクセスユニット情報領域には、符号化映像情報６１０と映像表示開始時刻６１１とが関連付けて記録されている。同様に音声用バッファ６０２のアクセスユニット情報領域には、符号化音声情報６２０と音声表示開始時刻６２１が関連付けて記録されている。

一般的に、多重化されたストリーム情報ファイル２２１では、アクセスユニット単位で表示開始時刻が記録されている。当該表示開始時刻を、映像表示開始時刻６１１および音声表示開始時刻６２１に設定し、映像音声デコーダ１１４は当該時刻情報に従って、ＡＶバッファ１１２のアクセスユニット情報領域から符号化映像情報６１０や符号化音声情報６２０を読み出して復号化処理を行う。このような制御データフローは、組み込み機器向けの汎用マルチメディア制御の仕様であるＯｐｅｎＭＡＸでも利用されている。

＜映像輝度および音声出力レベルの調整＞
図７は、映像表示とデータ供給のタイミングを示す図であり、横軸は時間軸である。ここでは、プレイリストとして、ＭＴＳファイルの「００１１１．ｍｔｓ」を２回再生させた後、ＭＰ４ファイルの「９９９９９．ｍｐ４」を再生させる場合についての説明を行うものとする。

まず、データ供給制御部１５１は、ＳＤカード１４０のストリーム情報ファイル２２１の中から「００１１１．ｍｔｓ」ファイルを読み出し、時刻ｔ１でストリーム分離部１１１への供給を開始する。ストリーム分離部１１１で符号化映像情報と符号化音声情報に分離された後、ストリーム分離部１１１は、符号化映像情報および符号化音声情報のアクセスユニット毎に情報を取り出し、ＡＶバッファ１１２にアクセスユニット単位で供給する。その際に、設定する映像表示開始時刻６１１および音声表示開始時刻６２１には、ストリーム情報ファイル２２１に記録されているアクセスユニット毎の表示時刻（タイムスタンプ）が付与される。

その後、ＡＶバッファ１１２に記録されたアクセスユニット情報は、順次、映像音声デコーダ１１４に供給され、映像音声デコーダ１１４では、符号化情報を復号化して時刻ｔ２で映像表示を開始する。

データ供給制御部１５１は、「００１１１．ｍｔｓ」ファイルのファイル終端までデータ供給を続け、先行で読み出したストリーム情報ファイル２２１の全データ供給を終えると、すぐに後続するストリーム情報ファイル２２１を読み出し、時刻ｔ３で再びストリーム分離部１１１への供給を開始する。この時点では先行するストリーム情報ファイルの再生（映像表示）が継続しているが、映像音声デコーダ１１４は、時刻ｔ４で後続するストリーム情報ファイルの再生を開始し、映像表示が切り替わることになる。「９９９９９．ｍｐ４」ファイルについても時刻ｔ５でストリーム分離部１１１への供給を開始し、時刻ｔ６で再生を開始する。

図８は、図７に示すようなタイミングチャートに基づいてストリーム情報ファイルを再生する場合についての、映像輝度および音声出力レベルの調整を説明する図である。図８において、映像表示のタイミングチャートと、静的解析部１５２での解析によって得られた映像輝度情報５１０および音声レベル情報５１１を示しており、横軸は時間軸である。

出力映像音声制御部１５３は、メモリ１２０に記録されたプレイリスト情報１６０から、映像輝度情報５１０および音声レベル情報５１１を読み出す。図８に示されるように、先行する「００１１１．ｍｔｓ」ファイルによる映像表示が、後続の「００１１１．ｍｔｓ」ファイルによる映像表示に切り替わる時刻Ｔ３において、映像輝度および音声出力レベルに、大きな差異が存在する。

出力映像音声制御部１５３は、当該差異が予め定めた所定の設定値以上である場合には、差異を減少させるように、当該映像再生区間において映像音声調整部１１５を制御する。具体的には、映像輝度については、図８の例の場合には、時刻Ｔ２〜Ｔ３の区間で、後続するストリーム情報ファイル２２１の開始点、すなわち時刻Ｔ３での輝度になるまで出力輝度を減少させるように映像音声調整部１１５を制御する。その結果、時刻Ｔ３において、映像輝度差が解消されるため、ユーザーにとって違和感のない映像シーンの切換えを行うことができる。

同様に音声出力レベルについては、後続するストリーム情報ファイル２２１の開始点、すなわち時刻Ｔ３での音声出力レベルを、先行するストリーム情報ファイルの終了点、すなわち時刻Ｔ３での音声出力レベルに合わせるように音声出力レベルを下げる。その後、時刻Ｔ４で後続するストリーム情報ファイル２２１の本来の音声出力レベルになるように徐々に音声出力レベルを上げるように映像音声調整部１１５を制御する。その結果、時刻Ｔ３において、音声出力レベル差が解消されるため、ユーザーにとって違和感のない映像シーンの切換えを行うことができる。

一方、図８に示されるように、２つ目の「００１１１．ｍｔｓ」ファイルによる映像表示が、後続の「９９９９９．ｍｐ４」ファイルによる映像表示に切り替わる時刻Ｔ６においては、映像輝度および音声出力レベルに、大きな差異は存在しない。出力映像音声制御部１５３は、当該差異は予め定めた所定の設定値未満であるとして、調整は不要と判断し、特段の制御は行わない。

なお、時刻Ｔ２〜Ｔ４の区間および時刻Ｔ５〜Ｔ７の区間は、静的解析部１５２が解析する前後関係にあるストリーム情報ファイルの再生開始時刻と再生終了時刻、すなわちストリーム情報ファイルの接続点の近傍の区間であり、例えば、符号化圧縮単位の０．５秒間の区間に相当する。図８おいては、便宜的に「００１１１．ｍｔｓ」ファイルおよび「９９９９９．ｍｐ４」ファイルの全期間分の映像輝度および音声出力レベルを示したが、静的解析部１５２による解析は、上述した時刻Ｔ２〜Ｔ４の区間および時刻Ｔ５〜Ｔ７の区間について行えば良い。

また、上記においては、時刻Ｔ３におけるアクセスユニットでの映像輝度および音声出力レベルの瞬時値の差異を用いて調整の要否を判断しているが、例えば時刻Ｔ２〜Ｔ３の区間、すなわち時刻Ｔ３における先行するストリーム情報ファイルの最終のアクセスユニットと、それより前の複数の先行アクセスユニットとを含む先行するストリーム情報ファイルの終了部分における映像輝度および音声出力レベルの平均値と、時刻Ｔ３における後続するストリーム情報ファイルの最初のアクセスユニットと、それより後の複数の後続アクセスユニットとを含む後続するストリーム情報ファイルの開始部分における映像輝度および音声出力レベルの平均値との差異を用いて調整の要否を判断しても構わない。

＜符号化映像再生装置の全体動作＞
次に、図１を参照しつつ、図９に示すフローチャートを用いて符号化映像再生装置１００における全体動作を説明する。図９に示すように符号化映像再生装置１００は、操作部１３０を介してプレイリストに基づいた再生の指示を受けることで動作を開始し、まず、システム制御部１０１は、ＳＤカード１４０からストリーム情報ファイル２２１を読み出すように再生ドライバ１０２を制御する。

ストリーム情報ファイル２２１は、ストリーム制御部１１０に入力され、ストリーム分離部１１１で符号化映像情報と符号化音声情報に分離される。その後、ストリーム分離部１１１は、符号化映像情報および符号化音声情報のアクセスユニット毎に情報を取り出し、ＡＶバッファ１１２にアクセスユニット単位で保存する。これが、ステップＳ１０３の映像ファイル再生処理であるが、ＡＶバッファ１１２へのアクセスユニット情報の保存の前に、静的解析部１５２が静的解析処理を実行する（ステップＳ１０１）。なお、映像ファイル再生処理については、後にさらに説明する。

静的解析部１５２は、ストリーム情報ファイル２２１のデータ解析を行い、完全にフレーム画像を復号可能なピクチャを開始点および終了点とするように並べ替えを行い、データ供給制御部１５１は、並べ替えられた順に従ってＡＶバッファ１１２にアクセスユニット単位で保存する。また、符号化映像情報および符号化音声情報に対して、それぞれ映像輝度解析および音声レベル解析を実行する。静的解析処理によって得られた情報は、メモリ１２０のプレイリスト情報１６０にフィードバックされる。なお、静的解析処理については、後にさらに説明する。

出力映像音声制御部１５３は、メモリ１２０に記録されたプレイリスト情報１６０から得られた映像輝度情報５１０および音声レベル情報５１１に基づいて、ストリーム情報ファイル２２１の接続点と、その近傍の区間における映像輝度の差異および音声出力レベルの差異が、所定の設定値以上か否かを判定する。設定値以上であれば当該区間に対して、映像音声調整部１１５を制御することにより、出力信号をフィルタリングするためのフィルタ設定処理を行う（ステップＳ１０２）。

この出力信号のフィルタリングが、図８を用いて説明した映像音声調整部１１５による調整処理であり、この調整処理のために映像音声調整部１１５の設定を変える処理がフィルタ設定処理である。なお、静的解析処理は、先行するストリーム情報ファイル２２１に対応する解析が終了し、ストリーム分離部１１１で後続のストリーム情報ファイル２２１に対する分離処理が開始されることで後続のストリーム情報ファイル２２１に対する解析を始めるので、先行するストリーム情報ファイル２２１と後続のストリーム情報ファイル２２１の接続点と、その近傍の区間であれば、映像輝度および音声出力レベルの情報を有している。そのため、上述したように当該区間での映像輝度の差異および音声出力レベルの差異を判定することができる。

次に、システム制御部１０１は、ステップＳ１０３においてアクセスユニット単位でＡＶバッファ１１２に保存されたアクセスユニット情報を、図７を用いて説明した手順で、順次、映像音声デコーダ１１４に供給し、データ供給制御部１５１は、図７の時刻ｔ３およびｔ５のように、読み出したストリーム情報ファイルの映像音声デコーダ１１４への全データ供給が終了したか否かを判定する（ステップＳ１０４）。

ステップＳ１０４において、読み出したストリーム情報ファイルの全データ供給が終了したと判定した場合（ＹＥＳ）は、当該ストリーム情報ファイルの次に再生すべきストリーム情報ファイルが存在するか否かを、プレイリストに基づいて判定する（ステップＳ１０５）。一方、全てのデータ供給が終了していない場合（ＮＯ）は、ステップＳ１０３の処理を続ける。

ステップＳ１０５において、次のプレイリストが存在すると判定された場合（ＹＥＳ）は、ステップＳ１０６に移行し、次のプレイリストが存在しない場合（ＮＯ）は、プレイリストに基づいた再生を終了する。

データ供給制御部１５１は、先行して再生していたストリーム情報ファイルのファイル終端を示すＰＴＳ（Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２）をタイムスタンプのオフセット時刻としてＡＶバッファ１１２に記録する（ステップＳ１０６）。その後、次のストリーム情報ファイルの供給を開始し（ステップＳ１０７）、ステップＳ１０３以下の処理を繰り返す。なお、オフセット時刻とは、次のストリーム情報ファイルの表示開始時刻をずらすと言う意味で用いている。

データ供給制御部１５１は、次のストリーム情報ファイルの映像音声デコーダ１１４への供給に先立って、ＡＶバッファ１１２でアクセスユニット単位で設定されている映像表示開始時刻６１１および音声表示開始時刻６２１を、記録したオフセット時刻に変更した後、即座に、次のストリーム情報ファイルの供給を開始する。その後は、供給するストリーム情報ファイルのアクセスユニットの読み出しの時間間隔に合わせて、順次、アクセスユニット毎に映像表示開始時刻６１１および音声表示開始時刻６２１を変更する。

このように、先行して再生していたストリーム情報ファイルのファイル終端を示すＰＴＳをタイムスタンプのオフセット時刻とし、次のストリーム情報ファイルにおいては当該オフセット時刻を映像および音声の表示開始時刻とすることで、映像シーンを途切れさせることなく連続的に再生することが可能となる。

＜静的解析処理＞
次に、図１０に示す静的解析処理の動作を示すフローチャートを用いて、静的解析処理についてさらに説明する。

静的解析処理において、静的解析部１５２は、まずメモリ１２０のプレイリスト情報１６０から解析日時情報５１２（図５）を読み出し、プレイリスト情報１６０中に有効な静的解析情報を有するか否かを判定する（ステップＳ２０１）。

この判定は、再生しようとしているストリーム情報ファイルの解析日時情報５１２が変更されているか否かで判定され、解析日時情報５１２に含まれるファイルの更新日時、ファイルサイズおよびファイル名が変更されているか否かで判定され、何れも変更されていない場合は解析日時情報５１２が変更されておらず、有効な静的解析情報があるものと判定し（ＹＥＳ）、以下の解析処理を行わずに終了する。なお、ファイルの更新日時、ファイルサイズおよびファイル名が更新されているか否かは、ファイルのプロパティの情報によって確認することができる。

一方、解析日時情報５１２が変更されている場合は、有効な静的解析情報がないものと判定し（ＮＯ）、ステップＳ２０２に進んでストリーム情報ファイル２２１から静的解析情報を抽出する。

ステップＳ２０２では、映像属性情報を取得する。映像属性情報としては、例えば、ＭＰＥＧのシーケンスヘッダを抽出し、当該ヘッダ情報から、解像度、フレームレート、ＨＤＲ（High Dynamic Range）対応の有無を取得する。ＨＤＲは通常の映像の輝度情報より広い範囲の輝度情報を持つ規格であり、ＨＤＲ対応の有無とは、この規格に対応しているか否かを示す情報である。

また、ストリーム情報ファイル２２１のＰＥＳ（Packetized Elementary Stream）ヘッダの開始点／終了点、およびファイルサイズからビットレート情報を算出する。ＰＥＳヘッダは、アクセスユニット単位毎のヘッダであり、内部情報としてＰＴＳ（Presentation Time Stamp）およびＤＴＳ（Decoding Time Stamp）を保持しており、ファイルサイズをＰＴＳ差（終了ＰＴＳ−開始ＰＴＳ＝再生時間）で割ることでビットレートを算出できる。

映像属性情報を取得した後は、音声属性情報を取得する（ステップＳ２０３）。音声属性情報は、音声ヘッダ情報から、チャンネル数、サンプリングレートを抽出する。

次に、ステップＳ２０４において映像開始点を検出し、ステップＳ２０５において映像終了点を検出する。具体的には、図４を用いて説明したように、蓄積フレーム順に記録されたストリーム情報ファイル２２１において、参照関係が確立できていないピクチャＳ_ＰＴＳ３０１はＳ_ＶＡＬIＤ_ＰＴＳ４１１として使用せず、ＩピクチャをＳ_ＶＡＬIＤ_ＰＴＳ４１１として使用する。また、Ｅ_ＰＴＳ３０２は参照関係が確立できているのでＥ_ＶＡＬＩＤ_ＰＴＳ４１２として使用するようにピクチャ、ここではアクセスユニットの並べ替えを行う。

ストリーム情報ファイル２２１のＰＥＳ（Packetized Elementary Stream）ヘッダから、Ｓ_ＰＴ３０１およびＥ_ＰＴＳ３０２を抽出でき、ピクチャの種別（Ｉ、Ｐ、Ｂ）から参照関係が判るので、映像フレームの完全に復号可能な開始点（Ｓ_ＶＡＬＩＤ_ＰＴＳ）および終了点（Ｅ_ＶＡＬＩＤ_ＰＴＳ）を設定することができる。

次に、ステップＳ２０６において、映像輝度の解析を行う。映像輝度の解析は、Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１を含む開始点近傍の映像符号化圧縮単位に対して、ソフトウェアデコード処理を行い、映像フレーム毎に輝度値ヒストグラムを生成し、映像輝度平均値、映像輝度最大値を抽出する。同様に、Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２を含む終了点近傍の映像符号化圧縮単位に対してもソフトウェアデコード処理を行い、映像輝度平均値、映像輝度最大値を抽出する。

映像輝度の解析に際しては画像データを標本化し、それを量子化することで画素毎の輝度値を得ることができ、横路に輝度値、縦軸に各輝度値を持つ画素の個数として表すことで輝度値ヒストグラムを得ることができる。輝度値ヒストグラムを用いると、画像中の画素の輝度値の分布を知ることができ、明るさ、色の補正、コントラストの強調などの画像処理ができ、また、平均輝度および最大輝度も取得できる。

次に、ステップＳ２０７において、音声レベルの解析を行う。音声レベルの解析は、Ｓ_ＶＡＬＩＤ_ＰＴＳ４１１を含む開始点近傍の映像符号化圧縮単位の区間に対して、音声符号化圧縮単位のソフトウェアデコード処理を行い、音声出力レベルを抽出する。同様に、Ｅ_ＶＡＬＩＤ_ＰＴＳ４１２を含む終了点近傍の映像符号化圧縮単位に対してもソフトウェアデコード処理を行い、音声出力レベルを抽出する。符号化圧縮された音声情報を復号化すると、出力音声レベルを持つ音声情報となり音声出力レベルの抽出が可能となる。

なお、上述したステップＳ２０６およびＳ２０７におけるＳ_ＶＡＬＩＤ_ＰＴＳ４１１を含む開始点近傍およびＥ_ＶＡＬＩＤ_ＰＴＳ４１２を含む終了点近傍とは、例えば開始点および終了点を中心とした０．５秒間の映像符号化圧縮単位であり、図８に示した、時刻Ｔ２〜Ｔ４の区間および時刻Ｔ５〜Ｔ７の区間に相当する。

最後に、ステップＳ２０８において、メモリ１２０のプレイリスト情報１６０に解析日時情報を保存する。解析日時情報には、静的解析情報を取得した日時情報、静的解析したファイルの更新日時、ファイルサイズ、ファイル名、ＳＤカードの種別情報などのファイル特定情報を記録する。

＜ファイル再生処理＞
次に、図１１に示すファイル再生処理の動作を示すフローチャートを用いて、ファイル再生処理についてさらに説明する。

ファイル再生処理においては、まず、データ供給制御部１５１からの指示に基づいて、再生ドライバ１０２がＳＤカード１４０から再生対象のストリーム情報ファイルの読み込みを行う（ステップＳ３０１）。ファイル読み込み単位は、所定のファイルサイズで行うものとし、本実施の形態では１ＭＢ（メガバイト）毎に読み込むものとする。

再生ドライバ１０２が読み込んだストリーム情報ファイルは、ストリーム分離部１１１に入力されて、符号化映像情報と符号化音声情報とに分離される（ステップＳ３０２）。

分離された符号化映像情報および符号化音声情報は、アクセスユニット単位に分割されると共に、アクセスユニット単位の表示開始時刻（映像表示開始時刻６１１および音声表示開始時刻６２１）を抽出し、タイムスタンプとしてアクセスユニットに付与し、ＡＶバッファ１１２への書込みが行われる（ステップＳ３０３）。

その後、符号化映像情報および符号化音声情報は、アクセスユニット単位毎に、映像音声デコーダ１１４に供給され、映像音声デコーダ１１４で復号される（ステップＳ３０４）。

その後、１ＭＢ毎に読み込まれたデータにストリーム情報ファイルのファイル終端が含まれているか否かを判定し（ステップＳ３０５）、ファイル終端が含まれていない場合（ＮＯ）には、ステップＳ３０１に移行し、次の１ＭＢのデータを読み込む。一方、ファイル終端を検出（ＹＥＳ）した場合は、当該ストリーム情報ファイル全てが映像音声デコーダ１１４に供給されたものと判断し、ファイル再生処理を終了する。

以上説明したように、本発明に係る符号化映像再生装置１００においては、図９に示すフローチャートを用いて説明したように、先行して再生していたストリーム情報ファイルのファイル終端を示すＰＴＳをタイムスタンプのオフセット時刻とし、次のストリーム情報ファイルにおいては当該オフセット時刻を映像および音声の表示開始時刻とすることで、映像音声デコーダ１１４での初期化処理を省略でき、初期化処理に費やす時間が不要となって、映像シーンを途切れさせることなく連続的に再生することが可能となる。このため、映像ストリームの遷移に起因するギャップをなくすことができる。なお、上記初期化処理には、映像音声デコーダ１１４に供給する映像の解像度およびフレームレート設定などの事前設定、映像音声デコーダ１１４のバッファの初期化などを含んでいる。

また、上記のような機能を持たせるために符号化映像再生装置１００に特別なハードウェアを付加する必要がないので、装置自体のコストアップを抑制できる。

また、静的解析部１５２は、ステップＳ１０３の映像ファイル再生処理を実行する前に、静的解析処理を実行し、完全にフレーム画像を復号可能なピクチャを開始点および終了点とするようにストリーム情報ファイル２２１のピクチャの並べ替えを行い、並べ替えた順に従ってＡＶバッファ１１２にアクセスユニット単位で保存するので、完全に復号化できない映像フレームを確実に除外することができ、映像ストリームの遷移時に、ブロックノイズなどが発生させることなく映像表示が可能となる。

また、出力映像音声制御部１５３は、プレイリスト情報１６０内に記録された開始点および終了点の属性情報に基づいて、映像シーンの繋ぎ目で、映像音声調整部１１５を制御することにより、急俊な映像輝度変化および音声出力レベル変化が起きないように、画質および音質の出力制御を行うので、映像ストリームの遷移時に、映像輝度および音声出力レベルが大きく変化することが抑制され、ユーザーにとって違和感のない映像シーンの切換えができる。

この発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

本発明に係る符号化映像再生装置は、符号化された映像情報と音声情報とが多重化されたストリーム情報ファイルを再生する符号化映像再生装置であって、前記ストリーム情報ファイルから、前記映像情報と前記音声情報とを分離し、それぞれアクセスユニット単位に分割するストリーム分離部と、前記アクセスユニット単位に分割された、前記映像情報および前記音声情報を、それぞれの表示開始時刻と関連付けて記録するバッファと、前記表示開始時刻に基づいて、前記映像情報および前記音声情報を前記バッファから読み出して復号するデコーダと、前記バッファに対する前記表示開始時刻、前記映像情報および前記音声情報の記録の制御と、前記バッファから前記デコーダへの前記映像情報および前記音声情報の供給を制御するデータ供給制御部と、前記データ供給制御部による前記バッファへの前記映像情報および前記音声情報の記録に先立って、前記ストリーム情報ファイルの最初のアクセスユニットと、最終のアクセスユニットのデータ解析を行う解析部を備え、前記データ供給制御部は、先行するストリーム情報ファイルの映像情報および音声情報の供給を終えると、前記先行するストリーム情報ファイルの最終のアクセスユニットの表示開始時刻を、後続するストリーム情報ファイルの映像情報および音声情報の供給に先立って、前記後続するストリーム情報ファイルの最初のアクセスユニットの表示開始時刻に再設定し、前記解析部は、完全にフレーム画像を復号可能なアクセスユニットが前記最初のアクセスユニットおよび前記最終のアクセスユニットとなるように、アクセスユニットの並べ替えを行い、前記データ供給制御部は、並べ替えられた順に前記バッファに記録する。

Claims (10)

1. 符号化された映像情報と音声情報とが多重化されたストリーム情報ファイルを再生する符号化映像再生装置であって、
   前記ストリーム情報ファイルから、前記映像情報と前記音声情報とを分離し、それぞれアクセスユニット単位に分割するストリーム分離部と、
   前記アクセスユニット単位に分割された、前記映像情報および前記音声情報を、それぞれの表示開始時刻と関連付けて記録するバッファと、
   前記表示開始時刻に基づいて、前記映像情報および前記音声情報を前記バッファから読み出して復号するデコーダと、
   前記バッファに対する前記表示開始時刻、前記映像情報および前記音声情報の記録の制御と、前記バッファから前記デコーダへの前記映像情報および前記音声情報の供給を制御するデータ供給制御部と、を備え、
   前記データ供給制御部は、
   先行するストリーム情報ファイルの映像情報および音声情報の供給を終えると、前記先行するストリーム情報ファイルの最終のアクセスユニットの表示開始時刻を、後続するストリーム情報ファイルの映像情報および音声情報の供給に先立って、前記後続するストリーム情報ファイルの最初のアクセスユニットの表示開始時刻に再設定する、符号化映像再生装置。
2. 前記データ供給制御部による前記バッファへの前記映像情報および前記音声情報の記録に先立って、前記ストリーム情報ファイルの最初のアクセスユニットと、最終のアクセスユニットのデータ解析を行う解析部を備え、
   前記解析部は、完全にフレーム画像を復号可能なアクセスユニットが前記最初のアクセスユニットおよび前記最終のアクセスユニットとなるように、アクセスユニットの並べ替えを行い、前記データ供給制御部は、並べ替えられた順に前記バッファに記録する、請求項１記載の符号化映像再生装置。
3. 前記デコーダで復号された映像情報および音声情報を受け、それぞれの映像輝度および出力音量レベルの調整を行う映像音声調整部を備え、
   前記解析部は、
   前記ストリーム情報ファイルの前記最初のアクセスユニットを含む開始部分および、前記最終のアクセスユニットを含む終了部分の映像輝度および音声出力レベルを解析し、
   前記映像音声調整部は、
   前記先行するストリーム情報ファイルの前記終了部分と、前記後続するストリーム情報ファイルの前記開始部分において、前記映像輝度の差異および音声出力レベルの差異が、予め定めた差異よりも大きい場合に、前記予め定めた差異以内とするように、前記映像輝度および音声出力レベルを低減させる、請求項２記載の符号化映像再生装置。
4. 前記映像音声調整部は、
   前記先行するストリーム情報ファイルの前記最終のアクセスユニットと、前記後続するストリーム情報ファイルの前記最初のアクセスユニットにおいて、前記映像輝度の差異および前記音声出力レベルの差異が、前記予め定めた差異よりも大きい場合に、前記予め定めた差異以内とするように、前記映像輝度および音声出力レベルを低減させる、請求項３記載の符号化映像再生装置。
5. 前記先行するストリーム情報ファイルの前記終了部分は、前記最終のアクセスユニットと、それより前の複数の先行アクセスユニットを含み、
   前記後続するストリーム情報ファイルの前記開始部分は、前記最初のアクセスユニットと、それより後の複数の後続アクセスユニットを含み、
   前記映像音声調整部は、
   前記最終のアクセスユニットおよび前記複数の先行アクセスユニットにおける前記映像輝度および前記音声出力レベルのそれぞれの平均値と、
   前記最初のアクセスユニットおよび前記複数の後続アクセスユニットにおける前記映像輝度および前記音声出力レベルのそれぞれの平均値との差異が、前記予め定めた差異よりも大きい場合に、前記予め定めた差異以内とするように、前記映像輝度および音声出力レベルを低減させる、請求項３記載の符号化映像再生装置。
6. 符号化された映像情報と音声情報とが多重化されたストリーム情報ファイルを再生する符号化映像再生方法であって、
   （ａ）前記ストリーム情報ファイルから、前記映像情報と前記音声情報とを分離するステップと
   （ｂ）前記映像情報および前記音声情報それぞれアクセスユニット単位に分割し、分割された、前記映像情報および前記音声情報を、それぞれの表示開始時刻と関連付けてバッファに記録するステップと、
   （ｃ）前記バッファから前記映像情報および前記音声情報を読み出してデコーダに供給するステップと、
   （ｄ）前記デコーダにおいて、前記表示開始時刻に基づいて、前記映像情報および前記音声情報を復号するステップと、を備え、
   前記ステップ（ｄ）の後に、
   先行するストリーム情報ファイルの最終のアクセスユニットの表示開始時刻を、後続するストリーム情報ファイルの映像情報および音声情報の前記デコーダへの供給に先立って、前記後続するストリーム情報ファイルの最初のアクセスユニットの表示開始時刻に再設定するステップを備える、符号化映像再生方法。
7. 前記ステップ（ｂ）に先立って、
   （ｅ）前記ストリーム情報ファイルの最初のアクセスユニットと、最終のアクセスユニットのデータ解析を行うステップを備え、
   前記ステップ（ｅ）は、
   完全にフレーム画像を復号可能なアクセスユニットが前記最初のアクセスユニットおよび前記最終のアクセスユニットとなるように、アクセスユニットの並べ替えを行うステップを含み、
   前記ステップ（ｂ）は、
   前記ステップ（ｅ）で並べ替えられた順に前記バッファに記録する、請求項６記載の符号化映像再生方法。
8. 前記ステップ（ｄ）の後に、
   （ｆ）前記デコーダで復号された映像情報および音声情報を受け、それぞれの映像輝度および出力音量レベルの調整を行うステップを備え、
   前記ステップ（ｅ）は、
   前記ストリーム情報ファイルの前記最初のアクセスユニットを含む開始部分および、前記最終のアクセスユニットを含む終了部分の映像輝度および音声出力レベルを解析するステップを含み、
   前記ステップ（ｆ）は、
   前記先行するストリーム情報ファイルの前記終了部分と、前記後続するストリーム情報ファイルの前記開始部分において、前記映像輝度の差異および音声出力レベルの差異が、予め定めた差異よりも大きい場合に、前記予め定めた差異以内とするように、前記映像輝度および音声出力レベルを低減させるステップを含む、請求項７記載の符号化映像再生方法。
9. 前記ステップ（ｆ）は、
   前記先行するストリーム情報ファイルの前記最終のアクセスユニットと、前記後続するストリーム情報ファイルの前記最初のアクセスユニットにおいて、前記映像輝度の差異および前記音声出力レベルの差異が、前記予め定めた差異よりも大きい場合に、前記予め定めた差異以内とするように、前記映像輝度および音声出力レベルを低減させるステップを含む、請求項８記載の符号化映像再生方法。
10. 前記先行するストリーム情報ファイルの前記終了部分は、前記最終のアクセスユニットと、それより前の複数の先行アクセスユニットを含み、
    前記後続するストリーム情報ファイルの前記開始部分は、前記最初のアクセスユニットと、それより後の複数の後続アクセスユニットを含み、
    前記ステップ（ｆ）は、
    前記最終のアクセスユニットおよび前記複数の先行アクセスユニットにおける前記映像輝度および前記音声出力レベルのそれぞれの平均値と、
    前記最初のアクセスユニットおよび前記複数の後続アクセスユニットにおける前記映像輝度および前記音声出力レベルのそれぞれの平均値との差異が、前記予め定めた差異よりも大きい場合に、前記予め定めた差異以内とするように、前記映像輝度および音声出力レベルを低減させるステップを含む、請求項８記載の符号化映像再生方法。

Images