JP5092028B2 - 映像処理装置及び映像処理方法 - Google Patents

Description

本発明は、動画像データを再生する映像処理装置及び映像処理方法に関する。

近年、パーソナルコンピュータ、ビデオレコーダ等の電子機器で動画像データを再生し、視聴する機会が増加している。再生される動画像データには、ＤＶＤに収録された動画像データやテレビジョン放送信号によって放送される放送番組データを録画した動画像データの他、インターネット上の動画像データ共有サイト等から入手された動画像データ等がある。このため、パーソナルコンピュータ、ビデオレコーダ等の電子機器には、ＭＰＥＧ−２（Ｈ．２６２｜ＭＰＥＧ−２），ＭＰＥＧ−４，ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ）等、さまざまな形式の動画像データに対応した再生機能が要求される。

特許文献１には、ビデオデータに記載されているフレームレートを使用しないで、オーディオとビデオの同期合わせを制御できるオーディオ・ビデオ同期再生方法が開示されている。このオーディオ・ビデオ同期再生方法は、ビデオデータ内においてタイムスタンプが付加されたフレームを用いて、最新のタイムスタンプと一つ前のタイムスタンプとの間の差分時間及びフレーム数を算出し、これら差分時間とフレーム数とを用いて、フレームレートを算出する。

特開平１１−３５５７２６号公報

ところで、動画像データに対して、再生のタイミングに関する情報をＧＯＰのような処理単位毎に付加することは、動画像データの形式によっては必須でない場合がある。例えば、ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ）の動画像データは、再生のタイミングに関する情報を含まないＧＯＰも使用し得る。このため、例えば、ライブストリームのような動画像データを途中から再生する場合、ピクチャの表示タイミングが分からず、滑らかに再生することができない可能性がある。

また、インターネット上で配信された動画像データ等には、厳密には規格に準拠しておらず、再生のタイミングに関する情報が付加されていない動画像データが存在する可能性がある。このような動画像データも、再生のタイミングが不明であるため、滑らかに再生することが困難である。

本発明は上述の事情を考慮してなされたものであり、再生のタイミングが不明である動画像データを滑らかに再生できる映像処理装置及び映像処理方法を提供することを目的とする。

上述の課題を解決するため、本発明の映像処理装置は、所定の再生時間に対応する複数のピクチャをそれぞれ含む複数の処理単位から構成される符号化された動画像データを復号する復号手段と、前記復号手段によって前記動画像データ内の再生対象の処理単位が復号される際に、前記再生対象の処理単位内に含まれるピクチャをカウントすることによってピクチャの数を検出し、前記再生対象の処理単位内に含まれるプログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合を検出する検出手段と、前記再生対象の処理単位内にタイミング情報が含まれていない場合、前記再生対象の処理単位の一つ前の再生済みの処理単位の復号時に前記検出手段によって検出されたピクチャの数及び前記プログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合と、前記所定の再生時間とに基づいて再生フレームレートを算出するフレームレート算出手段と、前記算出された再生フレームレートに基づいて、前記再生対象の処理単位内に含まれる複数のピクチャの表示タイミングを決定する表示タイミング決定手段とを具備する。

本発明によれば、再生のタイミングが不明である動画像データを滑らかに再生できる映像処理装置および映像処理方法を提供することができる。

本発明の一実施形態に係る映像処理装置の外観の例を示す斜視図。 同実施形態の映像処理装置の構成例を示すブロック図。 同実施形態の映像処理装置で用いられる映像処理アプリケーションの機能構成の例を示すブロック図。 同実施形態の映像処理装置に入力される動画像データの構成例を示す図。 図５の動画像データの具体的な構成例を示す図。 図５の動画像データの表示タイミングを算出する方法を説明するための図。 図５の動画像データの表示タイミングを算出する具体例を示す図。 図５の動画像データの表示タイミングを算出する別の具体例を示す図。 同実施形態の映像処理装置によって実行される表示タイミング算出処理の手順を示すフローチャート。

以下、図面を参照して、本発明の実施形態を説明する。

まず、図１および図２を参照して、本発明の一実施形態に係る映像処理装置の構成を説明する。本実施形態の映像処理装置は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。

このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータ、インターネットのようなネットワークを通じて配信されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を再生することができる。

図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、ネットワークコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、および映像処理アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。映像処理アプリケーションプログラム２０２は動画像データを再生するためのソフトウェアである。この映像処理アプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを記録した動画像データ、ＨＤＤ１１１やＤＶＤドライブ１１２に格納されたＤＶＤ等に記録された動画像データ、ＬＡＮコントローラ１１０によって受信されるネットワーク上のサーバから配信される動画像データ等を再生することができる。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。

ＬＡＮコントローラ１１０は、例えばIEEE 802.3規格の通信を実行する通信デバイスである。ネットワークコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。

ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

図３は、映像処理アプリケーションプログラム２０２の構成を示すブロック図である。映像処理アプリケーションプログラム２０２は、上述したように、ＴＶチューナ１１７によって受信された放送番組データを記録した動画像データ、ＨＤＤ１１１やＤＶＤドライブ１１２に格納されたＤＶＤ等に記録された動画像データ、インターネット上のサーバから配信される動画像データ等を再生することができる。以下では、ＨＤＤ１１１に格納された動画像データ１１１Ａを再生する場合の例について説明する。

映像処理アプリケーションプログラム２０２は、符号化（圧縮符号化）された動画像データ１１１Ａを復号および再生する。動画像データ１１１Ａは、例えば、Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４／ＡＶＣと云う）やＭＰＥＧ−２，ＭＰＥＧ−４のような符号化方式で符号化された動画像ストリームから構成されている。この動画像データ１１１Ａは複数のＧＯＰから構成されている。各ＧＯＰは、所定の再生時間に対応する複数のピクチャを含む処理単位である。映像処理アプリケーションプログラム２０２は、制御部３１、コンテンツ復号部３２、表示タイミング算出部３３、再生処理部３４、データ保存部３５、ピクチャ群情報検出部３６、及びフレームレート算出部３７を備える。

制御部３１は、映像処理アプリケーションプログラム２０２内の各部を制御する。コンテンツ復号部３２は、ＨＤＤ１１１内に格納されている圧縮符号化された動画像データ１１１Ａを読み出し、読み出した動画像データ１１１Ａを復号する。動画像データ１１１Ａの復号は例えばＧＯＰ単位で実行することができる。

図４は、動画像データ１１１Ａの構成の例を示す図である。動画像データ１１１Ａは、ＧＯＰ（Group of Pictures）４１と呼ばれる単位で構成される。ＧＯＰ４１は、所定の期間中（例えば、０．５秒間）に再生される複数のピクチャのデータを含む。ＧＯＰ４１は、複数のアクセスユニット（ＡＵ）４２で構成される。

アクセスユニット４２は、符号化された動画像データのビット・ストリーム中の情報をピクチャ毎にアクセスするための単位である。各アクセスユニット４２は、複数のＮＡＬユニット４３で構成される。

各ＮＡＬユニット４３は、ＮＡＬヘッダ４３１と圧縮された動画像データ４３２とを含む。ＮＡＬヘッダ４３１は、そのＮＡＬユニットが参照ピクチャであるかどうか示す情報であるnal_ref_idcと、ＮＡＬユニットの種類を示す識別子であるnal_unit_typeとを含む。

なお、ＮＡＬユニット４３には、ＶＣＬ ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとがある。ＶＣＬ ＮＡＬユニットは、画像データであるピクチャ（スライス）のデータを含むＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ＳＰＳ（Sequence Parameter Set）やＰＰＳ（Picture Parameter Set）等のパラメータ・セット、ＳＥＩ（Supplemental Enhancement Information）、ＡＵデリミタなどのメタデータを含むＮＡＬユニットである。

図５は、アクセスユニット４２に含み得る幾つかのＮＡＬユニット５１の例を示す図である。

アクセスユニット４２は、ＡＵデリミタ５１１、ＳＰＳ５１２、ＰＰＳ５１３、ＳＥＩ５１４、主ピクチャ５１５、冗長ピクチャ５１６、ＥＯＳ（End of Sequence）５１７、ＥＯＳ（End of Stream）５１８等から構成される。

ＡＵデリミタ５１１は、アクセスユニットの先頭を示す開始符号である。ＳＰＳ５１２は、プロファイル、レベルやシーケンス全体の符号化モード等、シーケンス全体の符号化に関わる情報を含むヘッダである。但し、ＳＰＳ５１２は、シーケンスの先頭に付加されるわけではなく、シーケンスの先頭までに送られたＳＰＳ５１２がヘッダ情報として用いられる。ＰＰＳ５１３は、ピクチャ全体の符号化モード（例えば、エントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値等）を示すヘッダ情報である。但し、ＰＰＳ５１３は、全てのピクチャに付加されるわけではなく、ＰＰＳ５１３がない場合には、ピクチャの先頭までに送られたＰＰＳ５１３がヘッダ情報として用いられる。ＳＥＩ５１４は、シーケンスの復号に必須ではない付加情報を示す。例えば、ピクチャのタイミング情報、ランダム・アクセスに用いられる情報、ユーザにより定義される情報等が記述される。主ピクチャ５１５は、通常のピクチャの情報を含む。主ピクチャ５１５に含まれる情報を復号することで、シーケンス内のピクチャを復元することができる。冗長ピクチャ５１６は、伝送エラー等が発生した場合に利用されるピクチャの情報を含む。したがって、冗長ピクチャ５１６は、伝送エラー等により主ピクチャ５１５のデータの一部が失われた際等に利用される。ＥＯＳ５１７は、ひとつのシーケンスの終端を示す符号である。ＥＯＳ５１８は、ストリームの終端を示す符号である。

コンテンツ復号部３２は、動画像データ１１１Ａを復号して、上述のようなＧＯＰ４１、アクセスユニット４２、ＮＡＬユニット４３等の構造を解析し、解析結果を表示タイミング算出部３３へ出力する。また、コンテンツ復号部３２内に設けられたピクチャ群情報検出部３６は、再生対象のＧＯＰが復号される時に、その再生対象のＧＯＰに含まれるピクチャ群に関するピクチャ群情報を検出する。ピクチャ群情報は、再生対象のＧＯＰに含まれるピクチャの数、及びその再生対象の処理単位内に含まれるプログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合、等を示す。ピクチャ群情報検出部３６は、検出したピクチャ群情報をデータ保存部３５へ出力する。

データ保存部３５は、入力されたピクチャ群情報を主メモリ１０３等へ保存する。ピクチャ群情報は、再生対象のＧＯＰが復号される度に保存される。したがって、データ保存部３５は、前の再生対象のＧＯＰのピクチャ群情報が保存されている場合、このピクチャ群情報を、新たな再生対象のＧＯＰのピクチャ群情報で更新する。

表示タイミング算出部３３は、コンテンツ復号部３２による解析結果に基づき、再生対象のＧＯＰ内のピクチャそれぞれの表示タイミングを決定する。表示タイミング算出部３３は、アクセスユニット４２３を再生する場合、ＳＰＳ５１２やＳＥＩ５１４に含まれるパラメータに基づき、主ピクチャ５１５に格納されたピクチャを表示するタイミングを決定する。表示タイミングは、例えば、ＳＥＩ５１４の一部であるＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩと、ＳＰＳ５１２の一部であるＶＵＩ（Video Usability Information）とを用いて算出される。

Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩには、ピクチャの構造情報等が記述される。Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩには、例えば、pic_structの情報が記述される。

pic_structには、ピクチャの構造が記述される。例えば、インターレース方式の奇数ラインに対応するピクチャと偶数ラインに対応するピクチャのデータ内での順序や、各ピクチャの表示回数等が記述される。

ＶＵＩには、ビデオの表示情報に関連するパラメータが記述される。ＶＵＩには、例えば、time_scale及びnum_units_in_tickの値が設定される。time_scaleは、１秒間の時間単位の数を示す。例えば、２７ＭＨｚのクロックの場合、time_scaleには２７０００という値が設定される。

また、num_units_in_tickは、クロック動作周波数time_scale[Hz]での時間単位の数を示す。この値がクロックカウンタ（clock tick counter）での１インクリメントとなる。１clock tickは、符号化データ内で表現可能な時間の最小単位となる。例えば、ビデオのクロック周波数が３００００／１００１［Ｈｚ］である場合、time_scaleには３００００が設定され、num_units_in_tickには１００１が設定される。

表示タイミング算出部３３は、上述したＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩのpic_struct，ＶＵＩのtime_scale及びnum_units_in_tick等を用いることで、複数のアクセスユニット４２から構成される、ＧＯＰ４１に含まれるピクチャそれぞれの表示タイミングを決定する。

しかし、アクセスユニット４２に必須のＮＡＬユニットは主ピクチャ５１５のみであり、ＳＰＳ５１２やＳＥＩ５１４等の他のＮＡＬユニットは必要に応じてアクセスユニットに格納されるオプションのＮＡＬユニットである。つまり、動画像データ１１１Ａに対して、再生のタイミングに関する情報をアクセスユニット４２毎又はＧＯＰ４１毎に付加することは必須ではない。また、インターネット上で配信された動画像データ等には、厳密には規格に準拠しておらず、再生のタイミングに関する情報が適切に付加されていないアクセスユニット４２やＧＯＰ４１が存在する可能性がある。したがって、ライブストリームのような動画像データを途中から再生する場合や、アクセスユニット４２（ＧＯＰ４１）に再生のタイミングの情報が格納されたＮＡＬユニットが含まれていない場合には、ピクチャの表示タイミングが分からず、滑らかに再生することは困難である。

このため、コンテンツ復号部３２は、復号された再生対象のＧＯＰが表示タイミングに関する情報を含んでいるかどうかを判定する。再生対象のＧＯＰが表示タイミングに関する情報を含んでいない場合、表示タイミング算出部３３は、処理対象のＧＯＰの一つ前の再生済みのＧＯＰ（一つ前のＧＯＰ）の情報（ピクチャ群情報）を利用して、処理対象のＧＯＰの表示タイミング（タイムスタンプの値）を算出する。

一つ前のＧＯＰの情報は、データ保存部３５により主メモリ１０３等に格納される。一つ前のＧＯＰの情報は、上述したように、一つ前のＧＯＰに含まれるピクチャ数、一つ前のＧＯＰに含まれるフレームピクチャとフィールドピクチャとの割合、等である。また、一つ前のＧＯＰの情報は、例えば、一つ前のＧＯＰの再生時間、ピクチャの表示回数等の情報をさらに含み得る。

表示タイミング算出部３３に設けられたフレームレート算出部３７は、例えば、図６に示すような一つ前のＧＯＰ４１１の再生時間と一つ前のＧＯＰ４１１に含まれるピクチャ数とに基づき、一つ前のＧＯＰ４１１のフレームレート、つまり単位時間当たりの再生フレーム数［フレーム／秒］を次式により算出する。

一つ前のＧＯＰに含まれるピクチャ数／一つ前のＧＯＰの再生時間
このように、フレームレート算出部３７は、データ保存部３５によって主メモリ１０３等に格納されたピクチャ群情報（一つ前のＧＯＰのピクチャ群情報）を用いて、フレームレートを算出する。

図７は、一つ前のＧＯＰ４１１の再生時間とピクチャ数とに基づいて、表示タイミングを決定する例を示す。図７に示す例では、一つ前のＧＯＰ４１１の再生時間は０．５秒であり、一つ前のＧＯＰ４１１に含まれるピクチャ６１の数は１５枚である。なお、一つ前のＧＯＰ４１１に含まれるピクチャ６１が、全てプログレッシブ方式のピクチャ（フレームピクチャ）である場合を想定する。

この場合、単位時間当たりの再生フレーム数は３０フレーム／秒となる。表示タイミング算出部３３は、算出した単位時間当たりの再生フレーム数に基づいて、処理対象のＧＯＰに含まれるピクチャの表示タイミングを決定する。表示タイミング算出部３３は、単位時間当たりの再生フレーム数が３０フレーム／秒である場合には、１／３０秒毎にピクチャが表示されるように表示タイミングを決定する。

また、図８は、表示タイミング算出部３３により表示タイミングを決定する別の例を示す。図８に示す例では、一つ前のＧＯＰ４１１の再生時間は０．５秒である。一つ前のＧＯＰ４１１に含まれるピクチャ７１は、奇数ラインを表示するための１２枚のピクチャと偶数ラインを表示するための１２枚のピクチャからなる、２４枚のインターレース方式のフィールドピクチャ７１である。１フレームの表示には、奇数ラインのピクチャと偶数ラインのピクチャの２枚のピクチャが使用される。このため、２４枚のインターレース方式のピクチャ７１により、１２フレームの画像がＬＣＤ１７に表示される。したがって、単位時間当たりの再生フレーム数は２４フレーム／秒となる。表示タイミング算出部３３は、単位時間当たりの再生フレーム数が２４フレーム／秒である場合には、１／２４秒毎に奇数ラインのピクチャと偶数ラインのピクチャとが表示されるように表示タイミングを決定する。

また、図８下部に、一つ前のＧＯＰ４１１に含まれるピクチャ７１が３：２プルダウン方式で表示される場合のピクチャ７２を示す。図に示すように、一部のピクチャを二度表示することで、表示されるフレーム数を増加させている。このため、０．５秒の再生時間中に、１５フレームの画像がＬＣＤ１７に表示される。したがって、単位時間当たりの再生フレーム数は３０フレーム／秒となる。表示タイミング算出部３３は、単位時間当たりの再生フレーム数が３０フレーム／秒である場合には、１／３０秒毎に奇数ラインのピクチャと偶数ラインのピクチャとが表示されるように表示タイミングを決定する。

表示タイミング算出部３３は、決定した表示タイミングの情報を再生処理部３４へ出力する。

再生処理部３４は、決定された表示タイミングの情報に基づいて、処理対象のＧＯＰに含まれるピクチャをＬＣＤ１７に表示する。つまり、再生処理部３４は、処理対象のＧＯＰに含まれるピクチャに、表示タイミングに基づくタイムスタンプ情報を付加する。ピクチャは、付加されたタイムスタンプ情報に応じてＬＣＤ１７に表示される。

以上の構成により、表示タイミングに関する情報が付加されていないＧＯＰを再生する場合にも、構造が同一、又は類似すると推定される一つ前のＧＯＰ４１１の情報を用いて、処理対象のＧＯＰの表示タイミングを推定し、推定した表示タイミングに従って、処理対象のＧＯＰに含まれるピクチャを再生することで、動画像データ１１１Ａを滑らかに再生することができる。

図９は、映像処理アプリケーション２０２による表示タイミング算出処理の手順を示すフローチャートである。

まず、映像処理アプリケーション２０２は、動画像データ１１１Ａ内の再生対象のＧＯＰを復号し、その復号したＧＯＰにＰｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩやＶＵＩ等の表示タイミングに関する情報が含まれているかどうかを判定する（ステップＳ１０１）。また、再生対象のＧＯＰの復号時には、映像処理アプリケーション２０２は、再生対象のＧＯＰに含まれるピクチャ数をカウントする処理と、再生対象のＧＯＰに含まれるフレームピクチャ数およびフィールドピクチャ数をカウントする処理とを実行する。

再生対象のＧＯＰに表示タイミングに関する情報が含まれている場合（ステップＳ１０１のＹＥＳ）、映像処理アプリケーション２０２は、Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩ及びＶＵＩ等を用いて、再生対象のＧＯＰに含まれるピクチャの表示タイミングを算出する（ステップＳ１０２）。

再生対象のＧＯＰに表示タイミングに関する情報が含まれていない場合（ステップＳ１０１のＮＯ）、映像処理アプリケーション２０２は、再生対象のＧＯＰの一つ前に位置する再生済みのＧＯＰ（一つ前のＧＯＰ）４１１の情報（ピクチャ群情報）に基づいて、表示タイミングを算出する（ステップＳ１０３）。映像処理アプリケーション２０２は、保存された一つ前のＧＯＰ４１１の再生時間、ピクチャ枚数、及びピクチャ構造（フレームピクチャとフィールドピクチャとの割合）に基づいて、表示タイミングを算出する。具体的には、映像処理アプリケーション２０２は、一つ前のＧＯＰ４１１の再生時間と、この再生時間中にＬＣＤ１７に表示されるフレーム数とから、単位時間当たりのフレーム数（フレームレート）を算出する。そして、映像処理アプリケーション２０２は、各ピクチャがプログレッシブ方式のピクチャであるかインターレース方式のピクチャであるか等を考慮して、各ピクチャを表示するタイミングを決定する。

そして、映像処理アプリケーション２０２は、算出された表示タイミングに合わせて、再生対象のＧＯＰに含まれるピクチャをＬＣＤ１７に表示する（ステップＳ１０４）。つまり、映像処理アプリケーション２０２は、再生対象のＧＯＰに含まれるピクチャに表示タイミングに応じたタイムスタンプ情報を付加する。再生対象のＧＯＰに含まれるピクチャは、タイムスタンプ情報に従って再生される。

また、映像処理アプリケーション２０２は、再生対象のＧＯＰに含まれるピクチャ枚数とピクチャ構造の情報とを、ピクチャ群情報として主メモリ１０３等に保存する（ステップＳ１０５）。

次いで、映像処理アプリケーション２０２は、動画像データ１１１Ａに、再生対象のＧＯＰの次のＧＯＰが存在するかどうかを判定する（ステップＳ１０６）。

再生対象のＧＯＰの次のＧＯＰが存在する場合（ステップＳ１０６のＹＥＳ）、この次のＧＯＰを新たな再生対象のＧＯＰに設定し（ステップＳ１０７）、ステップＳ１０１以降の処理を実行する。

再生対象のＧＯＰの次のＧＯＰが存在しない場合（ステップＳ１０６のＮＯ）、動画像データ１１１Ａが最後まで再生されたと判断し、処理を終了する。

以上の処理により、再生対象のＧＯＰに表示タイミングに関する情報が含まれていない場合にも、動画像データ１１１Ａを滑らかに再生することができる。映像処理アプリケーション２０２は、再生対象のＧＯＰに表示タイミングに関する情報が含まれている場合には、その情報を用いてピクチャの表示タイミングを算出し、再生対象のＧＯＰに表示タイミングに関する情報が含まれていない場合には、構造が同一、又は類似すると推定される一つ前のＧＯＰ４１１の情報を用いて、再生対象のＧＯＰの表示タイミングを算出する。

なお、再生対象のＧＯＰが、動画像データ１１１Ａのシーケンスの先頭のＧＯＰである場合には、所定の表示タイミングに従ってＧＯＰに含まれるピクチャを表示し、以降のＧＯＰを表示する場合に、再生済みの一つ前のＧＯＰのピクチャ枚数、ピクチャ構造等を用いて表示タイミングを決定し、処理対象のＧＯＰに含まれるピクチャを表示してもよい。

以上説明したように、本実施形態によれば、再生のタイミングが不明である動画像データを滑らかに再生できる。映像処理アプリケーション２０２の表示タイミング算出部３３は、再生対象のＧＯＰに表示タイミングに関する情報が含まれている場合には、この情報を用いて再生対象のＧＯＰに含まれるピクチャの表示タイミングを決定し、再生対象のＧＯＰに表示タイミングに関する情報が含まれていない場合には、再生対象のＧＯＰの一つ前に位置する再生済みのＧＯＰを再生した際に得られた一つ前のＧＯＰのピクチャ数、ピクチャ構造等に基づいて、再生対象のＧＯＰに含まれるピクチャの表示タイミングを決定する。

再生対象のＧＯＰと再生対象のＧＯＰの一つ前のＧＯＰとは、ピクチャの表示タイミングが同一又は類似しているものと推定される。このため、再生対象のＧＯＰに表示タイミングに関する情報が含まれていない場合に、一つ前のＧＯＰ４１１のピクチャ数、ピクチャ構造等に基づいて表示タイミングを決定し、決定した表示タイミングに従って、再生対象のＧＯＰに含まれるピクチャを表示することで、再生のタイミングが不明である動画像データを滑らかに再生することができる。

なお、動画像データ１１１Ａの再生にはリアルタイムでの処理が要求されるため、本実施形態では、再生対象のＧＯＰを復号する毎にその再生対象のＧＯＰのピクチャ数、ピクチャ構造を検出し、現在の再生対象のＧＯＰに表示タイミング情報が含まれない場合には、再生済みの一つ前のＧＯＰの復号時に検出されたピクチャ数、ピクチャ構造等の情報に基づいて、現在の再生対象のＧＯＰの表示タイミングを算出している。したがって、ネットワークを介して動画像データを受信しながら再生するといったストリーミング再生を行う場合やライブストリームのような動画像データを途中から再生する場合であっても、動画像データをリアルタイム且つ滑らかに再生することができる。

また、本実施形態の表示タイミング算出処理の手順は全てソフトウェアによって実行することができる。このため、表示タイミング算出処理の手順を実行するプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

２０２…映像処理アプリケーション、３１…制御部、３２…コンテンツ解析部、３３…表示タイミング算出部、３４…再生処理部、３５…データ保存部、３６…ピクチャ群情報検出部、３７…フレームレート算出部、１１１…ＨＤＤ、１１１Ａ…動画像データ。

Claims (6)

1. 所定の再生時間に対応する複数のピクチャをそれぞれ含む複数の処理単位から構成される符号化された動画像データを復号する復号手段と、
   前記復号手段によって前記動画像データ内の再生対象の処理単位が復号される際に、前記再生対象の処理単位内に含まれるピクチャをカウントすることによってピクチャの数を検出し、前記再生対象の処理単位内に含まれるプログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合を検出する検出手段と、
   前記再生対象の処理単位内にタイミング情報が含まれていない場合、前記再生対象の処理単位の一つ前の再生済みの処理単位の復号時に前記検出手段によって検出されたピクチャの数及び前記プログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合と、前記所定の再生時間とに基づいて再生フレームレートを算出するフレームレート算出手段と、
   前記算出された再生フレームレートに基づいて、前記再生対象の処理単位内に含まれる複数のピクチャの表示タイミングを決定する表示タイミング決定手段とを具備する映像処理装置。
2. 前記表示タイミング決定手段は、前記再生対象の処理単位内に前記タイミング情報が含まれている場合、前記タイミング情報に基づいて前記表示タイミングを決定する請求項１記載の映像処理装置。
3. 前記検出されたピクチャの数及び前記プログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合をメモリに保存する保存手段をさらに具備し、
   前記フレームレート算出手段は、前記メモリに保存されたピクチャの数及び前記プログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合と、前記所定の再生時間とに基づいて前記再生フレームレートを算出する請求項１記載の映像処理装置。
4. 所定の再生時間に対応する複数のピクチャをそれぞれ含む複数の処理単位から構成される符号化された動画像データを復号し、
   前記復号することによって前記動画像データ内の再生対象の処理単位が復号される際に、前記再生対象の処理単位内に含まれるピクチャをカウントすることによってピクチャの数を検出し、前記再生対象の処理単位内に含まれるプログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合を検出し、
   前記再生対象の処理単位内にタイミング情報が含まれていない場合、前記再生対象の処理単位の一つ前の再生済みの処理単位の復号時に前記検出することによって検出されたピクチャの数及び前記プログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合と、前記所定の再生時間とに基づいて再生フレームレートを算出し、
   前記算出された再生フレームレートに基づいて、前記再生対象の処理単位内に含まれる複数のピクチャの表示タイミングを決定する映像処理方法。
5. 前記決定することは、前記再生対象の処理単位内に前記タイミング情報が含まれている場合、前記タイミング情報に基づいて前記表示タイミングを決定する請求項４記載の映像処理方法。
6. 前記検出されたピクチャの数及び前記プログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合をメモリに保存することをさらに具備し、
   前記算出することは、前記メモリに保存されたピクチャの数及び前記プログレッシブ方式のフレームピクチャとインターレース方式のフィールドピクチャとの割合と、前記所定の再生時間とに基づいて前記再生フレームレートを算出する請求項４記載の映像処理方法。

Images