JP2004357205A - 画像データ伝送装置及び方法、画像データ再生装置及び方法 - Google Patents

Abstract

【課題】ストリーミング配信において、輻輳時でも画質劣化を抑制し、伝送帯域に応じた伝送レートで動画像の配信が可能な、画像データ伝送装置及び方法を提供する。
【解決手段】優先度決定部４３は、バッファ４２に格納された送信すべき符号化データをＶＯＰ単位で読み出し、ＶＰの符号化データ量とＭＢ数とに基づいてＶＯＰ単位による各ＶＰの優先度を計算する。送信制御部４４は、輻輳状況管理部４６で管理されるネットワーク６の現在の輻輳状況と、優先度決定部４３で計算された優先度とに基づいて、優先度の高いＶＰから順にデータ伝送可能な符号化データ量までのＶＰを決定する。ＶＰ送信部４５は、決定された各ＶＰを送信パケットに格納してクライアント５に順次送信する。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ伝送装置及び方法、画像データ再生装置及び方法に関し、より特定的には、圧縮符号化された画像データを用いて画像の伝送を行う画像データ伝送装置及び方法、並びに圧縮符号化された画像データを用いて画像の高速再生を行う画像データ再生装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像や音声等の情報信号をデジタル処理する技術が、めざましく進歩している。このデジタル技術の進歩により、高画質なデジタル画像信号をインターネット等のネットワークを介して伝送するシステムや、デジタル画像信号をハードディスク装置（ＨＤＤ）やＤＶＤ−ＲＡＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ−ＲＡＭ）に記録して再生する装置等が、様々に実用化されている。
【０００３】
デジタル信号処理における主要な技術の１つとして、デジタル化された情報信号を圧縮符号化するエンコード技術が挙げられる。このエンコード技術には、様々な規格が存在するが、特に動画像を扱う分野においてはＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格が主流となっている。例えば、デジタル放送システム等に利用されているＭＰＥＧ−２方式や、カメラ付き携帯電話による画像伝送等に利用されているＭＰＥＧ−４方式である。
【０００４】
周知のように、インターネットは、狭帯域から広帯域へ移りつつある。このため、画像データの利用方法も、画像データ全体をダウンロードした後で利用することに留まらず、ストリーム配信される画像データを受信部分から順にリアルタイムで再生するストリーミングによる利用も行われている。
【０００５】
このストリーミングでは、リアルタイムで画像配信を行う技術が重要であり、アクセスが集中する等のネットワーク上に過度の通信負荷、すなわち輻輳が生じた場合に、どのように対応するかが問題となる。従来、このような場合、受信側が再生に必要な画像データが到着するまで再生を一時停止するか、送信側が輻輳状況に応じた伝送レートとなるように画像データの一部を廃棄することを行っていた。このため、画像データの受信者は、輻輳時において、動画像の視聴が中断されたり、画質劣化した画像を視聴しなければならない等の課題があった。
【０００６】
この課題を解決するための技術の１つに、階層的符号化と呼ばれる技術がある。図１９は、第１の階層的符号化技術の概要を説明する図である。エンコーダ１０１は、入力する画像データに所定の圧縮符号化を施し、１つの画像データに対して異なる画質の複数の画像圧縮符号化データ（ストリーム）を生成する。図１９の例では、１Ｍｂｐｓ用の高画質・５００ｋｂｐｓ用の中画質・２００ｋｂｐｓ用の低画質の３つの画像圧縮符号化データが生成され、画像蓄積部１０２に格納されている。配信サーバ１０３は、画像を送信する際にネットワーク１０６の状態を確認し、その状態に応じた伝送レートで送信可能な画質の画像圧縮符号化データを、画像蓄積部１０２から読み出してクライアント１０５に送信する。
【０００７】
また、図２０は、ＭＰＥＧで規定されているスライス分割手法を用いた第２の階層的符号化技術の概要を説明する図である。エンコーダ１１１は、入力する画像データに所定の圧縮符号化を施して、画像圧縮符号化データを生成する。このとき、エンコーダ１１１は、配信サーバ１１３から与えられるネットワーク１０６の状態に応じた伝送レートに基づいて、入力する画像データを適切な画質の複数のスライスに分割し、それぞれに優先度を与える。配信サーバ１１３は、このスライスを優先度と共にクライアント１０５に送信する。
【０００８】
以下、ＭＰＥＧで規定されているスライス分割手法の概念を、簡単に説明する。なお、ＭＰＥＧ−４では、スライスのことをビデオパケット（ＶＰ）と呼んでいるため、以降の説明ではＶＰと記述する。
【０００９】
まず、ＭＰＥＧ−４方式による画像圧縮符号化された動画像は、図２１に示すような一連の画像によって構成される。ＭＰＥＧ−４では、このような一連の画像をビデオオブジェクト（ＶＯ）と呼ぶ。ＶＯは、複数のビデオオブジェクトプレーン（ＶＯＰ）から構成される。このＶＯＰは、画像データの基本単位であり、１画面に相当する。図中のＩ、Ｐ及びＢはそれぞれ、画面内符号化画像データであるＩフレームのＶＯＰ、画面間前方予測符号化画像データであるＰフレームのＶＯＰ、及び画面間双方向予測符号化画像データであるＢフレームのＶＯＰを表す。また、Ｉ−ＶＯＰを基準に区分される複数画面を組み合わせて、ＧＯＶ（ｇｒｏｕｐ ｏｆ ＶＯＰ）が構成される。各ＶＯＰは、ＶＰと呼ばれる複数の領域に分割されている（図２２）。各ＶＰは、複数のマクロブロック（ＭＢ）で構成される（図２３）。各ＭＢは、８×８画素サイズの４つのブロックからなる１６×１６画素サイズの輝度ブロックと、８×８画素サイズの２つの色差ブロックとで構成される（図２４）。このＭＢが持つ符号化データ量は、画像の内容に応じて異なる。
【００１０】
ＶＰ分割では、このＶＯＰ毎に、画像の動き量に応じた大きさのＶＰが生成される。具体的には、生成される各ＶＰの符号化データ量（ビット数）の総和が、同じ又は同じに等しい程度になるようにＶＯＰが分割される（図２５）。よって、動きが少ない領域ほど、多くのＭＢで構成される大きな領域のＶＰが生成され、動きが大きい領域ほど、少ないＭＢで構成される小さい領域のＶＰが生成される。例えば、図２２において、ＶＰ１やＶＰ７は、動きが小さい領域であるといえ、ＶＰ３、ＶＰ４及びＶＰ５は、動きが大きい領域であるといえる。図２６は、ＶＯＰストリーム及びＶＰの構造を示す図である。
【００１１】
このように、各ＶＰの符号化データ量を同程度に設定することにより、エラーが混入する確率は各ＶＰに対して均一となる。このため、画像に重要な動き領域のＶＰは空間的には小さくなり、エラーによる画質劣化が及ぶ範囲をより局所化できるのである。
なお、上述した階層的符号化技術に関する従来の技術は、例えば、特許文献１や特許文献２等に開示されている。
【００１２】
一方、デジタルネットワーク技術の進歩により、ＭＰＥＧ−４方式の画像圧縮符号化データと、ＭＰＥＧ−２方式の画像圧縮符号化データとが、混在して利用される場合も考えられる。これに対応する技術として、ＭＰＥＧ−２方式又はＭＰＥＧ−４方式等の異なった画像圧縮符号化データを１つの記録媒体に記録し、それぞれに再生可能な記録再生装置が、特許文献３で提案されている。
【００１３】
図２７は、特許文献３に記載されている記録再生装置の構成を示すブロック図である。図２７において、ＭＰＥＧ−２エンコーダ１２１は、入力画像信号をＭＰＥＧ−２方式に基づいて圧縮符号化する。ＭＰＥＧ−４エンコーダ１２２は、入力画像信号をＭＰＥＧ−４方式に基づいて圧縮符号化する。制御部１２３は、各エンコーダから供給された符号化データをＨＤＤ（画像蓄積部）１２４に記録する。また、制御部１２３は、ＨＤＤ１２４に記録された符号化データを再生する。ここで、制御部１２３は、ＭＰＥＧ−２方式の符号化データを再生する場合、ＨＤＤ１２４から再生した当該符号化データをＭＰＥＧ−２デコーダ１２５に供給する。また、制御部１２３は、ＭＰＥＧ−４方式の符号化データを再生する場合、ＨＤＤ１２４から再生した当該符号化データをＭＰＥＧ―４デコーダ１２６に供給する。これにより、従来の記録再生装置では、ＭＰＥＧ−２方式及びＭＰＥＧ−４方式それぞれの圧縮符号化に基づく動画像の記録及び再生を可能としている。
【００１４】
【特許文献１】
特開２０００−７８５７３号公報
【特許文献２】
特開平８−２４２４４５号公報
【特許文献３】
特開２００３−３２６１７号公報
【００１５】
【発明が解決しようとする課題】
しかしながら、上記第１の階層的符号化技術では、１つの画像データについて複数の画像圧縮符号化データを冗長的に保持する必要があり、大容量の記録媒体を使用しなければならないという問題がある。また、クライアントに送信できる画像が、冗長的に保持している画像圧縮符号化データのいずれかに制限されるため、常にネットワークの状態に最適な伝送レートで送信できるとは言えない。例えば、上述した３つの画像圧縮符号化データを保持している場合には、ネットワーク上で確保できる伝送帯域が１Ｍｂｐｓから８００ｋｂｐｓへ低下しただけでも、伝送画像の画質を５００ｋｂｐｓまで低下させなければならない。
【００１６】
また、上記第２の階層的符号化技術では、ネットワークの状態を常に意識しながら入力画像信号の圧縮符号化及びＶＰ分割を行わなければならないため、エンコード処理に大きな負担がかかる。特に、複数のクライアントがビデオオンデマンド（ＶＯＤ）で画像配信を要求するような場合には、複数のクライアントのそれぞれに対して異なるエンコード処理を実行する必要があるので、エンコード処理量が膨大となり現実的ではない。
【００１７】
一方、上述した従来の録画再生装置では、ＭＰＥＧ−２方式で提案されている画像の高速再生機能を、ＭＰＥＧ−４方式による画像圧縮符号化データに適用させた場合、違和感なく画像を高速再生することができないという課題があった。これは、高速再生に使用するＩフレームが、ＭＰＥＧ−２方式では約０．５秒に１回の周期で挿入されているのに対し、ＭＰＥＧ−４方式ではＩフレームに相当するＩ−ＶＯＰが、一般的に約５秒に１回等の低いの周期で挿入されているからである。このため、ＭＰＥＧ−２方式では、Ｉフレーム間の画像の変化が小さく高速再生画像に視覚的な違和感がなかったが、ＭＰＥＧ−４方式では、Ｉ−ＶＯＰ間の画像の変化が大きくなり高速再生画像に視覚的な違和感が生じるからである。
【００１８】
それ故に、本発明の目的は、エンコード処理に負担をかけることなく、画質劣化を抑制しつつ最適な伝送レートで画像データを伝送可能な画像データ伝送装置及び方法、及びＭＰＥＧ−４方式による画像データを違和感なく高速再生することが可能な画像データ再生装置及び方法を提供することである。
【００１９】
【課題を解決するための手段および発明の効果】
本発明は、上記目的を達成させるために、以下に示す特徴を備えている。
第１の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成される複数のＶＰに分割された画像データを、伝送する画像データ伝送装置である。この画像データ伝送装置は、複数のＶＰのそれぞれについて、１ＭＢ当たりの平均データ量を求め、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、当該平均データ量が大きい順に決定する優先度決定部と、画像データの伝送状況に基づいて、所定の区分内で伝送可能なデータ量を判断し、所定の区分毎に、ＶＰのデータの合計量が伝送可能なデータ量以下となる範囲で、優先度の高いＶＰを優先的に選択し、選択したＶＰを送信する送信制御部とを備える。
【００２０】
上記のように、第１の発明によれば、画像として重要である動き領域では１ＭＢ当たりのデータ量（符号化データ量）が多くなることを利用し、ＶＰのデータ量をＭＢ数で除算した値、すなわち平均データ量に基づいて優先度を決定する。そして、この優先度が高いＶＰを優先的に伝送することを行う。これにより、ネットワークの輻輳時等の画像データ伝送レートを下げざるを得ない状況において、伝送レートを最適化できると共に、画質劣化を抑制することが可能となる。特に、第１の発明では、動画像における重要度や優先順位を決定するために動き情報を用いることなく、伝送するデータ量に基づいて、パケット廃棄による伝送レート制御を行うことができる。また、各ＶＰのデータ量がほぼ均等である場合は、伝送エラーによる影響を局所化でき、エラー耐性を強化することもできる。
【００２１】
第２の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成されるほぼ等しいデータ量の複数のＶＰに分割された画像データを、伝送する画像データ伝送装置である。この画像データ伝送装置は、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、ＶＰを構成するＭＢの数が少ない順に決定する優先度決定部と、画像データの伝送状況に基づいて、所定の区分内で伝送可能なデータ量を判断し、所定の区分毎に、ＶＰのデータの合計量が伝送可能なデータ量以下となる範囲で、優先度の高いＶＰを優先的に選択し、選択したＶＰを送信する送信制御部とを備える。
【００２２】
上記のように、第２の発明によれば、画像として重要である動き領域では１ＭＢ当たりのデータ量が多くなることを利用し、各ＶＰのデータ量がほぼ均等である場合、ＭＢ数に基づいて優先度を決定する。そして、この優先度が高いＶＰを優先的に伝送することを行う。これにより、ネットワークの輻輳時等の画像データ伝送レートを下げざるを得ない状況において、伝送レートを最適化できると共に、画質劣化を抑制することが可能となる。特に、第２の発明では、動画像における重要度や優先順位を決定するために動き情報を用いることなく、伝送する符号化データ量に基づいて、パケット廃棄による伝送レート制御を行うことができる。また、第２の発明では、各ＶＰのデータ量がほぼ均等であるため、伝送エラーによる影響を局所化でき、エラー耐性が強化される。
【００２３】
第３の発明は、第１又は第２の発明に従属する画像データ伝送装置であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＶＯＰとすることを特徴とする。
第４の発明は、第１及び第２の発明に従属する画像データ伝送装置であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＧＯＶとすることを特徴とする。
【００２４】
第５の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成される複数のＶＰに分割された画像データを、伝送する画像データ伝送方法である。この画像データ伝送方法は、複数のＶＰのそれぞれについて、１ＭＢ当たりの平均データ量を求めるステップと、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、平均データ量が大きい順に決定するステップと、画像データの伝送状況に基づいて、所定の区分内で伝送可能なデータ量を判断するステップと、所定の区分毎に、ＶＰのデータの合計量が伝送可能なデータ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択したＶＰを送信するステップとを備える。
【００２５】
第６の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成されるほぼ等しいデータ量の複数のＶＰに分割された画像データを、伝送する画像データ伝送方法である。この画像データ伝送方法は、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、ＶＰを構成するＭＢの数が少ない順に決定するステップと、画像データの伝送状況に基づいて、所定の区分内で伝送可能なデータ量を判断するステップと、所定の区分毎に、ＶＰのデータの合計量が伝送可能なデータ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択したＶＰを送信するステップとを備える。
【００２６】
第７の発明は、第５又は第６の発明に従属する画像データ伝送方法であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＶＯＰとすることを特徴とする。
第８の発明は、第５及び第６の発明に従属する画像データ伝送方法であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＧＯＶとすることを特徴とする。
【００２７】
第９及び第１１の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成される複数のＶＰに分割された画像データを、伝送する方法を、コンピュータに実行させるためのプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体である。このプログラムは、複数のＶＰのそれぞれについて、１ＭＢ当たりの平均データ量を求めるステップと、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、平均データ量が大きい順に決定するステップと、画像データの伝送状況に基づいて、所定の区分内で伝送可能なデータ量を判断するステップと、所定の区分毎に、ＶＰのデータの合計量が伝送可能なデータ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択したＶＰを送信するステップとを、コンピュータに実行させる。
【００２８】
第１０及び第１２の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成されるほぼ等しいデータ量の複数のＶＰに分割された画像データを、伝送する方法を、コンピュータに実行させるためのプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体である。このプログラムは、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、ＶＰを構成するＭＢの数が少ない順に決定するステップと、画像データの伝送状況に基づいて、所定の区分内で伝送可能なデータ量を判断するステップと、所定の区分毎に、ＶＰのデータの合計量が伝送可能なデータ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択したＶＰを送信するステップとを、コンピュータに実行させる。
【００２９】
第１３の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成される複数のＶＰに分割された画像データを、復号して再生する画像データ再生装置である。この画像データ再生装置は、高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定する制御部と、複数のＶＰのそれぞれについて、１ＭＢ当たりの平均データ量を求め、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、当該平均データ量が大きい順に決定する優先度決定部と、画像データの所定の区分毎に、ＶＰのデータの合計量が有効データ量以下となる範囲で、優先度の高いＶＰを優先的に選択する選択部と、選択部で選択されたＶＰによって、画像データの高速再生用フレームを再構成する再構成部と、再構成された高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生する再生部とを備える。
【００３０】
上記のように、第１３の発明によれば、画像として重要である動き領域では１ＭＢ当たりのデータ量が多くなることを利用し、ＶＰのデータ量をＭＢ数で除算した値、すなわち平均データ量に基づいて優先度を決定する。そして、高速再生時においては、この優先度が高いＶＰを優先して再構成した高速再生用のＶＯＰを、再生速度に応じて生成することを行う。これにより、ＭＰＥＧ−４方式に基づく圧縮符号化データを高速再生するとき、違和感のないなめらかな動きで高速再生することが可能となる。また、高速再生用のＶＯＰは、動き領域を優先して生成されるため、ブロックノイズを抑制することが可能である。
【００３１】
第１４の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成されるほぼ等しいデータ量の複数のＶＰに分割された画像データを、復号して再生する画像データ再生装置である。この画像データ再生装置は、高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定する制御部と、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、ＶＰを構成するＭＢの数が少ない順に決定する優先度決定部と、画像データの所定の区分毎に、ＶＰのデータの合計量が有効データ量以下となる範囲で、優先度の高いＶＰを優先的に選択する選択部と、選択部で選択されたＶＰによって、画像データの高速再生用フレームを再構成する再構成部と、再構成された高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生する再生部とを備える。
【００３２】
上記のように、第１４の発明によれば、画像として重要である動き領域では１ＭＢ当たりのデータ量が多くなることを利用し、各ＶＰのデータ量がほぼ均等である場合、ＭＢ数に基づいて優先度を決定する。そして、高速再生時においては、この優先度が高いＶＰを優先して再構成した高速再生用のＶＯＰを、再生速度に応じて生成することを行う。これにより、ＭＰＥＧ−４方式に基づく圧縮符号化データを高速再生するとき、違和感のないなめらかな動きで高速再生することが可能となる。また、高速再生用のＶＯＰは、動き領域を優先して生成されるため、ブロックノイズを抑制することが可能である。
【００３３】
第１５の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、高速再生が通常再生のＮ倍（Ｎは、１以上の正の実数）の速度で行われる場合、再生部は、復号及び伸張した全フレームからＮ回に１回の割合で画像データを再生することを特徴とする。
第１６の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、高速再生が通常再生のＮ倍の速度で行われる場合、有効データ量が、通常再生時に復号及び伸張が可能な所定の区分単位のデータ量をＮで除算した値に設定されることを特徴とする。
【００３４】
第１７の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＶＯＰとすることを特徴とする。
第１８の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＧＯＶとすることを特徴とする。
第１９の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、所定の区分が、画面間前方予測符号化画像データであるＰフレーム及び画面間双方向予測符号化画像データであるＢフレームであることを特徴とする。
【００３５】
第２０の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、再生部は、任意のフレームで高速再生から通常再生へ切り替える場合、画像データの再生を停止すると共に、直前の画面内符号化画像データであるＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開することを特徴とする。
【００３６】
第２１の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、再生部は、任意のフレームで高速再生から通常再生へ切り替える場合、任意のフレームから直後の画面内符号化画像データであるＩフレームまでの残り時間を判断し、残り時間が所定の値以上であれば、画像データの再生を停止すると共に、直前のＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開し、残り時間が所定の値未満であれば、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする。
【００３７】
第２２の発明は、第１３又は第１４の発明に従属する画像データ再生装置であって、画像データの全フレームをそれぞれ復号及び伸張する復号部をさらに備え、再生部は、任意のフレームで高速再生から通常再生へ切り替える場合、復号部で復号及び伸張されたフレームの画像データを用いて、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする。
【００３８】
第２３の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成される複数のＶＰに分割された画像データを、復号して再生する画像データ再生方法である。この画像データ再生方法は、高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、複数のＶＰのそれぞれについて、１ＭＢ当たりの平均データ量を求めるステップと、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、平均データ量が大きい順に決定するステップと、画像データの所定の区分毎に、ＶＰのデータの合計量が有効データ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択されたＶＰによって、画像データの高速再生用フレームを再構成するステップと、再構成された高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを備える。
【００３９】
第２４の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成されるほぼ等しいデータ量の複数のＶＰに分割された画像データを、復号して再生する画像データ再生方法である。この画像データ再生方法は、高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、ＶＰを構成するＭＢの数が少ない順に決定するステップと、画像データの所定の区分毎に、ＶＰのデータの合計量が有効データ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択されたＶＰによって、画像データの高速再生用フレームを再構成するステップと、再構成された高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを備える。
【００４０】
第２５の発明は、第２３又は第２４発明に従属する画像データ再生方法であって、高速再生が通常再生のＮ倍の速度で行われる場合、再生するステップは、復号及び伸張した全フレームからＮ回に１回の割合で画像データを再生することを特徴とする。
第２６の発明は、第２３又は第２４の発明に従属する画像データ再生方法であって、高速再生が通常再生のＮ倍の速度で行われる場合、有効データ量が、通常再生時に復号及び伸張が可能な所定の区分単位のデータ量をＮで除算した値に設定されることを特徴とする。
【００４１】
第２７の発明は、第２３又は第２４の発明に従属する画像データ再生方法であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＶＯＰとすることを特徴とする。
第２８の発明は、第２３又は第２４の発明に従属する画像データ再生方法であって、圧縮符号化及びＶＰ分割が、ＭＰＥＧ−４方式に基づいて行われている場合、画像データの所定の区分を、ＧＯＶとすることを特徴とする。
第２９の発明は、第２３又は第２４の発明に従属する画像データ再生方法であって、所定の区分が、画面間前方予測符号化画像データであるＰフレーム及び画面間双方向予測符号化画像データであるＢフレームであることを特徴とする。
【００４２】
第３０の発明は、第２３又は第２４の発明に従属する画像データ再生方法であって、再生するステップは、任意のフレームで高速再生から通常再生へ切り替える場合、画像データの再生を停止すると共に、直前の画面内符号化画像データであるＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開することを特徴とする。
【００４３】
第３１の発明は、第２３又は第２４の発明に従属する画像データ再生方法であって、再生するステップは、任意のフレームで高速再生から通常再生へ切り替える場合、任意のフレームから直後の画面内符号化画像データであるＩフレームまでの残り時間を判断し、残り時間が所定の値以上であれば、画像データの再生を停止すると共に、直前のＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開し、残り時間が所定の値未満であれば、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする。
【００４４】
第３２の発明は、第２３又は第２４の発明に従属する画像データ再生方法であって、画像データの全フレームをそれぞれ復号及び伸張するステップをさらに備え、再生するステップは、任意のフレームで高速再生から通常再生へ切り替える場合、ステップで復号及び伸張されたフレームの画像データを用いて、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする。
【００４５】
第３３及び第３５の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成される複数のＶＰに分割された画像データを、復号して再生する画像データ再生方法を、コンピュータに実行させるためのプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体である。このプログラムは、高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、複数のＶＰのそれぞれについて、１ＭＢ当たりの平均データ量を求めるステップと、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、平均データ量が大きい順に決定するステップと、画像データの所定の区分毎に、ＶＰのデータの合計量が有効データ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択されたＶＰによって、画像データの高速再生用フレームを再構成するステップと、再構成された高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを、コンピュータに実行させる。
【００４６】
第３４及び第３６の発明は、基本画素構成であるＭＢ単位で圧縮符号化され、さらに少なくとも１つのＭＢで構成されるほぼ等しいデータ量の複数のＶＰに分割された画像データを、復号して再生する画像データ再生方法を、コンピュータに実行させるためのプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体である。このプログラムは、高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、画像データの所定の区分毎に、所定の区分に含まれる複数のＶＰの優先度を、ＶＰを構成するＭＢの数が少ない順に決定するステップと、画像データの所定の区分毎に、ＶＰのデータの合計量が有効データ量以下となる範囲で、優先度の高いＶＰを優先的に選択するステップと、選択されたＶＰによって、画像データの高速再生用フレームを再構成するステップと、再構成された高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを、コンピュータに実行させる。
【００４７】
【発明の実施の形態】
図１は、本発明の画像データ伝送装置及び画像データ再生装置に共通するシステム構成の概略を示す図である。エンコーダ１は、従来の技術で説明した通り、入力される画像データに圧縮符号化及びＶＰ分割処理を施して、高画質状態の複数のＶＯＰを逐次生成する。このエンコーダ１で生成されたＶＯＰ（図２２を参照）は、画像蓄積部２に順次蓄積される。画像データ処理部３は、画像蓄積部２に蓄積されたＶＯＰに対して特徴的な優先度決定処理を行い、この優先度に基づいて画像データ伝送又は画像データ再生を実行する。
【００４８】
以下、画像データ伝送装置及び方法に関する第１の実施形態と、画像データ再生装置及び方法に関する第２の実施形態とに分けて、本発明の特徴的な処理を説明する。各実施形態では、ＭＰＥＧ−４方式で画像圧縮が施された符号化データが、画像蓄積部２に蓄積されている例を説明する。この画像蓄積部２では、画像圧縮符号化データが、ハードディスク等の固定型の記録媒体に蓄積されていてもよいし、ＤＶＤ−ＲＡＭやメモリカード等の可搬型の記録媒体に蓄積されていてもよい。
【００４９】
（第１の実施形態）
図２は、本発明の第１の実施形態に係る画像データ伝送装置を含んだシステム構成を示す図である。図２のように、第１の実施形態は、図１の画像データ処理部３を、要求に応じて画像ストリームを配信する配信サーバの機能を有する画像データ伝送装置４、ユーザ操作によって画像のストリーミングを実行するクライアント５、及び双方を繋ぐネットワーク６とした構成である。以下、画像データ伝送装置４を中心に、本発明の第１の実施形態を説明する。
【００５０】
まず、図３を参照して、第１の実施形態に係る画像データ伝送装置４及びクライアント５の概要を説明する。図３は、図２の画像データ伝送装置４及びクライアント５の詳細な構成を示すブロック図である。
画像データ伝送装置４は、画像データ読込部４１と、バッファ４２と、優先度決定部４３と、送信制御部４４と、ＶＰ送信部４５と、輻輳状況管理部４６とを備える。クライアント５は、受信状況判定部５１と、ＶＰ受信部５２と、ビデオフレーム再構成部５３と、デコーダ５４と、モニタ出力部５５とを備える。
【００５１】
画像データ伝送装置４において、画像データ読込部４１は、クライアント５から要求されたストリーミング用画像データ、すなわち画像圧縮符号化データを画像蓄積部２から読み込んで、バッファ４２に順次蓄積する。バッファ４２は、画像圧縮符号化データを一時的に蓄積する。
【００５２】
優先度決定部４３は、ＶＯＰ単位又はＧＯＶ単位で、バッファ４２から画像圧縮符号化データを読み出す。そして、優先度決定部４３は、読み出したデータから得られるＶＰの符号化データ量とＶＰに含まれるＭＢ数とに基づいて、各ＶＰの優先度を計算する。この計算手法は、後述する。優先度決定部４３で計算された優先度の情報は、各ＶＰの識別子と共に送信制御部４４に通知される。この識別子は、ＶＰの送信順序、ＶＯＰの同期再生のための時間情報、又はＶＰの画像蓄積部２での蓄積位置等に基づいて、各ＶＰに付与される。
【００５３】
輻輳状況管理部４６は、ネットワーク６を監視し、輻輳状況に関する情報を送信制御部４４に伝える。なお、本第１の実施形態では、輻輳状況管理部４６が、クライアント５から送信される受信状況（受信データ帯域やパケット破棄率）を監視する例を説明しているが、ネットワーク６の状況を直接監視するようにしてもよい。
【００５４】
送信制御部４４は、輻輳状況管理部４６から伝えられる現在の輻輳状況に関する情報と、優先度決定部４３から通知される各ＶＰの優先度情報とに基づいて、クライアント５へ送信すべきＶＰを決定する。この決定手法については後述する。そして、送信制御部４４は、送信すべきＶＰの識別子をＶＰ送信部４５に通知する。
【００５５】
ＶＰ送信部４５は、送信制御部４４から通知されるＶＰ識別子に従って、送信すべきＶＰの画像圧縮符号化データをバッファ４２からそれぞれ取得する。そして、ＶＰ送信部４５は、取得した画像圧縮符号化データを、ビデオストリームを構成する所定の送信パケットに各々格納し、ネットワーク６を介してクライアント５に順次送信する。
【００５６】
一方、クライアント５において、ＶＰ受信部５２は、画像データ伝送装置４から送信されるビデオストリームを受信し、ビデオストリームから画像圧縮符号化データを抽出する。抽出された画像圧縮符号化データは、ビデオフレーム再構成部５３に供給される。また、ＶＰ受信部５２は、抽出した画像圧縮符号化データのデータ量や、各ＶＰのシーケンス番号（後述する図７の送信ヘッダ部に格納されている）を受信状況判定部５１に通知する。ビデオフレーム再構成部５３は、ＶＰ受信部５２より供給された複数のＶＰから、１つの画面に相当するＶＯＰ単位の画像圧縮符号化データを復元する。
【００５７】
デコーダ５４は、ビデオフレーム再構成部５３で復元された画像圧縮符号化データを復号及び伸張し、非圧縮の元の画像データに変換する。モニタ出力部５５は、デコーダ５４で変換された元の画像データを画像信号に変換し、外部モニタ等（図示せず）に供給する。これにより、クライアント５のユーザは、所望の番組をリアルタイムで視聴することができる。受信状況判定部５１は、受信した画像圧縮符号化データのデータ量等の情報をＶＰ受信部５２から受け取り、現在の受信データ帯域を計算する。そして、受信状況判定部５１は、その計算結果を受信状況として画像データ伝送装置４へ送信する。
【００５８】
次に、上記構成による画像データ伝送装置４の詳細な動作について、図４〜図９を用いて説明する。図４は、本発明の第１の実施形態に係る画像データ伝送方法の処理手順を示すフローチャートである。図５は、ＶＰから平均符号化データ量を算出する一例を示す図である。図６は、図５の平均符号化データ量に基づいてＶＯＰ単位で作成される優先度リストの一例を示す図である。図７は、ＶＰ送信部４５で生成される送信パケットの構造を示す図である。
【００５９】
送信すべき画像圧縮符号化データがバッファ４２に蓄積されると、優先度決定部４３は、バッファ４２から１つのＶＯＰに関する全てのＶＰを取得する（ステップＳ４０１）。このＶＯＰ単位の取得は、ＶＯＰの切れ目部分を示すマーカビットがＶＰに設定されているか否かや、次のＶＯＰのＶＯＰヘッダが確認されたか否か等によって、容易に判断可能である。次に、送信制御部４４は、ネットワーク６上の画像データ伝送に使用する帯域が、１つのＶＯＰに関する全てのＶＰを伝送するために十分な帯域であるか否かを判断する（ステップＳ４０２）。すなわち、送信制御部４４が、輻輳状況管理部４６から与えられる情報に基づいて、使用する帯域の状況を確認する。帯域が十分である場合（輻輳が生じていない場合）、ＶＰ送信部４５は、優先度決定部４３が取得した全てのＶＰについて送信パケットを生成し、クライアント５へ送信する（ステップＳ４０３）。
【００６０】
一方、帯域が十分でない場合（輻輳が生じている場合）、優先度決定部４３は、取得した全てのＶＰについて、ＶＰの符号化データ量及びＶＰ内に含まれるＭＢの数を抽出し、平均符号化データ量（＝符号化データ量／ＭＢ数）を求める（ステップＳ４０４）。例えば、図２５に示した各ＶＰについて平均符号化データ量を求めると、図５のような値になる。図５の例では、ＶＰの符号化データ量をキロビット（ｋｂｉｔ）で、ＭＢ数を個数でそれぞれ表している。次に、優先度決定部４３は、求めた平均符号化データ量に従って、平均符号化データ量が多いＶＰの順に送信の優先度を与えた優先度リストを作成する（ステップＳ４０５）。この優先度リストでは、優先度が高いＶＰ順にその符号化データ量を累積した累積データ量も求められる。図５に基づいて作成される優先度リストは、図６のようになる。なお、平均符号化データ量が同じＶＰは、ＶＯＰ内の位置等で順番を決めればよい。
【００６１】
次に、送信制御部４４は、輻輳状況管理部４６で取得する輻輳状況に関する情報に基づいて、現在ネットワーク６上で画像データ伝送が可能なデータ量を判断する（ステップＳ４０６）。そして、送信制御部４４は、作成された優先度リストを参照して、優先度リストの先頭ＶＰから、累積データ量が上記判断した画像データ伝送が可能なデータ量以内に収まるＶＰまでを、送信可能なＶＰに決定する（ステップＳ４０７）。例えば、図６に示す優先度リストに対して、画像データ伝送が可能なデータ量が４００ｋｂｉｔであった場合には、ＶＰ４、ＶＰ３、ＶＰ５及びＶＰ２までの４つが、送信可能なＶＰに決定される。
【００６２】
なお、優先度リストの各累積データ量を１秒当たりの伝送レート（ｋｂｐｓ）で表現し、送信制御部４４で画像の伝送レートを判断しても、送信可能なＶＰを決定することが同様に可能である。この場合、１秒当たりのＶＯＰ数（ｆｐｓ）を考慮する必要がある。例えば、１秒当たりのＶＯＰ数が１０ｆｐｓであるときには、優先度リストの各累積データ量を１０倍にする。
【００６３】
ＶＰ送信部４５は、決定されたＶＰについて送信パケットを生成し、クライアント５へ送信する（ステップＳ４０８）。この送信パケットは、図７に示すように、マーカビット、タイムスタンプ及びその他の管理情報から構成される送信ヘッダ部と、ＶＰのデータを格納するペイロード部とで構成される。送信パケットがクライアント５へ送信されると、送信制御部４４は、優先度リストをクリアする（ステップＳ４０９）。上述したステップＳ４０１〜Ｓ４０９の処理は、伝送すべき画像データについて、ＶＯＰ単位で繰り返し実行される（ステップＳ４１０）。
このような動作により、画像データ伝送装置４は、ネットワーク６の輻輳状況等に応じた伝送レートでデータ伝送を制御することが可能となる。
【００６４】
さて、上述の例では、１つのＶＯＰ内で各ＶＰの優先度を決定する場合を説明した。しかし、これ以外にも、１つのＧＯＶ内（図２１を参照）で全ＶＯＰの各ＶＰの優先度を決定してもよい。図８は、本発明の第１の実施形態に係る画像データ伝送方法の他の処理手順を示すフローチャートである。図９は、ＧＯＶ単位で作成される優先度リストの一例を示す図である。
【００６５】
送信すべき画像圧縮符号化データがバッファ４２に蓄積されると、優先度決定部４３は、バッファ４２から１つのＧＯＶを構成する複数のＶＯＰに関する全てのＶＰを取得する（ステップＳ８０１）。このＧＯＶ単位の取得は、Ｉ−ＶＯＰのＶＯＰヘッダを判断すれば容易である。次に、送信制御部４４は、ネットワーク６上の画像データ伝送に使用する帯域が、１つのＧＯＶを構成する複数のＶＯＰに関する全てのＶＰを伝送するために、十分な帯域であるか否かを判断する（ステップＳ８０２）。帯域が十分である場合（輻輳が生じていない場合）、ＶＰ送信部４５は、取得した全てのＶＰについて送信パケットを生成し、クライアント５へ送信する（ステップＳ８０３）。
【００６６】
一方、帯域が十分でない場合（輻輳が生じている場合）、優先度決定部４３は、取得したＧＯＶ内の全てのＶＰについて、ＶＰの符号化データ量及びＶＰ内に含まれるＭＢの数を抽出し、上述したように平均符号化データ量を求める（ステップＳ８０４）。次に、優先度決定部４３は、求めた平均符号化データ量に従って、平均符号化データ量が多いＶＰの順に送信の優先度を与えた優先度リストを作成する（ステップＳ８０５）。この優先度リストでは、優先度が高いＶＰ順にその符号化データ量を累積した累積データ量も求められる。作成される優先度リストは、例えば図９のようになる。
【００６７】
次に、送信制御部４４は、輻輳状況管理部４６で取得する輻輳状況に関する情報に基づいて、現在ネットワーク６上で画像データ伝送が可能なデータ量を判断し、ＧＯＶ時間に換算したデータ量を求める（ステップＳ８０６）。ＧＯＶ時間とは、１ＧＯＶを構成する全てのＶＯＰの送信を完了させるべき時間、すなわち遅延許容時間である。例えば、１秒当たりのＶＯＰ数が１０ｆｐｓであり、かつＧＯＶ時間が５秒であるときに、画像データ伝送が可能なデータ量が１ＶＯＰ当たり４００ｋｂｉｔであった場合には、ＧＯＶ時間に換算したデータ量は、２００００（＝１０×５×４００）ｋｂｉｔとなる。そして、送信制御部４４は、作成された優先度リストを参照して、優先度リストの先頭ＶＰから、累積データ量が上記ＧＯＶ時間に換算したデータ量以内に収まるＶＰまでを、送信可能なＶＰに決定する（ステップＳ８０７）。
【００６８】
なお、優先度リストの各累積データ量をＧＯＶ時間で除算した値、すなわち１秒当たりの伝送許可レートをそれぞれ求め、優先度リストの先頭ＶＰから累積伝送許可レートが画像データ伝送が可能な伝送レート以内に収まるＶＰまでを、送信可能なＶＰに決定しても同様である。
【００６９】
ＶＰ送信部４５は、決定されたＶＰについて送信パケットを生成し、クライアント５へ送信する（ステップＳ８０８）。送信パケットがクライアント５へ送信されると、送信制御部４４は、優先度リストをクリアする（ステップＳ８０９）。上述したステップＳ８０１〜Ｓ８０９の処理は、伝送すべき画像データについて、ＧＯＶ単位で繰り返し実行される（ステップＳ８１０）。
このような動作により、画像データ伝送装置４は、ネットワーク６の輻輳状況等に応じた伝送レートでデータ伝送を制御することが可能となる。
【００７０】
次に、クライアント５の詳細な動作について、図１０を用いて説明する。図１０は、本発明の第１の実施形態に係るクライアントが行う処理手順を示すフローチャートである。
【００７１】
まず、ビデオフレーム再構成部５３が、内部に保持するデコーダ用バッファ（図示せず）をクリアする（ステップＳ１００１）。その後、ＶＰ受信部５２は、ネットワーク６を介して画像データ伝送装置４から送信されてくる送信パケットを受信する（ステップＳ１００２）。次に、ビデオフレーム再構成部５３は、送信パケットのペイロード部に格納されている画像圧縮符号化データ（図７を参照）を、デコーダ用バッファの最後尾に追加する（ステップＳ１００３）。そして、ビデオフレーム再構成部５３は、送信パケットにマーカビットが設定されているか否かを確認する（ステップＳ１００４）。マーカビットが設定されていない場合は、ＶＰ受信部５２によって次の送信パケットの受信が行われる。
【００７２】
マーカビットが設定されている場合、ビデオフレーム再構成部５３は、現在時刻ｔを取得する（ステップＳ１００５）。次に、ビデオフレーム再構成部５３は、取得した現在時刻ｔと送信パケットに含まれるタイムスタンプの時刻とが、ほぼ同一か否かを確認する（ステップＳ１００６）。双方の時刻がほぼ同一になると、デコーダ５４は、ビデオフレーム再構成部５３のデコーダ用バッファに格納された符号化データをデコードする（ステップＳ１００７）。そして、デコーダ５４は、デコードされた画像データに基づく画像を、モニタ出力部５５を介して外部モニタに供給する（ステップＳ１００８）。
【００７３】
上記ステップＳ１００１〜Ｓ１００８までの処理は、全ての画像の再生が終了するまで繰り返し行われる（ステップＳ１００９）。このような動作により、クライアント５は、ＶＰを順次受信し、ＶＰから得られる画像を外部モニタに再生表示させることができる。
【００７４】
以上のように、本発明の第１の実施形態に係る画像データ伝送装置及び方法によれば、画像として重要である動き領域では１ＭＢ当たりの符号化データ量が多くなることを利用し、符号化データ量をＭＢ数で除算した平均符号化データ量に基づいて、優先度を決定する。そして、この平均符号化データ量が多いＶＰを優先的に伝送することを行う。これにより、ネットワークの輻輳時等の画像データ伝送レートを下げざるを得ない状況において、伝送レートを最適化できると共に、画質劣化を抑制することが可能となる。特に、本画像データ伝送装置は、動画像における重要度や優先順位を決定するために動き情報を用いることなく、伝送する符号化データのデータ量に基づいて、パケット廃棄による伝送レート制御を行うことができる。また、本画像データ伝送装置では、各ＶＰの符号化データ量をほぼ均等にしているため、伝送エラーによる影響を局所化でき、エラー耐性を強化することもできる。
【００７５】
さらに、クライアント５が、現在の受信データ帯域を計算し、計算した結果を画像データ伝送装置４に通知している。このため、ネットワーク６上で輻輳が発生した場合でも、その状況に適応した伝送帯域によるビデオストリームの送受信が可能となる。
【００７６】
なお、エンコーダ１によっては、圧縮符号化されたＶＰを送信パケットの形式で画像蓄積部２に蓄積する場合がある。このような場合には、ＶＯＰヘッダと任意のＶＰとが、予め１つの送信パケットにパケット化されていることもあり得る。このようなときには、クライアント５側で安定した画像再生を実現させるために、ＶＯＰヘッダを格納する送信パケットを、一緒に格納されているＶＰの優先度にかかわらず、優先的にクライアント５に送信すればよい。
【００７７】
また、上記第１の実施形態では、ネットワークの状況に基づいて画像データ（ＶＰ）伝送が可能なデータ量を判断する例を示したが、本発明はこれに限定されない。例えば、画像データ伝送装置の内部又は外部における画像データ伝送用のバス（ＰＣＩバス等）の利用状況に基づいて、画像データ伝送が可能なデータ量を判断してもよい。また、画像データ伝送装置又はクライアントのＣＰＵ負荷状況に基づいて、画像データ伝送が可能なデータ量を判断してもよい。
【００７８】
（第２の実施形態）
図１１は、本発明の第２の実施形態に係る画像データ再生装置を含んだシステム構成を示す図である。図１１のように、第２の実施形態は、図１の画像データ処理部３を、画像蓄積部２に蓄積された動画像の圧縮符号化データを再生（高速再生を含む）する画像データ再生装置７とした構成である。この画像データ再生装置７は、媒体に記録された画像圧縮符号化データから画像を再生できる機能を有した装置であればその形態は問わない。例えば、画像録画機能も有したＤＶＤレコーダやパーソナルコンピュータであってもよい。以下、画像データ再生装置７を中心に、本発明の第２の実施形態を説明する。
【００７９】
まず、図１２を参照して、第２の実施形態に係る画像データ再生装置７の概要を説明する。図１２は、図１１の画像データ再生装置７の詳細な構成を示すブロック図である。
画像データ再生装置７は、画像データ読込部７１と、バッファ７２と、優先度決定部７３と、高速再生制御部７４と、ＶＰ選択部７５と、ＶＯＰ再構成部７６と、主制御部７７と、切替部７８と、タイミング調整部７９と、デコーダ８０と、ＶＯＰ抽出部８１と、表示出力部８２と、ユーザ入力部８３とを備える。タイミング調整部７９、デコーダ８０、ＶＯＰ抽出部８１及び表示出力部８２は、画像を再生する再生部として機能する。
【００８０】
ユーザ入力部８３は、リモコンやキーボード等であり、ユーザ操作によって与えられる各種指示を画像データ再生装置７に通知するユーザインタフェースである。ユーザ入力部８３は、ユーザからの指示を、ユーザ指示情報として主制御部７７に通知する。主制御部７７は、ユーザ指示情報に応じた処理を実行するよう各部に指令し、また処理に必要な情報を各部に通知する。必要な情報とは、画像蓄積部２から画像を検索するための画像識別情報や、画像の再生速度を与える再生速度情報等である。例えば、ユーザ指示情報が「画像Ｘの２倍速再生」である場合には、主制御部７７は、画像Ｘを画像蓄積部２から読み出すための画像識別情報、及び再生速度を２倍にする画像速度情報を通知する。なお、主制御部７７は、ユーザ入力部８３から通知される再生、停止、早送り等の画像処理全般を制御するが、以下本発明の特徴である画像の再生処理に関してのみ説明を行う。
【００８１】
画像データ読込部７１は、主制御部７７から与えられる指令及び画像識別情報に応じて、画像圧縮符号化データを画像蓄積部２から読み込んで、バッファ７２に順次蓄積する。また、画像データ読込部７１は、後述する高速再生制御部７４から与えられる指令によっても、画像圧縮符号化データを画像蓄積部２から読み込んで、バッファ７２に順次蓄積する。バッファ７２は、画像圧縮符号化データを、ＶＯＰ単位やＧＯＶ単位で一時的に蓄積する。
【００８２】
優先度決定部７３は、Ｐ−ＶＯＰ及びＢ−ＶＯＰについて、バッファ７２から画像圧縮符号化データを読み出す。そして、優先度決定部７３は、読み出したデータから得られるＶＰの符号化データ量とＶＰに含まれるＭＢ数とに基づいて、Ｐ−ＶＯＰ及びＢ−ＶＯＰに関して各ＶＰの優先度を計算する。この優先度の計算手法は、上記第１の実施形態で述べた通りである。優先度決定部７３で計算された優先度の情報は、各ＶＰの識別子と共に高速再生制御部７４に通知される。
【００８３】
高速再生制御部７４は、主制御部７７から高速再生を指令されたとき、主制御部７７から与えられる再生速度情報と、優先度決定部７３から通知される各ＶＰの優先度情報とに基づいて、高速再生に使用可能なＶＰを決定する。この決定手法については後述する。そして、高速再生制御部７４は、高速再生に使用可能なＶＰの識別子をＶＰ選択部７５に通知する。また、高速再生制御部７４は、再生速度情報に基づく再生速度に応じた制御や高速再生終了時の制御を、切替部７８、タイミング調整部７９及びＶＯＰ抽出部８１に対して行う。
【００８４】
ＶＰ選択部７５は、高速再生制御部７４から通知されるＶＰ識別子に従って、高速再生に使用可能なＶＰの画像圧縮符号化データをバッファ７２からそれぞれ選択／取得して、ＶＯＰ再構成部７６に供給する。ＶＯＰ再構成部７６は、ＶＰ選択部７５から選択されたＶＰを受け取り、このＶＰを用いて高速再生用のＶＯＰを再構成する。
【００８５】
切替部７８は、画像を通常再生するか高速再生するかによって、取得するＶＯＰを選択的に切り替える。主制御部７７から通常再生の指令を受けた場合、切替部７８は、本来のＶＯＰをバッファ７２から取得して、デコーダ８０へ供給する。主制御部７７から高速再生の指令を受けた場合、切替部７８は、高速再生制御部７４の指令に従い、Ｉ−ＶＯＰに関しては本来のＶＯＰをバッファ７２から取得し、Ｐ−ＶＯＰ及びＢ−ＶＯＰに関しては再構成されたＶＯＰをＶＯＰ再構成部７６から取得して、デコーダ８０へ供給する。
【００８６】
デコーダ８０は、切替部７８からＶＯＰを受け取り、圧縮符号化されている画像データを復号及び伸張し、非圧縮の元の画像データに変換する。タイミング調整部７９は、高速再生制御部７４から与えられる制御情報に基づいて、通常再生や高速再生に応じたデコード処理を実行するためのタイミングを生成して、デコーダ８０に供給する。また、タイミング調整部７９は、高速再生制御部７４から与えられる制御情報に基づいて、所定の画像データを抽出するタイミングを生成して、ＶＯＰ抽出部８１に供給する。
【００８７】
ＶＯＰ抽出部８１は、タイミング調整部７９から供給されるタイミングに基づいて、ＶＯＰ単位で所定の画像データを抽出する。また、ＶＯＰ抽出部８１は、高速再生制御部７４からの指令により、高速再生終了時の処理も行う。表示出力部８２は、ＶＯＰ抽出部８１で抽出された画像データをモニタ等に表示できる画像信号に変換して出力する。なお、画像圧縮符号化データには音声に関するデータ等も含まれるのが通常であり、本発明の画像データ再生装置が、音声データ等も含めた処理を行う装置であることは言うまでもない。
【００８８】
次に、上記構成による画像データ再生装置７の詳細な動作について、図１３〜図１６を用いて説明する。図１３は、画像データ再生装置７で通常再生が行われるときの動作を説明するための図である。図１４は、画像データ再生装置７で高速再生（２倍速再生）が行われるときの動作を説明するための図である。図１３及び図１４では、画像蓄積部２からＩ−ＶＯＰ、Ｐ１−ＶＯＰ及びＰ２−ＶＯＰが読み出される一例を示している。また、各ＶＯＰは、符号化データ量をほぼ均等にしたＶＰ１〜ＶＰ４により構成されている場合を示している。
【００８９】
最初に、通常再生について説明する。ある画像の通常再生がユーザ入力部８３を介して指示された場合、主制御部７７は、指示された画像の画像識別情報を画像データ読込部７１に通知する。これにより、指示された画像の圧縮符号化データが、ＶＯＰ単位で画像蓄積部２から順次読み出され、バッファ７２に蓄積される（図１３の（ａ））。バッファ７２に蓄積された画像圧縮符号化データは、切替部７８を介してデコーダ８０に供給される。デコーダ８０は、Ｉ−ＶＯＰを構成する全ＶＰの画像圧縮符号化データから１つの画面に相当する非圧縮の画像データを生成する。同様に、デコーダ８０は、Ｐ１−ＶＯＰ及びＰ２−ＶＯＰについても全ＶＰの符号化データから１つの画面に相当する非圧縮の画像データをそれぞれ生成する（図１３の（ｂ））。表示出力部８２は、生成された非圧縮の画像データを画像信号としてモニタ等に供給する。これにより、モニタ等にＶＯＰ単位の画像が表示され、動画像の通常再生が実行される（図１３の（ｃ））。
【００９０】
次に、高速再生について説明する。ある画像の２倍速再生がユーザ入力部８３を介して指示された場合、主制御部７７は、指示された画像の画像識別情報を画像データ読込部７１に通知する。さらに、主制御部７７は、高速再生制御部７４に対して、再生速度情報を通知すると共に高速再生の処理を実行するように指令する。これにより、指示された画像の圧縮符号化データが、ＶＯＰ単位で画像蓄積部２から順次読み出され、バッファ７２に蓄積される（図１４の（ａ））。バッファ７２に蓄積された画像圧縮符号化データのうちＰ−ＶＯＰ及びＢ−ＶＯＰを構成するＶＰについては、優先度決定部７３において各ＶＰの優先度が決定される。高速再生制御部７４は、主制御部７７からの再生速度情報と、優先度決定部７３からの優先度の情報とに基づいて、Ｐ−ＶＯＰ及びＢ−ＶＯＰ内で高速再生に利用可能なＶＰを決定する（図１４の（ｂ））。
【００９１】
図１４の（ｂ）では、Ｐ１−ＶＯＰに関してＶＰ１及びＶＰ３が優先度の高いＶＰとして決定され、Ｐ２−ＶＯＰに関してＶＰ１及びＶＰ２が優先度の高いＶＰとして決定された場合を示している。なお、詳細については後述するが、Ｎ倍の高速再生を行う場合、１つのＶＯＰにおける総符号化データ量に対して、その符号化データ量の合計がほぼＮ分の１となるＶＰが、高速再生に利用可能なＶＰとして決定されることになる。この決定されたＶＰは、ＶＯＰ再構成部７６において高速再生用のＶＯＰに再構成される（図１４の（ｃ））。
【００９２】
Ｉ−ＶＯＰ及び再構成されたＰ−ＶＯＰ及びＢ−ＶＯＰは、切替部７８を介してデコーダ８０にそれぞれ供給される。すなわち、Ｉ−ＶＯＰを処理する場合には、その画像圧縮符号化データがバッファ７２からデコーダ８０に供給され、Ｐ−ＶＯＰ及びＢ−ＶＯＰを処理する場合には、その画像圧縮符号化データがＶＯＰ再構成部７６からデコーダ８０に供給される。そして、デコーダ８０は、Ｉ−ＶＯＰに対しては、それを構成する全ＶＰから非圧縮の画像データを生成し、Ｐ−ＶＯＰ及びＢ−ＶＯＰに対しては、再構成された優先度の高いＶＰのみからなる非圧縮の画像データを生成する。
【００９３】
例えば、Ｐ１−ＶＯＰに対応する画像データは、ＶＰ１及びＶＰ３だけで生成され、Ｐ２−ＶＯＰに対応する画像データは、ＶＰ１及びＶＰ２だけで生成される（図１４の（ｄ））。よって、画像処理としては、これらの優先度の高いＶＰ部分だけが、直前の画像から更新されることになる。このように、１つのＶＯＰに対して再構成に用いるＶＰの数を削減しているため、デコーダ８０の処理能力が低い（等倍速の復号しかできない）場合でも、これらのＶＯＰから高速再生に対応した画像データの生成を行うことができるのである。
【００９４】
ＶＯＰ抽出部８１は、ほぼ２倍の速さで生成されたＶＯＰ単位の画像データから２回に１回の割合で画像データを抽出し、表示出力部８２に供給する。すなわち、図１４の（ｅ）で示すように、２倍の高速再生の場合でも、表示レートは通常再生と同一であるが、その表示レートで画像出力されるＶＯＰの間隔が異なる。これにより、例えば、通常再生の場合には、図１３の（ｃ）で示すように画像がＩ、Ｐ１、Ｐ２と順に出力されるのに対し、２倍の高速再生の場合には、図１４の（ｅ）で示すように画像がＩ、Ｐ２、Ｐ４という順に出力される。言い換えれば、図１４の（ｅ）の場合には、動画像が時間的に２倍の速度で出力される。
【００９５】
なお、通常、モニタ等は、表示のための表示レート、すなわち同期周波数が固定であるため、ＶＯＰ抽出部８１において、Ｎ倍速の場合にはＮ回に１回ＶＯＰを抽出する処理を行っている。しかし、この表示レートを固定する必要がない場合には、ＶＯＰ抽出部８１の構成を用いることなく、ＶＯＰ再構成部７６で再構成した全てのＶＯＰの画像を表示させるような構成も可能である。
【００９６】
次に、図１５及び図１６を参照して、上述した高速再生処理を実行するために画像データ再生装置７が行う各手順を説明する。図１５は、本発明の第２の実施形態に係る画像データ再生方法の処理手順を示すフローチャートである。図１６は、画像データ再生装置７において、高速再生から通常の再生に移行するときの動作を説明するための図である。
【００９７】
主制御部７７から高速再生制御部７４に対して、高速再生の指令が通知されることにより、図１５に示す高速再生処理が開始される。始めに、高速再生制御部７４は、主制御部７７から高速再生の指令と共に通知される再生速度情報に基づいて、再生速度に応じたタイミングを設定するようにタイミング調整部７９に通知する（ステップＳ１５０１）。次に、高速再生制御部７４は、高速再生用としてＶＯＰ再構成部７６に供給する１ＶＯＰ当たりの符号化データ量を、有効データ量として計算する（ステップＳ１５０２）。有効データ量は、例えば、通常再生時における１ＶＯＰ当たりの符号化データ量Ａを、再生速度Ｂで除算した値（＝Ａ／Ｂ）にすればよい。この有効データ量は、優先度順にＶＰを選択するときのしきい値として利用される。
【００９８】
次に、高速再生制御部７４は、高速再生処理の対象となるＶＯＰが、Ｉ−ＶＯＰか否かを判定する（ステップＳ１５０３）。Ｉ−ＶＯＰである場合、画像データ再生装置７の各部において、Ｉ−ＶＯＰを構成する全ＶＰによる画像データの生成処理が実行される（ステップＳ１５０４）。これに対し、Ｐ−ＶＯＰ又はＢ−ＶＯＰである場合、優先度決定部７３が、バッファ７２から１つのＶＯＰに関する全てのＶＰを取得する（ステップＳ１５０５）。次に、優先度決定部７３は、取得した全てのＶＰについて、ＶＰ内に含まれるＭＢ数及びＶＰの符号化データ量を抽出し、平均符号化データ量を求める（ステップＳ１５０６、図５を参照）。そして、優先度決定部７３は、求めた平均符号化データ量に従って、平均符号化データ量が多いＶＰの順に再生に利用可能な優先度を与えた優先度リストを作成する（ステップＳ１５０７、図６を参照）。
【００９９】
次に、高速再生制御部７４は、作成された優先度リストを参照して、優先度リストの先頭ＶＰから、累積データ量が上記有効データ量以内に収まるＶＰまでを、再生に利用可能なＶＰに決定する（ステップＳ１５０８）。例えば、符号化データ量Ａが６００ｋｂｉｔであるときに２倍速再生を行う場合、有効データ量は３００（＝６００／２）ｋｂｉｔとなる。よって、図６に示す優先度リストでは、ＶＰ４、ＶＰ３及びＶＰ５までの３つが、再生に利用可能なＶＰに決定される。この決定されたＶＰは、バッファ７２からＶＯＰ再構成部７６へ供給され、ＶＯＰ再構成部７６において高速再生用のＶＯＰに再構成される（ステップＳ１５０９）。このとき、優先度リストがクリアされる（ステップＳ１５１０）。ＶＯＰが再構成されると、このＶＯＰを構成するＶＰによる画像データの生成処理が実行される（ステップＳ１５１１）。
【０１００】
１つのＶＯＰに関する処理が終了すると、高速再生制御部７４は、主制御部７７から、実行中の高速再生を終了する指令があるか否かを判定する（ステップＳ１５１２）。終了の指令がない場合、高速再生制御部７４は、ステップＳ１５０３に戻って次のＶＯＰに関する再生処理を行う。終了の指令がある場合、高速再生制御部７４は、ＶＯＰ抽出部８１に対して、表示停止処理を実行させるように指令する。この指令に応じて、ＶＯＰ抽出部８１は、画像データの抽出を一時停止し、高速再生の終了が指令されたときの画像データを静止画像として表示出力部８２に供給する処理を行う（ステップＳ１５１３）。その後、高速再生制御部７４は、画像データ読込部７１に対して、終了時点のＧＯＶの先頭にあるＩ−ＶＯＰを検索するように指令する。この指令に応じて、画像データ読込部７１は、終了時点のＧＯＶの先頭にあるＩ−ＶＯＰを検索し、検索したＩ−ＶＯＰを読み込んでバッファ７２に格納する処理を行う（ステップＳ１５１４）。
【０１０１】
その後、高速再生制御部７４は、切替部７８に対して、バッファ７２からＩ−ＶＯＰの画像圧縮符号化データを選択するように指令する。また、高速再生制御部７４は、タイミング調整部７９に対して、再復号を行うためのタイミングを生成するよう指令し、またデコーダ８０に対して、再復号及び再伸張を行うよう指令する。この指令により、タイミング調整部７９は、再復号のためのタイミングを生成し、デコーダ８０は、このタイミングに従って再復号処理を実行する（ステップＳ１５１５）。上記ステップＳ１５１３からステップＳ１５１５までの処理により、高速再生制御部７４は、高速再生から通常再生への切り替えを実行する。
【０１０２】
図１６に、ビデオオブジェクト（ＶＯ）と、上述した高速再生から通常再生への切り替え時に実行される各処理との関係、及び各処理により表示出力部８２から出力される画像との関係を、時間軸上で示す。
【０１０３】
図１６で示すように、通常再生処理の実行中にユーザから高速再生を開始する指示を受けると、画像データ再生装置７は、図１５に示した高速再生処理を開始する。そして、ユーザから高速再生を終了する指示を受けると、画像データ再生装置７は、表示停止処理及び再復号処理を実行する。高速再生終了指示の時点で直ちに通常再生に移行してしまうと、それまでのＶＯＰ再構成処理で廃棄された優先度の低いＶＰ箇所が欠落した状態で再生されてしまう。この表示停止処理及び再復号処理は、この問題を防止するために行われる。
【０１０４】
画像データ再生装置７は、再復号処理を実行している間は、高速再生終了指示の時点の画像を静止画像として表示する。そして、画像データ再生装置７は、高速再生終了指示の時点のＶＯＰから、基準画像となるＩ−ＶＯＰまで遡り、このＩ−ＶＯＰから高速再生終了指示のＶＯＰまでの符号化データの再復号及び再伸張処理を行う。そして、画像データ再生装置７は、高速再生終了指示の時点以降、再復号及び再伸張処理された画像データに基づいて通常再生の画像を順次生成する。このようにして、高速再生終了指示後のＶＯＰ以降が、画質劣化のない画像で通常再生される。
【０１０５】
なお、図１６で説明した表示停止処理及び再復号処理では、遡ったＩ−ＶＯＰから高速再生終了指示の時点まで、再復号及び再伸張処理を行う必要がある。このため、高速再生から通常再生に戻るまでに待ち時間が生じる。そこで、高速再生終了指示後のＶＯＰ以降を画質劣化のない画像で通常再生することよりも、待ち時間を減らすことを優先する方法も考えられる。この方法は、例えば、次のような機能をさらに追加すればよい。
【０１０６】
高速再生終了指示の時点から次のＩ−ＶＯＰまでの残時間（又はＶＯＰ残数）を検出し、その残期間が所定の時間（又はＶＯＰ残数が所定の数）以内か否かを判定する機能を設ける。そして、この残期間が所定の時間を超える場合には、図１６で説明した処理を、超えない場合には、次のＩ−ＶＯＰまでは一部のＶＰが欠落した状態で通常再生の画像を順次生成する。
【０１０７】
なお、さらに発展して、デコーダを複数備えることも考えられる。図１７は、このデコーダを複数備えた画像データ再生装置７の構成を示すブロック図である。この図１７で示す画像データ再生装置７は、図１２の画像データ再生装置７に副デコーダ８５をさらに備えた構成である。この副デコーダ８５は、常に、バッファ７２からの符号化データを取り込み、通常の復号及び伸張処理を行う。高速再生処理実行中は、副デコーダ８５は、Ｉ−ＶＯＰから時間的に可能なＶＯＰまでに関して通常の復号及び伸張処理を行う。高速再生処理終了の時点では、副デコーダ８５は、それまでに復号及び伸張した画像データをデコーダ８０に転送する。これにより、デコーダ８０は、基準画像となるＩ−ＶＯＰまで遡って再復号及び再伸張を行わなくて済むため、高速再生処理終了の時点で直ちに画質劣化のない画像を通常再生することができる（図１８）。
【０１０８】
以上のように、本発明の第２の実施形態に係る画像データ再生装置及び方法によれば、画像として重要である動き領域では１ＭＢ当たりの符号化データ量が多くなることを利用し、圧縮符号化データ量をＭＢ数で除算した平均符号化データ量に基づいて、優先度を決定する。そして、高速再生時においては、平均符号化データ量が多いＶＰを優先して再構成した高速再生用のＶＯＰを、再生速度に応じて生成することを行う。これにより、ＭＰＥＧ−４方式に基づく圧縮符号化データを高速再生するとき、違和感のないなめらかな動きで高速再生することが可能となる。また、高速再生用のＶＯＰは、動き領域を優先して生成されるため、ブロックノイズを抑制することが可能である。
【０１０９】
なお、上記第１及び第２の実施形態では、符号化データ量をＭＢ数で除算した平均符号化データ量で、ＶＰの優先度を決定する場合を説明した。しかし、優先度の精度が低下してもよければ、ＭＢ数だけでＶＰの優先度を決定してもよい。また、エンコーダ１において、ＶＯＰが、ＶＰの符号化データ量の総和が同じ又は同じに等しいＶＰではなく、任意の符号化データ量のＶＰに分割されている場合であっても、各符号化データ量を各ＭＢ数で除算した平均符号化データ量に基づいて優先度を決定すればよい。但し、この場合には、エラー耐性が低下することになる。
【０１１０】
また、上記第２の実施形態では、１つのＶＯＰ内で各ＶＰの優先度を決定する場合を説明した。しかし、これ以外にも、１つのＧＯＶ内で全ＶＯＰの各ＶＰの優先度を決定してもよい。
【０１１１】
典型的には、上記第１及び第２の実施形態で説明した画像データ伝送方法及び画像データ再生方法は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現される。この場合、プログラムデータは、ＣＤ−ＲＯＭやフレキシブルディスク等の記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。
【図面の簡単な説明】
【図１】本発明の画像データ伝送装置及び画像データ再生装置に共通するシステム構成の概略を示す図である。
【図２】本発明の第１の実施形態に係る画像データ伝送装置を含んだシステム構成を示す図である。
【図３】図２の画像データ伝送装置４及びクライアント５の詳細な構成を示すブロック図である。
【図４】本発明の第１の実施形態に係る画像データ伝送方法の処理手順を示すフローチャートである。
【図５】ＶＰから平均符号化データ量を算出する一例を示す図である。
【図６】ＶＯＰ単位で作成される優先度リストの一例を示す図である。
【図７】送信パケットの構造を示す図である。
【図８】本発明の第１の実施形態に係る画像データ伝送方法の行う他の処理手順を示すフローチャートである。
【図９】ＧＯＶ単位で作成される優先度リストの一例を示す図である。
【図１０】図２のクライアント５が行う処理手順を示すフローチャートである。
【図１１】本発明の第２の実施形態に係る画像データ再生装置を含んだシステム構成を示す図である。
【図１２】図１１の画像データ再生装置７の詳細な構成を示すブロック図である。
【図１３】画像データ再生装置７で通常再生が行われるときの動作を説明する図である。
【図１４】画像データ再生装置７で高速再生が行われるときの動作を説明する図である。
【図１５】本発明の第２の実施形態に係る画像データ再生方法の処理手順を示すフローチャートである。
【図１６】図１２の画像データ再生装置７において、高速再生から通常の再生に移行するときの動作を説明する図である。
【図１７】図１１の画像データ再生装置７の他の詳細な構成を示すブロック図である。
【図１８】図１７の画像データ再生装置７において、高速再生から通常の再生に移行するときの動作を説明する図である。
【図１９】従来の第１の階層的符号化技術の概要を説明する図である。
【図２０】従来の第２の階層的符号化技術の概要を説明する図である。
【図２１】ＭＰＥＧ−４方式に基づいたＶＯの構成を説明する図である。
【図２２】図２１のＶＯＰの構成例を示す図である。
【図２３】図２２のＶＰの構成例を示す図である。
【図２４】図２３のＭＢの構成を説明する図である。
【図２５】図２３の各ＶＰの符号化データ量の一例を示す図である。
【図２６】ＭＰＥＧ−４方式に基づいたＶＯＰストリーム及びＶＰの構造を説明する図である。
【図２７】従来の記録再生装置の構成を示すブロック図である。
【符号の説明】
１，１０１，１１１，１２１，１２２…エンコーダ
２，１０２，１２４…画像蓄積部
３…画像データ処理部
４…画像データ伝送装置
５，１０５…クライアント
６，１０６…ネットワーク
７…画像データ再生装置
４１，７１…画像データ読込部
４２，７２…バッファ
４３，７３…優先度決定部
４４…送信制御部
４５…ＶＰ送信部
４６…輻輳状況管理部
５１…受信状況判定部
５２…ＶＰ受信部
５３…ビデオフレーム再構成部
５４，８０，１２５，１２６…デコーダ
５５…モニタ出力部
７４…高速再生制御部
７５…ＶＰ選択部
７６…ＶＯＰ再構成部
７７，１２３…制御部
７８…切替部
７９…タイミング調整部
８１…ＶＯＰ抽出部
８２…表示出力部
８３…ユーザ入力部
８５…副デコーダ
１０３，１１３…配信サーバ

Claims (36)

1. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、伝送する画像データ伝送装置であって、
   前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求め、前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、当該平均データ量が大きい順に決定する優先度決定部と、
   画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断し、前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択し、選択したビデオパケットを送信する送信制御部とを備える、画像データ伝送装置。
2. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、伝送する画像データ伝送装置であって、
   前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定する優先度決定部と、
   画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断し、前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択し、選択したビデオパケットを送信する送信制御部とを備える、画像データ伝送装置。
3. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、ビデオオブジェクトプレーン（ＶＯＰ）とすることを特徴とする、請求項１又は２に記載の画像データ伝送装置。
4. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、グループオブビデオオブジェクトプレーン（ＧＯＶ）とすることを特徴とする、請求項１又は２に記載の画像データ伝送装置。
5. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、伝送する画像データ伝送方法であって、
   前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求めるステップと、
   前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、前記平均データ量が大きい順に決定するステップと、
   画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断するステップと、
   前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
   前記選択したビデオパケットを送信するステップとを備える、画像データ伝送方法。
6. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、伝送する画像データ伝送方法であって、
   前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定するステップと、
   画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断するステップと、
   前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
   前記選択したビデオパケットを送信するステップとを備える、画像データ伝送方法。
7. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、ビデオオブジェクトプレーン（ＶＯＰ）とすることを特徴とする、請求項５又は６に記載の画像データ伝送方法。
8. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、グループオブビデオオブジェクトプレーン（ＧＯＶ）とすることを特徴とする、請求項５又は６に記載の画像データ伝送方法。
9. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、伝送する方法を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求めるステップと、
   前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、前記平均データ量が大きい順に決定するステップと、
   画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断するステップと、
   前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
   前記選択したビデオパケットを送信するステップとを実行させるためのプログラムが記録された、記録媒体。
10. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、伝送する方法を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定するステップと、
    画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断するステップと、
    前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択したビデオパケットを送信するステップとを実行させるためのプログラムが記録された、記録媒体。
11. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、伝送する方法を、コンピュータに実行させるためのプログラムであって、
    前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求めるステップと、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、前記平均データ量が大きい順に決定するステップと、
    画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断するステップと、
    前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択したビデオパケットを送信するステップとを実行させるための、プログラム。
12. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、伝送する方法を、コンピュータに実行させるためのプログラムであって、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定するステップと、
    画像データの伝送状況に基づいて、前記所定の区分内で伝送可能なデータ量を判断するステップと、
    前記所定の区分毎に、ビデオパケットのデータの合計量が前記伝送可能なデータ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択したビデオパケットを送信するステップとを実行させるための、プログラム。
13. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生装置であって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定する制御部と、
    前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求め、前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、当該平均データ量が大きい順に決定する優先度決定部と、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択する選択部と、
    前記選択部で選択されたビデオパケットによって、画像データの高速再生用フレームを再構成する再構成部と、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生する再生部とを備える、画像データ再生装置。
14. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生装置であって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定する制御部と、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定する優先度決定部と、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択する選択部と、
    前記選択部で選択されたビデオパケットによって、画像データの高速再生用フレームを再構成する再構成部と、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生する再生部とを備える、画像データ再生装置。
15. 高速再生が通常再生のＮ倍（Ｎは、１以上の正の実数）の速度で行われる場合、前記再生部は、復号及び伸張した全フレームからＮ回に１回の割合で画像データを再生することを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
16. 高速再生が通常再生のＮ倍（Ｎは、１以上の正の実数）の速度で行われる場合、前記有効データ量が、通常再生時に復号及び伸張が可能な前記所定の区分単位のデータ量をＮで除算した値に設定されることを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
17. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、ビデオオブジェクトプレーン（ＶＯＰ）とすることを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
18. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、グループオブビデオオブジェクトプレーン（ＧＯＶ）とすることを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
19. 前記所定の区分が、画面間前方予測符号化画像データであるＰフレーム及び画面間双方向予測符号化画像データであるＢフレームであることを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
20. 前記再生部は、任意のフレームで高速再生から通常再生へ切り替える場合、画像データの再生を停止すると共に、直前の画面内符号化画像データであるＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開することを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
21. 前記再生部は、
    任意のフレームで高速再生から通常再生へ切り替える場合、任意のフレームから直後の画面内符号化画像データであるＩフレームまでの残り時間を判断し、
    前記残り時間が所定の値以上であれば、画像データの再生を停止すると共に、直前のＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開し、
    前記残り時間が所定の値未満であれば、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
22. 前記画像データの全フレームをそれぞれ復号及び伸張する復号部をさらに備え、
    前記再生部は、任意のフレームで高速再生から通常再生へ切り替える場合、前記復号部で復号及び伸張されたフレームの画像データを用いて、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする、請求項１３又は１４に記載の画像データ再生装置。
23. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生方法であって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、
    前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求めるステップと、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、前記平均データ量が大きい順に決定するステップと、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択されたビデオパケットによって、画像データの高速再生用フレームを再構成するステップと、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを備える、画像データ再生方法。
24. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生方法であって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定するステップと、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択されたビデオパケットによって、画像データの高速再生用フレームを再構成するステップと、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを備える、画像データ再生方法。
25. 高速再生が通常再生のＮ倍（Ｎは、１以上の正の実数）の速度で行われる場合、前記再生するステップは、復号及び伸張した全フレームからＮ回に１回の割合で画像データを再生することを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
26. 高速再生が通常再生のＮ倍（Ｎは、１以上の正の実数）の速度で行われる場合、前記有効データ量が、通常再生時に復号及び伸張が可能な前記所定の区分単位のデータ量をＮで除算した値に設定されることを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
27. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、ビデオオブジェクトプレーン（ＶＯＰ）とすることを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
28. 前記圧縮符号化及び前記ビデオパケット分割が、ＭＰＥＧ−４方式に基づいて行われている場合、前記画像データの所定の区分を、グループオブビデオオブジェクトプレーン（ＧＯＶ）とすることを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
29. 前記所定の区分が、画面間前方予測符号化画像データであるＰフレーム及び画面間双方向予測符号化画像データであるＢフレームであることを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
30. 前記再生するステップは、任意のフレームで高速再生から通常再生へ切り替える場合、画像データの再生を停止すると共に、直前の画面内符号化画像データであるＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開することを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
31. 前記再生するステップは、
    任意のフレームで高速再生から通常再生へ切り替える場合、任意のフレームから直後の画面内符号化画像データであるＩフレームまでの残り時間を判断し、
    前記残り時間が所定の値以上であれば、画像データの再生を停止すると共に、直前のＩフレームに遡って通常再生時の復号及び伸張を再度実行し、当該任意のフレームに達した時点で画像データの通常再生を再開し、
    前記残り時間が所定の値未満であれば、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
32. 前記画像データの全フレームをそれぞれ復号及び伸張するステップをさらに備え、
    前記再生するステップは、任意のフレームで高速再生から通常再生へ切り替える場合、前記ステップで復号及び伸張されたフレームの画像データを用いて、任意のフレームから通常再生時の復号及び伸張並びに画像データの再生を実行することを特徴とする、請求項２３又は２４に記載の画像データ再生方法。
33. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生方法を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、
    前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求めるステップと、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、前記平均データ量が大きい順に決定するステップと、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択されたビデオパケットによって、画像データの高速再生用フレームを再構成するステップと、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを実行させるためのプログラムが記録された、記録媒体。
34. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生方法を、コンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定するステップと、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択されたビデオパケットによって、画像データの高速再生用フレームを再構成するステップと、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを実行させるためのプログラムが記録された、記録媒体。
35. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成される複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生方法を、コンピュータに実行させるためのプログラムであって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、
    前記複数のビデオパケットのそれぞれについて、１マクロブロック当たりの平均データ量を求めるステップと、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、前記平均データ量が大きい順に決定するステップと、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択されたビデオパケットによって、画像データの高速再生用フレームを再構成するステップと、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを実行させるための、プログラム。
36. 基本画素構成であるマクロブロック単位で圧縮符号化され、さらに少なくとも１つのマクロブロックで構成されるほぼ等しいデータ量の複数のビデオパケットに分割された画像データを、復号して再生する画像データ再生方法を、コンピュータに実行させるためのプログラムであって、
    高速再生を実行する際、高速再生の速度に基づいて、復号及び伸張が可能な所定の区分単位の有効データ量を設定するステップと、
    前記画像データの所定の区分毎に、所定の区分に含まれる複数のビデオパケットの優先度を、ビデオパケットを構成するマクロブロックの数が少ない順に決定するステップと、
    前記画像データの所定の区分毎に、ビデオパケットのデータの合計量が前記有効データ量以下となる範囲で、前記優先度の高いビデオパケットを優先的に選択するステップと、
    前記選択されたビデオパケットによって、画像データの高速再生用フレームを再構成するステップと、
    再構成された前記高速再生用フレームをそれぞれ復号及び伸張し、画像データを再生するステップとを実行させるための、プログラム。

Images