JP2008079061A - 画像ストリーミングシステム - Google Patents

Abstract

【課題】画像データをスムーズにストリーミングする画像ストリーミングシステムを得ることを目的とする。
【解決手段】送信サーバから受信クライアントへ画像データをストリーミングする画像ストリーミングシステムにおいて、送信サーバ２は、フレーム内符号化データおよびフレーム間予測符号化データの画像データを生成する動画像符号化器２２と、生成した画像データを受信クライアント３へストリーミングするとともに受信クライアント３へストリーミングする画像データのうちフレーム内符号化データを記憶しておくサーバ制御部２４と、を備え、サーバ制御部２４は、自サーバと既に接続中の受信クライアントへストリーミングするデータがフレーム内符号化データ以外のタイミングである場合、記憶しておいたフレーム内符号化データを用いて新たな受信クライアントへのストリーミングを開始する。
【選択図】図２

Description

本発明は圧縮符号化された画像を送信サーバから受信クライアントへストリーミングする画像ストリーミングシステムに関するものである。

近年、インターネット、イントラネット、携帯電話網等のネットワークの広帯域化に伴って、音声や画像をリアルタイムに通信できる環境が整いつつある。例えば、圧縮符号化された画像をストリーミングするストリーミングシステム（画像ストリーミングシステム）では、送信サーバから送出される画像データがネットワークを介して受信クライアントへストリーミングされる。

従来の画像ストリーミングシステムについて、図１１〜図１４を用いて説明する。図１１は、従来の画像ストリーミングの第１例を説明するための図であり、図１２は、従来の画像ストリーミングの第１例の処理手順を示すフローチャートであり、図１３は、従来の画像ストリーミングの第２例を説明するための図であり、図１４は、従来の画像ストリーミングの第２例の処理手順を示すフローチャートである。なお、図１２および図１４では、従来の送信サーバにおける動画像ストリーミング制御（動画像ストリーミング制御）の処理手順を示している。

まず、従来の画像ストリーミングとして、接続中の受信クライアントへの動画像ストリーミング制御（第１例）について説明する。図１２に示すように、画像ストリーミングシステムの送信サーバは、まずカメラ等からの画像入力処理を行う（Ｓ５０）。そして、送信サーバは受信クライアントから新規の配信要求（新規配信要求）を受けたか否かを判断する（Ｓ５１）。

受信クライアントから新規配信要求を受け付けていない場合（Ｓ５１、ＮＯ）、送信サーバは、キーフレームを送出（ストリーミング）するか否かを判断する（Ｓ５２）。

キーフレームを送出しないと判断した場合は（Ｓ５２、ＮＯ）、フレーム間予測符号化（インター符号化、又は動き補償予測符号化）処理を行う（Ｓ５３）。一方、キーフレームを送出すると判断した場合は（Ｓ５２、ＹＥＳ）、フレーム内符号化（イントラ符号化）処理を行う（Ｓ５４）。

Ｓ５４又はＳ５３の処理の後、動画像符号化データはサーバ処理（動画像データをネットワークを介して受信クライアントへストリーミング）される（Ｓ５５）。

ネットワークへのストリーミングの後、再度カメラ等からの画像入力処理が行われ（Ｓ５０）、前述した一連の処理（Ｓ５０〜Ｓ５５）が連続して繰り返し実行される。これにより、送信サーバから受信クライアントへのストリーミングが継続される。なお、Ｓ５０に示す画像入力処理、Ｓ５３、Ｓ５４に示す符号化処理、Ｓ５５に示すサーバ処理は、送信サーバ内で並列処理される場合もある。

ここで、先述したフレーム内符号化とフレーム間予測符号化及びキーフレームについて説明する。例えば、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）に代表されるように、動画像の圧縮符号化では一般的にフレーム内符号化とフレーム間予測符号化が利用されている。フレーム内符号化は、入力された画像データを複数のブロックに分割し、全てのブロックデータを離散コサイン変換（ＤＣＴ）、量子化、エントロピー符号化等を行い、圧縮効率を高めるものである。

フレーム間予測符号化は、フレーム内符号化よりも更に圧縮効率を高めるために、動画像の現在のフレームとその直前のフレームは類似しているという性質を利用し、入力画像と予測画像の差分データを符号化する方式である。フレーム間予測符号化を用いると、予測による符号化であるため圧縮効率は良いものの、実際の入力画像との誤差が受信クライアントで徐々に蓄積される。この不具合を避けるために、定期的にフレーム内符号化を行うことが一般的手法である。この定期的に実施するフレーム内符号化で生成される符号化データを、先述したキーフレームと呼ぶ。

送信サーバへ接続後の受信クライアントにおいて画像表示を開始するためには、差分データを符号化したフレーム間予測符号化データ（Ｐフレーム）ではなく、キーフレームである全てのブロックデータを符号化したフレーム内符号化データ（Ｉフレーム）を受信する必要がある。送信サーバは、キーフレームを受信することにより、以降はフレーム間予測符号化データの受信により画像表示を更新できることとなる。

ここで動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。接続中の受信クライアント（既存クライアント）へのストリーミング中に、新規に接続した受信クライアント（新規クライアント）が存在する場合は、Ｓ５１の処理において新規配信要求があると判断し、新規配信識別の設定（新たな受信クライアントと接続を行なうための設定）を実行する（Ｓ５６）。

そして、新規配信識別を設定した後、送信サーバは、これから送出するデータがキーフレームであるか否かを判断する（Ｓ５２）。送信サーバは、フレーム間予測符号化処理（Ｓ５３）またはフレーム内符号化処理（Ｓ５４）の何れかを実行した後、サーバ処理（Ｓ５５）を行う。

このＳ５５のサーバ処理では、Ｓ５３又はＳ５４の処理において生成した符号化データを既存クライアントへストリーミングする。さらに、新規配信識別が設定されていてかつＳ５４の処理でフレーム内符号化データを生成している場合に、新規クライアントへストリーミングを開始するとともに新規配信識別を解除する。

図１１では従来の送信サーバにおける動画像ストリーミングのフレーム構成の第１例を示している。図１２に示した処理の場合、送信サーバからネットワークへは、例えば図１１に示した動画像データが送出される。図１１に示すように、既存クライアントへはＰフレーム５０ｙ、Ｐフレーム５０ｚ、Ｉフレーム５１、Ｐフレーム５１ａ、Ｐフレーム５１ｂと順次ストリーミングを行っている。なお、Ｉフレームは、フレーム内符号化された動画像データであり、Ｐフレームは、フレーム間予測符号化された動画像データである。

ここで、図１２のフローチャートで示した新規配信要求のタイミングで新規クライアントが接続すると、既存クライアントへはＰフレーム５１ｂをストリーミングしており、その後もＰフレーム５１ｃ、Ｐフレーム５１ｄと順次ストリーミングを続ける。

この期間中、図１２のＳ５６の処理で説明した新規配信識別は設定されているが、Ｓ５５のサーバ処理で既存クライアントへはストリーミング（フレーム間予測符号化データ）しているものの新規クライアントへのストリーミングを開始していない状態である。

既存クライアントへのストリーミングは継続して実行されているが、Ｉフレーム５２を既存クライアントへストリーミングする際に、新規クライアントへもＩフレーム５２のストリーミングを開始する。そして、Ｉフレーム５２以降にＰフレーム５２ａ、Ｐフレーム５２ｂと順次、既存クライアント及び新規クライアントへ同じタイミングのストリーミングを行う（特許文献１の第４頁、図１４参照）。

次に、従来の画像ストリーミングとして、接続中の受信クライアントへの動画像ストリーミング制御（第２例）について説明する。図１４に示すように、画像ストリーミングシステムの送信サーバは、まずカメラ等からの画像入力処理を行う（Ｓ５０）。送信サーバは受信クライアントから新規の配信要求を受けたか否かを判断する（Ｓ５１）。

受信クライアントから新規配信要求を受け付けていない場合（Ｓ５１、ＮＯ）、送信サーバは、キーフレームを送出するか否かを判断する（Ｓ５２）。キーフレームを送出しないと判断した場合は（Ｓ５２、ＮＯ）、フレーム間予測符号化処理を行う（Ｓ５３）。一方、キーフレームを送出すると判断した場合は（Ｓ５２、ＹＥＳ）、フレーム内符号化処理を行う（Ｓ５４）。

Ｓ５４又はＳ５３の処理の後、動画像符号化データはサーバ処理される（Ｓ５７）。ネットワークへのストリーミングの後、再度カメラ等からの画像入力処理が行われ（Ｓ５０）、先述した一連の処理（Ｓ５０〜Ｓ５４、Ｓ５７）が連続して繰り返し実行される。これにより、送信サーバから受信クライアントへのストリーミングが継続される。なお、Ｓ５０に示す画像入力処理、Ｓ５３、Ｓ５４に示す符号化処理、Ｓ５７に示すサーバ処理は、送信サーバ内で並列処理される場合もある。

ここで動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。接続中の既存クライアントへのストリーミング中に、新規に接続した新規クライアントが存在する場合は、Ｓ５１の処理において新規配信要求があると判断し、新規配信識別を設定するとともに送出するデータをキーフレームに強制的に設定する（Ｓ５８）。

そして、新規配信識別を設定した後、送信サーバは、送出するデータがキーフレームであるか否かを判断する（Ｓ５２）。ここでの送信サーバは、新規クライアントが存在しＳ５７でキーフレームに設定しているため、フレーム内符号化処理（Ｓ５４）を実行した後、サーバ処理を行う（Ｓ５８）。

このＳ５８のサーバ処理では、Ｓ５４の処理において生成したフレーム内符号化データを既存クライアントへストリーミングする。さらに、新規配信識別が設定されているので、新規クライアントへもフレーム内符号化データのストリーミングを開始するとともに新規配信識別を解除する。

図１３では従来の送信サーバにおける動画像ストリーミングのフレーム構成の第２例を示している。図１４に示した処理の場合、送信サーバからネットワークへは、例えば図１３に示した動画像データが送出される。図１３に示すように、既存クライアントへはＰフレーム５０ｙ、Ｐフレーム５０ｚ、Ｉフレーム５１、Ｐフレーム５１ａ、Ｐフレーム５１ｂと順次ストリーミングを行っている。

ここで、図１４のフローチャートで示した新規配信要求のタイミングで新規クライアントが接続すると、既存クライアントへはＰフレーム５１ｂをストリーミングしているが、その後はＰフレーム５１ｃ、Ｐフレーム５１ｄ以降のフレームはストリーミングされない。そして。新規クライアント及び既存クライアントへ、新たなＩフレーム６１、Ｐフレーム６１ａ、Ｐフレーム６１ｂと順次ストリーミングを行い、新規配信要求後の最初のＩフレームであるＩフレーム６１の生成時に再計算した新たなキーフレーム間隔でＩフレーム６２をストリーミングする（特許文献１の第１１頁、図１参照）。
特開２００２−３４４９３２号公報

しかしながら、上記前者の従来の画像ストリーミングシステム（第１例として説明した従来の技術）では、新規クライアントから配信要求があった際、新規クライアントが配信要求からＩフレームを受信するまでの時間が送信サーバのキーフレーム間隔に依存しているため、新規クライアントにおいて動画像が表示されるまでに長時間を要するという問題があった。

また、上記後者の従来の画像ストリーミングシステム（第２例として説明した従来の技術）では、送信サーバは新規の配信要求を検出した後、すぐにＩフレームをストリーミングするため、新規接続の度にＩフレームを生成しキーフレームとしてストリーミングしなければならない。このため、既存の受信クライアントへの発生符号量の制御が狂い、既存の受信クライアントでは安定した画像が得られないという問題があった。特に頻繁に新規の接続が発生する場合や、ネットワークの制約でキーフレーム送出のタイミングを変更できない場合は、既存の受信クライアントで安定した画像が得られないという問題が顕著となる。

本発明は、上記に鑑みてなされたものであって、新規クライアントから送信サーバへ新規の接続があった際に、既存クライアントおよび新規クライアントへスムーズにストリーミングを行なう画像ストリーミングシステムを得ることを目的とする。

上記課題を解決するために本発明は、動画像データを圧縮符号化するとともに圧縮符号化した圧縮符号化データをネットワークを介してストリーミングする送信サーバと、送信サーバがストリーミングした圧縮符号化データをネットワークを介して受信するとともに受信した圧縮符号化データを伸張復号化して画像の表示を行う複数の受信クライアントとを有し、送信サーバから受信クライアントへは圧縮符号化データをフレーム内符号化で生成したフレーム内符号化データおよび圧縮符号化データをフレーム間予測符号化で生成したフレーム間予測符号化データをストリーミングする画像ストリーミングシステムにおいて、送信サーバは、フレーム内符号化データおよびフレーム間予測符号化データを生成する符号化データ生成部と、符号化データ生成部が生成したフレーム内符号化データおよびフレーム間予測符号化データを受信クライアントへストリーミングするとともに受信クライアントへストリーミングするフレーム内符号化データを記憶しておくストリーミング部と、を備え、ストリーミング部は、自サーバと既に接続中の受信クライアントである接続中クライアントへストリーミングするデータがフレーム内符号化データ以外の圧縮符号化データのタイミングである場合に接続中クライアントとは別の新たな受信クライアントである新規クライアントから接続要求を受けると、記憶しておいたフレーム内符号化データを用いて新規クライアントへのストリーミングを開始するものである。

本発明によれば、送信サーバに接続中の接続中クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なくフレーム内符号化データをストリーミングできるので、接続中クライアントへの安定したストリーミングを持続しながら、新規クライアントでは短時間で画像を表示することができる画像ストリーミングシステムが得られる。

本発明の第１の発明の画像ストリーミングシステムは、動画像データを圧縮符号化するとともに圧縮符号化した圧縮符号化データをネットワークを介してストリーミングする送信サーバと、送信サーバがストリーミングした圧縮符号化データをネットワークを介して受信するとともに受信した圧縮符号化データを伸張復号化して画像の表示を行う複数の受信クライアントとを有し、送信サーバから受信クライアントへは圧縮符号化データをフレーム内符号化で生成したフレーム内符号化データおよび圧縮符号化データをフレーム間予測符号化で生成したフレーム間予測符号化データをストリーミングする画像ストリーミングシステムにおいて、送信サーバは、フレーム内符号化データおよびフレーム間予測符号化データを生成する符号化データ生成部と、符号化データ生成部が生成したフレーム内符号化データおよびフレーム間予測符号化データを受信クライアントへストリーミングするとともに受信クライアントへストリーミングするフレーム内符号化データを記憶しておくストリーミング部と、を備え、ストリーミング部は、自サーバと既に接続中の受信クライアントである接続中クライアントへストリーミングするデータがフレーム内符号化データ以外の圧縮符号化データのタイミングである場合に接続中クライアントとは別の新たな受信クライアントである新規クライアントから接続要求を受けると、記憶しておいたフレーム内符号化データを用いて新規クライアントへのストリーミングを開始するものであり、送信サーバに接続中の接続中クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なくフレーム内符号化データをストリーミングできるという作用を有する。

第２の発明の画像ストリーミングシステムは、第１の発明の画像ストリーミングシステムにおいて、ストリーミング部は、新規クライアントへのストリーミングを開始した後、符号化データ生成部が生成し接続中クライアントへストリーミングするフレーム内符号化データおよびフレーム間予測符号化データを接続中クライアントへのストリーミングと同じタイミングで新規クライアントへストリーミングするものであり、接続中クライアントと新規クライアントへのストリーミングを同じタイミングで容易に行なうことができるという作用を有する。

第３の発明の画像ストリーミングシステムは、第１の発明の画像ストリーミングシステムにおいて、符号化データ生成部は、フレーム内符号化データを記憶してから記憶した当該フレーム内符号化データを用いた新規クライアントへのストリーミングを行うまでの間に接続中クライアントへストリーミングしたフレーム間予測符号化データのフレーム数と同数のフレーム間予測符号化データであって、フレーム数に応じたヘッダを設定したフレーム間予測符号化データを生成し、ストリーミング部は、新規クライアントへのストリーミングを開始すると、記憶しておいたフレーム内符号化データ、符号化データ生成部にヘッダを設定されたフレーム数と同数のフレーム間予測符号化データ、記憶しておいたフレーム内符号化データを新規クライアントへストリーミングした後に接続中クライアントへストリーミングしたフレーム間予測符号化データの順番でフレーム内符号化データおよび各フレーム間予測符号化データを新規クライアントへストリーミングするものであり、接続中クライアントと新規クライアントへのストリーミングを異なるタイミングで容易に行なうことができるという作用を有する。

第４の発明の画像ストリーミングシステムは、第３の発明の画像ストリーミングシステムにおいて、符号化データ生成部は、記憶しておいたフレーム内符号化データの次に新規クライアントへストリーミングするフレーム間予測符号化データとして、フレーム内符号化データを記憶してからの経過時間を示すヘッダを設定したフレーム間予測符号化データを生成し、ストリーミング部は、新規クライアントへのストリーミングを開始すると、記憶しておいたフレーム内符号化データ、符号化データ生成部にヘッダを設定されたフレーム間予測符号化データの順番でフレーム内符号化データおよびフレーム間予測符号化データを新規クライアントへストリーミングするものであり、新規クライアントがフレーム内符号化データを記憶してからの経過時間を認識することができるという作用を有する。

第５の発明の画像ストリーミングシステムは、第１〜第４の発明の画像ストリーミングシステムにおいて、符号化データ生成部は、画像の表示を行う際の制御パラメータをヘッダに設定してフレーム内符号化データを生成し、ストリーミング部は、フレーム内符号化データをストリーミングまたは記憶する際には、符号化データ生成部が設定したヘッダとともにフレーム内符号化データをストリーミングまたは記憶するものであり、画像の表示を行う際の制御パラメータを新規クライアントが取得できるという作用を有する。

第６の発明の画像ストリーミングシステムは、動画像データを圧縮符号化するとともに圧縮符号化した圧縮符号化データをネットワークを介してストリーミングする送信サーバと、送信サーバがストリーミングした圧縮符号化データをネットワークを介して受信するとともに受信した圧縮符号化データを伸張復号化して画像の表示を行う複数の受信クライアントとを有し、送信サーバから受信クライアントへは圧縮符号化データをフレーム内符号化で生成したフレーム内符号化データおよび圧縮符号化データをフレーム間予測符号化で生成したフレーム間予測符号化データをストリーミングする画像ストリーミングシステムにおいて、送信サーバは、フレーム内符号化データおよびフレーム間予測符号化データを生成する符号化データ生成部と、自サーバと既に接続中の受信クライアントである接続中クライアントとは別の新たな受信クライアントである新規クライアントから接続要求を受けた際に、静止画像データを圧縮符号化して静止画符号化データを生成する静止画データ生成部と、符号化データ生成部が生成したフレーム内符号化データおよびフレーム間予測符号化データ、および静止画データ生成部が生成した静止画符号化データを受信クライアントへストリーミングするストリーミング部と、を備え、ストリーミング部は、接続中クライアントへストリーミングするデータがフレーム内符号化データ以外の圧縮符号化データのタイミングである場合に新規クライアントから接続要求を受けると、静止画データ生成部が生成した静止画符号化データを新規クライアントへ送出した後、符号化データ生成部が生成し接続中クライアントへストリーミングするフレーム内符号化データおよびフレーム間予測符号化データを接続中クライアントへのストリーミングと同じタイミングで新規クライアントへストリーミングするものであり、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なく静止画符号化データを送出できるという作用を有する。

第７の発明の画像ストリーミングシステムは、第６の発明の画像ストリーミングシステムにおいて、静止画データ生成部は、新規クライアントから接続要求を受けた際に、複数の静止画符号化データを生成し、ストリーミング部は、静止画データ生成部が生成した複数の静止画符号化データを新規クライアントへ連続して送出するものであり、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なく静止画符号化データを連続して送出できるという作用を有する。

第８の発明の画像ストリーミングシステムは、第７の発明の画像ストリーミングシステムにおいて、静止画データ生成部は、接続要求を受けた新規クライアントへ最初のフレーム内符号化データをストリーミングするまでの間、静止画符号化データを生成するタイミングになると新規クライアントへ送出した静止画符号化データおよび所定パターンのデータの累積符号量に基づいて静止画符号化データを生成するか否かを判断し、静止画符号化データを生成すると判断した場合に静止画符号化データを生成して新規クライアントへ送出するものであり、静止画符号化データによって伝送帯域を占有することが減少し、効率よく伝送帯域を使用できるという作用を有する。

第９の発明の画像ストリーミングシステムは、第６〜第８の発明の画像ストリーミングシステムにおいて、符号化データ生成部は、画像の表示を行う際の制御パラメータをヘッダに設定してフレーム内符号化データを生成し、ストリーミング部は、フレーム内符号化データをストリーミングする際には、符号化データ生成部が設定したヘッダとともにフレーム内符号化データをストリーミングするものであり、画像の表示を行う際の制御パラメータを新規クライアントが取得できるという作用を有する。

第１０の発明の画像ストリーミングシステムは、第５または第９の発明の画像ストリーミングシステムにおいて、符号化データ生成部が制御パラメータを設定するヘッダは、ＭＰＥＧ−４に規定のＧＯＶヘッダ９３またはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＧＯＶヘッダに対応するヘッダとしたものであり、受信クライアントはＧＯＶヘッダ又はこれに対応するヘッダに含まれる情報を取得できるという作用を有する。

第１１の発明の画像ストリーミングシステムは、第５、第９または第１０の発明の画像ストリーミングシステムにおいて、符号化データ生成部が制御パラメータを設定するヘッダは、ＭＰＥＧ−４に規定のＧＯＶヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＧＯＶヘッダに対応するヘッダ、およびＭＰＥＧ−４に規定のＶＯＬヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＶＯＬヘッダに対応するヘッダとしたものであり、受信クライアントはＧＯＶヘッダ又はこれに対応するヘッダに含まれる情報と、ＶＯＬヘッダ又はこれに対応するヘッダに含まれる情報との両方を取得できるという作用を有する。

第１２の発明の画像ストリーミングシステムは、第５、第９〜第１１の発明の画像ストリーミングシステムにおいて、符号化データ生成部が制御パラメータを設定するヘッダは、ＭＰＥＧ−４に規定のＧＯＶヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＧＯＶヘッダに対応するヘッダ、ＭＰＥＧ−４に規定のＶＯＬヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＶＯＬヘッダに対応するヘッダ、およびＭＰＥＧ−４に規定のＶＯヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＶＯヘッダに対応するヘッダとしたものであり、受信クライアントはＧＯＶヘッダ又はこれに対応するヘッダに含まれる情報と、ＶＯＬヘッダ又はこれに対応するヘッダに含まれる情報と、ＶＯヘッダ又はこれに対応するヘッダに含まれる情報との全てを取得できるという作用を有する。

第１３の発明の画像ストリーミングシステムは、第５、第９〜第１２の発明の画像ストリーミングシステムにおいて、符号化データ生成部が制御パラメータを設定するヘッダは、ＭＰＥＧ−４に規定のＧＯＶヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＧＯＶヘッダに対応するヘッダ、ＭＰＥＧ−４に規定のＶＯＬヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＶＯＬヘッダに対応するヘッダ、ＭＰＥＧ−４に規定のＶＯヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＶＯヘッダに対応するヘッダ、およびＭＰＥＧ−４に規定のＶＯＳヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定されたＶＯＳヘッダに対応するヘッダとしたものであり、受信クライアントはＧＯＶヘッダ又はこれに対応するヘッダに含まれる情報と、ＶＯＬヘッダ又はこれに対応するヘッダに含まれる情報と、ＶＯヘッダ又はこれに対応するヘッダに含まれる情報と、ＶＯＳヘッダ又はこれに対応するヘッダに含まれる情報との全てを取得できるという作用を有する。

第１４の発明の画像ストリーミングシステムは、第１〜第１３の発明の画像ストリーミングシステムにおいて、符号化データ生成部は、複数からなり、新規クライアントから接続要求のあった際に、新規クライアントから接続要求のあった動画解像度と同じ解像度で接続中クライアントにフレーム内符号化データおよびフレーム間予測符号化データを生成中の符号化データ生成部が存在する場合、当該符号化データ生成部が接続要求をした新規クライアントにフレーム内符号化データおよびフレーム間予測符号化データを生成させるものであり、全ての符号化データ生成部が符号化データを生成中の場合であっても同じ解像度で符号化データを生成中の符号化データ生成部で新規クライアントへストリーミングできるという作用を有する。

以下、本発明の実施の形態について説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像ストリーミングシステムの概略構成を示す図である。画像ストリーミングシステムにおいて、２は送信サーバ、１はインターネットなどの通信のネットワーク、３は受信クライアントである。送信サーバ２と受信クライアント３はネットワーク１を介して接続している。受信クライアント３は、必要に応じて送信サーバ２に接続し、送信サーバ２から画像データを取得する。すなわち、送信サーバ２から送出される画像データは、ネットワーク１を介して、受信クライアント３へストリーミングされる。

送信サーバ２は、カメラ等の画像（動画）の入力機能、画像の符号化機能、画像の送信機能などを備えている。受信クライアント３は、例えばパーソナルコンピュータや携帯電話であり、画像の受信機能、画像の復号化機能、表示モニタなどの画像の出力機能などを備えている。

以下、説明の便宜上、送信サーバ２に接続済みの受信クライアント３を既存クライアント（接続中クライアント）、送信サーバ２に新たに接続する受信クラインと３を新規クライアントという場合がある。

図２は、本発明の実施の形態１に係る画像ストリーミングシステムの構成を示すブロック図である。図２の送信サーバ２において、２１は画像入力部、２２は動画像符号化器、２３はアプリケーション処理部、２４はサーバ制御部である。図２の受信クライアント３において、３１は画像出力部、３２は動画像復号化器、３３はアプリケーション処理部、３４はクライアント制御部である。

画像入力部２１は、内蔵または外部接続されたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）センサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーなどを搭載した撮像カメラなどから画像を取り込み、必要に応じて適切なサイズの解像度に変換する。画像入力部２１は、取り込んだ画像（動画像データ）を動画像符号化器２２に入力する。

動画像符号化器（符号化データ生成部）２２は、画像入力部２１からの画像データを、ＭＰＥＧ−４等の規定に従って動画像圧縮符号化を行い、アプリケーション処理部２３に入力する。アプリケーション処理部２３は、送信サーバ２内部の制御を全て統括し、受信クライアント３からの新規配信要求やキーフレーム挿入のための制御などを実行する。

サーバ制御部（ストリーミング部）２４は、受信クライアント３からの接続要求や切断要求に対する接続制御や切断制御、ストリーミングの開始や停止等のプロトコル制御を行うとともに、動画像符号化器２２で生成された符号化データをネットワーク１を介して受信クライアント３へストリーミングする。

クライアント制御部３４は、送信サーバ２への接続要求や切断要求、ストリーミングの開始や停止等のプロトコル制御を行うとともに、ネットワーク１を介して送信サーバ２からストリーミングされる符号化データの受信制御を行う。アプリケーション処理部３３は、受信クライアント３の内部の制御を全て統括するとともに、ユーザインタフェース制御を実行する。

動画像復号化器３２は、送信サーバ２から受信したＭＰＥＧ−４等の動画像符号化データを伸張し復号化する。画像出力部３１は、動画像復号化器３２によって生成された画像データを、必要に応じて適切な解像度に変換し、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｍｏｎｉｔｏｒ）やディスプレイなどの表示モニタへ出力する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。

図３は、送信サーバにおけるストリーミング制御の処理手順を示すフローチャートである。まず、送信サーバ２に接続中の受信クライアント３への動画像ストリーミング制御について説明する。

送信サーバ２の画像入力部２１は、カメラ等から画像の入力処理を行う（Ｓ１０）。アプリケーション処理部２３は、受信クライアント３から新規配信要求を受けたか否かを判断する（Ｓ１１）。

受信クライアント３から新規配信要求を受け付けていない場合（Ｓ１１、ＮＯ）、アプリケーション処理部２３は、キーフレームを送出するか否か（キーフレームをストリーミングするタイミングであるか否か）を判断する（Ｓ１２）。

キーフレームを送出しないと判断した場合は（Ｓ１２、ＮＯ）、動画像符号化器２２はフレーム間予測符号化（インター符号化、又は動き補償予測符号化）処理を行う（Ｓ１３）。なお、実施の形態１では、動画像符号化器２２がフレーム間予測符号化処理を行った後、新規配信要求検出後の処理（後述のヘッダの時間情報の変更など）（Ｓ１４の処理）は行わない。一方、キーフレームを送出すると判断した場合（Ｓ１２、ＹＥＳ）、動画像符号化器２２はフレーム内符号化（イントラ符号化）処理を行う（Ｓ１５）。

動画像符号化器２２がフレーム内符号化処理を行うと、動画像符号化器２２が生成したフレーム内符号化データの保存を行う（Ｓ１６）。動画像符号化器２２が生成したフレーム内符号化データは、送信サーバ２が備える所定の記憶手段などによって記憶される。なお、動画像符号化器２２が生成したフレーム内符号化データは、アプリケーション処理部２３やサーバ制御部２４が記憶する構成としてもよい。

動画像符号化器２２が生成した動画像符号化データ（フレーム内符号化データやフレーム間予測符号化データ）は、サーバ制御部２４によるサーバ処理の制御によってサーバ処理（動画像データをネットワークを介して受信クライアントへストリーミング）される（Ｓ１７）。

送信サーバ２では、ネットワーク１上へのストリーミングの後、再度カメラ等からの画像入力処理が行われ（Ｓ１０）、前述した一連の処理（Ｓ１０〜Ｓ１７）が連続して繰り返し実行される。これにより、送信サーバ２から受信クライアント３へのストリーミングが継続される。なお、Ｓ１０に示す画像入力処理、Ｓ１３、Ｓ１５に示す符号化処理、Ｓ１７に示すサーバ処理は、送信サーバ２内で並列処理してもよい。

ここで動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。接続中の受信クライアント（既存クライアント）３へのストリーミング中に、新規に接続した受信クライアント（新規クライアント）３が存在する場合は、Ｓ１１の処理において新規配信要求があると判断し、アプリケーション処理部２３は新規に接続する受信クライアント３との接続設定と新規配信要求検出時の処理を行う（Ｓ１８）。

まず、アプリケーション処理部２３は、送出するデータがキーフレームであるか否かを判断する。アプリケーション処理部２３は、既存クライアントへ次にストリーミングする符号化データがキーフレームである場合（キーフレームを送出するタイミングの場合）には何も実行しない。

一方、既存クライアントへ次にストリーミングする符号化データがキーフレームでない場合（フレーム内符号化データ以外の圧縮符号化データを送信するタイミングの場合）は、Ｓ１６の処理で保存しておいたキーフレーム（フレーム内符号化データ）をサーバ制御部２４による制御によって新規クライアントへサーバ処理する（図３に破線で示した流れ）。これにより、新規クライアントへのストリーミングが開始する。

この後、送信サーバ２はＳ１２の処理へ移行する。すなわち、新規クライアントと既存クライアントへ同じ動画データを同じタイミングでストリーミングする。この後の処理は先述した接続中の受信クライアント３への動画像ストリーミング制御と同様であるが、Ｓ１２の処理において送出するデータがキーフレームであるとアプリケーション処理部２３が判断した場合（例えば最後のＰフレーム（後述のＰフレーム１１ｚなど）と次のＩフレーム（後述のＩフレーム１２など）の間に新規配信要求があった場合）は、新規クライアントへもＳ１５で符号化するフレーム内符号化データのストリーミングを行う。例えば、保存されていたｎ（ｎは自然数）番目のＩフレームが新規クライアントに送信された後、直ちにＳ１５で符号化する（ｎ＋１）番目のＩフレームが新規クライアントに送信される。

受信クライアント３（既存クライアントや新規クライアント）では、クライアント制御部３４が、ネットワーク１を介して送信サーバ２からストリーミングされる符号化データの受信制御を行って符号化データを受信する。アプリケーション処理部３３は、ユーザインタフェース制御を実行し、符号化データ（動画像符号化データ）を動画像復号化器３２に送る。

動画像復号化器３２は、送信サーバ２から受信したＭＰＥＧ−４等の動画像符号化データを伸張し復号化する。画像出力部３１は、動画像復号化器３２によって生成された画像データを、必要に応じて適切な解像度に変換し、表示モニタへの出力（画像の表示）を行う。

図４は、動画像ストリーミングのフレーム構成を示す図である。図４に示すように、既存クライアントへはＰフレーム１０ｙ、Ｐフレーム１０ｚ、Ｉフレーム１１、Ｐフレーム１１ａ、Ｐフレーム１１ｂと順次ストリーミングを行っている。

ここで、既存クライアントへＰフレーム１１ｂをストリーミング中に、新規クライアントが送信サーバ２に接続すると（新規配信要求の発生）（図３のＳ１１、ＹＥＳ）、既存クライアントへは、その後もＰフレーム１１ｃ、Ｐフレーム１１ｄと順次ストリーミングを続ける。新規クライアントへは、保存しておいたキーフレームであるＩフレーム１１をストリーミングし、以降は既存クライアントと新規クライアントへ同じタイミングでＰフレーム１１ｃ、Ｐフレーム１１ｄ、Ｐフレーム１１ｅと順次ストリーミングする。

このように実施の形態１によれば、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なくキーフレームをストリーミングできるので、既存クライアントへの安定したストリーミングを持続しながら、新規クライアントでは短時間で画像を表示することが可能となる。

（実施の形態２）
つぎに、図１〜図３、図５、図６を用いて本発明の実施の形態２について説明する。実施の形態２では、保存しておいたキーフレームを新規クライアントへサーバ処理する際に、キーフレーム以降に既存クライアントへストリーミングしたフレーム間予測符号化データ数分のデータを生成し新規クライアントへ送信する。なお、実施の形態２の画像ストリーミングシステムは、実施の形態１で説明した図１および図２の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

まず、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態２の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１で説明した処理と同様であるためその説明を省略する。ここでは、実施の形態１の画像ストリーミングシステムと異なる動作として、動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。

接続中の受信クライアント（既存クライアント）３へのストリーミング中に、新規に接続した受信クライアント（新規クライアント）３が存在する場合は、Ｓ１１の処理において新規配信要求があると判断し、アプリケーション処理部２３は新規に接続する受信クライアント３との接続設定と新規配信要求検出時の処理を行う（Ｓ１８）。

まず、アプリケーション処理部２３は、送出するデータがキーフレームであるか否かを判断する。アプリケーション処理部２３は、既存クライアントへ次にストリーミングする符号化データがキーフレームである場合には何も実行しない。

一方、既存クライアントへ次にストリーミングする符号化データがキーフレームでない場合は、Ｓ１６の処理で保存しておいたキーフレーム（フレーム内符号化データ）をサーバ制御部２４による制御によって新規クライアントへサーバ処理する（図３に破線で示した流れ）。さらに、保存しておいたキーフレーム以降（既存クライアントがキーフレームを保存してから新規クライアントへキーフレームを送出するまで）に既存クライアントへストリーミングしたフレーム間予測符号化データ数分のデータ（後述する空のフレーム間予測符号化データ）（ストリーミングしたフレーム数と同数のデータ）を生成しサーバ制御部２４による制御によって新規クライアントへサーバ処理する。

ここで図５を用いて、フレーム内符号化データ及びフレーム間予測符号化データの内部構成について説明する。

図５は、フレーム内符号化データとフレーム間予測符号化データの内部構成を説明するための図である。図５では動画像フレーム９の内部構成を示している。図５に示す動画像フレーム９において、９０はＶＯＳ（Ｖｉｓｕａｌ Ｏｂｊｅｃｔ Ｓｅｑｕｅｎｃｅ）ヘッダであり、９１はＶＯ（Ｖｉｓｕａｌ Ｏｂｊｅｃｔ）ヘッダであり、９２はＶＯＬ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒ）ヘッダであり、９３はＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｄｅｏ ｏｂｊｅｃｔ Ｐｌａｎｅ）ヘッダであり、９４はＶＯＰヘッダであり、９５は符号化データである。

動画像フレーム９において、フレーム内符号化データ及びフレーム間予測符号化データは、ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）ヘッダ９４及び符号化データ９５により構成される。

動画像フレーム９のＶＯＰヘッダ９４において、９４ａがｖｏｐ＿ｓｔａｒｔ＿ｃｏｄｅ、９４ｂがｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ、９４ｃがｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅ、９４ｄがｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ、９４ｅがｖｏｐ＿ｃｏｄｅｄ＿ｆｌａｇ、９５ｆがその他複数のヘッダ要素である。

例えば、ｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ９４ｂにより、フレーム内符号化データとフレーム間予測符号化データが識別される。ｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅ９４ｃとｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ９４ｄは対で利用される時間情報であり基準となる周波数に従って更新される情報であるため、動画像フレーム受信側での表示タイミング制御に利用される。ｖｏｐ＿ｃｏｄｅｄ＿ｆｌａｇ９４ｅは、以降にデータが連続するか否かを識別するための情報である。なお、ここでは、動画像フレーム９の構成として、ＭＰＥＧ−４で規定されている内部構成を一例として示したが、他の動画像符号化方式でも類似したものが用いられており、他の動画像符号化方式を用いてもよい。

前述した空のフレーム間予測符号化データとは、保存しておいたキーフレーム以降に既存クライアントへストリーミングしたフレーム間予測符号化データ（フレーム数）に従って、時間情報（ｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅ９４ｃとｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ９４ｄ）を設定し、以降にデータが連続しない旨を示すｖｏｐ＿ｃｏｄｅｄ＿ｆｌａｇ９４ｅを設定したフレーム間予測符号化データのことである。

Ｓ１８の処理（新規クライアントへの保存しておいたフレーム内符号化データおよび後述の空のフレーム間予測符号化データのストリーミング）の後、送信サーバ２は、Ｓ１２の処理へ移行する。以降の処理は実施の形態１で説明した接続中の受信クライアントへの動画像ストリーミング制御と同様である。

なお、実施の形態２でも実施の形態１と同様に、Ｓ１２の処理において送出するデータがキーフレームであるとアプリケーション処理部２３が判断した場合は、新規クライアントへも直ちにＳ１５で符号化したフレーム内符号化データのストリーミングを行う。

また、実施の形態２でも実施の形態１と同様に、動画像符号化器２２がフレーム間予測符号化処理を行った後、新規配信要求検出後の処理（後述のヘッダの時間情報の変更など）（Ｓ１４の処理）は行わない。

また、受信クライアント３（既存クライアントや新規クライアント）では、実施の形態１での処理と同様に、送信サーバ２からストリーミングされる符号化データ９５を受信して画像表示する。

図６は、動画像ストリーミングのフレーム構成を示す図である。図６に示すように、既存クライアントへはＰフレーム１０ｙ、Ｐフレーム１０ｚ、Ｉフレーム１１、Ｐフレーム１１ａ、Ｐフレーム１１ｂと順次ストリーミングを行っている。

ここで、既存クライアントへＰフレーム１１ｂをストリーミング中に、新規クライアントが送信サーバ２に接続すると（新規配信要求の発生）（図３のＳ１１、ＹＥＳ）、既存クライアントへは、その後もＰフレーム１１ｃ、Ｐフレーム１１ｄと順次ストリーミングを続ける。

新規クライアントへは、保存しておいたキーフレームであるＩフレーム１１をストリーミングし、続いて空のフレーム内予測符号化データであるＰフレーム１１ａ１およびＰフレーム１１ｂ１をストリーミングする。以降は既存クライアントへも新規クライアントへもＰフレーム１１ｃ、Ｐフレーム１１ｄ、Ｐフレーム１１ｅと順次ストリーミングを行う。

このように実施の形態２によれば、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なくキーフレーム及び空のＰフレームをストリーミングできるので、既存クライアントへの安定したストリーミングを持続しながら、新規クライアント側では短時間で実施の形態１よりも滑らかな画像を表示することが可能となる。

（実施の形態３）
つぎに、図１〜図４を用いて本発明の実施の形態３について説明する。実施の形態３では、アプリケーション処理部２３は、新規クライアントへストリーミングするフレーム間予測符号化データのみを対象に、保存しておいたキーフレーム以降に既存クライアントへストリーミングしたフレーム間予測符号化データ数から保存されたキーフレーム以降の時間情報を算出する。そして、算出した時間情報にヘッダの時間情報を変更したフレーム間予測符号化データを生成し、受信クライアント３へ送信する。実施の形態３の画像ストリーミングシステムは、実施の形態１で説明した図１および図２の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態３の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１で説明した処理と同様であるためその説明を省略する。

ここでは、実施の形態１、２の画像ストリーミングシステムと異なる動作として、動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。接続中の受信クライアント（既存クライアント）３へのストリーミング中に、新規に接続した受信クライアント（新規クライアント）３が存在する場合は、Ｓ１１の処理において新規配信要求があると判断し、アプリケーション処理部２３は新規に接続する受信クライアント３との接続設定と新規配信要求検出時の処理を行う（Ｓ１８）。

まず、アプリケーション処理部２３は、送出するデータがキーフレームであるか否かを判断する。アプリケーション処理部２３は、既存クライアントへ次にストリーミングする符号化データ９５がキーフレームである場合には何も実行しない。

一方、既存クライアントへ次にストリーミングする符号化データ９５がキーフレームでない場合、アプリケーション処理部２３は新規配信識別の設定（新規クライアントの接続があったか否かを判断するためのフラグの設定）を行なうとともに、Ｓ１６の処理で保存しておいたキーフレーム（フレーム内符号化データ）をサーバ制御部２４による制御によって新規クライアントへサーバ処理する（図３に破線で示した流れ）（Ｓ１８）。

Ｓ１８の処理（新規クライアントへの保存しておいたフレーム内符号化データのストリーミング）の後、送信サーバ２は、Ｓ１２の処理へ移行する。以降の処理は実施の形態１で説明した接続中の受信クライアントへの動画像ストリーミング制御と同様である。

なお、実施の形態３でも実施の形態１、２と同様に、Ｓ１２の処理において送出するデータがキーフレームであるとアプリケーション処理部２３が判断した場合は、新規クライアントへもＳ１５で符号化するフレーム内符号化データのストリーミングを行う。

また、実施の形態３では、新規配信識別が設定されている場合、Ｓ１３の処理の後、新規配信要求検出後の処理を行う。具体的には、アプリケーション処理部２３は、新規クライアントへストリーミングするフレーム間予測符号化データのみを対象に、Ｓ１６の処理で保存しておいたキーフレーム以降（既存クライアントがキーフレームを保存してから新規クライアントへキーフレームを送出するまで）に既存クライアントへストリーミングしたフレーム間予測符号化データ数から保存されたキーフレーム以降の時間情報を算出する。そして、算出した時間情報をｍｏｄｕｌｏ＿ｔｉｍｅ＿ｂａｓｅ９４ｃとｖｏｐ＿ｔｉｍｅ＿ｉｎｃｒｅｍｅｎｔ９４ｄに設定して、ヘッダの時間情報が変更されたフレーム間予測符号化データを生成し、新規配信識別を解除する（Ｓ１４）。換言すると、次のフレーム間予測符号化データが、保存したフレーム内符号化データが生成された時間からの経過時間を示すよう動画像フレームのヘッダー内の時間情報を変更したフレーム間予測符号化データをストリーミングする。

この後、時間情報が変更されたフレーム間予測符号化データをサーバ制御部２４による制御によって新規クライアントへサーバ処理する（Ｓ１８）。これにより、新規クライアントへのみ時間情報が変更されたフレーム間予測符号化データをストリーミングする。

受信クライアント３（既存クライアントや新規クライアント）では、実施の形態１での処理と同様に、送信サーバ２からストリーミングされる符号化データ（時間情報が変更されたフレーム間予測符号化データ）を受信して画像表示する。

実施の形態３に係る動画像ストリーミングのフレーム構成は、実施の形態１で説明した図４のフレーム構成と同様の構成を有している。実施の形態１のフレームと実施の形態３のフレームの違いは、既存クライアントへのＰフレーム１１ｃのヘッダ内の時間情報と、新規クライアントへのＰフレーム１１ｃのヘッダ内の時間情報が実施の形態３では異なることである。新規クライアントへストリーミングするＰフレーム１１ｃのヘッダ内の時間情報は、Ｓ１６の処理で保存したキーフレーム（フレーム内符号化データ）の生成時間からの経過時間に関する情報を示している。

このように、送信サーバ２のアプリケーション処理部２３が、新規クライアントへストリーミングするフレーム間予測符号化データのみを対象に、保存しておいたキーフレーム以降に既存クライアントへストリーミングしたフレーム間予測符号化データ数から保存されたキーフレーム以降の時間情報を算出し、算出した時間情報に基づいてヘッダの時間情報を変更したフレーム間予測符号化データを生成している。このため、受信クライアント３は、ヘッダ内の時間情報を用いて滑らかな画像を表示できる。

このように実施の形態３によれば、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なくキーフレーム及び時間情報の変更されたフレーム間予測符号化データをストリーミングできるので、既存クライアントへの安定したストリーミングを持続しながら、新規クライアント側では短時間で実施の形態１よりも滑らかな画像を表示することが可能となる。

また、新規クライアントが接続した後、次のＩフレームの送出までの時間が長い場合であっても、空のＰフレームを送信する必要がないので、実施の形態２のよりも容易に滑らかな画像を表示することが可能となる。

（実施の形態４）
つぎに、図１〜図３、図５を用いて本発明の実施の形態４について説明する。実施の形態４では、動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＧＯＶヘッダ９３を保存し、受信クライアント３へ送信する。実施の形態４の画像ストリーミングシステムは、実施の形態１で説明した図１および図２の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態４の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３で説明した処理と同様であるためその説明を省略する。

ここでは、実施の形態１〜３の画像ストリーミングシステムと異なる動作として、図３のＳ１６の処理動作（キーフレーム保存）について説明する。実施の形態４では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

例えば、ＭＰＥＧ−４を利用した場合では、保存するＧＯＶヘッダ９３は図５に示すＧＯＶヘッダ９３であり、保存するキーフレームは図５に示すＶＯＰヘッダ９４および符号化データ９５からなる。ここでは、図３のＳ１１の処理において新規配信要求があると判断した場合、Ｓ１６の処理で保存したＧＯＶヘッダ９３とともに、フレーム内符号化データをサーバ処理する（Ｓ１７）。

具体的には、次にストリーミングする符号化データ９５がキーフレームでない場合は、Ｓ１６の処理で保存したキーフレーム（ＧＯＶヘッダ９３を有したフレーム内符号化データ）であるフレーム内符号化データをサーバ処理する。一方、次にストリーミングする符号化データがキーフレームである場合はＳ１５の処理においてフレーム内符号化したフレーム内符号化データをサーバ処理する。このとき、動画像符号化器２２が生成したフレーム内符号化データとともにＧＯＶヘッダ９３もサーバ処理する。これにより、保存したＧＯＶヘッダ９３とともにフレーム内符号化データを、新規クライアントへストリーミングする。

なお、実施の形態４では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式（Ｈ．２６３やＨ２６４など）で規定されたヘッダ（ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

例えば、図５に示したＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３などのヘッダ（ＭＰＥＧ−４で規定されるレイヤ毎のヘッダ）をフレーム内符号化データとともに保存し新規クライアントへストリーミングしてもよい。

ここでのＶＯＳヘッダ９０は、開始コード、プロファイル情報、レベル情報などを格納している。ＶＯヘッダ９１は、開始コード、ビジュアルオブジェクトを識別する情報、ビジュアルオブジェクトの優先度情報、ビジュアルオブジェクトのタイプ別の種々の情報などを格納している。ＶＯＬヘッダ９２は、開始コード、ショートビデオヘッダを識別する情報、ビジュアルオブジェクトレイヤを識別する情報、画像アスペクト情報、ＶＯＬ制御パラメータ群などを格納している。ＧＯＶヘッダ９３は、開始コード、時間コードなどを格納している。

このように実施の形態４によれば、新規クライアントは、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態１〜３の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態５）
つぎに、図１〜図３、図５を用いて本発明の実施の形態５について説明する。実施の形態５では、動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＶＯＬヘッダ９２およびＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＶＯＬヘッダ９２およびＧＯＶヘッダ９３を保存し、受信クライアント３へ送信する。実施の形態５の画像ストリーミングシステムは、実施の形態１で説明した図１および図２の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態５の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３で説明した処理と同様であるためその説明を省略する。

ここでは、実施の形態１〜３の画像ストリーミングシステムと異なる動作として、図３のＳ１６の処理動作（キーフレーム保存）について説明する。実施の形態５では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

例えば、ＭＰＥＧ−４を利用した場合では、保存するＶＯＬヘッダは図５に示すＶＯＬヘッダ９２であり、保存するＧＯＶヘッダ９３は図５に示すＧＯＶヘッダ９３であり、保存するキーフレームは図５に示すＶＯＰヘッダ９４および符号化データ９５からなる。

ここでは、図３のＳ１１の処理において新規配信要求があると判断した場合、Ｓ１６の処理で保存したＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともに、フレーム内符号化データをサーバ処理する（Ｓ１７）。

具体的には、次にストリーミングする符号化データ９５がキーフレームでない場合は、Ｓ１６の処理で保存したキーフレームであるフレーム内符号化データをサーバ処理する。一方、次にストリーミングする符号化データ９５がキーフレームである場合はＳ１５の処理においてフレーム内符号化したフレーム内符号化データをサーバ処理する。これにより、保存した複数のヘッダ（ＶＯＬヘッダ９２およびＧＯＶヘッダ９３）とともにフレーム内符号化データを、新規クライアントへストリーミングする。

なお、実施の形態５では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＶＯＬヘッダ９２、ＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＶＯＬヘッダ９２、ＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式で規定された複数のヘッダ（ＶＯＬヘッダ９２と同等のヘッダ、ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

このように実施の形態５によれば、新規クライアントは、複数のヘッダに含まれる情報（ＶＯＬヘッダ９２又はこれと同等のヘッダに含まれる情報と、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報）を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態１〜４の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態６）
つぎに、図１〜図３、図５を用いて本発明の実施の形態６について説明する。実施の形態６では、動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３を保存し、受信クライアント３へ送信する。実施の形態５の画像ストリーミングシステムは、実施の形態１で説明した図１および図２の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態５の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３で説明した処理と同様であるためその説明を省略する。

ここでは、実施の形態１〜３の画像ストリーミングシステムと異なる動作として、図３のＳ１６の処理動作（キーフレーム保存）について説明する。実施の形態６では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

例えば、ＭＰＥＧ−４を利用した場合では、保存するＶＯヘッダ９１は図５に示すＶＯヘッダ９１であり、ＶＯＬヘッダは図５に示すＶＯＬヘッダ９２であり、保存するＧＯＶヘッダは図５に示すＧＯＶヘッダ９３であり、保存するキーフレームは図５に示すＶＯＰヘッダ９４および符号化データ９５からなる。

ここでは、図３のＳ１１の処理において新規配信要求があると判断した場合、Ｓ１６の処理で保存したＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともに、フレーム内符号化データをサーバ処理する（Ｓ１７）。

具体的には、次にストリーミングする符号化データ９５がキーフレームでない場合は、Ｓ１６の処理で保存したキーフレームであるフレーム内符号化データをサーバ処理する。一方、次にストリーミングする符号化データ９５がキーフレームである場合はＳ１５の処理においてフレーム内符号化したフレーム内符号化データをサーバ処理する。これにより、保存した複数のヘッダ（ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３）とともにフレーム内符号化データを、新規クライアントへストリーミングする。

なお、実施の形態６では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式で規定された複数のヘッダ（ＶＯヘッダ９１と同等のヘッダ、ＶＯＬヘッダ９２と同等のヘッダ、ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

このように実施の形態６によれば、新規クライアントは、複数のヘッダに含まれる情報（ＶＯヘッダ９１又はこれと同等のヘッダに含まれる情報、ＶＯＬヘッダ９２又はこれと同等のヘッダに含まれる情報、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報）を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態１〜５の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態７）
つぎに、図１〜図３、図５を用いて本発明の実施の形態７について説明する。実施の形態７では、動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３を保存し、受信クライアント３へ送信する。実施の形態７の画像ストリーミングシステムは、実施の形態１で説明した図１および図２の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態５の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３で説明した処理と同様であるためその説明を省略する。

ここでは、実施の形態１〜３の画像ストリーミングシステムと異なる動作として、図３のＳ１６の処理動作（キーフレーム保存）について説明する。実施の形態７では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

例えば、ＭＰＥＧ−４を利用した場合では、保存するＶＯＳヘッダ９０は図５に示すＶＯＳヘッダ９０であり、保存するＶＯヘッダは図５に示すＶＯヘッダ９１であり、ＶＯＬヘッダは図５に示すＶＯＬヘッダ９２であり、保存するＧＯＶヘッダ９３は図５に示すＧＯＶヘッダ９３であり、保存するキーフレームは図５に示すＶＯＰヘッダ９４および符号化データ９５からなる。

ここでは、図３のＳ１１の処理において新規配信要求があると判断した場合、Ｓ１６の処理で保存したＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともに、フレーム内符号化データをサーバ処理する（Ｓ１７）。

具体的には、次にストリーミングする符号化データ９５がキーフレームでない場合は、Ｓ１６の処理で保存したキーフレームであるフレーム内符号化データをサーバ処理する。一方、次にストリーミングする符号化データ９５がキーフレームである場合はＳ１５の処理においてフレーム内符号化したフレーム内符号化データをサーバ処理する。これにより、保存した複数のヘッダ（ＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３）とともにフレーム内符号化データを、新規クライアントへストリーミングする。

なお、実施の形態７では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式で規定されたヘッダ（ＶＯＳヘッダ９０と同等のヘッダ、ＶＯヘッダ９１と同等のヘッダ、ＶＯＬヘッダ９２と同等のヘッダ、ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

このように実施の形態７によれば、新規クライアントは、複数のヘッダに含まれる情報（ＶＯＳヘッダ９０又はこれと同等のヘッダに含まれる情報、ＶＯヘッダ９１又はこれと同等のヘッダに含まれる情報、ＶＯＬヘッダ９２又はこれと同等のヘッダに含まれる情報、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報）を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態１〜６の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態８）
つぎに、図１、３、７、８を用いて本発明の実施の形態８について説明する。実施の形態８では、送信サーバ２に接続中の既存クライアントへのストリーミング中に、新規クライアントが送信サーバ２に接続すると、静止画符号化データを生成して新規クライアントに送信し、その後既存クライアントへ次のキーフレーム（Ｉフレーム）を送信する時から、既存クライアントと同じ動画データを新規クライアントに送信する。

図７は、本発明の実施の形態８に係る画像ストリーミングシステムの構成を示すブロック図である。図７の各構成要素のうち図２に示す実施の形態１の画像ストリーミングシステムと同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。

実施の形態８に係る画像ストリーミングシステムの送信サーバ２は、画像入力部２１、動画像符号化器２２、アプリケーション処理部２３、サーバ制御部２４に加えて、静止画像符号化器２５を備えている。画像入力部２１は、動画像符号化器２２と静止画像符号化器２５に接続し、動画像符号化器２２と静止画像符号化器２５がアプリケーション処理部２３に接続している。

静止画像符号化器（静止画データ生成部）２５は、画像入力部２１からの画像データを、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規定に従って静止画像圧縮符号化を行い、アプリケーション処理部２３に入力する。

また、ここでのサーバ制御部２４は、受信クライアント３からの接続要求や切断要求に対する接続制御や切断制御、ストリーミングの開始や停止等のプロトコル制御を行うとともに、動画像符号化器２２や静止画像符号化器２５で生成された符号化データをネットワーク１を介して受信クライアント３へストリーミングする。

また、実施の形態８に係る画像ストリーミングシステムの受信クライアント３は、画像出力部３１、動画像復号化器３２、アプリケーション処理部３３、クライアント制御部３４に加えて、静止画像復号化器３５を備えている。画像出力部３１は、動画像復号化器３２と静止画像復号化器３５に接続し、動画像復号化器３２と静止画像復号化器３５はアプリケーション処理部３３に接続している。

静止画像復号化器３５は、送信サーバ２から受信したＪＰＥＧ−４等の静止画像符号化データを伸張し復号化する。画像出力部３１は、動画像復号化器３２によって生成された画像データ、静止画像復号化器３５によって生成された画像データを、必要に応じて適切な解像度に変換し、ＬＣＤやディスプレイなどの表示モニタ（図示せず）へ出力する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態８の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３で説明した処理と同様であるためその説明を省略する。

ここでは、実施の形態１〜３の画像ストリーミングシステムと異なる動作として、動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。

接続中の受信クライアント（既存クライアント）３へのストリーミング中に、新規に接続した受信クライアント（新規クライアント）３が存在する場合は、Ｓ１１の処理において新規配信要求があると判断し、アプリケーション処理部２３は新規に接続する受信クライアント３との接続設定と新規配信要求検出時の処理を行う（Ｓ１８）。

まず、アプリケーション処理部２３は、送出するデータがキーフレームであるか否かを判断する。アプリケーション処理部２３は、既存クライアントへ次にストリーミングする符号化データがキーフレームである場合には何も実行しない。

一方、既存クライアントへ次にストリーミングする符号化データがキーフレームでない場合は、静止画像符号化器２５によって静止画符号化データを生成し、サーバ制御部２４による制御によって新規クライアントへサーバ処理する（図３に破線で示した流れ）。これにより、新規クライアントへ静止画符号化データが送出されてストリーミングが開始される。

この後、送信サーバ２は、Ｓ１２の処理へ移行する。この後の処理は実施の形態１で説明した接続中の受信クライアント３への動画像ストリーミング制御と同様であるが、Ｓ１２の処理において送出するデータがキーフレームであるとアプリケーション処理部２３が判断した場合は、新規クライアントへもＳ１５で符号化したフレーム内符号化データのストリーミングを行う。

アプリケーション処理部２３が新規配信識別の設定を行った後、アプリケーション処理部２３が新規配信識別が設定されていることを検出すると（Ｓ１４）、次回の符号化処理がキーフレーム作成のためのフレーム内符号化である場合にのみ新規配信識別を解除し、以降は既存クライアントと同じ動画像符号化データを新規クライアントへストリーミングする。

受信クライアント３（既存クライアントや新規クライアント）では、実施の形態１での処理と同様に、送信サーバ２からストリーミングされる符号化データを受信して画像表示する。なお、実施の形態８では、動画像符号化器２２がフレーム内符号化処理を行った後、動画像符号化器２２が生成したフレーム内符号化データの保存（Ｓ１６）を行わない。

図８は、実施の形態８の画像ストリーミングのフレーム構成を示す図である。図８に示すように、既存クライアントへはＰフレーム１０ｙ、Ｐフレーム１０ｚ、Ｉフレーム１１、Ｐフレーム１１ａ、Ｐフレーム１１ｂと順次ストリーミングを行っている。

ここで、既存クライアントへＰフレーム１１ｂをストリーミング中に、新規クライアントが送信サーバ２に接続すると（図３のＳ１１、ＹＥＳ）、既存クライアントへは、その後もＰフレーム１１ｃ、Ｐフレーム１１ｄと順次ストリーミングを続ける。

新規クライアントへは、静止画像符号化器２５が生成した静止画フレーム２０（静止画符号化データ）を送出し、以降は既存クライアントへの次のキーフレームであるＩフレーム１２から、既存クライアントと同じタイミングでＰフレーム１２ａ、Ｐフレーム１２ｂと順次ストリーミングを行う。

このように実施の形態８によれば、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なく静止画符号化データを送出できるので、既存クライアントへの安定したストリーミングを持続しながら、新規クライアント側では動画像の表示開始を待つことなく、短時間で静止画像を表示しその後動画を表示することが可能となる。

（実施の形態９）
つぎに、図１、３、７、９を用いて本発明の実施の形態９について説明する。実施の形態９では、新規クライアントへの静止画符号化データを連続して生成し新規クライアントに送信する。その後既存クライアントへ次のキーフレーム（Ｉフレーム）を送信する時から、既存クライアントと同じ動画データを送信する。実施の形態９の画像ストリーミングシステムは、実施の形態１、８で説明した図１、７の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３、８と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態９の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３で説明した処理と同様であるためその説明を省略する。

ここでは、実施の形態１〜３、８の画像ストリーミングシステムと異なる動作として、動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。

接続中の受信クライアント（既存クライアント）３へのストリーミング中に、新規に接続した受信クライアント（新規クライアント）３が存在する場合は、Ｓ１１の処理において新規配信要求があると判断し、アプリケーション処理部２３は新規に接続する受信クライアント３との接続設定と新規配信要求検出時の処理を行う（Ｓ１８）。

まず、アプリケーション処理部２３は、送出するデータがキーフレームであるか否かを判断する。アプリケーション処理部２３は、既存クライアントへ次にストリーミングする符号化データがキーフレームである場合には何も実行しない。

一方、既存クライアントへ次にストリーミングする符号化データがキーフレームでない場合は、静止画像符号化器２５によって静止画符号化データを生成し、サーバ制御部２４による制御によって新規クライアントへサーバ処理する（図３に破線で示した流れ）。これにより、新規クライアントへ静止画符号化データが送出されてストリーミングが開始される。

この後、送信サーバ２は、Ｓ１２の処理へ移行する。この後の処理は実施の形態１、８で説明した接続中の受信クライアント３への動画像ストリーミング制御と同様であるが、Ｓ１２の処理において送出するデータがキーフレームであるとアプリケーション処理部２３が判断した場合は、新規クライアントへもＳ１５で符号化したフレーム内符号化データのストリーミングを行う。

アプリケーション処理部２３が新規配信識別の設定を行った後、アプリケーション処理部２３が新規配信識別が設定されていることを検出すると（Ｓ１４）、静止画像符号化器２５によって静止画符号化データ（２つ目以降の静止画符号化データ）を生成し、サーバ制御部２４による制御によって新規クライアントへサーバ処理する。これにより、新規クライアントへ静止画符号化データが送出される。次回の符号化処理が、キーフレーム作成のためのフレーム内符号化となるまで、静止画像符号化器２５によって静止画符号化データを生成し、サーバ制御部２４による制御によって新規クライアントへサーバ処理する。アプリケーション処理部２３は、次回の符号化処理がキーフレーム作成のためのフレーム内符号化である場合にのみ新規配信識別を解除し、以降は既存クライアントと同じ動画像符号化データを新規クライアントへストリーミングする。

このようにＳ１７のサーバ処理によって次のキーフレームまで静止画符号化データが連続して新規クライアントへ送出されるが、その際Ｍ−ＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）などの方式を利用して静止画符号化データを送出してもよい。

受信クライアント３（既存クライアントや新規クライアント）では、実施の形態１での処理と同様に、送信サーバ２からストリーミングされる符号化データを受信して画像表示する。なお、実施の形態９では、動画像符号化器２２がフレーム内符号化処理を行った後、動画像符号化器２２が生成したフレーム内符号化データの保存（Ｓ１６）を行わない。

図９は、実施の形態９の画像ストリーミングのフレーム構成を示す図である。図９に示すように、既存クライアントへはＰフレーム１０ｙ、Ｐフレーム１０ｚ、Ｉフレーム１１、Ｐフレーム１１ａ、Ｐフレーム１１ｂと順次ストリーミングを行っている。

ここで、既存クライアントへＰフレーム１１ｂをストリーミング中に、新規クライアントが送信サーバ２に接続すると（図３のＳ１１、ＹＥＳ）、既存クライアントへは、その後もＰフレーム１１ｃ、Ｐフレーム１１ｄと順次ストリーミングを続ける。

新規クライアントへは、静止画像符号化器２５が生成した静止画フレーム３０ａ（静止画符号化データ）を送出し、以降は既存クライアントへはＰフレーム１１ｃ、Ｐフレーム１１ｄ、Ｐフレーム１１ｅと順次ストリーミングを行いながら、新規クライアントへは静止画フレーム３０ｂ、静止画フレーム３０ｃと順次静止画フレームの送出を行う。

その後、新規クライアントへは、既存クライアントへの次のキーフレームであるＩフレーム１２から、既存クライアントと同じタイミングでＰフレーム１２ａ、Ｐフレーム１２ｂと順次ストリーミングを行う。

このように実施の形態９によれば、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続でき、新規に接続した新規クライアントへは遅延なく静止画符号化データを連続して送出できるので、既存クライアントへの安定したストリーミングを持続しながら、新規クライアントでは動画像の表示開始を待つ必要がなく、短時間で静止画像を連続表示しその後動画を表示することが可能となる。

（実施の形態１０）
つぎに、図１、図３、図７〜図９を用いて本発明の実施の形態１０について説明する。実施の形態１０では、新規クライアントへ送出した静止画符号化データの累積符号量などに基づいて静止画像圧縮符号化を実行するか否かを判断し、静止画像圧縮符号化を実行すると判断した場合のみ静止画符号化データを生成して新規クライアントへ送出する。実施の形態１０の画像ストリーミングシステムは、実施の形態１、８、９で説明した図１、７の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３、８、９と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態１０の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３で説明した処理と同様であるためその説明を省略する。ここでは、実施の形態９と異なるストリーミング制御の処理手順について説明する。

アプリケーション処理部２３が新規配信識別の設定を行った後、アプリケーション処理部２３が新規配信識別が設定されていることを検出すると（Ｓ１４）、アプリケーション処理部２３は、予め決められたパターン（例えば、ブルーバックに所定の文字や絵が記されたパターン画など）（受信クライアント３で最初の画像表示を行なうまでの繋ぎの画像）や新規クライアントへ送出した静止画符号化データの累積した符号量（ストリーミング済みのデータ量）に基づいて静止画像圧縮符号化を実行するか否かを判断する。アプリケーション処理部２３は、静止画符号化データを生成するタイミングになると、静止画符号化データを生成するタイミング毎に静止画像圧縮符号化を実行するか否かを判断する。

静止画像圧縮符号化を実行する場合は、静止画像符号化器２５によって静止画符号化データを生成し、サーバ制御部２４による制御によって新規クライアントへサーバ処理する。これにより、新規クライアントへ静止画符号化データが送出される。次回の符号化処理がキーフレーム作成のためのフレーム内符号化である場合にのみ新規配信識別を解除し、以降は既存クライアントと同じ動画像符号化データを新規クライアントへストリーミングする。

実施の形態１０の画像ストリーミングのフレーム構成は、図９に示した実施の形態９の画像ストリーミングのフレーム構成と同様の構成を有している。実施の形態１０では、新規クライアントへの静止画フレームの送出が発生する場合（タイミング）と、発生しない場合がある点が実施の形態９と異なる。

このように実施の形態１０によれば、接続中の既存クライアントへは一連のストリーミングを何ら変更することなく持続できる。また、新規に接続した新規クライアントへは遅延なく静止画符号化データを予め決められたパターンに従って送出でき、動画像データと比べて一般的にデータ量の多い静止画データによって伝送帯域を占有することがない。これにより、既存クライアントへの安定したストリーミングを持続しながら、新規クライアントでは動画像の表示開始を待つ必要がなく、短時間で静止画像を連続表示しその後短時間で動画を表示することが可能となる。

（実施の形態１１）
つぎに、図１、３、５、７、８を用いて本発明の実施の形態１１について説明する。実施の形態１１では、実施の形態８〜１０において動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＧＯＶヘッダ９３などを保存し、受信クライアント３へ送信する。

実施の形態１１の画像ストリーミングシステムは、実施の形態１で説明した図１の画像ストリーミングシステム、実施の形態８〜１０で説明した図７の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３、８〜１０と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態１１の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３、８〜１０で説明した処理と同様であるためその説明を省略する。

接続中の受信クライアントである既存クライアントへのストリーミング中に新規に接続した受信クライアントである新規クライアントが存在する場合の処理は、以下に説明する内容を除いて実施の形態８〜１０で説明した内容と同様である。

まず、実施の形態１１では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

さらに、実施の形態８〜１０との相違点は、Ｓ１４での新規配信識別の解除を行わないこと、Ｓ１５においてフレーム内符号化データを生成した際に新規配信識別が設定されていれば新規配信識別の解除を行い、Ｓ１６において保存したＧＯＶヘッダ９３とともにフレーム内符号化データをサーバ処理する（Ｓ１７）。これにより、新規クライアントから新規配信要求があった場合に、送信サーバ２が既存クライアントへ送出するデータがキーフレームであると、新規クライアントへも保存しておいたＧＯＶヘッダ９３とともにフレーム内符号化データを新規クライアントへストリーミングすることができる。なお、送信サーバは、ＧＯＶヘッダ９３を有したフレーム内符号化データを保存することなく新規クライアントや既存クライアントへ送出してもよい。

なお、実施の形態１１では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式で規定されたヘッダ（ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

このように実施の形態１１によれば、実施の形態８〜１０の効果に加えて、新規クライアントは、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態８〜１０の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態１２）
つぎに、図１、３、５、７、８を用いて本発明の実施の形態１２について説明する。実施の形態１２では、実施の形態８〜１０において動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＶＯＬヘッダ９２およびＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＶＯＬヘッダ９２およびＧＯＶヘッダ９３などを保存し、受信クライアント３へ送信する。

実施の形態１２の画像ストリーミングシステムは、実施の形態１で説明した図１の画像ストリーミングシステム、実施の形態８〜１０で説明した図７の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３、８〜１０と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態１２の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３、８〜１０で説明した処理と同様であるためその説明を省略する。

接続中の受信クライアントである既存クライアントへのストリーミング中に新規に接続した受信クライアントである新規クライアントが存在する場合の処理は、以下に説明する内容を除いて実施の形態８〜１０で説明した内容と同様である。

まず、実施の形態１２では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

さらに、実施の形態８〜１０との相違点は、Ｓ１４での新規配信識別の解除を行わないこと、Ｓ１５においてフレーム内符号化データを生成した際に新規配信識別が設定されていれば新規配信識別の解除を行い、Ｓ１６において保存したＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともにフレーム内符号化データをサーバ処理する（Ｓ１７）。これにより、保存しておいたＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともにフレーム内符号化データを新規クライアントへストリーミングすることができる。

なお、実施の形態１２では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＶＯＬヘッダ９２、ＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＶＯＬヘッダ９２、ＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式で規定されたヘッダ（ＶＯＬヘッダ９２と同等のヘッダ、ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

このように実施の形態１２によれば、実施の形態８〜１０の効果に加えて、新規クライアントは、複数のヘッダに含まれる情報（ＶＯＬヘッダ９２又はこれと同等のヘッダに含まれる情報と、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報）を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態８〜１１の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態１３）
つぎに、図１、３、５、７、８を用いて本発明の実施の形態１３について説明する。実施の形態１３では、実施の形態８〜１０において動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３などを保存し、受信クライアント３へ送信する。

実施の形態１３の画像ストリーミングシステムは、実施の形態１で説明した図１の画像ストリーミングシステム、実施の形態８〜１０で説明した図７の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３、８〜１０と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態１２の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３、８〜１０で説明した処理と同様であるためその説明を省略する。

実施の形態１３では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

接続中の受信クライアントである既存クライアントへのストリーミング中に新規に接続した受信クライアントである新規クライアントが存在する場合の処理は、次に説明する内容を除いて実施の形態８〜１０で説明した内容と同様である。

まず、実施の形態１３では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

さらに、実施の形態８〜１０との相違点は、Ｓ１４での新規配信識別の解除を行わないこと、Ｓ１５においてフレーム内符号化データを生成した際に新規配信識別が設定されていれば新規配信識別の解除を行い、Ｓ１６において保存したＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともにフレーム内符号化データをサーバ処理する（Ｓ１７）。これにより、保存しておいたＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともにフレーム内符号化データを新規クライアントへストリーミングすることができる。

なお、実施の形態１３では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式で規定されたヘッダ（ＶＯヘッダ９１と同等のヘッダ、ＶＯＬヘッダ９２と同等のヘッダ、ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

このように実施の形態１３によれば、実施の形態８〜１０の効果に加えて、新規クライアントは、複数のヘッダに含まれる情報（ＶＯヘッダ９１又はこれと同等のヘッダに含まれる情報、ＶＯＬヘッダ９２又はこれと同等のヘッダに含まれる情報、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報）を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態８〜１２の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態１４）
つぎに、図１、３、５、７、８を用いて本発明の実施の形態１４について説明する。実施の形態１４では、実施の形態８〜１０において動画像符号化器２２がフレーム内符号化処理を行なった際に、ＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１ＶＯＬヘッダ９２およびＧＯＶヘッダ９３などが生成された場合は、フレーム内符号化データとともにＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３などを保存し、受信クライアント３へ送信する。

実施の形態１４の画像ストリーミングシステムは、実施の形態１で説明した図１の画像ストリーミングシステム、実施の形態８〜１０で説明した図７の画像ストリーミングシステムと同様の構成を有しているためその説明を省略する。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３、８〜１０と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態１２の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態１〜３、８〜１０で説明した処理と同様であるためその説明を省略する。

実施の形態１４では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

接続中の受信クライアントである既存クライアントへのストリーミング中に新規に接続した受信クライアントである新規クライアントが存在する場合の処理は、次に説明する内容を除いて実施の形態８〜１０で説明した内容と同様である。

まず、実施の形態１３では、動画像符号化器２２がフレーム内符号化処理を行なった際に（Ｓ１５）、ＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３が生成された場合は、動画像符号化器２２が生成したフレーム内符号化データとともにＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３の保存も行う（Ｓ１６）。

さらに、実施の形態８〜１０との相違点は、Ｓ１４での新規配信識別の解除を行わないこと、Ｓ１５においてフレーム内符号化データを生成した際に新規配信識別が設定されていれば新規配信識別の解除を行い、Ｓ１６において保存したＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともにフレーム内符号化データをサーバ処理する（Ｓ１７）。これにより、保存しておいたＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２およびＧＯＶヘッダ９３とともにフレーム内符号化データを新規クライアントへストリーミングすることができる。

なお、実施の形態１４では、動画像符号化器２２が生成したフレーム内符号化データとともにＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３の保存を行ない、新規クライアントへストリーミングすることとしたが、フレーム内符号化データとともに保存し新規クライアントへストリーミングするヘッダはＭＰＥＧ−４に規定のＶＯＳヘッダ９０、ＶＯヘッダ９１、ＶＯＬヘッダ９２、ＧＯＶヘッダ９３に限られない。すなわち、動画像符号化器２２が生成したフレーム内符号化データとともに、他の動画像符号化方式で規定されたヘッダ（ＶＯＳヘッダ９０と同等のヘッダ、ＶＯヘッダ９１と同等のヘッダ、ＶＯＬヘッダ９２と同等のヘッダ、ＧＯＶヘッダ９３と同等のヘッダ）を保存し新規クライアントへストリーミングしてもよい。

このように実施の形態１４によれば、実施の形態８〜１０の効果に加えて、新規クライアントは、複数のヘッダに含まれる情報（ＶＯＳヘッダ９０又はこれと同等のヘッダに含まれる情報、ＶＯヘッダ９１又はこれと同等のヘッダに含まれる情報、ＶＯＬヘッダ９２又はこれと同等のヘッダに含まれる情報、ＧＯＶヘッダ９３又はこれと同等のヘッダに含まれる情報）を取得できるので、受信クライアントは予め決められた制御パラメータで動作する必要はなく、実施の形態８〜１３の画像ストリーミングシステムよりも融通度の高い画像ストリーミングシステムを提供することが可能となる。

（実施の形態１５）
つぎに、図１、３、８、１０を用いて本発明の実施の形態１５について説明する。実施の形態１５では、複数の動画像符号化器の中から所定の動画像符号化器を選択して新規クライアントへのストリーミングを行う。

図１０は、本発明の実施の形態１５に係る画像ストリーミングシステムの構成を示すブロック図である。図１５の各構成要素のうち図２、７に示す実施の形態１、８の画像ストリーミングシステムと同一機能を達成する構成要素については同一番号を付しており、重複する説明は省略する。

実施の形態１５に係る画像ストリーミングシステムの送信サーバ２は、画像入力部２１、複数の動画像符号化器２２Ａ〜２２Ｚ、静止画像符号化器２５、アプリケーション処理部２３、サーバ制御部２４を備えている。画像入力部２１は、動画像符号化器２２Ａ〜２２Ｚと静止画像符号化器２５に接続し、動画像符号化器２２Ａ〜２２Ｚと静止画像符号化器２５がアプリケーション処理部２３に接続している。

複数の動画像符号化器２２Ａ〜２２Ｚは、動画像符号化器２２Ａ〜２２Ｚ毎に設定された種々の解像度（動画像解像度）で画像入力部２１からの画像データを、ＭＰＥＧ−４等の規定に従って動画像圧縮符号化を行う。

また、ここでのサーバ制御部２４は、受信クライアント３からの接続要求や切断要求に対する接続制御や切断制御、ストリーミングの開始や停止等のプロトコル制御を行うとともに、動画像符号化器２２Ａ〜２２Ｚや静止画像符号化器２５で生成された符号化データをネットワーク１を介して受信クライアント３へストリーミングする。

また、実施の形態１５に係る画像ストリーミングシステムの受信クライアント３は、図７に示した実施の形態８に係る画像ストリーミングシステムの受信クライアント３と同様の構成を有している。

次に、送信サーバ２におけるストリーミング制御の処理手順について説明する。ここでは、実施の形態１〜３、８と同様に図３のフローチャートを用いて送信サーバ２におけるストリーミング制御の処理手順について説明する。なお、実施の形態１５の画像ストリーミングシステムにおいて、接続中の受信クライアント３への動画像ストリーミング制御については、実施の形態８で説明した処理と同様であるためその説明を省略する。ここでは、実施の形態８の画像ストリーミングシステムと異なる動作として、動画像ストリーミング制御中に新規に受信クライアントが接続した場合の動作について説明する。

送信サーバ２に新規クライアントが接続した際、新規クライアントが要求している動画像解像度と同じ解像度で符号化を実行している動画像符号化器が存在すればその動画像符号化器を選択し、実施の形態１〜実施の形態１４で説明した何れかの手順に従って新規クライアントへのストリーミングを行う。

新規クライアントが要求している動画像解像度と同じ解像度で符号化を実行している動画像符号化器が存在せず、複数の動画像符号化器のうち符号化を実行していない空きの（使用中でない）動画像符号化器がある場合は、空きの動画像符号化器を選択して実施の形態１などの手順（受信クライアントへの動画像ストリーミング制御と同様の制御）に従って新規クライアントへのストリーミングを行う。なお、前述した内容で新規クライアントへのストリーミングを実施するための動画像符号化器を選択できない場合は、新規受信クライアントとの接続を切断する。

また、実施の形態１５では画像ストリーミングシステムの送信サーバ２が、静止画像符号化器２５を備える構成としたが、送信サーバ２は静止画像符号化器２５を備えない構成としてもよい。

また、実施の形態１５では画像ストリーミングシステムの受信クライアント３が、静止画像符号化器３５を備える構成としたが、受信クライアント３は静止画像符号化器３５を備えない構成としてもよい。

このように実施の形態１５によれば、新規クライアントから接続があった際、複数の動画像符号化器が全て実行中の場合であっても同じ解像度で符号化実行中の動画像符号化器を選択し、実施の形態１〜１４で説明した何れかの手順に従って新規クライアントへのストリーミングができるので、既存クライアントへの安定したストリーミングを持続しながら、新規クライアントでは短時間で画像を表示することが可能となる。

以上のように、本発明にかかる画像ストリーミングシステムは、画像データのストリーミングに適している。

本発明の実施の形態１に係る画像ストリーミングシステムの概略構成を示す図 本発明の実施の形態１に係る画像ストリーミングシステムの構成を示すブロック図 送信サーバにおけるストリーミング制御の処理手順を示すフローチャート 動画像ストリーミングのフレーム構成を示す図 フレーム内符号化データとフレーム間予測符号化データの内部構成を説明するための図 動画像ストリーミングのフレーム構成を示す図 本発明の実施の形態８に係る画像ストリーミングシステムの構成を示すブロック図 本発明の実施の形態８の画像ストリーミングのフレーム構成を示す図 本発明の実施の形態９の画像ストリーミングのフレーム構成を示す図 本発明の実施の形態１５に係る画像ストリーミングシステムの構成を示すブロック図 従来の画像ストリーミングの第１例を説明するための図 従来の画像ストリーミングの第１例の処理手順を示すフローチャート 従来の画像ストリーミングの第２例を説明するための図 従来の画像ストリーミングの第２例の処理手順を示すフローチャート

符号の説明

１ ネットワーク
２ 送信サーバ
３ 受信クライアント
９ 動画像フレーム
２１ 画像入力部
２２、２２Ａ〜２２Ｚ 動画像符号化器（符号化データ生成部）
２３ アプリケーション処理部
２４ サーバ制御部（ストリーミング部）
２５ 静止画像符号化器（静止画データ生成部）
３１ 画像出力部
３２ 動画像復号化器
３３ アプリケーション処理部
３４ クライアント制御部
３５ 静止画像符号化器
９０ ＶＯＳヘッダ
９１ ＶＯヘッダ
９２ ＶＯＬヘッダ
９３ ＧＯＶヘッダ
９４ ＶＯＰヘッダ
９５ 符号化データ

Claims (14)

1. 動画像データを圧縮符号化するとともに圧縮符号化した圧縮符号化データをネットワークを介してストリーミングする送信サーバと、前記送信サーバがストリーミングした圧縮符号化データを前記ネットワークを介して受信するとともに受信した圧縮符号化データを伸張復号化して画像の表示を行う複数の受信クライアントとを有し、前記送信サーバから前記受信クライアントへは前記圧縮符号化データをフレーム内符号化で生成したフレーム内符号化データおよび前記圧縮符号化データをフレーム間予測符号化で生成したフレーム間予測符号化データをストリーミングする画像ストリーミングシステムにおいて、
   前記送信サーバは、
   前記フレーム内符号化データおよび前記フレーム間予測符号化データを生成する符号化データ生成部と、
   前記符号化データ生成部が生成した前記フレーム内符号化データおよび前記フレーム間予測符号化データを前記受信クライアントへストリーミングするとともに前記受信クライアントへストリーミングする前記フレーム内符号化データを記憶しておくストリーミング部と、
   を備え、
   前記ストリーミング部は、
   自サーバと既に接続中の受信クライアントである接続中クライアントへストリーミングするデータが前記フレーム内符号化データ以外の圧縮符号化データのタイミングである場合に前記接続中クライアントとは別の新たな受信クライアントである新規クライアントから接続要求を受けると、記憶しておいたフレーム内符号化データを用いて前記新規クライアントへのストリーミングを開始することを特徴とする画像ストリーミングシステム。
2. 前記ストリーミング部は、前記新規クライアントへのストリーミングを開始した後、前記符号化データ生成部が生成し前記接続中クライアントへストリーミングする前記フレーム内符号化データおよび前記フレーム間予測符号化データを前記接続中クライアントへのストリーミングと同じタイミングで前記新規クライアントへストリーミングすることを特徴とする請求項１に記載の画像ストリーミングシステム。
3. 前記符号化データ生成部は、前記フレーム内符号化データを記憶してから記憶した当該フレーム内符号化データを用いた前記新規クライアントへのストリーミングを行うまでの間に前記接続中クライアントへストリーミングしたフレーム間予測符号化データのフレーム数と同数のフレーム間予測符号化データであって、前記フレーム数に応じたヘッダを設定したフレーム間予測符号化データを生成し、
   前記ストリーミング部は、前記新規クライアントへのストリーミングを開始すると、記憶しておいた前記フレーム内符号化データ、前記符号化データ生成部にヘッダを設定された前記フレーム数と同数のフレーム間予測符号化データ、記憶しておいた前記フレーム内符号化データを前記新規クライアントへストリーミングした後に前記接続中クライアントへストリーミングしたフレーム間予測符号化データの順番で前記フレーム内符号化データおよび前記各フレーム間予測符号化データを前記新規クライアントへストリーミングすることを特徴とする請求項１に記載の画像ストリーミングシステム。
4. 前記符号化データ生成部は、記憶しておいた前記フレーム内符号化データの次に新規クライアントへストリーミングするフレーム間予測符号化データとして、前記フレーム内符号化データを記憶してからの経過時間を示すヘッダを設定したフレーム間予測符号化データを生成し、
   前記ストリーミング部は、前記新規クライアントへのストリーミングを開始すると、記憶しておいた前記フレーム内符号化データ、前記符号化データ生成部にヘッダを設定されたフレーム間予測符号化データの順番で前記フレーム内符号化データおよび前記フレーム間予測符号化データを前記新規クライアントへストリーミングすることを特徴とする請求項３に記載の画像ストリーミングシステム。
5. 前記符号化データ生成部は、画像の表示を行う際の制御パラメータをヘッダに設定して前記フレーム内符号化データを生成し、
   前記ストリーミング部は、前記フレーム内符号化データをストリーミングまたは記憶する際には、前記符号化データ生成部が設定したヘッダとともに前記フレーム内符号化データをストリーミングまたは記憶することを特徴とする請求項１〜４のいずれか１つに記載の画像ストリーミングシステム。
6. 動画像データを圧縮符号化するとともに圧縮符号化した圧縮符号化データをネットワークを介してストリーミングする送信サーバと、前記送信サーバがストリーミングした圧縮符号化データを前記ネットワークを介して受信するとともに受信した圧縮符号化データを伸張復号化して画像の表示を行う複数の受信クライアントとを有し、前記送信サーバから前記受信クライアントへは前記圧縮符号化データをフレーム内符号化で生成したフレーム内符号化データおよび前記圧縮符号化データをフレーム間予測符号化で生成したフレーム間予測符号化データをストリーミングする画像ストリーミングシステムにおいて、
   前記送信サーバは、
   前記フレーム内符号化データおよび前記フレーム間予測符号化データを生成する符号化データ生成部と、
   自サーバと既に接続中の受信クライアントである接続中クライアントとは別の新たな受信クライアントである新規クライアントから接続要求を受けた際に、静止画像データを圧縮符号化して静止画符号化データを生成する静止画データ生成部と、
   前記符号化データ生成部が生成した前記フレーム内符号化データおよび前記フレーム間予測符号化データ、および前記静止画データ生成部が生成した静止画符号化データを前記受信クライアントへストリーミングするストリーミング部と、
   を備え、
   前記ストリーミング部は、
   前記接続中クライアントへストリーミングするデータが前記フレーム内符号化データ以外の圧縮符号化データのタイミングである場合に前記新規クライアントから接続要求を受けると、前記静止画データ生成部が生成した静止画符号化データを前記新規クライアントへ送出した後、前記符号化データ生成部が生成し前記接続中クライアントへストリーミングする前記フレーム内符号化データおよび前記フレーム間予測符号化データを前記接続中クライアントへのストリーミングと同じタイミングで前記新規クライアントへストリーミングすることを特徴とする画像ストリーミングシステム。
7. 前記静止画データ生成部は、前記新規クライアントから接続要求を受けた際に、複数の静止画符号化データを生成し、
   前記ストリーミング部は、前記静止画データ生成部が生成した複数の静止画符号化データを前記新規クライアントへ連続して送出することを特徴とする請求項６に記載の画像ストリーミングシステム。
8. 前記静止画データ生成部は、
   接続要求を受けた新規クライアントへ最初のフレーム内符号化データをストリーミングするまでの間、前記静止画符号化データを生成するタイミングになると前記新規クライアントへ送出した静止画符号化データおよび所定パターンのデータの累積符号量に基づいて前記静止画符号化データを生成するか否かを判断し、前記静止画符号化データを生成すると判断した場合に前記静止画符号化データを生成して前記新規クライアントへ送出することを特徴とする請求項７に記載の画像ストリーミングシステム。
9. 前記符号化データ生成部は、画像の表示を行う際の制御パラメータをヘッダに設定して前記フレーム内符号化データを生成し、
   前記ストリーミング部は、前記フレーム内符号化データをストリーミングする際には、前記符号化データ生成部が設定したヘッダとともに前記フレーム内符号化データをストリーミングすることを特徴とする請求項６〜８のいずれか１つに記載の画像ストリーミングシステム。
10. 前記符号化データ生成部が前記制御パラメータを設定するヘッダは、
    ＭＰＥＧ−４に規定のＧＯＶヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＧＯＶヘッダに対応するヘッダであることを特徴とする請求項５または９に記載の画像ストリーミングシステム。
11. 前記符号化データ生成部が前記制御パラメータを設定するヘッダは、ＭＰＥＧ−４に規定のＧＯＶヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＧＯＶヘッダに対応するヘッダ、およびＭＰＥＧ−４に規定のＶＯＬヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＶＯＬヘッダに対応するヘッダであることを特徴とする請求５，９または１０のいずれか１つに記載の画像ストリーミングシステム。
12. 前記符号化データ生成部が前記制御パラメータを設定するヘッダは、ＭＰＥＧ−４に規定のＧＯＶヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＧＯＶヘッダに対応するヘッダ、ＭＰＥＧ−４に規定のＶＯＬヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＶＯＬヘッダに対応するヘッダ、およびＭＰＥＧ−４に規定のＶＯヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＶＯヘッダに対応するヘッダであることを特徴とする請求５，９〜１１のいずれか１つに記載の画像ストリーミングシステム。
13. 前記符号化データ生成部が前記制御パラメータを設定するヘッダは、ＭＰＥＧ−４に規定のＧＯＶヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＧＯＶヘッダに対応するヘッダ、ＭＰＥＧ−４に規定のＶＯＬヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＶＯＬヘッダに対応するヘッダ、ＭＰＥＧ−４に規定のＶＯヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＶＯヘッダに対応するヘッダ、およびＭＰＥＧ−４に規定のＶＯＳヘッダまたはＭＰＥＧ−４とは異なる他の動画像符号化方式で規定された前記ＶＯＳヘッダに対応するヘッダであることを特徴とする請求５，９〜１２のいずれか１つに記載の画像ストリーミングシステム。
14. 前記符号化データ生成部は、複数からなり、
    前記新規クライアントから接続要求のあった際に、前記新規クライアントから接続要求のあった動画解像度と同じ解像度で前記接続中クライアントに前記フレーム内符号化データおよび前記フレーム間予測符号化データを生成中の符号化データ生成部が存在する場合、当該符号化データ生成部が接続要求をした前記新規クライアントに前記フレーム内符号化データおよび前記フレーム間予測符号化データを生成させることを特徴とする請求項１〜１３のいずれか１つに記載の画像ストリーミングシステム。

Images