JP2006174045A - 画像配信装置、プログラム及び方法 - Google Patents

Abstract

【課題】 利用者や装置に多大な負担をかけることなく、受信側クライアントの端末種別等の通信環境に適した画像データ送受信を可能とする画像通信技術を提供する。
【解決手段】 カメラで撮影された画像の画像データを取得する画像取得手段と、前記画像データをスケーラビリティの機能を有する映像圧縮方式を用いて符号化する符号化手段と、前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を受信する受信手段と、前記符号化手段により得られた複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択手段と、選択された一又は複数のレイヤの符号化データを前記画像受信装置に向けて配信する配信手段とを画像配信装置に備える。
【選択図】 図２

Description

本発明は、画像の配信を行う画像配信装置に関し、特に、受信側クライアントの装置種別等に適合した画像データ送信を可能とする画像配信装置に関する。

クライアント側で撮影した画像データをサービス提供側の画像通信サーバに蓄積し、利用者が適宜その画像を閲覧可能とするサービスがある。画像データを閲覧する側のクライアントとしては、ＰＣ（パーソナルコンピュータ）のみならず各種の携帯端末（ＰＤＡや携帯電話機）がある。

携帯電話機等の携帯端末は一般にＰＣ等と比較して画像処理能力が低く、ＰＣ用に符号化した精細な画像を携帯端末では表示できない場合がある。また、携帯端末間でも性能に差異があり、性能の良い携帯端末で表示できる画像を性能の低い携帯端末では表示できない場合もある。

ＰＣによって撮影された高精細の画像を画像通信サーバに蓄積した場合においても、携帯端末を含む種々のクライアントがその画像データを利用可能とすることが望ましいが、そのためには、クライアントの端末種別を予め想定し、上記の画像通信サーバに各々の種別に適した複数の画像データを画像処理により生成して蓄積しておく必要があると考えられる。

しかしながら、上記のように１つの画像データから複数種類の画像データを生成して蓄積しておく手法を用いると、画像通信サーバにおいて多量の記憶領域を消費するという問題が生じる。また、各種の端末に適合した画像データを生成するための処理負荷もかかる。更に、利用者にとっては、自分の使用している端末種別に適合した画像データを選択しなければならないという不便さが生じる。
特開２００３−３２４７１４号公報 「要点チェック式Ｈ．３２３／ＭＰＥＧ４教科書」、（株）ＩＥインスティチュート、２００１年

本発明は上記の点を鑑みてなされたものであり、利用者や装置に多大な負担をかけることなく、画像を受信する受信側クライアントの端末種別に適した画像データを送受信する技術を提供することを目的とする。

上記の課題は、スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う画像配信装置であって、カメラで撮影された画像の画像データを取得する画像取得手段と、前記画像データを前記映像圧縮方式を用いて符号化する符号化手段と、前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を受信する受信手段と、前記符号化手段により得られた複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択手段と、選択された一又は複数のレイヤの符号化データを前記画像受信装置に向けて配信する配信手段とを有することを特徴とする画像配信装置により解決できる。

前記画像配信装置は、前記符号化手段により得られた符号化データを記憶装置に格納し、前記画像受信装置から送信された前記画像の配信要求を受信したことに応じて、前記記憶装置に格納された符号化データのレイヤの選択、及び選択された符号化データの配信を行うようにしてもよいし、前記画像取得手段により取得された画像データを記憶装置に格納し、前記画像受信装置から送信された前記画像の配信要求を受信したことに応じて、前記記憶装置に格納された画像データの符号化、符号化データのレイヤの選択、及び選択された符号化データの配信を行うように構成してもよい。

前記種別情報は、携帯電話機の機種、又は、コンピュータで使用されるブラウザの種類であり、前記種別が携帯電話機の機種である場合に、前記選択手段は基本レイヤの符号化データを選択し、前記種別がブラウザの種類である場合に、前記選択手段は拡張レイヤを含む符号化データを選択する。

前記選択手段は、前記種別情報に加えて前記画像受信装置に対応する受信状態に基づき一又は複数のレイヤの符号化データを選択するようにしてもよい。この場合、前記選択手段は、前記種別情報に対応して定められた一又は複数のレイヤの符号化データと、前記受信状態に対応して定められた一又は複数のレイヤの符号化データのうち、レイヤ数の少ないほうの一又は複数の符号化データを選択する。

また、上記の課題は、スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う画像配信装置であって、カメラで撮影された画像の画像データを前記映像圧縮方式により符号化して得られた複数レイヤの符号化データを、画像送信元装置から受信する受信手段と、前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を取得する取得手段と、前記画像送信元装置から受信した複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択手段と、選択された一又は複数のレイヤの符号化データを前記画像受信装置に配信する配信手段とを有することを特徴とする画像配信装置によっても解決できる。

また、本発明によれば、画像配信装置を実現するためのプログラム、及び画像配信装置の処理方法が提供される。

本発明によれば、利用者や装置に多大な負担をかけることなく、受信側クライアントの端末種別に適した画像データ送受信が可能となる。また、複数の画像を用意することなく端末種別に適合した画像を受信側クライアントに提供することが可能となる。更に、利用者は自己の端末の種別を意識することなく最適な画像を受信できるのでどのような利用者にとっても利用しやすいサービスを提供することが可能となる。

以下、本発明の第１の実施の形態及び第２の実施の形態について図面を参照して説明する。いずれの実施の形態も送信側クライアントに蓄積された画像（動画像）データを、受信側クライアントからの要求に応じて受信側クライアントに配信するものであるが、第１の実施の形態では送信側クライアントが本発明に係る符号化データのレイヤ選択処理を行い、第２の実施の形態ではサーバが符号化データのレイヤ選択処理を行う。

［第１の実施の形態］
図１に、本発明の第１の実施の形態における画像通信システムの構成を示す。図１に示すように、本発明の第１の実施の形態における画像通信システムは、サーバ５、クライアントＡ（６）、クライアントＢ（７）、クライアントＣ（８）、クライアントＤ（９）を有し、クライアントＡはネットワーク１を介してサーバ５と通信し、クライアントＢはネットワーク２を介してサーバ５と通信する。また、クライアントＣはネットワーク３を介してサーバ５と通信し、クライアントＤはネットワーク４を介してサーバ５と通信する。

図１に示す例では、クライアントＡとクライアントＢにカメラが接続されている。カメラの映像は各クライアントの送信状態にあわせて階層的に符号化される。各クライアントに接続されたカメラは、例えば、ＵＳＢ接続カメラやキャプチャボードを介して接続されたＮＴＳＣのＴＶカメラ等である。

クライアントＡとクライアントＢにおいて、カメラによる撮影は、動体検知、タイマによる時刻到来等を契機として自動的に行ってもよいし、遠隔からの撮影要求により行ってもよいし、該当クライアントの利用者による操作で行ってもよい。

ネットワーク１〜ネットワーク４はインターネットもしくはイントラネット等であり、ＩＰによるデータ送受信が可能なネットワークである。サーバ５は、ＣＰＵ、メモリ、ハードディスク、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有し、本実施の形態に係る機能は、サーバ５に搭載されるプログラムが実行されることにより実現される。また、各クライアントは、ＣＰＵ、メモリ、記憶装置、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有するＰＣ、携帯端末、携帯電話機等である。本実施の形態に係る受信側クライアントもしくは送信側クライアントの機能は、クライアントに搭載されるプログラムが実行されることにより実現される。当該プログラムはCD-ROM等の記録媒体からクライアントにインストールすることもできるし、ネットワークを介してクライアントにダウンロードし、インストールすることもできる。

図２に、本実施の形態における送信側クライアント（図１におけるクライアントＡとする）の機能構成を示す。

図２に示すように、送信側クライアントは、画像取得部１１、符号化部１２、符号化データ蓄積部１３、選択処理部１４、符号化データ配信部１５、及び要求・種別受信部１６を有している。

画像取得部１１は、カメラで撮影された画像を画像データとして取得する。符号化部１２は、取得した画像データを符号化し、符号化データ蓄積部１３に格納する。要求・種別受信部１６は、受信側クライアントから送信され、サーバ５を経由して送られてきた画像配信要求及び端末種別を受信するものである。また、選択処理部１４は、受信した画像配信要求及び端末種別に基づき符号化データ蓄積部１３に格納された符号化データを選択する処理を行う。符号化データ配信部１５は、選択された符号化データを、サーバ５を介して受信側クライアントに配信するものである。

このような機能構成を有する送信側クライアントを含む画像通信システムの動作を表すフローチャートを図３に示す。このフローチャートは、送信側クライアント（クライアントＡ）から受信側クライアント（例えば図１におけるクライアントＣ）に対して画像を配信する場合における、送信側クライアント、サーバ、受信側クライアントの動作を示すものである。

本実施の形態では、ＭＰＥＧ４やＨ．２６３（非特許文献１参照）等の圧縮符号化技術を用い、基本レイヤ１としてフレーム内圧縮されたキーフレームを生成し、基本レイヤ２としてフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームを生成し、拡張レイヤ群１として、基本レイヤ１、基本レイヤ２に対する高周波部分の差分情報フレームを生成し、拡張レイヤ群２として、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームを生成するものとする。このように階層的に符号化データを生成する機能はスケーラビリティと呼ばれている。ここでは、上記のような基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２を有する階層的符号化を用いるが、レイヤの数や、各レイヤの内容は本実施の形態の例に限られるものではない。

以下、図３を参照して、第１の実施の形態における画像通信システムの動作を説明する。

（送信側クライアントの画像蓄積処理）
まず、送信側クライアントがカメラ画像データの取得を行う（ステップ１）。次に、送信側クライアントがカメラ画像データの符号化処理を行う（ステップ２）。ここでは、送信状態にあったビットレートやフレームレートでカメラ画像を階層的に符号化し、画像の階層的符号化データを生成する。すなわち、基本レイヤ１から、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２までの中で、基本レイヤ１からいずれかのレイヤまでの符号化データを、送信状態に合わせて階層的符号化データとして生成する。例えば、送信状態が良い場合は基本レイヤ１〜拡張レイヤ群２を生成するが、送信状態が悪い場合は基本レイヤ２のみを生成するといった具合に符号化が行われる。なお、本実施の形態では、送信側クライアントは基本レイヤ２以上のレイヤの符号化データを生成する。そして、送信側クライアントは、符号化データをハードディスク等の記憶装置に格納する（ステップ３）。なお、このように予め符号化データを蓄積しておくことに代えて、カメラから取得したデータを記憶装置に格納しておき、画像の要求を受けてから階層的符号化からの処理を開始してもよい。

上記の送信状態とは、送信側クライアントのネットワークへの接続帯域、送信側クライアントの処理能力等のことである。予め送信側クライアントに送信状態を固定的に設定し、送信側クライアントはその送信状態に対応して予め定めたレイヤの符号化データを生成してもよいし、送信状態を常時監視して、その送信状態に対応してレイヤをリアルタイムに変化させながら符号化データを生成することもできる。送信状態を常時監視するには、例えば、送信データのスループットやＲＴＣＰプロトコルのメッセージを監視する。

（画像要求送受信処理）
一方、受信側クライアントは、送信側クライアントに対し、サーバを経由して画像の配信要求及び端末種別を送信する（ステップ１０１）。また、送信側クライアントにおいて後述する受信状態判定を行う場合には、受信状態も合わせて送信する。なお、受信状態とは、受信側クライアントの受信方向の接続帯域等である。

より具体的には次のような処理が行われる。

本実施の形態では、送信側クライアントは、定期的にサーバにアクセスすることにより画像が蓄積されたことをサーバに通知する機能を有している。例えば、送信側クライアントは、画像が撮影された時刻、撮影された所定時間長の画像の中の一部の画面等をサーバに通知する。サーバは、その情報を送信側クライアントに対応付けられた所定の記憶領域に格納しておく。

また、送信側クライアントは電子メール送信機能を有しており、画像が蓄積されていることを示す情報及びサーバにおける上記記憶領域のＵＲＬの情報とを、電子メールで特定の受信側クライアントに送信する。

電子メールを受信した受信側クライアントは、受信側クライアントの利用者からの操作を契機に上記ＵＲＬを用いてサーバの上記記憶領域にアクセスし、送信側クライアントに対応した蓄積画像情報を取得する。受信側クライアントにおいて特定の画像が利用者により選択されると、受信側クライアントはその画像の配信要求（要求元の情報を含む）と端末種別をサーバに送信し（ステップ１０１）、サーバはその配信要求と端末種別を送信側クライアントに転送する（ステップ１０２、１０３）。そして、送信側クライアントはその配信要求と端末種別を受信する（ステップ１０４）。

本実施の形態での端末種別は、受信側クライアントで動作しているブラウザからＨＴＴＰプロトコルメッセージに含められてサーバに送信され、それが送信側クライアントに転送される。その情報は、例えば、受信側クライアントがパーソナルコンピュータであればブラウザの種別（インターネットエクスプローラ：ＩＥ、ネットスケープ：ＮＳ、等）であり、携帯電話機であれば、携帯電話機の機種（携帯電話機Ａ、携帯電話機Ｂ、・・・等）を示す情報である。

なお、上記の例では、配信要求と端末種別（もしくは、更に配信要求と端末種別と受信状態）を、サーバを介して送信しているが、受信側クライアントと送信側クライアント間で直接通信（ピアツーピア通信）が可能である場合は、受信側クライアントから送信側クライアントに直接に配信要求と端末種別を送ることも可能である。この場合、符号化データも直接送信側クライアントから受信側クライアントに送信することが可能である。

（配信要求を受けた送信側クライアントの処理）
送信側クライアントが配信要求を受信すると、その配信要求に対応する画像データを検索し、画像が存在することを確認する（ステップ１０５）。

そして、送信側クライアントは、受信側クライアントの端末種別を判定し（ステップ１０６）、端末種別が“携帯電話機”を示すものである場合、その端末は本実施の形態では最大で基本レイヤ２までしか受信できないものとしているので、当該受信側クライアントに対しては、受信状態を判定した後（ステップ１０７）、基本レイヤ（１又は１と２）の符号化データをサーバに送信する（ステップ１０８）。なお、受信状態を用いたレイヤの選択は行わなくてもよい。

一方、端末種別が“ＰＣ”を示すものである場合、本実施の形態では最大で拡張レイヤ２まで受信可能としている。この場合、受信状態を判定し（ステップ１０９）、受信状態に基づいて階層的符号化データを選択する。ここで、基本レイヤの符号化データを送信することに決定した場合は、ステップ１０８の処理を行う。拡張レイヤまで送信する場合は、ステップ１１０において、選択したレイヤの符号化データを送信する。なお、符号化データの配信先が、配信要求の送信元の受信側クライアントであることを示す情報もサーバに送られる。

（サーバでの画像転送処理）
送信側から符号化データを受信したサーバは、符号化データをメモリにコピーし（ステップ１１１）、符号化データを受信側クライアントに転送する（ステップ１１２）。

（受信側クライアントでの画像受信処理）
符号化データを受信した受信クライアントは、受信する符号化データが基本レイヤのみのものであるのか、拡張レイヤを含むかを判定し（ステップ１１３）、基本レイヤであれば表示処理を行う（ステップ１１４）。

拡張レイヤを含む符号化データを受信した場合は、基本レイヤ及び拡張レイヤ群１を合成して復号化処理を行う（ステップ１１５）。そして、拡張レイヤ群２のデータが無ければ表示処理を行い（ステップ１１６、１１７）、拡張レイヤ群２のデータが有れば拡張レイヤ群２を復号化して内挿フレームを生成し、基本レイヤ１、基本レイヤ２、拡張レイヤ群１を基に作成したフレーム間に挿入する（ステップ１１６、１１８）。そして表示処理を行う。

なお、送信側クライアントからサーバへの階層的符号化データの送信、及びサーバから受信側クライアントへの符号化データの送信では、通信プロトコルとして例えばＲＴＰ／ＵＤＰや、ＲＴＰ／ＵＤＰをＨＴＴＰでカプセリングしたＴＣＰを用いて、符号化データをフレーム単位で分割したビデオパケットとして送信する。

（具体例）
次に、送信側クライアントにおける具体的な処理を図４を用いて説明する。図４において、基本１は基本レイヤ１（フレーム内圧縮されたキーフレーム）、基本２は基本レイヤ２（フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレーム）、拡張１は拡張レイヤ群１（基本レイヤ１、基本レイヤ２に対する、高周波部分の差分情報フレーム）、拡張２は拡張レイヤ群２（拡張レイヤ群１に対し、動きを滑らかにするための内挿フレーム）を示す。

図４の例では、送信側クライアント（クライアントＡ）は拡張２までの符号化データを蓄積するものとし、その符号化データに係る画像を、クライアントＢ（ＰＣとする）、クライアントＣ（ＰＣとする）、クライアントＤ（携帯電話機とする）がそれぞれ要求した場合における、各クライアントに向けて（サーバを介して）送信される符号化データが示されている。なお、図４ではサーバは図示していない。

送信側クライアントは、図４の例のように、端末種別の情報がＰＣで使用されるブラウザの情報（ＩＥｏｒＮＳ）であれば、受信側クライアントを “ＰＣ”であると判断し、携帯電話機の機種に関する情報であれば“携帯電話機”であると判断する。送信側クライアントは、受信側の端末種別が“ＰＣ”であれば拡張２まで、“携帯端末”であれば基本２まで受信可能であることを示す情報を予め保持しており、この情報と、受信した端末種別とにより送信する符号化データのレイヤの選択を行う。
“ＰＣ”と“携帯電話機”に種別を分類する代わりに、個別の機種毎に受信可能レイヤを決めておいてもよい。例えば、ＰＣ（モデルＡ）に対しては拡張２まで受信可能とし、ＰＣ（モデルＢ）に対しては拡張１まで受信可能とし、携帯電話機（モデルＸ）に対しては基２まで受信可能とし、携帯端末（モデルＹ）に対しては基本１まで受信可能とするといった具合である。

図４は受信状態の判定も行う場合を示しているが、この場合、送信側クライアントは、受信状態に対応してどのレイヤまでクライアントに送信できるかのデータを予め保持している。そして、例えば、受信状態として受信側クライアントから受信した接続帯域がＸＸであれば、それに対応して予め定めた受信可能レイヤを取得する。なお、受信側クライアントは、受信状態の情報として受信可能レイヤ情報そのものを送信側クライアントに送信してもよく、その場合には、その受信可能レイヤ情報を用いる。送信側クライアントは、端末種別に対応する受信可能レイヤ情報と受信状態に対応する受信可能レイヤ情報とを比較し、レイヤ数の小さいほうを受信側クライアントに送信できるレイヤとして決定する。受信状態を用いない場合は、端末種別だけで送信レイヤ判定を行う。

上記のような処理を行うことから、各受信側クライアントに対して、図４に示した表の通りに送信判定がなされる。

すなわち、クライアントＢの場合、端末種別及び受信状態ともに拡張レイヤ群２まで受信可能であるため、送信側クライアントは、蓄積してある基本レイヤ１〜拡張レイヤ群２の符号化データ全てを選択し、配信する。また、クライアントＣの場合、端末種別では拡張レイヤ群２まで受信可能であるが、受信状態に関しては拡張レイヤ群１までしか受信できない状態であるので、基本レイヤ群１、２、及び拡張レイヤ群１を選択し、配信する。クライアントＤの場合、端末種別、受信状態ともに基本レイヤ群２までなので、基本レイヤ群２までの符号化データを配信する。

（符号化データ受信処理の詳細）
次に、受信側クライアントでの符号化データ受信処理について詳細に説明する。

図５に、サーバから受信側クライアントに送信される符号化データの送信の順番を示す。図５（ａ）に示すように、受信側クライアントが基本レイヤ２まで受信する場合、基本レイヤ１又は２（基本レイヤ１／２と表記する）の符号化データが順次送信される。図５（ｂ）に示すように、拡張レイヤ群１まで受信する場合は、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群１、基本レイヤ２、・・・・の順番で符号化データが送信される。図５（ｃ）に示すように、拡張レイヤ群２まで受信する場合は、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群２、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群２・・・・の順番で符号化データが送信される。

上記のように符号化データが送信されることから、受信側クライアントでは、図６に示す手順で符号化データの受信を行う。

まず、最初の状態では受信側クライアントは、基本レイヤ又は拡張レイヤ群１の符号化データの受信待ち状態となっている（ステップ２１）。最初に受信するのは基本レイヤ１／２もしくは拡張レイヤ群１の符号化データである。この状態で、拡張レイヤ群１の符号化データを受信すると（ステップ２２）、基本レイヤ２の符号化データの受信待ち状態となる（ステップ２３）。そして、この状態で基本レイヤ２の符号化データを受信すると（ステップ２４）、拡張レイヤ群１又は２の符号化データの受信待ち状態となる（ステップ２５）。図５で示したように、次に受信するのは拡張レイヤ群１もしくは拡張レイヤ群２の符号化データであり、拡張レイヤ群２の符号化データを受信した場合（ステップ２６）、ステップ２１に戻る。ステップ２５の状態で拡張レイヤ群１の符号化データを受信した場合（ステップ２７）、ステップ２３の基本レイヤ２の受信待ち状態となる。一方、ステップ２１の拡張レイヤ群１の符号化データ受信待ち状態において、基本レイヤ１／２の符号化データを受信した場合（ステップ２８）には、再びステップ２１に戻る。

図６の手順において、ステップ２１、ステップ２８の繰り返しが、図５（ａ）の場合に対応する。また、ステップ２１、ステップ２２、及びステップ２３、ステップ２４、ステップ２５、ステップ２７、ステップ２３、・・・・の繰り返しが図５（ｂ）に対応する。また、ステップ２１〜ステップ２６の繰り返しが図５（ｃ）に対応する。従って、図６に示す手順により、端末種別に応じて適宜選択された符号化データを受信クライアントが受信できる。

このように、本実施の形態の処理方法を用いることにより、受信側クライアントの端末種別に適したデータ送受信が可能となる。また、サーバとクライアント間では、必要なレイヤ数の符号化データのみが送受信されるため、ネットワークの帯域を無駄に使用することがなく、帯域を有効に利用できる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について、第１の実施の形態と異なる部分を主に説明する。第２の実施の形態では、サーバ側で受信側クライアントの端末種別に応じた符号化データの選択を行う。第２の実施の形態の全体装置構成は第１の実施の形態と同じであり、図１に示したとおりである。

図７に、本実施の形態におけるサーバ（図１におけるサーバ５）の機能構成を示す。

図７に示すように、サーバは、符号化データ受信処理部２１、選択処理部２２、符号化データ配信部２３、及び要求・種別送受信部２４を有している。符号化データ受信処理部２１は、送信側クラインアントから画像の符号化データを受信し、メモリへのコピー等を行う。要求・種別送受信部２４は、受信側クライアントから送信された画像配信要求及び端末種別を受信するものである。また、要求・種別送受信部２４は、受信した端末種別を選択処理部２２に提供し、画像配信要求を送信側クライアントに転送する機能も有している。選択処理部２２は、端末種別に基づき、受信した符号化データの中から適切なレイヤの符号化データを選択する処理を行う。符号化データ配信部２３は、選択された符号化データを受信側クライアントに配信するものである。

次に、図８のフローチャートを用いて、第２の実施の形態におけるシステムの動作を説明する。

（送信側クライアントの画像蓄積処理）
まず、送信側クライアントがカメラ画像データの取得を行う（ステップ３１）。次に、送信側クライアントが送信状態に基づきカメラ画像データの符号化処理を行う（ステップ３２）。そして、送信側クライアントは、符号化データをハードディスク等の記憶装置に格納する（ステップ３３）。送信側クライアントの画像蓄積処理は第１の実施の形態と同じである。

（画像要求送受信処理）
一方、受信側クライアントは、第１の実施の形態と同様にして、送信側クライアントに対する画像の配信要求と、端末種別とをサーバに送信する（ステップ２０１）。また、受信状態も合わせて送信する。なお、受信状態は配信要求とは別にサーバに送ってもよい。

第２の実施の形態では、サーバは、配信要求元の受信側クライアントに対応付けて、その端末種別と受信状態とを記録しておく。そして、受信側クライアントからの配信要求（受信側クライアントの宛先情報を含む）を送信側クライアントに転送する（ステップ２０２、２０３）。

（配信要求を受けた送信側クライアントの処理）
送信側クライアントが配信要求を受信すると（ステップ２０４）、その配信要求に対応する画像の符号化データを検索し、その符号化データをサーバに送信する（ステップ２０５、２０６）。なお、符号化データの配信先が、要求送信元の受信側クライアントであることを示す情報もサーバに送られる。

（サーバでの符号化データ選択処理）
送信側から符号化データを受信したサーバは、符号化データをメモリにコピーする（ステップ２０７）。そして、配信要求元の受信側クライアントの端末種別と受信状態を取得し、第１の実施の形態における送信側クライアントの処理と同様にして、レイヤの判定を行う（ステップ２０８）。以降の処理（ステップ２０９〜２１１）は、符号化データを受信側クライアントに送信する点を除き、第１の実施の形態における送信側クライアントの処理（ステップ１０８〜１１０）と同じである。

（受信側クライアントでの画像受信処理）
符号化データを受信した受信クライアントは、第１の実施の形態と同様にして符号化データの受信処理を行う。

（具体例）
図９は、サーバにおける具体的な処理を示す図である。図９の例では、送信側クライアントであるクライアントＡが拡張２までの符号化データをサーバに送信する。また、各受信側クライアントに対応する端末種別、受信状態は第１の実施の形態と同様である。

従って、受信側クライアントがクライアントＢの場合、端末種別及び受信状態ともに拡張レイヤ群２まで受信可能であるため、サーバは、蓄積してある基本レイヤ１〜拡張レイヤ群２の符号化データ全てを選択し、受信側クライアントに配信する。また、クライアントＣの場合、端末種別では拡張レイヤ群２まで受信可能であるが、受信状態に関しては拡張レイヤ群１までしか受信できない状態であるので、基本レイヤ群１、２、及び拡張レイヤ群１を選択し、配信する。クライアントＤの場合、端末種別、受信状態ともに基本レイヤ群２までなので、基本レイヤ群２までの符号化データを配信する。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

第１の実施の形態における画像通信システムの構成を示す図である。 第１の実施の形態における送信側クライアントの機能構成図である。 第１の実施の形態における画像通信システムの動作を表すフローチャートである。 第１の実施の形態における送信側クライアントの動作を説明するための図である。 サーバから受信側クライアントへの符号化データの送信順を示す図である。 受信側クライアントにおいて符号化データを受信する手順を示す図である。 第２の実施の形態におけるサーバの機能構成図である。 第２の実施の形態における画像通信システムの動作を表すフローチャートである。 第２の実施の形態におけるサーバの動作を説明するための図である。

符号の説明

１、２、３、４ ネットワーク
５ サーバ
６ クライアントＡ
７ クライアントＢ
８ クライアントＣ
９ クライアントＤ
１１ 画像取得部
１２ 符号化部
１３ 符号化データ蓄積部
１４ 選択処理部
１５ 符号化データ配信部
１６ 要求・種別受信部
２１ 符号化データ受信処理部
２２ 選択処理部
２３ 符号化データ配信部
２４ 要求・種別送受信部

Claims (12)

1. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う画像配信装置であって、
   カメラで撮影された画像の画像データを取得する画像取得手段と、
   前記画像データを前記映像圧縮方式を用いて符号化する符号化手段と、
   前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を受信する受信手段と、
   前記符号化手段により得られた複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択手段と、
   選択された一又は複数のレイヤの符号化データを前記画像受信装置に向けて配信する配信手段と
   を有することを特徴とする画像配信装置。
2. 前記画像配信装置は、前記符号化手段により得られた符号化データを記憶装置に格納し、前記画像受信装置から送信された前記画像の配信要求を受信したことに応じて、前記記憶装置に格納された符号化データのレイヤの選択、及び選択された符号化データの配信を行う請求項１に記載の画像配信装置。
3. 前記画像配信装置は、前記画像取得手段により取得された画像データを記憶装置に格納し、前記画像受信装置から送信された前記画像の配信要求を受信したことに応じて、前記記憶装置に格納された画像データの符号化、符号化データのレイヤの選択、及び選択された符号化データの配信を行う請求項１に記載の画像配信装置。
4. 前記種別情報は、携帯電話機の機種、又は、コンピュータで使用されるブラウザの種類であり、前記種別が携帯電話機の機種である場合に、前記選択手段は基本レイヤの符号化データを選択し、前記種別がブラウザの種類である場合に、前記選択手段は拡張レイヤを含む符号化データを選択する請求項１に記載の画像配信装置。
5. 前記選択手段は、前記種別情報に加えて前記画像受信装置に対応する受信状態に基づき一又は複数のレイヤの符号化データを選択する請求項１に記載の画像配信装置。
6. 前記選択手段は、前記種別情報に対応して定められた一又は複数のレイヤの符号化データと、前記受信状態に対応して定められた一又は複数のレイヤの符号化データのうち、レイヤ数の少ないほうの一又は複数の符号化データを選択する請求項５に記載の画像配信装置。
7. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う画像配信装置であって、
   カメラで撮影された画像の画像データを前記映像圧縮方式により符号化して得られた複数レイヤの符号化データを、画像送信元装置から受信する受信手段と、
   前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を取得する取得手段と、
   前記画像送信元装置から受信した複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択手段と、
   選択された一又は複数のレイヤの符号化データを前記画像受信装置に配信する配信手段と
   を有することを特徴とする画像配信装置。
8. 前記画像配信装置は、前記画像受信装置から前記画像の配信要求を受信し、その配信要求を前記画像送信元装置に送信し、その配信要求に対応した画像の符号化データを前記画像送信元装置から受信する請求項７に記載の画像配信装置。
9. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う画像配信装置の機能をコンピュータに実現させるプログラムであって、前記コンピュータを、
   カメラで撮影された画像の画像データを取得する画像取得手段、
   前記画像データを前記映像圧縮方式を用いて符号化する符号化手段、
   前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を受信する受信手段、
   前記符号化手段により得られた複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択手段、
   選択された一又は複数のレイヤの符号化データを前記画像受信装置に向けて配信する配信手段、
   として機能させることを特徴とするプログラム。
10. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う画像配信装置の機能をコンピュータに実現させるプログラムであって、前記コンピュータを、
    カメラで撮影された画像の画像データを前記映像圧縮方式により符号化して得られた複数レイヤの符号化データを、画像送信元装置から受信する受信手段、
    前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を取得する取得手段、
    前記画像送信元装置から受信した複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択手段、
    選択された一又は複数のレイヤの符号化データを前記画像受信装置に配信する配信手段、
    として機能させることを特徴とするプログラム。
11. 画像配信装置がスケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う方法であって、
    カメラで撮影された画像の画像データを取得する画像取得ステップと、
    前記画像データを前記映像圧縮方式を用いて符号化する符号化ステップと、
    前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を受信する受信ステップと、
    前記符号化ステップにより得られた複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択ステップと、
    選択された一又は複数のレイヤの符号化データを前記画像受信装置に向けて配信する配信ステップと
    を有することを特徴とする方法。
12. 画像配信装置がスケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データの配信を行う方法であって、
    前記画像を配信する宛先である画像受信装置から送信された当該画像受信装置の種別情報を取得する取得ステップと、
    カメラで撮影された画像の画像データを前記映像圧縮方式により符号化して得られた複数レイヤの符号化データを、画像送信元装置から受信する受信ステップと、
    前記画像送信元装置から受信した複数レイヤの符号化データのうち、前記画像受信装置に対して配信する一又は複数のレイヤの符号化データを、前記画像受信装置の種別情報を用いて選択する選択ステップと、
    選択された一又は複数のレイヤの符号化データを前記画像受信装置に配信する配信ステップと
    を有することを特徴とする方法。

Images