JP2008131185A - ネットワークカメラシステム及び配信方法 - Google Patents

Abstract

【課題】キャプチャ画像の部分切り出しによって仮想的なパン、チルト、ズームを実現するカメラにおける通信帯域の使用量を抑制する。
【解決手段】全体画像のマルチキャスト配信と、部分画像のユニキャスト配信を、同時接続クライアント数、切り出し領域の位置や大きさ、出力画像の画質に応じて動的に切り替えて、通信量を極小化する。
【選択図】図１

Description

本発明は、広角の光学系及び撮像装置で構成された撮像部によって取得された全体画像の一部を切り出して出力することで、仮想的なパン、チルト、ズーム制御を実現するネットワークカメラシステム、配信方法及びプログラムに関する。

全体画像の一部を切り出して出力することによって仮想的なパン、チルト、ズーム制御を実現するネットワークカメラシステムがある。この種のとしては、カメラから受信した全体画像をクライアント側で切り出して表示するシステム（例えば、特許文献１参照）がある。また、カメラ側で全体画像からクライアントごとに切り出しの大きさと位置が異なる部分画像を切り出してクライアントに配信するシステム（例えば、特許文献２参照）が提案されている。前者のシステムには、全体画像をマルチキャストで配信することによって、同時接続クライアント数が増加した場合でも、カメラ側ネットワークの通信量を一定値以下に抑制するシステム（例えば、特許文献３参照）が提案されている。更に、予め作成済みの映像や音声から成るコンテンツをクライアントから要求された時に、コンテンツ配信の使用帯域に応じてマルチキャストとユニキャストを自動選択して配信することによって、ネットワークの通信量を抑制するシステムも提案されている。このようなシステムは、例えば、特許文献４に提案されている。

特開平１１−２０５７７２号公報 特開２００６−１１５０４６号公報 特開２００２−３２０２１５号公報 特開２００２−３５３９６４号公報

特許文献３のように全体画像をマルチキャストで配信するシステムで、同時接続クライアント数が多い場合には、通信帯域の使用量（以後、通信量とする。）の抑制効果が得られる。しかしながら、全体画像は部分画像に比べてほとんどの場合でデータサイズが大きくなる。このため、同時接続クライアント数が少ない場合には、部分画像をユニキャストで配信する特許文献２のようなシステムの方が通信量が少なくなる場合が多い。

また、特許文献４のようなシステムでは、マルチキャスト配信時はコンテンツの頭出しに時間が掛かる場合がある。このため、予め作成済みのコンテンツを配信する場合には適用できるが、特許文献１から３で示したような接続直後に遅延無くライブ映像が再生されることが求められるシステムには適用することができない。

上記で述べたような問題に対処するために本発明は、光学系及び撮像装置で構成された撮像部によって取得された全体画像から、クライアントから指定された切り出し領域を部分画像として切り出して出力することで、パン、チルト、ズームのいずれか又は全てのカメラ制御を仮想的に実現するネットワークカメラシステムであって、全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し手段と、クライアント側にある第２の画像切り出し手段と、全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較手段と、を備え、通信量比較手段によって算出された通信量に応じて前記各画像配信方法のうち一つを選択することを特徴とするネットワークカメラシステム等、を提供する。

本発明によれば、同時接続クライアント数の如何に関わらず、最も通信量が少ない画像配信方法を自動選択することができる。

以下に添付の図面を参照しながら、本発明の好適な実施の形態を詳細に説明する。実施例１では、キャプチャされた画像を全体画像とするシステムについて述べる。実施例２では、ユニキャストによる部分画像の配信のみを行うクライアントを除いた、接続中の全クライアントが要求する切り出し領域を全て含んだ部分画像を全体画像とするシステムについて述べる。実施例１と２で共通の部分は実施例１の説明で示し、実施例２では異なる部分のみを述べる。

（実施例１）
図１は、キャプチャされた画像を全体画像とするシステムの内部構成図である。カメラ１−１００には、光学系１−１１１、撮像素子１−１１２、キャプチャ部１−１１３から成る撮像部１−１１０が設けられている。更に、カメラ１−１００には、撮像部１−１１０によって得られた全体画像からクライアントに指定された切り出し領域を部分画像として切り出す画像切り出し手段１−１２１を備えた画像処理部１−１２０が設けられている。画像処理部１−１２０には、更に、必要に応じて部分画像のリサイズ又はリサンプルによる拡大縮小を行うリサイズ手段１−１２２、及びクライアントに送信する通信量を圧縮するために画像の符号化を行う符号化手段１−１２３等が含まれている。

また、カメラ１−１００には、画像データを含む各種データを一時的に保持するためのメモリ１−１３０が設けられている。また、インターネットやイントラネット等のネットワーク１−３００を介してクライアントに対する画像の配信や切り出し領域に関するパラメータの受信を行う通信手段１−１４０が設けられている。更に、また、カメラの内部状態やクライアントの接続状態を管理するとともに、カメラ各部の制御を行うカメラ制御手段１−１５０が設けられている。

ここで、クライアント装置に配信される画像データは静止画でも動画でもよく、静止画の場合はＪＰＥＧやＪＰＥＧ２０００、動画の場合はＭＰＥＧ２やＭＰＥＧ４等のコーデックによる符号化が、符号化手段１−１２３によって行われる。

一方、クライアント１−２００には、ユーザーインターフェース部１−２１０が設けられている。ユーザーインターフェース部１−２１０には、出力画像を表示する画像表示部１−２１１、及びユーザーによるカメラの視線方向の入力を受け付けたり、現在のカメラの視線方向を示したりする視線方向設定手段１−２１２が含まれている。ユーザーインターフェース部１−２１０には、更に、ユーザーによる画角の入力を受け付けたり、現在のカメラの画角を示したりする画角設定手段１−２１３が含まれている。

クライアント１−２００には、更に、カメラから受信した画像データを復号する復号化手段１−２２１を備えた画像処理部１−２２０が設けられている。画像処理部１−２２０には、更に、受信画像のうち画像表示部で表示する部分の画像を切り出す画像切り出し手段１−２２２、及び画面サイズに合わせて画像のリサイズ又はリサンプルによる拡大縮小を行うリサイズ手段１−２２３等が含まれている。

クライアント１−２００には、更に、画像データを含む各種データを一時的に保持するためのメモリ１−２３０が設けられている。更に、カメラからの画像の受信やカメラに対して視線方向設定手段や画角設定手段によって指定された切り出し領域に関するパラメータの送信を行う通信処理部１−２４０も設けられている。更に、クライアントの内部状態を管理するとともに、クライアント各部の制御を行うクライアント制御手段１−２５０、及びマルチキャストによる画像の受信が可能か否かを判定する受信方法判定手段１−２６０等も設けられている。

但し、全てのクライアントが画像切り出し手段１−２２２を具備する必要はなく、画像切り出し手段１−２２２を具備しないクライアントでは受信方法判定手段１−２６０も不要である。

ここで、カメラ側の画像処理部１−１２０及びクライアント側の画像処理部１−２２０を構成する各手段は、専用のチップでも、ＣＰＵやＤＳＰによって実行されるソフトウェアでもよく、各手段が互いに独立していなくてもよい。

図２は全体画像をマルチキャストで配信する場合、図３は部分画像をユニキャストで配信する場合、図４はクライアント別に全体画像のマルチキャスト配信と部分画像のユニキャスト配信を組み合わせる場合の動作概念図である。

全てのクライアントに対して全体画像をマルチキャストで配信する場合は、図２に示すように、カメラ側の画像切り出し手段１−１２１による部分画像の切り出しは行われず、全体画像２−２１０がクライアントに配信される。各クライアント側の画像切り出し手段１−２２２によって全体画像から一部２−２１１、２−２１２、２−２１３が切り出されて部分画像２−３１１、２−３２１、２−３３１となり、各クライアントの画像表示部１−２１１に表示される。

全てのクライアントに対して部分画像をユニキャストで配信する場合は、図３に示すように、クライアント側の画像切り出し手段１−２２２による部分画像の切り出しは行われず、カメラ側の画像切り出し手段１−１２１による部分画像の切り出しが行われる。各クライアントに対する部分画像３−２１０、３−２２０、３−２３０が配信されて、各クライアントの画像表示部１−２１１に表示される。

クライアント別に全体画像のマルチキャスト配信と部分画像のユニキャスト配信を組み合わせる場合は、一部のクライアントに対してマルチキャストによる画像配信が行えない場合のみ選択される。このとき、図４に示すように、マルチキャストによる画像配信が行えるクライアント４−３１０、４−３２０に対しては全体画像４−２１０がマルチキャストで配信される。また、その一部４−２１１、４−２１２がクライアント側の画像切り出し手段１−２２２によって切り出されて表示される。マルチキャストによる画像配信が行えないクライアント４−３３０に対しては、カメラ側の画像切り出し手段１−１２１による部分画像４−２３０の切り出しが行われてクライアントに配信され、クライアントは受信した部分画像をそのまま表示する。

上記それぞれの通信量は、図２の場合は全体画像２−２１１の１ストリーム分、図３の場合は、部分画像３−２１０、３−２２０、３−２３０の３ストリーム分となる。また、図４の場合は全体画像４−２１０の１ストリームと部分画像４−２３０の１ストリームの合計分となる。

図５は各画像配信方法における通信量の同時接続クライアント数に対する変化を表す図である。各クライアントに対する部分画像のデータサイズが等しいと仮定したとき、全クライアントに対して全体画像をマルチキャストで配信する場合の通信量はグラフ５−００１のようにクライアント数に対して一定になる。全クライアントに対して部分画像をユニキャストで配信する場合の通信量はグラフ５−００２のようにクライアント数に比例する。この場合、グラフ５−００１及び５−００２はクライアント数Ｎで互いに交差するので、通信量比較手段１−１６０は、クライアント数がＮ未満の場合は部分画像のユニキャストによる配信を選択する。そして、クライアント数がＮ以上の場合は全体画像のマルチキャストによる配信を選択する。

また、全クライアントに占めるマルチキャスト配信可能なクライアントの割合が一定であると仮定したとき、一部のクライアントに対してマルチキャストによる画像配信が行えない。

部分画像をユニキャストで配信し、その他のクライアントに対しては全体画像をマルチキャストで配信する場合の通信量はグラフ５−００３のようになる。この場合、グラフ５−００２及び５−００３はクライアント数Ｎ’で互いに交差するので、通信量比較手段１−１６０は、クライアント数がＮ’未満の場合は全クライアントに対して部分画像のユニキャストによる配信を選択する。一方、クライアント数がＮ’以上の場合は一部クライアントに対して部分画像のユニキャスト、その他のクライアントに対しては全体画像のマルチキャストで配信する画像配信方法を選択する。

図６はカメラにおける画像配信方法の選択処理の流れを表すフローチャートである。

クライアントから通信量が変化する可能性のある要求を受け付けた場合、通信量比較手段１−１６０は選択対象の各画像配信方法における通信量を比較する（ステップ６−００１）。クライアントから通信量が変化する可能性のある要求を受け付けた場合の例としては、同時接続クライアント数の増減、切り出し領域の位置や大きさの変更、出力画像の画質の変更等が挙げられる。

このとき、算出される通信量は実測値又は推測値であり、実測値の場合は異なる画像配信方法で配信される画像データを同時に生成する手段が必要になる。推測値の場合は、部分画像を生成するためのパラメータと予め決められた推測式によって求められた値であり、実際の値と多少異なってもよい。また、通信量が短時間で大きく変動する場合に備えて、予め決められた一定時間の実測値又は推測値の平均値を算出してもよい。

次に、算出された各画像配信方法における通信量の比較が行われる（ステップ６−００２）。ここで、現在の画像配信方法における通信量よりも他の画像配信方法における通信量の方が小さく、かつその差が予め決められた閾値を越えている場合は、画像配信方法の切り替えが行われる。閾値は、画像配信方法が頻繁に切り替わらないようにするためのものであり、一定の値としてもよいし、カメラ側の通信帯域や現在の通信量に対する一定の割合としてもよい。

図７はクライアントにおける画像配信方法の指定処理の流れを表すフローチャートである。

クライアントがカメラへの接続を開始すると、まずカメラに対して接続を開始したことが通知される（ステップ７−００１）。

次に、マルチキャストによる画像データの受信が可能であるか否かの判定が行われる（ステップ７−００２）。ステップ７−００２では、例えば、接続開始の通知を受け取った時点でカメラがマルチキャストパケットの送信を開始していない場合にマルチキャストパケットの送信を開始する。そして、クライアントが接続開始の通知を送信してから一定時間内に前記パケットを受信できるかどうかによって判定する。このとき、送信されるマルチキャストパケットは全体画像データのパケットでもよいし、判定用の特別なパケットでもよい。但し、他の方法で判定してもよい。

ステップ７−００２でマルチキャストによる画像データの受信が可能であると判定された場合は、マルチキャストによる全体画像の受信を開始して処理を終了する（ステップ７−００３）。このとき、ステップ７−００２で判定用のパケットが使用された場合は、カメラにマルチキャストによる全体画像の送信要求が行われて配信が開始される。

また、マルチキャストパケットによる画像データの受信が不可であると判定された場合は、カメラに対してマルチキャストによる画像データの受信が不可であることが通知される（７−００４）。このとき、ステップ７−００２のためにマルチキャストパケットの送信が開始されていた場合は、送信を停止する。

次に、ユニキャストによる部分画像の受信を開始して処理を終了する（ステップ７−００５）。

（実施例２）
図８は、ユニキャストによる部分画像の配信のみを行うクライアントを除いた、接続中の全クライアントが要求する切り出し領域を全て含んだ部分画像を全体画像するシステムにおける動作概念図である。この図８には、クライアント別に全体画像のマルチキャスト配信と部分画像のユニキャスト配信を組み合わせる場合を示してある。

実施例１のシステムでは、図４で示したように、キャプチャした画像を画像切り出し手段１−１２１で切り出さずに全体画像としてマルチキャスト配信する。これに対して、実施例２のシステムでは、キャプチャした画像を画像切り出し手段１−１２１で切り出した上で全体画像としてマルチキャスト配信する。このとき、全体画像８−２１０は、ユニキャストによる部分画像８−２３０の配信のみを行うクライアント８−３４０を除くクライアント８−３２０、８−３３０から要求された切り出し領域８−２１１、８−２１２を全て含む最小の部分画像になっている。

実施例２のシステムでは実施例１のシステムに比べて全体画像のデータサイズが小さくなるため、より小さい通信量で同様の出力画像８−３２１、８−３３１、８−３４１を得ることが可能である。但し、切り出し領域の位置と大きさが変化するたびに全体画像のキャプチャ画像からの切り出し領域が変化するので、通信量比較手段による通信量の算出が複雑になる。

なお、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

キャプチャされた画像を全体画像とするシステムの内部構成図である。 全体画像をマルチキャストで配信する場合の動作概念図である。 部分画像をユニキャストで配信する場合の動作概念図である。 クライアント別に全体画像のマルチキャスト配信と部分画像のユニキャスト配信を組み合わせる場合の動作概念図である。 各画像配信方法における通信量の同時接続クライアント数に対する変化を表す図である。 カメラにおける画像配信方法の選択処理の流れを表すフローチャートである。 クライアントにおける画像配信方法の指定処理の流れを表すフローチャートである。 ユニキャストによる部分画像の配信のみを行うクライアントを除いた、接続中の全クライアントが要求する切り出し領域を全て含んだ部分画像を全体画像するシステムにおける動作概念図である。

符号の説明

１−１００：ネットワークカメラ
１−１１０：撮像部
１−１１１：光学系
１−１１２：撮像素子
１−１１３：キャプチャ部
１−１２０：画像処理部（画像処理手段）
１−１２１：画像切り出し手段
１−１２２：リサイズ手段
１−１２３：符号化手段
１−２００：クライアント
１−２１０：ユーザーインターフェース部
１−２１１：画像表示部
１−２１２：視線方向設定手段
１−２１３：画角設定手段
１−２２０：画像処理部（画像処理手段）
１−２２１：復号化手段
１−２２２：画像切り出し手段
１−２２３：リサイズ手段

Claims (15)

1. 光学系及び撮像装置で構成された撮像部によって取得された全体画像から、クライアントから指定された切り出し領域を部分画像として切り出して出力することで、パン、チルト、ズームのいずれか又は全てのカメラ制御を仮想的に実現するネットワークカメラシステムであって、
   全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し手段と、
   クライアント側にある第２の画像切り出し手段、
   全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較手段と、
   を備え、
   前記通信量比較手段によって算出された通信量に応じて前記各画像配信方法のうち一つを選択することを特徴とするネットワークカメラシステム。
2. 通信量算出手段によって算出される各画像配信方法の通信量は、予め決められた時間の平均値であることを特徴とする請求項１に記載のネットワークカメラシステム。
3. 画像配信方法の選択では、通信量比較手段によって算出された通信量が最小となる画像配信方法が選択されることを特徴とする請求項１又は２に記載のネットワークカメラシステム。
4. 画像配信方法の選択は、通信量比較手段によって算出された通信量が最小となる画像配信方法における通信量と、現在の画像配信方法における通信量の差が、予め定められた条件に基づいて算出された閾値を越えた時点で実行されることを特徴とする請求項１乃至３のいずれか１項に記載のネットワークカメラシステム。
5. 通信量比較手段は、クライアントに対する画像の配信条件が変化する際に各画像配信方法における通信量の算出を行うことを特徴とする請求項１乃至４のいずれか１項に記載のネットワークカメラシステム。
6. 画像の配信条件には、同時接続クライアント数が含まれることを特徴とする請求項１乃至５のいずれか１項に記載のネットワークカメラシステム。
7. 画像の配信条件には、切り出し領域の大きさが含まれることを特徴とする請求項１乃至６のいずれか１項に記載のネットワークカメラシステム。
8. 画像の配信条件には、切り出し領域の位置が含まれることを特徴とする請求項１乃至７のいずれか１項に記載のネットワークカメラシステム。
9. 画像の配信条件には、出力画像の画質が含まれることを特徴とする請求項１乃至８のいずれか１項に記載のネットワークカメラシステム。
10. 画像配信方法の選択はクライアントごとに行われ、切り替え前の画像配信方法と切り替え後の画像配信方法が一時的に重複することによって、切り替え時の画像の出力が途切れないようにしたことを特徴とする請求項１乃至９のいずれか１項に記載のネットワークカメラシステム。
11. 第２の画像切り出し手段を具備しないクライアントが、ユニキャストによる部分画像の配信を要求し、前記クライアントに対してユニキャストによる部分画像の配信のみを行うことを前提として、通信量比較手段が通信量の算出を行うとともに各クライアントに対する画像配信方法を決定することを特徴とする請求項１乃至１０のいずれか１項に記載のネットワークカメラシステム。
12. 前記第２の画像切り出し手段を具備するクライアントが、マルチキャストによる全体画像の受信が可能であるか否かを判定する受信方法判定手段を備え、前記受信方法判定手段によってマルチキャストによる全体画像の受信が不可であると判定された場合は、ユニキャストによる部分画像の配信を要求し、前記クライアントに対してユニキャストによる部分画像の配信のみを行うことを前提として、通信量比較手段が通信量の算出を行うとともに各クライアントに対する画像配信方法を決定することを特徴とする請求項１乃至１１のいずれか１項に記載のネットワークカメラシステム。
13. 前記全体画像には、ユニキャストによる部分画像の配信のみを行うクライアントを除いた接続中の全クライアントが要求する切り出し領域を全て含んだ部分画像が含まれることを特徴とする請求項１乃至１２のいずれか１項に記載のネットワークカメラシステム。
14. 広角の光学系及び撮像装置で構成された撮像部によって取得された全体画像から、クライアントから指定された切り出し領域を部分画像として切り出して出力することで、パン、チルト、ズームのいずれか又は全てのカメラ制御を仮想的に実現するネットワークカメラシステムにおける配信方法であって、
    全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し工程と、
    クライアント側にある第２の画像切り出し工程と、
    全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較工程と、
    を備え、
    前記通信量比較工程において算出した通信量に応じて前記各画像配信方法のうち一つを選択することを特徴とする配信方法。
15. 広角の光学系及び撮像装置で構成された撮像部によって取得された全体画像から、クライアントから指定された切り出し領域を部分画像として切り出して出力することで、パン、チルト、ズームのいずれか又は全てのカメラ制御を仮想的に実現するネットワークカメラシステムにおける配信用のプログラムであって、
    コンピュータに、
    全体画像から部分画像を切り出すためのカメラ側にある第１の画像切り出し処理と、
    クライアント側にある第２の画像切り出し処理と、
    全体画像のマルチキャスト配信、部分画像のユニキャスト配信、及びそれら両方を組み合わせた配信を含む各画像配信方法における現在の画像の配信条件に基づいた通信量を算出して比較するための通信量比較処理と、
    を実行させ、
    前記コンピュータに、前記通信量比較処理において算出した通信量に応じて前記各画像配信方法のうち一つを選択させることを特徴とするプログラム。

Images