JP2013207706A - 映像信号伝送システム、映像信号伝送制御装置、映像信号伝送方法、およびプログラム - Google Patents

Abstract

【課題】複数の映像ストリームを伝送する映像信号伝送システムにおいて、クライアント装置の処理量を抑制する。
【解決手段】映像信号伝送システム１は、複数の映像ストリームを生成する複数のエンコーダ２−１〜２−８と、複数の映像ストリームの映像内容を検出する映像内容検出部２２と、映像内容検出部２２により検出される映像内容に基づいて特定の要因に関する重要度を数値化して各映像ストリームの優先度を判定するとともに、複数のエンコーダ２−１〜２−８に対して、それぞれ対応する映像ストリームにより表される映像の品質を優先度に応じて指示する品質指示部２１を有する。複数のエンコーダ２−１〜２−８は、それぞれ、品質指示部２１による指示に応じて対応する映像ストリームを生成する。
【選択図】図３

Description

本発明は、複数の映像ストリームを伝送する映像信号伝送システム、映像信号伝送制御装置、映像信号伝送方法、およびプログラムに係わる。

複数のカメラによる映像をマルチ画面に表示する用途が実用化されている。例えば、災害監視システムでは、異なる地点に設置されている複数のカメラによる映像を同時にマルチ画面に表示することにより、複数の地点の状況をモニタすることができる。このようなシステムでは、映像ストリームは、例えば、ＩＰネットワークを利用して伝送される。

ユーザは、表示装置に表示されている複数の映像の中で、特定の映像を高画質で見たいことがある。このような要望に対して、映像を表示するためのクライアント装置は、例えば、指定された映像を拡大して表示する機能を有する。

図１は、複数の映像ストリームを伝送する映像信号伝送システムの一例を示す。図１に示す映像信号伝送システムにおいては、カメラ１０１−１〜１０１−８による映像がクライアント装置１０３に表示される。

この場合、エンコーダ１０２−１〜１０２−８は、それぞれ、カメラ１０１−１〜１０１−８から出力される映像データを圧縮する。このとき、各エンコーダ１０２−１〜１０２−８は、高レート映像ストリームおよび低レート映像ストリームを生成する。

クライアント装置１０３は、各エンコーダ１０２−１〜１０２−８により生成される高レート映像ストリームおよび低レート映像ストリームを受信する。そして、クライアント装置１０３は、マルチ画面機能を利用して、カメラ１０１−１〜１０１−８による映像を同時に表示することができる。このとき、クライアント装置１０３は、エンコーダ１０２−１〜１０２−８により生成される低レート映像ストリームを同時に表示する。また、クライアント装置１０３は、マルチ画面に表示されている複数の映像の中から、ユーザによって指定された映像を拡大して表示することができる。この場合、クライアント装置１０３は、指定されて映像に対応する高レート映像ストリーム画面に表示する。

なお、関連する技術として、特許文献１には、映像表示装置および映像表示方法が記載されている。特許文献２には、監視カメラシステムが記載されている。特許文献３には、ビデオ圧縮のためのイントラフレーム量子化が記載されている。特許文献４には、画像符号化装置が記載されている。

特開２００５−２０２０７７号公報 特開２００４−１９３９２６号公報 特表２００２−５２５９８９号公報 特開平７−２２２１４５号公報

上述のような映像信号伝送システムにおいては、以下の要件が満たされることが好ましい。
（１）クライアント装置において映像が表示されるまでの時間が短い（レスポンス）
（２）クライアント装置の処理量が少ない
クライアント装置は、指定された映像を拡大して表示するときは、対応する高レート映像ストリームを復号する。一方、クライアント装置は、１つの映像を拡大表示するモードから複数の映像をマルチ画面表示するモードへの切替え指示を受けると、表示すべき複数の映像についての低レート映像ストリームを復号する。

ところが、低レート映像ストリームにおいては、映像の再生を開始するために必要な情報が挿入されている間隔が大きい。このため、クライアント装置が上述のモード切替え指示を受けたとき、複数の映像がマルチ画面表示されるまでに要する時間が長くなることがある。この場合、上記（１）を満足することができない。

この問題に対処するため、クライアント装置は、指定された映像を拡大して表示しているときに、バックグラウンド処理として、各低レート映像ストリームをそれぞれ復号し続けることができる。そうすると、クライアント装置が上述のモード切替え指示を受けたときに、複数の映像が即座にマルチ画面表示される。しかし、このようなバックグラウンド処理は、クライアント装置の処理量を増加させる。すなわち、上記（２）を満足することができない。

なお、各低レート映像ストリームの情報量を少なくすれば、上述のバックグラウンド処理の処理量は少なくなる。しかし、この場合、クライアント装置に表示される画質が劣化することになる。

このように、従来技術においては、クライアント装置のユーザの要望（画面切り替時のレスポンス、画質）を満足するためには、クライアント装置の処理量を抑制することは困難であった。

本発明の目的は、複数の映像ストリームを伝送する映像信号伝送システムにおいて、クライアント装置の処理量を抑制することである。

本発明の１つの態様の映像信号伝送システムは、複数の映像ストリームを生成する複数のエンコーダと、前記複数の映像ストリームの映像内容を検出する映像内容検出部と、前記映像内容検出部により検出される映像内容に基づいて、特定の要因に関する重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数のエンコーダに対して、それぞれ対応する映像ストリームにより表される映像の品質を優先度に応じて指示する品質指示部と、を有し、前記複数のエンコーダは、それぞれ、前記品質指示部による指示に応じて対応する映像ストリームを生成する。

上述の態様によれば、複数の映像ストリームを伝送する映像信号伝送システムにおいて、クライアント装置の処理量を抑制することができる。

複数の映像ストリームを伝送する映像信号伝送システムの一例を示す図である。 本発明の実施形態に係る映像信号伝送システムの構成を示す図である。 実施形態の映像信号伝送システムの動作を説明する図である。 映像の優先度の数値化の実施例を示す図である。 映像の優先度を表すマップの一例を示す図である。 映像の優先度に応じて決定される映像ストリームの情報量の実施例を示す図である。 実施形態の映像信号伝送方法を示すフローチャートである。 映像ストリームのデータ量を削減する処理の実施例を示すフローチャートである。 管理サーバを実現するためのコンピュータシステムのハードウェア構成を示す図である。

図２は、本発明の実施形態に係る映像信号伝送システムの構成を示す。実施形態の映像信号伝送システム１は、図２に示すように、複数のエンコーダ２−１〜２−８、および管理サーバ３を有する。

各エンコーダ２−１〜２−８は、対応するカメラ１０１−１〜１０１−８から出力される映像データから映像ストリームを生成する。カメラ１０１−１〜１０１−８は、この例では、互いに異なる地点に設置されているものとする。そして、各カメラ１０１−１〜１０１−８は、特に限定されるものではないが、例えば監視カメラであって、常時、撮影による映像データを出力する。

各エンコーダ２−１〜２−８は、対応するカメラ１０１−１〜１０１−８から出力される映像データを符号化することにより、高レート映像ストリームおよび低レート映像ストリームを生成することができる。例えば、エンコーダ２−１は、カメラ１０１−１から出力される映像データから高レート映像ストリームＨ１および低レート映像ストリームＬ１を生成する。ここで、低レート映像ストリームは、例えば、高レート映像ストリームのデータ量を削減することにより生成される。そして、エンコーダ２−１〜２−８により生成される高レート映像ストリームＨ１〜Ｈ８および低レート映像ストリームＬ１〜Ｌ８は、ネットワーク１１に送出される。

ネットワーク１１は、特に限定されるものではないが、例えば、ＩＰネットワークである。この場合、エンコーダ２−１〜２−８により生成される高レート映像ストリームＨ１〜Ｈ８および低レート映像ストリームＬ１〜Ｌ８は、ＩＰパケットに格納されてネットワーク１１に送出される。このとき、各ＩＰパケットは、例えば、マルチキャスト伝送により、複数のクライアント装置１２（１２−１〜１２−ｎ）（以下の説明で「クライアント装置１２」は、クライアント装置１２−１〜１２−ｎの総称を意味するものとする）へ伝送される。

各クライアント装置１２は、表示装置を有する。そして、各クライアント装置１２は、ネットワーク１１を介して高レート映像ストリームＨ１〜Ｈ８および低レート映像ストリームＬ１〜Ｌ８を受信する。ここで、クライアント装置１２は、２つの表示モードを選択的に切り替えながら、受信する映像ストリームを表示することができる。すなわち、クライアント装置１２は、マルチ画面１３を表示するマルチ画面モードおよび拡大映像画面１４を表示する拡大モードを提供する。そして、クライアント装置１２のユーザは、表示モードを選択することができる。なお、図２において、マルチ画面１３および拡大映像画面１４は、１つの表示装置に表示される画面を模式的に表している。

マルチ画面モードが選択されたクライアント装置１２は、カメラ１０１−１〜１０１−８による映像を同時に表示する。このとき、このクライアント装置１２は、低レート映像ストリームＬ１〜Ｌ８を復号してマルチ画面１３に表示する。なお、ユーザは、各カメラ１０１−１〜１０１−８による映像の表示位置を指定できるものとする。図２に示す例では、映像「ＡＢＣ」を左上隅に表示し、映像「ＸＹＺ」を右下隅に表示するように、ユーザにより指定されている。

ユーザは、表示モードをマルチ画面モードから拡大モードへ切り替えるときには、拡大すべき映像を選択する。そうすると、クライアント装置１２は、選択された映像に対応する高レート映像ストリームを復号して拡大映像画面１４に表示する。例えば、カメラ１０１−１による映像が選択されたときは、クライアント装置１２は、高レート映像ストリームＨ１を復号して表示する。

なお、クライアント装置１２は、拡大モードで１つの映像を拡大して表示しているときであっても、バックグラウンド処理で、低レート映像ストリームＬ１〜Ｌ８の復号動作を継続する。したがって、表示モードを拡大モードからマルチ画面モードへ戻す旨の指示が入力されたときに、クライアント装置１２は、カメラ１０１−１〜１０１−８による映像を、即座に再生してマルチ画面１３に表示することができる。

管理サーバ３は、映像信号伝送制御装置の一例であって、エンコーダ２−１〜２−８の動作を制御する。ここで、管理サーバ３は、エンコーダ２−１〜２−８が生成する低レート映像ストリームＬ１〜Ｌ８の情報量を制御することができる。

図３は、実施形態の映像信号伝送システム１の動作を説明する図である。ここでは、カメラ１０１−１〜１０１−８による映像が複数のクライアント装置１２（１２−１〜１２−ｎ）に提供されるものとする。

各クライアント装置１２のユーザは、カメラ１０１−１〜１０１−８による映像の表示を制御できる。一例としては、ユーザは、映像の表示について以下の制御を行うことができる。
（１）各映像をそれぞれ表示するか否か
（２）各映像の表示サイズ
（３）各映像の表示位置
（４）各映像のズームアップの度合い
（５）パン指示（パンの有無、パン角度、パン速度）

例えば、ユーザは、カメラ１０１−１〜１０１−８による映像のうち、所望の映像のみを選択することができる。また、ユーザは、各映像を画面内の所望の位置に配置することができる。例えば、ユーザは、優先度の高い映像を、見やすい位置（例えば、画面内の左上）に配置することができる。

クライアント装置１２は、上述のユーザ操作を受け付けると、その操作に応じて表示を制御する。また、クライアント装置１２は、受け付けたユーザ操作を表すユーザ操作情報を生成し、そのユーザ操作情報を管理サーバ３へ送信する。

管理サーバ３は、操作検出部２１、映像内容検出部２２、品質指示部２３を有する。操作検出部２１は、各クライアント装置１２からユーザ操作情報を受信する。そして、操作検出部２１は、受信したユーザ操作情報に基づいて、クライアント装置１２において行われる、映像ストリームの表示に係わるユーザの操作を検出する。さらに、操作検出部２１は、各クライアント装置１２から送信されるユーザ操作情報に基づいて、カメラ１０１−１〜１０１−８による映像の優先度（または、重要度）を数値化する。

図４（ａ）は、ユーザ操作に係わる映像の優先度の数値化の一例を示す。この例では、例えば、ユーザにより選択されてクライアント装置１２の表示装置に表示されている映像の優先度が高いと判定されている。また、また、画面内の所定の位置（例えば、画面内の左上）に配置されている映像の優先度が高いと判定される。さらに、ズームアップ、パン等が指示された映像は、ユーザによって注目されていると考えられるので、優先度が高いと判定される。

操作検出部２１は、各映像について、クライアント装置１２−１〜１２−ｎにおいて行われるユーザ操作に係わる優先度値を計算する。このとき、各映像について、図４（ａ）に示す各要因に対応する優先度値の和が算出される。そして、操作検出部２１は、各映像について算出した優先度値の和を品質指示部２３に通知する。

なお、上述の例では、管理サーバ３において優先度の数値化が行われているが、各クライアイント装置１２が数値化を行ってもよい。この場合、クライアント装置１２は、各映像についてユーザ操作を数値化した優先度値を管理サーバ３へ送信する。

映像内容検出部２２は、カメラ１０１−１〜１０１−８による映像の内容を検出する。そして、映像内容検出部２２は、各映像の内容に基づいて、その映像の優先度を数値化する。

図４（ｂ）は、映像内容に基づいて判定される優先度の数値化の一例を示す。例えば、映像内容検出部２２は、所定の地点（例えば、首都）から映像が撮影された地点までの距離に基づいて、その映像の優先度を決定する。この場合、所定の地点からの距離が小さい地点を撮影している映像に対して高い優先度が与えられる。また、例えば、自然災害（例えば、地震）が発生した場合には、映像内容検出部２２は、映像が撮影されている地点と地震の震源地との間の距離を検出する。この場合、震源地に近い地点を撮影している映像に対して高い優先度が与えられる。さらに、例えば、映像内容検出部２２は、明るい映像に対して高い優先度を与え、暗い映像に対して低い優先度を与えてもよい。

なお、複数の地点にカメラを有する災害管理システムにおいては、災害発生地域内またはその近くに設置されているカメラの映像が重要である。よって、災害発生時には、管理サーバ３は、災害が発生した地域を特定する。ここで、管理サーバ３は、各カメラ１０１−１〜１０１−８が設置されている位置を表す情報を有しているものとする。また、管理サーバ３は、気象庁などから災害の発生位置に係わる情報を収集する機能を有しているものとする。そして、映像内容検出部２２は、災害発生地域を映している映像に対して高い優先度を与える。

映像内容検出部２２は、操作検出部２１と同様に、各映像について優先度を表す優先度値を計算する。そして、映像内容検出部２２は、各映像について算出した優先度値を品質指示部２３に通知する。

品質指示部２３は、操作検出部２１により検出されるユーザの操作および映像内容検出部２２により検出される映像内容に基づいて、エンコーダ２−１〜２−８に対して映像の品質を指示する。このとき、品質指示部２３は、例えば、上述のようにして求められる映像ごとの優先度値の和に従って、各映像の品質を決定する。すなわち、優先度の高い映像に対して高い品質が設定され、優先度の低い映像に対して低い品質が設定される。「映像の品質」は、例えば、映像ストリームの情報量で表される。

例えば、より多くのクライアイント装置において拡大表示が行われている映像に対して高い優先度値が与えられる。また、例えば、より多くのクライアイント装置において画面上に特定の位置（例えば、左上隅）に配置されている映像に対して高い優先度値が与えられる。さらに、例えば、災害地により近い地点を映している映像に対して高い優先度値が与えられる。そして、品質指示部２３は、映像ごとに優先度値の和を計算し、合計優先度値の大きな映像に対して高い品質（すなわち、大きい情報量）を割り当てる、合計優先度値の小さい映像に対して低い品質（すなわち、小さい情報量）を割り当てる。

図５は、映像の優先度を表すマップの一例を示す。図５に示すマップ（ヒートマップ）は、図４に示す各要因に係る優先度値の和を表している。優先度値の和は、各要因に係る優先度値のマップを重ね合わせることで生成される。例えば、表示位置に係わる優先度値を第１層、ズームアップに係わる優先度値を第２層、パン速度に係わる優先度値を第３層、…として各要因の優先度値マップが重ね合わされる。

管理サーバ３は、このマップを解析し、優先度の高い地点を映しているカメラに対応するエンコーダに対して、品質を高める旨の指示（すなわち、映像ストリームの情報量を増やす指示）を与える。反対に、管理サーバ３は、優先度の低い地点を映しているカメラに対応するエンコーダに対して、品質を下げる旨の指示（すなわち、映像ストリームの情報量を減らす指示）を与える。

なお、管理サーバ３は、図５（ａ）において丸枠で囲まれているユーザ関心地点に基づいて画像分割を行い、エンコードパラメータを決定してもよい。また、管理サーバ３は、図５（ｂ）に示すように、閾値を結んだ等高線を作成し、その中央が最も良くなるようにエンコードパラメータを決定してもよい。

さらに、品質指示部２３は、カメラ１０１−１〜１０１−８による映像に対応する低レート映像ストリームＬ１〜Ｌ８を復号して表示するための処理量が所定の閾値を超えないように、低レート映像ストリームＬ１〜Ｌ８の情報量を決定してもよい。この場合、閾値は、例えば、クライアント装置１２の能力に応じて決定してもよい。

図６は、映像の優先度に応じて決定される映像ストリームの情報量の実施例を示す。ここでは、閾値（この実施例では、クライアント装置１２の処理能力に応じて決まる閾値）は、20Mbpsであるものとする。

クライアント装置１２は、拡大モードで映像を表示する際には、１つの高レート映像ストリームを復号して表示すると共に、バックグラウンド処理で８つの低レート映像ストリームＬ１〜Ｌ８を復号する。よって、クライアント装置１２は、１つの高レート映像ストリームおよび８つの低レート映像ストリームＬ１〜Ｌ８を処理するだけの能力が必要である。なお、この例では、１つの高レート映像ストリームを処理するためには、8Mbpsの能力が必要とされるものとする。

図６に示す比較例は、図１に示す映像信号伝送システムにおける割当てを示す。比較例では、各低レート映像ストリームＬ１〜Ｌ８の情報量は、予め決められており、互いに同じである。クライアント装置１２は、比較例の映像ストリームを受信すると、16Mbpsに相当する処理を実行する。

これに対して、実施形態の映像信号伝送システムにおいては、ユーザ操作および映像内容に応じて判定される、各映像の優先度に基づいて低レート映像ストリームＬ１〜Ｌ８の情報量が個々に設定される。図６に示す例では、カメラ１０１−１、１０１−２による映像の優先度が高いと判定され、カメラ１０１−３、１０１−４による映像の優先度は中間であると判定され、カメラ１０１−５〜１０１−８による映像の優先度は低いと判定されている。この場合、この実施例では、品質指示部２３は、エンコーダ２−１、２−２に対して、低レート映像ストリームＬ１、Ｌ２の情報量としてそれぞれ「2Mbps」を指示し、エンコーダ２−３、２−４に対して、低レート映像ストリームＬ３、Ｌ４の情報量としてそれぞれ「1Mbps」を指示し、エンコーダ２−５〜２−８に対して、低レート映像ストリームＬ５〜Ｌ８の情報量としてそれぞれ「256Kbps」を指示する。

このように、実施形態の映像信号伝送システムにおいては、優先度が高いと判定された映像の低レート映像ストリーム（Ｌ１、Ｌ２）に対しては、比較例における対応する低レート映像ストリームよりも大きな情報量が与えられる。したがって、クライアント装置１２において、ユーザにとって重要な映像の品質は高くなる。このとき、各映像ストリームの情報量は、クライアント装置１２の能力に応じて設定されるので、クライアント装置１２の負荷が増えることはない。例えば、図６に示す例では、実施形態における合計処理量は15Mbpsであり、比較例における合計処理量16Mbpsよりも小さくなっている。

各エンコーダ２−１〜２−８は、図３に示すように、映像符号化器３１およびデータ削除部３２を有する。映像符号化器３１は、対応するカメラから出力される映像データを符号化する。データ削除部３２は、映像符号化器３１により生成される符号化映像データに対して、管理サーバ３の品質指示部２３より与えられる品質指示に対応するデータ削除を行う。このとき、データ削除部３２は、例えば、品質指示により表される情報量を満足するように、符号化映像データから優先度の低いデータを削除する。データ削除については、後で実施例を示す。

このように、実施形態の映像信号伝送システムによれば、ユーザ操作および映像内容に応じて判定される、各映像の優先度に基づいて各映像ストリームの情報量が制御される。したがって、マルチ画面表示において重要度の高い映像の品質を高めながら、各クライアント装置１２の処理量は抑制される。

なお、上述の実施例では、ユーザ操作および映像内容の双方に基づいて各映像の優先度が判定されているが、本発明はこの形態に限定されるものではない。すなわち、各映像の優先度は、ユーザ操作または映像内容の一方に基づいて判定してもよい。

また、図３に示す例では、クライアント装置１２のユーザの操作を表すユーザ操作情報がクライアント装置１２から管理サーバ３に送信されるが、本発明はこの形態に限定されるものではない。例えば、クライアント装置１２におけるユーザ操作がエンコーダに通知され、エンコーダが対応する処理を実行する形態においては、エンコーダから管理サーバ３へユーザ操作情報が送信されるようにしてもよい。すなわち、クライアント装置１２におけるユーザ操作を検出する方法は、特に限定されるものではない。

図７は、実施形態の映像信号伝送方法を示すフローチャートである。図７は、エンコーダ２−１〜２−８および管理サーバ３の処理に加えて、クライアント装置１２（１２−１〜１２−８）の処理も合わせて記載している。

ステップＳ１において、クライアント装置１２は、画面に示すべき映像を選択する指示をユーザから受けると、選択された映像を識別する情報を管理サーバ３へ通知する。ステップＳ２において、クライアント装置１２は、各映像の画面上での表示位置についての指示をユーザから受けると、表示位置を表す情報を管理サーバ３へ通知する。ステップＳ３において、クライアント装置１２は、映像操作に係わる指示をユーザから受けると、その映像操作を表す情報を管理サーバ３へ通知する。映像操作に係わる指示は、例えば、カメラの向きまたはズームの制御、撮影地点の照明の制御などに相当する。ステップＳ４において、クライアント装置１２は、クライアント装置１２が有するセンサが所定のイベントを検出したときに、その検出内容を管理サーバ３へ通知する。

ステップＳ１〜Ｓ４の処理は、各クライアント装置１２−１〜１２−ｎにおいて実行される。なお、ステップＳ１〜Ｓ３で管理サーバ３へ通知される情報は、図３に示すユーザ装置情報に相当する。また、ステップＳ１〜Ｓ３の処理は、それぞれ、対応するユーザ操作があったときに実行される。

ステップＳ１１において、管理サーバ３は、各クライアント装置１２−１〜１２−ｎから通知される情報、および環境要因に係わる情報に基づいて、各映像の優先度（または、重要度）を計算する。環境要因は、例えば、図４（ｂ）に示す通りである。また、映像内容は、この環境要因に依存する。

ステップＳ１２において、管理サーバ３は、クライアント操作履歴を更新する。管理サーバ３は、各クライアント装置１２−１〜１２−ｎにおけるユーザ操作に係わる情報を蓄積するデータベースを有する。ステップＳ１３において、管理サーバ３は、過去のクライアント操作履歴を参照する。ステップＳ１４において、管理サーバ３は、システム全体の映像レートを参照する。管理サーバ３は、各エンコーダ２−１〜２−８から出力される映像ストリームの現在のレートを表す情報を保持している。

ステップＳ１５において、管理サーバ３は、システム全体の映像レートを決定する。このとき、管理サーバ３は、図３〜図５を参照しながら説明したように、クライアント装置１２−１〜１２−ｎにおけるユーザ操作および映像内容に応じて、各映像ストリームのレートを決定する。この例では、各低レート映像ストリームＬ１〜Ｌ８のレートが決定される。そして、管理サーバ３は、決定した映像レート（すなわち、映像の品質）をそれぞれ対応するエンコーダ２−１〜２−８に通知する。

ステップＳ２１〜Ｓ２２において、エンコーダ２（以下の説明で「エンコーダ２」は、エンコーダ２−１〜２−８の総称を意味するものとする）は、管理サーバ３から受信する通知に従って、映像レート変更処理を実行する。このとき、エンコーダ２は、通知された映像レートに基づいて、符号化映像データから不要なデータを削除する。ステップＳ２３において、エンコーダ２は、実際の映像レートを管理サーバ３に通知する。そして、エンコーダ２は、ステップＳ２４において、クライアント１２−１〜１２−ｎに対して映像ストリームの配信を行う。

管理サーバ３は、ステップＳ１６において、各エンコーダ２から通知される映像レートを利用して、システム全体の映像レートを更新する。

図８は、映像ストリームのデータ量を削減する処理の実施例を示すフローチャートである。図８に示すフローチャートの処理は、図７のステップＳ２２に相当し、図３に示すデータ削除部３２により実行される。ここで、エンコーダ２は、管理サーバ３から映像の品質を表す情報（すなわち、映像レートを表す情報）を受信するものとする。また、データ削除部３２には、映像符号化器３１により生成される符号化映像データが入力されるものとする。

ステップＳ３１において、データ削除部３２は、管理サーバ３から通知される映像レートに基づいて閾値を計算する。この閾値は、低レート映像ストリームに映像レートを規定する。

ステップＳ３２において、データ削除部３２は、映像符号化データからオーディオデータを削除する。なお、映像符号化データがオーディオデータを含んでいないときは、ステップＳ３２は省略される。

ステップＳ３３において、データ削除部３２は、オーディオデータが削除された符号化映像データのレートと閾値とを比較する。そして、この符号化映像データのレートが閾値以下であれば、データ削除部３２の処理は終了する。一方、この符号化映像データのレートが閾値よりも大きければ、データ削除部３２の処理はステップＳ３４へ進む。ステップＳ３４において、データ削除部３２は、ＰフレームデータおよびＢフレームデータを削除する。

ステップＳ３５において、データ削除部３２は、オーディオデータ、ＰフレームデータおよびＢフレームデータが削除された符号化映像データのレートと閾値とを比較する。そして、この符号化映像データのレートが閾値以下であれば、データ削除部３２の処理は終了する。一方、この符号化映像データのレートが閾値よりも大きければ、データ削除部３２の処理はステップＳ３６へ進む。

ステップＳ３６において、データ削除部３２は、Ｉフレームデータについて周波数成分を計算する。そして、データ削除部３２は、エンコーダから出力される符号化映像データのレートが閾値以下となるように、Ｉフレームデータの高周波数成分を削除する。

なお、図８に示すデータ削除方法は、１つの実施例であって、本発明はこの手順に限定されるものではない。すなわち、データ削除部３２は、他の方法で符号化映像データの情報量を削減してもよい。例えば、映像ストリームがＲＦＣ３５５０で規定されているプロトコルで伝送される場合には、データ削除部３２は、ＲＴＰヘッダの一部または全部を削除してもよい。なお、ＲＴＰヘッダは、２ビットのバージョン（Ｖ）、１ビットのパディング（Ｐ）、１ビットの拡張（Ｘ）、４ビットのＣＳＲＣカウント（ＣＣ）、１ビットのマーカー（Ｍ）、７ビットのペイロードタイプ（ＰＴ）、１６ビットのシーケンス番号、３２ビットのタイムスタンプ、３２ビットのＳＳＲＣ識別子を含む。

＜管理サーバ３のハードウェア構成＞
図９は、管理サーバ３を実現するためのコンピュータシステムのハードウェア構成を示す。管理サーバ３を実現するためのコンピュータシステム２００は、図９に示すように、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、読み取り装置２０４、通信インタフェース２０６、および入出力装置２０７を備える。ＣＰＵ２０１、メモリ２０２、記憶装置２０３、読み取り装置２０４、通信インタフェース２０６、入出力装置２０７は、例えば、バス２０８を介して互いに接続されている。

ＣＰＵ２０１は、メモリ２０２を利用して映像信号伝送制御プログラムを実行することにより、操作検出部２１、映像内容検出部２２、品質指示部２３の機能を提供することができる。なお、映像信号伝送制御プログラムは、上述した管理サーバ３の処理の一部または全部を記述している。

メモリ２０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。記憶装置２０３は、例えばハードディスク装置であり、実施形態の映像信号伝送制御プログラムを格納する。なお、記憶装置２０３は、フラッシュメモリ等の半導体メモリであってもよい。また、記憶装置２０３は、外部記録装置であってもよい。

読み取り装置２０４は、ＣＰＵ２０１の指示に従って着脱可能記録媒体２０５にアクセスする。着脱可能記録媒体２０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。通信インタフェース２０６は、ＣＰＵ２０１の指示に従ってネットワークを介してデータを送受信する。入出力装置２０７は、例えば、指示を受け付けるデバイス、メッセージ等を出力するインタフェース等に相当する。

実施形態の映像信号伝送制御プログラムは、例えば、下記の形態でコンピュータシステム２００に提供される。
（１）記憶装置２０３に予めインストールされている。
（２）着脱可能記録媒体２０５により提供される。
（３）プログラムサーバ２１０から提供される。

１ 映像信号伝送システム
２（２−１〜２−８） エンコーダ
３ 管理サーバ
１２（１２−１〜１２−ｎ） クライアント装置
２１ 操作検出部
２２ 映像内容検出部
２３ 品質指示部
３１ 映像符号化器
３２ データ削除部

Claims (11)

1. 複数の映像ストリームを生成する複数のエンコーダと、
   前記複数の映像ストリームの映像内容を検出する映像内容検出部と、
   前記映像内容検出部により検出される映像内容に基づいて、特定の要因に関する重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数のエンコーダに対して、それぞれ対応する映像ストリームにより表される映像の品質を優先度に応じて指示する品質指示部と、を有し、
   前記複数のエンコーダは、それぞれ、前記品質指示部による指示に応じて対応する映像ストリームを生成する
   ことを特徴とする映像信号伝送システム。
2. 前記映像内容検出部は、各映像ストリームにより表される映像に映っている地点の位置を検出し、
   前記品質指示部は、前記映像内容検出部により得られる位置に基づいて重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数の映像ストリームの情報量を優先度に応じて決定する
   ことを特徴とする請求項１に記載の映像信号伝送システム。
3. 前記映像内容検出部は、各映像ストリームにより表される映像に映っている地点の状態を検出し、
   前記品質指示部は、前記映像内容検出部により得られる状態に基づいて重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数の映像ストリームの情報量を優先度に応じて決定する
   ことを特徴とする請求項１に記載の映像信号伝送システム。
4. 前記映像内容検出部は、各映像ストリームにより表される映像の明るさを検出し、
   前記品質指示部は、前記映像内容検出部により得られる明るさに基づいて重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数の映像ストリームの情報量を優先度に応じて決定する
   ことを特徴とする請求項１に記載の映像信号伝送システム。
5. 前記複数の映像ストリームを表示する複数のクライアント装置において行われる、前記複数の映像ストリームの表示に係わるユーザの操作を検出する操作検出部をさらに有し、
   前記品質指示部は、前記操作検出部により検出されるユーザの操作および前記映像内容検出部により検出される映像内容に基づいて、特定の要因に関する重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数のエンコーダに対して、それぞれ対応する映像ストリームにより表される映像の品質を優先度に応じて指示する
   ことを特徴とする請求項１に記載の映像信号伝送システム。
6. 前記操作検出部は、前記複数のクライアント装置において行われる複数のユーザの操作を集計して各映像ストリームの優先度を判定し、
   前記品質指示部は、前記操作検出部により判定される優先度に基づいて、前記複数の映像ストリームの情報量を決定する
   ことを特徴とする請求項５に記載の映像信号伝送システム。
7. 前記品質指示部は、前記複数の映像ストリームを復号して表示するための処理量が、前記クライアント装置の能力に応じて決まる閾値を超えないように、前記複数の映像ストリームの情報量を決定する
   ことを特徴とする請求項１〜６のいずれか１つに記載の映像信号伝送システム。
8. 各エンコーダは、第１の映像ストリームおよび前記第１の映像ストリームのデータ量を削減することで得られる第２の映像ストリームを生成し、
   前記品質指示部は、各第２の映像ストリームの情報量をそれぞれ決定する
   ことを特徴とする請求項１〜６のいずれか１つに記載の映像信号伝送システム。
9. 複数の映像ストリームを複数のクライアント装置に伝送する映像信号伝送システムにおいて使用される映像信号伝送制御装置であって、
   前記複数の映像ストリームの映像内容を検出する映像内容検出部と、
   前記映像内容検出部により検出される映像内容に基づいて、特定の要因に関する重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数の映像ストリームを生成する複数のエンコーダに対して、それぞれ対応する映像ストリームにより表される映像の品質を優先度に応じて指示する品質指示部と、
   を有する映像信号伝送制御装置。
10. 複数の映像ストリームを複数のクライアント装置に伝送する映像信号伝送システムにおいて使用される映像信号伝送方法であって、
    前記複数の映像ストリームの映像内容を検出し、
    検出された映像内容に基づいて、特定の要因に関する重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数の映像ストリームを生成する複数のエンコーダに対して、それぞれ対応する映像ストリームにより表される映像の品質を優先度に応じて指示し、
    前記複数のエンコーダが、それぞれ、指示された品質に応じて対応する映像ストリームを生成する
    ことを特徴とする映像信号伝送方法。
11. 複数の映像ストリームを複数のクライアント装置に伝送する映像信号伝送システムにおいて使用されるプログラムであって、
    前記複数の映像ストリームの映像内容を検出し、
    検出された映像内容に基づいて、特定の要因に関する重要度を数値化して各映像ストリームの優先度を判定するとともに、前記複数の映像ストリームを生成する複数のエンコーダに対して、それぞれ対応する映像ストリームにより表される映像の品質を優先度に応じて指示し、
    前記複数のエンコーダが、それぞれ、指示された品質に応じて対応する映像ストリームを生成する
    処理をコンピュータに実行させるプログラム。