JP2010148075A - 配信装置及び通信システム - Google Patents

Abstract

【課題】画像データの送信に際して効率的に通信資源を利用し、通信サービスの品質を向上させる。
【解決手段】送信側の通信端末は、送信画像を部分画像に分割して、部分画像において特定の位置にある画素を表す画素データを供給する供給処理を、画像に含まれる全画素データに対して、画素データを供給する画素の位置を順次変更しながら実行する。受信側の通信端末は、供給処理毎の画素データを受信するたびに、受信した画素データに基づいて画像を表示する。また、送信側の通信端末は、画像データＡに基づく供給処理（例えば、第２の供給処理）を実行しているときに、画像データＢを送信することが指示されると、実行中の供給処理に後続する画像データＡに基づく第３、第４の供給処理を行わずに、画像データＢに基づく供給処理を開始する。
【選択図】図１１

Description

本発明は、配信装置及び通信システムに関する。

インターネット等のネットワークを介した通信にあっては、通信経路の通信帯域に限りがあるから、それを効率的に利用して、通信サービスの品質を向上させることが求められている。例えば、データの伝送速度を低減しつつ高精細な画像を表示するための技術として、特許文献１には、送信側の装置が画像フレームを構成する画素を予め決められた規則に従って間引いて順次伝送し、受信側の装置が先行する画像フレームを構成する階調データの一部を記憶しておき、間引かれたことによって欠落している階調データを補完することが開示されている。
特開平８−１７９７４０号公報

特許文献１に記載されている技術では、例えば、送信側の装置で短期間の間にページ送りが次々と行われて送信対象の画像データが切り換えられると、画像データの送信処理を行っている最中に、それに後続する画像データの送信を要求されることがある。この場合、送信側の装置は、送信処理中の画像データの送信を完了してから、次の画像データの送信処理を開始する。これでは、送信側の装置にとって不要な画像データをも送信することになってしまい、通信資源の無駄になり、受信側の装置においては画像の表示に遅延が生じてしまう。
本発明は、上述した課題に鑑みてなされたものであり、その目的は、画像データの送信に際して通信帯域を効率的に利用し、通信サービスの品質を向上させる仕組みを提供することである。

上述した課題を解決するために、本発明の配信装置は、複数の画素データからなる画像データが表す画像を、２以上の一定個数の画素をそれぞれ含む部分画像に分割する分割手段と、前記分割手段により分割された各々の前記部分画像において特定の位置にある画素を表す画素データを供給する供給処理を、前記画像に含まれる全画素データに対して、前記特定の位置を順次変更しながら実行する供給制御手段と、前記供給処理が実行されるたびに前記供給制御手段から供給される画素データを送信する送信手段とを備え、前記供給制御手段は、第１の画像データに基づく前記供給処理を実行しているときに、第２の画像データを前記送信手段に供給することが指示されると、実行中の当該供給処理に後続する前記第１の画像データに基づく前記供給処理を行わずに、前記第２の画像データに基づく前記供給処理を開始することを特徴とする。
本発明の好ましい態様において、前記送信手段は、前記供給制御手段から供給される画素データ、及びそれ以外のデータである非画素データを送信し、前記供給制御手段は、前記送信手段により非画素データが送信されている場合には、前記供給処理を行って前記画素データを供給し、非画素データが送信されていない場合には、前記供給処理を行わずに前記画像データを供給することを特徴とする。

また、本発明の通信システムは、配信装置と、前記配信装置とネットワークを介して接続された通信端末とを備え、前記配信装置は、複数の画素データからなる画像データが表す画像を、２以上の一定個数の画素をそれぞれ含む部分画像に分割する分割手段と、前記分割手段により分割された各々の前記部分画像において特定の位置にある画素を表す画素データを供給する供給処理を、前記画像に含まれる全画素データに対して、前記特定の位置を順次変更しながら実行する供給制御手段と、前記供給処理が実行されるたびに前記供給制御手段から供給される画素データを送信する送信手段とを備え、前記供給制御手段は、第１の画像データに基づく前記供給処理を実行しているときに、第２の画像データを前記送信手段に供給することが指示されると、実行中の当該供給処理に後続する前記第１の画像データに基づく前記供給処理を行わずに、前記第２の画像データに基づく前記供給処理を開始し、前記通信端末は、前記送信手段によって送信された画素データを受信する受信手段と、前記受信手段が前記供給処理毎の画素データを受信するたびに、受信した画素データを、当該画素データが含まれる前記部分画像において少なくとも前記特定の位置に配置した画像データに基づいて、表示手段に画像を表示する表示制御手段とを備えることを特徴とする。

本発明によれば、画像データの送信に際して通信帯域を効率的に利用し、通信サービスの品質を向上させることができる。

［実施形態］
本発明の実施形態に係る通信システムの一態様である会議システム１は、図１に示すように、通信端末１０と、複数の通信端末２０−１，２０−２，２０−３，２０−４（以下、それぞれを区別しないときには「通信端末２０」と称する）とを備える。
通信端末１０は、本発明の配信装置の一例であり、ネットワーク１００を介して通信端末２０−１，２０−２と通信可能に接続されている。ネットワーク１００は、ここではインターネット回線である。通信端末２０−２は、ネットワーク１００を介して通信端末２０−４にデータを送信する一方で、ＬＡＮ（Local Area Network）を介して通信端末２０−３にデータを送信する。これら通信端末１０、通信端末２０−１，２０−２，２０−３，２０−４は、それぞれ異なる拠点に設置されており、通信端末１０，２０間において映像データ及び音声データが相互に送受信されて、遠隔地にいるものどうしで会議が行われる。通信端末１０，２０は同等の構成を有しているが、説明の便宜上、これらを区別して符号を付している。

次に、通信端末１０，２０の構成について説明する。
図２は、通信端末１０の構成の一例を示すブロック図である。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、通信端末１０の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶ディスプレイなどの表示モニタを有する表示手段であって、制御部１１による制御の下で各種の画像を表示する。操作部１４は、例えばマウスやキーボードであり、通信端末１０の利用者による操作に応じた信号を出力する。マイクロホン１５は、収音し、収音した音声を表す音声信号（アナログ信号）を出力する。音声処理部１６は、マイクロホン１５が出力する音声信号（アナログ信号）をＡ／Ｄ変換によりデジタルデータに変換する。また、音声処理部１６は、供給されるデジタルデータをＤ／Ａ変換によりアナログ信号に変換してスピーカ１７に供給する。スピーカ１７は、音声処理部１６から出力されるアナログ信号に応じた強度で放音する。通信部１８は、通信端末２０との間でネットワーク１００を介して通信を行うための通信手段である。撮影部１９は、撮像素子を有するデジタルビデオカメラなどの撮影手段であって、撮影した映像を表す映像データを生成して出力する。撮影部１９の撮像素子は、例えば横１１５２画素、縦８６４画素（１１５２×８６４画素）の画素数（ＸＧＡ＋）による撮影が可能である。

次に、通信端末１０の機能について説明する。
図３は、通信端末１０の機能的構成の一例を示す図である。映像送信部１１４及び映像受信部１２１は通信部１８により実現される。図３に示す映像送信部１１４、映像受信部１２１、撮影部１９及び表示部１３を除く各機能は、制御部１１により実現される。なお、ここで、映像データの送受信に係る説明をするが、音声データについても映像データに同期して送受信がなされる。
撮影部１９は、会議の資料等を撮影すると、その撮影内容を示す映像データを供給部１１２および合成部１２３に出力する。供給部１１２は、撮影部１９からの映像データに各種制御を実行して、映像データ（画像データ）をエンコード部１１３に出力する。供給部１１２が実現する機能について詳しくは後述する。エンコード部１１３は、供給部１１２からの映像データを符号化して、映像送信部１１４に出力する。映像送信部１１４は、エンコード部１１３により符号化された映像データにパケット処理を行い、宛先となる通信端末２０を示す端末情報をパケットデータのヘッダ部分に付加して、その映像データを通信端末２０に送信する。

映像受信部１２１は、通信端末２０を生成元とするパケットデータから映像データを取り出してこれを受信し、受信した映像データをデコード部１２２に供給する。なお、映像受信部１２１が受信する各通信端末２０からの映像データの各々と、その生成元である通信端末２０との対応関係については、各映像データに付加された端末情報から特定可能である。デコード部１２２は、映像受信部１２１から供給された各映像データを復号して、合成部１２３に出力する。合成部１２３は、本発明の表示制御手段の一例であり、ＶＲＡＭ（Video RAM）等を有し、デコード部１２２からの映像データ、及び撮影部１９からの各映像データをそこに記憶する。そして、合成部１２３は、各映像データを合成した映像データに基づいて表示部１３に画像を表示する。具体的には、合成部１２３は、予め決められたレイアウトに従って表示部１３の表示領域を区分し、それぞれの表示領域に自通信端末１０及び各通信端末２０からの映像データに応じた画像を配置するように映像データを合成（生成）して、表示部１３に出力する。表示部１３は、合成部１２３から映像データが供給されると、その映像データに応じて表示領域に画像を表示する。

通信端末２０は、上述した通信端末１０と同等の構成を有しており、その構成の説明を省略する。通信端末２０は、通信端末１０や自端末以外の通信端末２０から送られてきた映像データを受信すると、受信した映像データと、自端末の撮影部から得られる映像データとに基づいて、自端末の表示部に画像を表示する。

次に、供給部１１２が実現する機能ついて、図３を参照しつつ説明する。
キャプチャ画像生成部１１２１は、撮影部１９から供給される映像データが表す動画像を決められたフレームレート（例えば、５ｆｐｓ（flames per second））でキャプチャして、フレーム単位の画像を表すキャプチャ画像データを生成する。このようにして、キャプチャ画像生成部１１２１は、時間軸上で連続するキャプチャ画像データを順次生成する。キャプチャ画像生成部１１２１は、生成したキャプチャ画像データを差分領域検出部１１２２に出力する。

図４は、キャプチャ画像データが表す画像の一例として、キャプチャ画像ＩＭＧを表した図である。キャプチャ画像データは複数の画素データからなり、画素データは各画素の階調値を表す。図４に示すように、キャプチャ画像ＩＭＧにおいて、画素が並べて配置されている一方向を「ｘ方向」とし、それと直交する方向に画素が並べられる方向を「ｙ方向」とする。キャプチャ画像にあっては、左上隅点を原点Ｏ（ｘ，ｙ）＝（０，０）として、各画素に対してｘｙ直交座標系に従った座標値が割り当てられており、通信端末１０，２０は、各画素に割り当てられた座標値により、画素の位置を特定する。つまり、キャプチャ画像の画像領域は、Ｘ方向に１１５２画素、Ｙ方向に８６４画素という複数の画素からなる。

差分領域検出部１１２２は、キャプチャ画像生成部１１２１からのキャプチャ画像データが表す画像と、その１フレーム前に生成されたキャプチャ画像データが表す画像とを比較して、その１フレーム前の画像データに対して差分が生じた画像領域を特定する。図５に示すように、差分領域検出部１１２２は、キャプチャ画像ＩＭＧの画像領域全体を、例えば格子状に９×６の画像領域に分割する。ここでは、図５に破線で図示した位置で複数の画像領域に分けられ、破線の位置がそれぞれ隣り合う画像領域の境界となる。差分領域検出部１１２２は、区分した各画像領域単位で差分の有無を検出し、差分が生じた画像領域を検出すると、その画像領域を表す画像データを分割部１１２３に出力する。ここでは、各画像領域に１画素でも階調値の差分が生じていれば、差分が生じた画像領域として検出される。差分領域検出部１１２２は、図５に示す画像領域Ｓ１に差分が生じていることを検出すると、この画像領域Ｓ１を切り出した画像を送信用の画像（以下、「送信画像」という。）Ｔとして、画像データを生成する。差分領域検出部１１２２は、送信画像Ｔを表す画像データを、キャプチャ画像ＩＭＧにおける差分領域の位置を特定するための位置情報とともに分割部１１２３に出力する。

分割部１１２３は、差分領域検出部１１２２からの画像データが表す送信画像を、２以上の一定個数（ここでは４個）の画素をそれぞれ含む部分画像に分割する。そして、分割部１１２３は、部分画像に分割した画像データを、差分領域検出部１１２２からの位置情報とともに供給制御部１１２４に出力する。
図６は、分割部１１２３による分割の態様を説明する図である。なお、説明を簡単にするために、以下では、送信画像Ｔの画素数を実際よりも少なくして説明する。
同図に示すように、分割部１１２３は、各部分画像が２×２画素の計４つの画素からなる画素群となるように、送信画像Ｔの画像領域を格子状の部分画像に分割する。なお、図６に示すようにして、各部分画像を「部分画像Ａ」、「部分画像Ｂ」、「部分画像Ｃ」・・・、「部分画像Ｐ」という具合にアルファベットを用いて区別するとともに、各部分画像に含まれる画素を「画素Ａ−１」、「画素Ｂ−２」、・・・という具合に、画素が含まれる部分画像に付されたアルファベットと数字とによって区別する。例えば、送信画像Ｔの左上部に位置する部分画像Ａには、左上部に位置する「画素Ａ−１」、右上部に位置する「画素Ａ−２」、左下部に位置する「画素Ａ−３」、及び右下部に位置する「画素Ａ−４」という４つの画素が含まれている。

供給制御部１１２４は、ＦＩＦＯ（First-Input First-Output）形式データバッファとして、バッファＡ及びバッファＢを有する。供給制御部１１２４は、送信画像Ｔに含まれる部分画像の各々において特定の位置にある画素を表す画素データをバッファＡ又はＢに供給する供給処理を、部分画像に含まれる全画素データに対して、特定の位置を順次変更しながら実行する。なお、各回の供給処理において、各々の部分画像について対象となる画素の位置はそれぞれ予め決まっている。このとき、供給制御部１１２４は、画素データを書き込むバッファと、画像データを読み出してエンコード部１１３に供給するバッファとを供給処理単位で切り換える。

ここで、「供給処理」の内容について、図７〜１０を参照して具体的に説明する。図７〜１０の各図においては、（ａ）は送信画像Ｔを構成する各画素を説明する図であり、（ｂ）は受信画像Ｒを構成する各画素を説明する図である。受信画像Ｒは、通信端末２０が送信画像Ｔを表す画像データを構成する画素データを受信し、その画素データに基づいて表示する画像のことである。なお、以下の説明では、通信端末１０によって送信された画像データを通信端末２０が受信する態様について説明するが、通信端末２０によって送信された画像データを、通信端末１０や他の通信端末２０が受信する場合も同様の処理が行われる。

（第１の供給処理）
供給制御部１１２４は、まず第１の供給処理を実行し、図７（ａ）に示すように、部分画像Ａ〜Ｐからハッチングで図示した画素Ａ−１，Ｂ−１，・・・，Ｐ−１を特定し、これらの画素を表す画素データをバッファＡに供給する。これらの画素データを供給し終えると、供給制御部１１２４は、第１の供給処理によりバッファＡに格納された画素データを順次読み出し、これをエンコード部１１３に供給する。そして、映像データ（つまり、画素データ）が、上記位置情報とともに、映像送信部１１４を経て通信端末２０に送信される。通信端末２０は、供給処理毎の画素データを受信するたびに、受信した画素データに基づいて表示部に画像を表示する。

通信端末２０は、第１の供給処理により供給された画素データを受信すると、図７（ｂ）に示すように、画素Ａ−１，Ｂ−１，・・・，Ｐ−１を表す画素データを、それらの各画素データが含まれる部分画像に対応する位置を特定して配置する。このとき、通信端末２０は、画素データとともに受信した位置情報により特定される差分領域に対応する位置に、各画素データを配置する。図７（ａ）、（ｂ）に示すように、部分画像Ａと部分画像Ａ’、部分画像Ｂと部分画像Ｂ’、・・・、部分画像Ｐと部分画像Ｐ’とが対応し、それらの画素群を構成する画素が配置される座標値は一致している。通信端末２０は、画素群Ａに含まれる画素を用いて画素群Ａ’を構成し、画素群Ｂに含まれる画素を用いて画素群Ｂ’を構成し、・・・画素群Ｐに含まれる画素を用いて画素群Ｐ’を構成する。具体的には、通信端末２０は、画素Ａ−１を４つ用いて部分画像Ａ’を構成し、画素Ｂ−１を４つ用いて部分画像Ｂ’を構成し、・・・、画素Ｐ−１を４つ用いて部分画像Ｐ’を構成して、受信画像Ｒを表す画像データを生成する。このようにして、通信端末２０が第１の供給処理により供給された画素データを受信すると、受信した画素データを用いて、未だ画素データを受信していない座標値に配置される画素を補間し、受信画像Ｒを表す画像データを生成する。

（第２の供給処理）
供給制御部１１２４は、上述した第１の供給処理により格納された画素データを読み出してエンコード部１１３に供給すると同時に、第１の供給処理に後続する供給処理として、第２の供給処理を実行する。この第２の供給処理では、図８（ａ）に示すように、供給制御部１１２４は、部分画像Ａ〜Ｐからハッチングで図示した画素Ａ−２，Ｂ−２，・・・，Ｐ−２を特定し、これらの画素を表す画素データをバッファＢに供給する。第２の供給処理により供給された画素データも通信端末２０に送信される。

図８（ｂ）に示すように、通信端末２０は、第１の供給処理の場合と同様にして、受信した画素Ａ−２，Ｂ−２，・・・，Ｐ−２を表す画素データを、それらの各画素データが含まれる部分画像に対応する位置を特定して配置する。具体的には、通信端末２０は、画素Ａ−１と画素Ａ−２をそれぞれ２つずつ用いて、画素Ａ−１、画素Ａ−２を表す同じ画素データどうしがそれぞれ対角の関係となるような配置位置を特定する。つまり、画素Ａ―１が画素群Ａ’の左上部及び右下部に配置され、画素Ａ−２が画素群Ａ’の右上部及び左下部に配置される。通信端末２０は、部分画像Ｂ’〜Ｐ’についても、第１の供給処理により供給された２つの画素、及び第２の供給処理により供給された２つの画素がそれぞれ対角の関係となるように各画素を配置し、受信画像Ｒを表す画像データを生成する。これにより、第２の供給処理後の画素データを受信した通信端末２０は、第１の供給処理後の画素データに基づいて受信画像Ｒを表示したときよりも、より送信画像Ｔに近い内容の画像を表示することができる。

（第３の供給処理）
供給制御部１１２４は、第１の供給処理により供給された画素データがバッファＡからすべて読み出されて送信されると、第２の供給処理に後続する第３の供給処理を実行する。この第３の供給処理では、図９（ａ）に示すように、供給制御部１１２４は、部分画像Ａ〜Ｐからハッチングで図示した画素Ａ−３，Ｂ−３，・・・，Ｐ−３を特定し、これらの画素を表す画素データをバッファＡに供給する。
図９（ｂ）に示すように、第３の供給処理後の画素データを受信した通信端末２０は、受信済みの画素データと、第３の供給処理後の画素データとに基づいて受信画像Ｒを表す画像データを生成する。具体的には、通信端末２０は、画素群Ａ’において右下部の画素の位置を特定し、その画素を画素Ａ−２から画素Ａ−３に置き換えて配置する。通信端末２０は、部分画像Ｂ’〜Ｐ’についても、各画素群の右下部の画素の位置を特定し、その画素を第３の供給処理により供給された画素に置き換えて配置し、受信画像Ｒを表す画像データを生成する。これにより、通信端末２０は、第２の供給処理後の画素データに基づいて受信画像Ｒを表示したときよりも、より送信画像Ｔに近い内容の画像を表示することができる。

（第４の供給処理）
供給制御部１１２４は、第２の供給処理により供給された画素データがバッファＢからすべて読み出されて送信されると、第３の供給処理に後続する第４の供給処理を実行する。この第４の供給処理では、図１０（ａ）に示すように、供給制御部１１２４は、部分画像Ａ〜Ｐからハッチングで図示した画素Ａ−４，Ｂ−４，・・・，Ｐ−４を特定し、これらの画素を表す画素データをバッファＢに供給する。
図１０（ｂ）に示すように、第４の供給処理後の画素データを受信した通信端末２０は、すでに受信した画素Ａ−１、Ａ−２、Ａ−３、Ａ−４を用いて、送信画像Ｔの画素群Ａと同じになるように各画素の配置位置を特定して、画素群Ａ’を構成する。通信端末２０は、部分画像Ｂ’〜Ｐ’についても、送信画像Ｔと同じ位置になるように各画素の配置位置を特定して配置し、受信画像Ｒを表す画像データを生成する。
これにより受信画像Ｒの内容が送信画像Ｔの内容と同じになり、通信端末１０が通信端末２０に送信画像Ｔを表す画像データの送信が完了する。

以上説明したように、供給制御部１１２４は、供給処理を順次実行して、送信画像を表す画像データを送信する。一方、通信端末２０は、供給処理毎の画素データを受信するたびに、受信した画素データに基づいて画像を表示する。これにより、通信端末２０が各段階の供給処理に応じた画素データを受信するたびに、受信画像Ｒの内容が次第に鮮明になって、やがて送信画像Ｔの内容と同じになる。

ところで、撮影部１９の撮影内容が急に変更された場合（例えば、撮影画面がスクロールした場合）等には、差分領域検出部１１２２により検出される差分領域が、例えばキャプチャ画像全体のように広範囲に及ぶことがある。この場合、通信端末１０が送信する単位時間当たりの画素データのデータ量が大きくなるから、ネットワーク１００に生じるトラフィックの状況によっては、通信端末２０が受信画像を表示するまでに時間を要することがある。このような原因により、会議システム１においてリアルタイム性が確保されず、異なる拠点にいる会議参加者が会議の進行において違和感を持つことがある。そこで、通信端末１０は、供給処理を実行するに際して、以下に説明する制御を行う。

図１１は、供給制御部１１２４が実行する供給処理の時系列的な遷移の様子を示すタイムチャートである。
図１１に示すように、供給制御部１１２４が、或る画像データＡに基づいて第２の供給処理を行っているときに、それに後続するフレームの画像データＢが供給されたとする。供給制御部１１２４は、この次フレームの画像データが供給されたことを、画像データＢをエンコード部１１３及び映像送信部１１４に供給することの指示として受け付ける。次フレームの画像データが供給されるのは、例えば、会議参加者により資料のページ送りを指示する操作がユーザにより行われたときである。画像データの供給の指示を受け付けると、供給制御部１１２４は、実行中の画像データＡに基づく第２の供給処理を完了すると、それに後続する第３、第４の供給処理の実行を行わずに（中止して）、画像データＡに基づく供給処理を完了する。そして、供給制御部１１２４は、バッファに既に格納された画像データＡの画素データを破棄する。そして、供給制御部１１２４は、画像データＢを構成する画素データを順次バッファに格納して、上述したような供給処理を開始する。

図１１に、画像データＡに基づく第３、第４の供給処理が行われた場合の画像データＢの供給処理の開始時刻を示す。同図に示すように、画像データＡに基づく供給処理を中止したことにより、画像データＢの供給処理の開始時刻が早まっている。このように、通信端末１０は、送信対象とする画像データが変化した場合には、実行中の供給処理に後続するこの画像データに基づく供給処理を行わないようにして、受信画像の表示に係る遅延が抑制されるようにする。また、画像データＡについても、第２の供給処理までの画素データは通信端末２０に供給されるから、通信端末２０に表示される映像が途切れてしまうこともない。

以上説明した会議システム１によれば、通信端末１０，２０は、送信画像を部分画像に分割して、部分画像において特定の位置にある画素を表す画素データを供給する供給処理を、画像に含まれる全画素データに対して、画素データを供給する画素の位置を順次変更しながら実行する。また、通信端末１０は、各供給処理を実行するたびに画素データを通信端末２０に送信するから、単位時間当たりの画素データの送信量を少なくすることができる。一方、受信側の通信端末２０にあっては、供給処理毎の画素データを受信するたびに、受信した画素データに基づいて画像を表示するから、迅速に受信画像を表示することができる。資料等の画像の場合、そのページ送りはゆっくりと行われることが多いが、ページ送りが行われている最中にも、各ページに対応する画像データに基づいて少なくとも一部の供給処理は行われるので、その内容が通信端末２０において表示される。また、通信端末１０は、ページ送りが完了すれば、ページ送り中の画像データに基づく供給処理を中止して、その完了時点の画像データに基づいて供給処理を開始するから、ページ送り完了後のページの表示の迅速性も確保される。また、通信端末１０は、画像データＡに基づく供給処理を実行しているときに、画像データＢを送信することが指示されると、実行中の供給処理に後続する画像データＡに基づく供給処理を行わずに、画像データＢに基づく供給処理を開始する。これにより、通信端末２０にあっては、受信画像Ｒの表示に係る遅延が抑制され、会議システム１におけるリアルタイム性が確保されることになる。

［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
［変形例１］
上述した実施形態では、本発明の通信システムを会議システムに適用していたが、例えば、通信ネットワークを介して講義や講演を行う場合等においても本発明を適用することができる。本発明は、静止画像或いは動画像を表す映像データを配信するシステムに適用することができる。

［変形例２］
また、画素データの通信経路の通信帯域に応じて、供給処理の態様を異ならせてもよい。
図１２は、変形例２に係る通信端末１０ａの機能を示した図である。通信端末１０ａの構成は、実施形態の通信端末１０とほぼ同じであるが、帯域測定部１１５を有している点で異なる。帯域測定部１１５は、映像送信部１１４によって画素データが送信される通信端末２０への通信経路であるネットワーク１００の通信帯域を測定し、測定した通信帯域を示す帯域データを生成して、これを供給部１１２に出力する。このとき、帯域データによって特定される通信帯域が閾値を超えていれば、分割部１１２３は、差分領域を検出した画像領域を部分画像に分割せず、供給制御部１１２４は、上記供給処理を行わずに、送信画像を表す画像データをエンコード部１１３に供給する。通信帯域が閾値を超えているということは、ここでは十分な通信帯域が確保されていることを意味する。よって、上記供給処理が行われなくても、通信端末２０側で受信画像の表示の遅延は生じにくい。一方、帯域データによって特定される通信帯域が閾値以下であれば、通信端末１０は、実施形態で説明した供給処理を行って、画素データを送信する。
この構成により、遅延が生じ得る状況下のみに供給処理を行うから、通信端末１０の供給処理に係る負荷が軽減される。

また、分割部１１２３は、帯域測定部１１５による通信帯域の測定結果に応じて、通信帯域が大きいほど部分画像に含まれる画素数が少なくなるよう分割してもよい。この構成によれば、通信帯域が大きい場合には、一度の供給処理により送信される画素データのデータ量が多くなり、通信帯域が小さい場合には、一度の供給処理により送信される画素データのデータ量が少なくなる。これにより、ネットワーク１００のさらに効率的な利用が可能となる。

図１３に示すように、差分領域検出部１１２２と分割部１１２３との間に解像度変換部１１２５を設けるようにしてもよい。
解像度変換部１１２５は、帯域測定部１１５により測定された通信帯域が閾値以下の場合には、キャプチャ画像データが表す画像領域の解像度を減じる。分割部１１２３は、解像度変換部１１２５により解像度が減じられた画像領域を、部分画像に分割する。これにより、ネットワーク１００にトラフィックが増大した場合であっても、送信画像を表す画像データそのもののデータ量が小さくなるから、受信画像Ｒの表示に係る遅延が抑制される。

［変形例３］
また、変形例２の構成を以下のように変形してもよい。
例えば、通信端末２０−２は通信端末２０−３とはＬＡＮを介して接続されており、その通信帯域は十分に確保されている場合が多いが、通信端末２０−４とはインターネット回線であるネットワーク１００を介して接続されているから、それよりも通信帯域は小さいといえる。よって、通信端末１０ａは、通信回線の種別によって特定される通信帯域に基づいて、変形例２で述べた通信帯域に応じた制御を行ってもよい。

［変形例４］
変形例２の構成において、通信端末１０ａは、映像の表示にかかる遅延の程度や、パケットロスの発生の程度を測定することで、通信経路の通信帯域を特定してもよい。遅延の程度を測定する場合、通信端末１０ａは、例えば往復遅延時間を測定すればよい。往復遅延時間が長いほど、ネットワーク１００に生じるトラフィックが大きいことを意味するので、これを通信帯域が小さい場合に対応させて上記制御を行う。パケットロスの発生の程度を測定する場合、通信端末１０ａは、パケットロス発生率（受信されなかったパケット数／送信したパケット数）を測定すればよい。パケットロス発生率が高い場合には、ネットワーク１００のトラフィックにより破棄されたパケットデータが多いことを意味するから、これを通信帯域の小さい場合に対応させて上記制御を行うとよい。また、通信端末１０ａは、これらを併用してもよい。なお、往復遅延時間やパケットロス発生率の測定については、公知の手法を用いることができる。

［変形例５］
上述した実施形態において、通信端末１０の通信部１８は、画素データの他に、画素データ以外のデータとして音声データ等のデータ（以下、「非画素データ」と総称する。）を送信する。そこで、供給制御部１１２４は、通信部１８により非画素データが送信されている場合には、実施形態で述べた供給処理を行って画素データを供給し、非画素データが送信されていない場合には、この供給処理を行わずに画像データを供給する。非画素データが送信されないときは、通信帯域は大きいと推測できるので、通信端末１０は供給処理を行わずに画像データを送信しても、受信画像の表示に係る遅延は生じにくい。一方、非画素データが送信されているときは、通信帯域が小さいと推測できるので、受信画像の表示に係る遅延は生じやすいから、通信端末１０は上記供給処理を行う。

［変形例６］
通信端末１０は、いわゆるルーティング機能を備えたルータであってもよい。この場合、通信端末１０は外部のコンピュータ装置等から映像データが入力される入力端子と、映像送信部１１４からの映像を出力する出力端子とを備え、通信端末１０は、入力端子に入力された映像データを取得すると、上記供給処理を施した画素データをルーティングして送信する。

［変形例７］
上述した実施形態では、単位時間当たりの映像データの送信量を減らすため差分検出方式を採用していたが、これを採用せず、フレーム単位の画像データすべてを送信する構成であってもよい。また、各部分画像に含まれる数は、上述した実施形態では４つであったが、いくつであってもよい。
上述した実施形態では、供給制御部１１２４は、実行中の供給処理の対象となる画像データの次フレームの画像データが供給されたことを、この次フレームの画像データを映像送信部１１４に供給することの指示として受け付けていたが、この指示の態様は、この内容に限らない。例えば、ユーザの操作部１４の操作により、表示する画像の内容を変更する指示が行われたときであってもよいし、動画像を配信する場合には、通信端末１０が時刻を計時し、予め決められた映像データの配信時刻に対して計時した時刻が決められた時間以上遅れたことを、画像データを供給する指示として受け付けてもよい。

［変形例８］
上述した実施形態の制御部１１が実現する各機能は、１又は複数のハードウェアによって実現されてもよいし、１又は複数のプログラムの実行により実現されてもよい。

通信システムの構成を示した図である。 通信端末の構成を示すブロック図である。 通信端末の機能的構成の一例を示す図である。 キャプチャ画像の一例を表した図である。 差分領域の検出方法を説明する図である。 分割部による分割の態様を説明する図である。 供給処理の内容を説明する図である。 供給処理の内容を説明する図である。 供給処理の内容を説明する図である。 供給処理の内容を説明する図である。 供給処理の時系列的な遷移の様子を示すタイムチャートである。 変形例２に係る通信端末の機能的構成の一例を示す図である。 変形例３に係る通信端末の機能的構成の一例を示す図である。

符号の説明

１…会議システム、１０，２０…通信端末、１００…ネットワーク、１１…制御部、１１２…供給部、１１２１…キャプチャ画像生成部、１１２２…差分領域検出部、１１２３…分割部、１１２４…供給制御部、１１３…エンコード部、１１４…映像送信部、１１５…帯域測定部、１２…記憶部、１２１…映像受信部、１２２…デコード部、１２３…合成部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１８…通信部、１９…撮影部。

Claims (3)

1. 複数の画素データからなる画像データが表す画像を、２以上の一定個数の画素をそれぞれ含む部分画像に分割する分割手段と、
   前記分割手段により分割された各々の前記部分画像において特定の位置にある画素を表す画素データを供給する供給処理を、前記画像に含まれる全画素データに対して、前記特定の位置を順次変更しながら実行する供給制御手段と、
   前記供給処理が実行されるたびに前記供給制御手段から供給される画素データを送信する送信手段と
   を備え、
   前記供給制御手段は、第１の画像データに基づく前記供給処理を実行しているときに、第２の画像データを前記送信手段に供給することが指示されると、実行中の当該供給処理に後続する前記第１の画像データに基づく前記供給処理を行わずに、前記第２の画像データに基づく前記供給処理を開始する
   ことを特徴とする配信装置。
2. 前記送信手段は、前記供給制御手段から供給される画素データ、及びそれ以外のデータである非画素データを送信し、
   前記供給制御手段は、前記送信手段により非画素データが送信されている場合には、前記供給処理を行って前記画素データを供給し、非画素データが送信されていない場合には、前記供給処理を行わずに前記画像データを供給する
   ことを特徴とする請求項１に記載の配信装置。
3. 配信装置と、前記配信装置とネットワークを介して接続された通信端末とを備え、
   前記配信装置は、
   複数の画素データからなる画像データが表す画像を、２以上の一定個数の画素をそれぞれ含む部分画像に分割する分割手段と、
   前記分割手段により分割された各々の前記部分画像において特定の位置にある画素を表す画素データを供給する供給処理を、前記画像に含まれる全画素データに対して、前記特定の位置を順次変更しながら実行する供給制御手段と、
   前記供給処理が実行されるたびに前記供給制御手段から供給される画素データを送信する送信手段と
   を備え、
   前記供給制御手段は、第１の画像データに基づく前記供給処理を実行しているときに、第２の画像データを前記送信手段に供給することが指示されると、実行中の当該供給処理に後続する前記第１の画像データに基づく前記供給処理を行わずに、前記第２の画像データに基づく前記供給処理を開始し、
   前記通信端末は、
   前記送信手段によって送信された画素データを受信する受信手段と、
   前記受信手段が前記供給処理毎の画素データを受信するたびに、受信した画素データを、当該画素データが含まれる前記部分画像において少なくとも前記特定の位置に配置した画像データに基づいて、表示手段に画像を表示する表示制御手段とを備える
   ことを特徴とする通信システム。

Images