JP5267397B2 - データ処理装置、データ処理方法、およびデータ処理プログラム - Google Patents

Description

本発明は、画像データを画像圧縮符号化して他のデバイスに出力するデータ処理装置、データ処理方法、およびデータ処理プログラムに関する。

従来、動画像のデータを送受信するための技術として、Ｈ．２６４、ＭＰＥＧ−４等の規格で定めるような画像圧縮符号化の技術が知られている。画像圧縮符号化は、フレーム内符号化と、フレーム間符号化とを含む。フレーム間符号化を行うデータ処理装置では、連続する複数の画像データから参照データおよび被参照データが決定される。被参照データに基づく予測画像との予測誤差が算出されて、参照データのフレーム間符号化が行われる。画像圧縮符号化された符号化データは各デバイスに出力される。デバイスでは、画像圧縮符号化された符号化データが復号されて、映像の表示等の処理が行われる。フレーム間符号化を行うことで、フレーム内符号化のみを行う場合に比べて大幅にデータを圧縮できる。

復号性能が異なる複数のデバイスに符号化データを出力する場合、同一の符号化データを各デバイスに出力すると、復号性能に合致した適切な処理を各デバイスに実行させることができない。そこで、各デバイスから要求された映像品質に応じて、品質が異なる複数の動画像のデータを生成して出力する通信装置が提案されている（例えば、特許文献１参照）。

特開平７−７９４２４号公報

特許文献１に記載の通信装置では、品質が異なる複数の動画像のデータを別々に生成しなければならず、通信装置の処理負担が増大する。一方、フレーム間符号化された符号化データの一部を選択的にデバイスに出力する場合、被参照データの出力が行われなければ、デバイスでは、入力されない被参照データに基づく参照データの復号も併せて不可能になる。従って、複数のデバイスのそれぞれに対し、各デバイスの復号性能に適したデータ量の符号化データを、処理負担を増大させることなく出力することは困難であった。

本発明は、複数のデバイスのそれぞれに対し、各デバイスの復号性能に適したデータ量の符号化データを、処理負担を増大させることなく出力することができるデータ処理装置、データ処理方法、およびデータ処理プログラムを提供することを目的とする。

本発明の第一の態様に係るデータ処理装置は、画像入力手段によって入力された画像データを画像圧縮符号化し、画像圧縮符号化したデータである符号化データを複数のデバイスに出力するデータ処理装置であって、前記複数のデバイスの各々についての、前記符号化データの復号性能を示す性能情報を取得する取得手段と、前記取得手段が取得した前記複数のデバイスについての複数の性能情報に基づいて、連続する複数の前記画像データから、フレーム間符号化の対象とする画像データである参照データと、前記参照データのフレーム間符号化のために参照される画像データである被参照データとの組み合わせを１または複数決定する決定手段と、複数の前記参照データの各々を、前記決定手段が決定した組み合わせによって対応付けられている被参照データを参照してフレーム間符号化することで符号化データを生成する画像圧縮符号化手段と、前記画像圧縮符号化手段が生成した複数の符号化データのうち、出力先のデバイスの性能情報に対応する少なくとも１つの組み合わせに属する画像データの符号化データを、前記複数のデバイスの各々に出力するデータ出力手段とを備えている。

第一の態様に係るデータ処理装置は、複数のデバイスのそれぞれに対し、出力先のデバイスの復号性能に適したデータ量の符号化データを出力することができる。一連の処理で画像圧縮符号化を行い、デバイスに適したフレーム数分の符号化データのみを出力するため、出力先のデバイス毎に別々にデータを生成する場合に比べて処理負担は少ない。また、データ処理装置は、出力先のデバイスの復号性能に基づいて参照の組み合わせを決定し、決定した組み合わせに属する画像データから生成される符号化データを選択して出力する。それ故、符号化データをデバイス毎に選択して出力する際に、参照データの復号に必要な被参照データが選択されないという事態は生じない。よって、出力先のデバイスでは、参照データを復号できなくなることもない。

前記データ処理装置は、前記取得手段が取得した前記複数のデバイスについての複数の性能情報の比を算出する第一算出手段をさらに備えてもよい。前記決定手段は、前記第一算出手段によって算出された比に基づいて前記組み合わせを決定してもよい。この場合、データ処理装置は、デバイス間の復号性能の比に応じて適切に参照・被参照データの組み合わせを決定することができる。

前記データ処理装置は、前記第一算出手段によって算出された比の各項の値の中で最大をとる値が所定値に一致するように、前記比の各項の値に同一の値を掛け合わせる第二算出手段と、前記第二算出手段によって算出された各項の値が整数でない場合に、前記項の値を整数に変換する処理手段と、前記処理手段によって処理された各項の値の全てを１つの値または複数の値の和で表現できる整数値の集合を割り出す割り出し手段とをさらに備えてもよい。前記決定手段は、前記所定値の数の連続する画像データのうち、前記割り出し手段によって割り出された集合の各要素の整数値の数の画像データを、１つの前記組み合わせを構成する画像データの数として、前記集合を構成する要素の個数分の前記組み合わせを決定するとよい。この場合、データ処理装置は、他のピクチャを参照することなく復号することができるＩピクチャを所定の周期で挿入しつつ、出力先のデバイスの復号性能に応じて符号化データを出力することができる。

前記データ処理装置は、前記第一算出手段によって算出された比の各項の値の最小公倍数を算出する第三算出手段をさらに備えてもよい。前記第二算出手段は、前記第三算出手段によって算出された前記最小公倍数を前記所定値として、前記比の各項の値に同一の値を掛け合わせるとよい。この場合、データ処理装置は、デバイス間の性能情報の比をそのまま用いて最適な画像データの組み合わせを決定することができる。

前記データ出力手段は、前記比の各項の値のうち出力先のデバイスに対応する項の値に一致する前記集合中の１つの要素、または前記対応する項の値に和が一致する前記集合中の複数の要素を抽出し、抽出した前記要素の値と同数の画像データによって構成される前記組み合わせに属する画像データの符号化データを前記出力先のデバイスに出力してもよい。この場合、出力先のデバイスの復号性能が低い程、デバイスに出力される符号化データのデータ量が少なくなる。よって、データ処理装置は、出力先のデバイスの復号性能に応じて、出力する符号化データのデータ量を適切に制御することができる。

前記データ処理装置は、前記組み合わせと性能情報の比との対応を複数記憶する記憶手段をさらに備えてもよい。前記決定手段は、前記記憶手段に記憶された性能情報の比のうち、前記第一算出手段によって算出された比に最も近い性能情報の比に対応する前記組み合わせを決定するとよい。この場合、データ処理装置は、処理負担を増大させることなく組み合わせを決定することができる。データ処理装置は、出力先のデバイスが多数存在する場合でも、容易に組み合わせを決定することができる。

前記記憶手段は、性能情報の比の項の値が特定の値よりも小さくなれば、前記比の項に対応する前記組み合わせを構成する画像データの数が減少するように、前記対応を記憶してもよい。この場合、出力先のデバイスの性能情報が小さい程、デバイスに出力される符号化データのデータ量が少なくなる。よって、データ処理装置は、出力先のデバイスの復号性能に応じて、出力する符号化データのデータ量を制御することができる。

前記データ処理装置は、前記組み合わせを決定するタイミングを判定するための周期である決定周期が到来したか否かを判断する周期判断手段をさらに備えてもよい。前記決定手段は、前記周期判断手段によって前記決定周期が到来したと判断される毎に前記組み合わせを決定するとよい。この場合、データ処理装置は、周期的に組み合わせを決定することができる。よって、デバイスの復号性能が変化した場合でも、変化した復号性能に合わせて、出力する符号化データのデータ量を制御することができる。

前記データ処理装置は、前記性能情報を他のデータ処理装置に出力する性能出力手段をさらに備えてもよい。この場合、サーバ等の装置を別に用いることなく、複数のデータ処理装置間で相互に適切な符号化データの入出力を行うことができる。

前記データ処理装置は、復号性能の値の変化が閾値以上となったか否かを判断する変化判断手段と、前記変化判断手段によって変化が閾値以上となったと判断された場合に、前記組み合わせの決定を指示する指示情報を他のデータ処理装置に出力する指示出力手段とをさらに備えてもよい。この場合、データ処理装置は、復号性能が変化した場合に、他のデータ処理装置に対し、変化した複合性能に併せて符号化データのデータ量を変更させることができる。よって、急激に復号性能が変化した場合でも、表示映像が乱れるおそれを低下させることができる。

前記データ処理装置は、復号する対象となる前記符号化データを一時的に保存するバッファから出力される前記符号化データの単位時間当たりのデータ量を計測する出力計測手段をさらに備えてもよい。前記性能出力手段は、前記出力計測手段によって計測されたデータ量を前記性能情報として出力するとよい。この場合、データ処理装置は、バッファの出力を計測することで容易に復号性能を割り出すことができる。

前記データ処理装置は、前記バッファに入力される前記符号化データの単位時間当たりのデータ量を計測する入力計測手段と、前記入力計測手段によって計測されたデータ量と前記出力計測手段によって計測されたデータ量との差分を算出する差分算出手段と、前記差分算出手段によって算出された差分に応じて、前記性能出力手段によって出力される前記性能情報の値を補正する第一補正手段とをさらに備えてもよい。この場合、データ処理装置は、復号性能の変化をバッファの入出力の差分から容易に検出し、変化に応じた適切な復号性能を他のデータ処理装置に出力することができる。

前記データ処理装置は、前記バッファの空き容量を計測する容量計測手段と、前記容量計測手段によって計測された空き容量が閾値以下であるか否かを判断する容量判断手段と、前記容量判断手段によって空き容量が閾値以下であると判断された場合に、前記性能出力手段によって出力される性能情報の値を減算する第二補正手段とをさらに備えてもよい。この場合、データ処理装置は、バッファの空き容量が無くなって処理に不具合が生じるおそれを低下させることができる。

本発明の第二の態様に係るデータ処理方法は、画像入力手段によって入力された画像データを画像圧縮符号化し、画像圧縮符号化したデータである符号化データを複数のデバイスに出力するデータ処理方法であって、前記複数のデバイスの各々についての、前記符号化データの復号性能を示す性能情報を取得する取得ステップと、前記取得ステップが取得した前記複数のデバイスについての複数の性能情報に基づいて、連続する複数の前記画像データから、フレーム間符号化の対象とする画像データである参照データと、前記参照データのフレーム間符号化のために参照される画像データである被参照データとの組み合わせを１または複数決定する決定ステップと、複数の前記参照データの各々を、前記決定ステップが決定した組み合わせによって対応付けられている被参照データを参照してフレーム間符号化することで符号化データを生成する画像圧縮符号化ステップと、前記画像圧縮符号化ステップが生成した複数の符号化データのうち、出力先のデバイスの性能情報に対応する少なくとも１つの組み合わせに属する画像データの符号化データを、前記複数のデバイスの各々に出力するデータ出力ステップとを備えている。

第二の態様に係るデータ処理方法によると、複数のデバイスのそれぞれに対し、出力先のデバイスの復号性能に適したデータ量の符号化データが出力される。一連の処理で画像圧縮符号化が行われ、デバイスに適したフレーム数分の符号化データのみが出力されるため、出力先のデバイス毎に別々にデータが生成される場合に比べて処理負担は少ない。また、上記データ処理方法によると、出力先のデバイスの復号性能に基づいて参照の組み合わせが決定され、決定された組み合わせに属する画像データから生成される符号化データが選択されて出力される。それ故、符号化データがデバイス毎に選択されて出力される際に、参照データの復号に必要な被参照データが選択されないという事態は生じない。よって、出力先のデバイスでは、参照データを復号できなくなることもない。

本発明の第三の態様に係るデータ処理プログラムは、画像入力手段によって入力された画像データを画像圧縮符号化し、画像圧縮符号化したデータである符号化データを複数のデバイスに出力する通信プログラムであって、コンピュータに、前記複数のデバイスの各々についての、前記符号化データの復号性能を示す性能情報を取得する取得ステップと、前記取得ステップが取得した前記複数のデバイスについての複数の性能情報に基づいて、連続する複数の前記画像データから、フレーム間符号化の対象とする画像データである参照データと、前記参照データのフレーム間符号化のために参照される画像データである被参照データとの組み合わせを１または複数決定する決定ステップと、複数の前記参照データの各々を、前記決定ステップが決定した組み合わせによって対応付けられている被参照データを参照してフレーム間符号化することで符号化データを生成する画像圧縮符号化ステップと、前記画像圧縮符号化ステップが生成した複数の符号化データのうち、出力先のデバイスの性能情報に対応する少なくとも１つの組み合わせに属する画像データの符号化データを、前記複数のデバイスの各々に出力するデータ出力ステップとを実行させることを特徴とする。

第三の態様に係るデータ処理プログラムによると、複数のデバイスのそれぞれに対し、出力先のデバイスの復号性能に適したデータ量の符号化データが出力される。一連の処理で画像圧縮符号化が行われ、デバイスに適したフレーム数分の符号化データのみが出力されるため、出力先のデバイス毎に別々にデータが生成される場合に比べて処理負担は少ない。また、上記データ処理方法によると、出力先のデバイスの復号性能に基づいて参照の組み合わせが決定され、決定された組み合わせに属する画像データから生成される符号化データが選択されて出力される。それ故、符号化データがデバイス毎に選択されて出力される際に、参照データの復号に必要な被参照データが選択されないという事態は生じない。よって、出力先のデバイスでは、参照データを復号できなくなることもない。

テレビ会議システム１００のシステム構成を示す図である。 テレビ会議システム１００で入出力される符号化データの一例を示す図である。 通信装置１の電気的構成を示すブロック図である。 ＨＤＤ１３の通信相手ＤＢ記憶エリア１３１に記憶されている通信相手ＤＢを示す模式図である。 ＨＤＤ１３の組み合わせＤＢ記憶エリア１３２に記憶されている組み合わせＤＢを示す模式図である。 ＨＤＤ１３の組み合わせ決定テーブル記憶エリア１３３に記憶されている組み合わせ決定テーブルを示す模式図である。 通信装置１およびＰＣ２が行うメイン処理のフローチャートである。 通信装置１およびＰＣ２が行う組み合わせ決定処理のフローチャートである。 組み合わせ決定処理中に実行される第一決定処理のフローチャートである。 第一決定処理中に実行される出現順決定処理のフローチャートである。 第一決定処理による組み合わせの決定の具体例を示す図である。 組み合わせ決定処理中に実行される第二決定処理のフローチャートである。 組み合わせ決定処理中に実行される第三決定処理のフローチャートである。 通信装置１およびＰＣ２が行う性能情報出力処理のフローチャートである。 性能情報出力処理中に実行されるバッファ監視処理のフローチャートである。 出力レートの値を補正するか否かを判断する条件と補正量との対応を示す図である。

以下、本発明のデータ処理装置を具現化した一実施の形態である通信装置１、およびパーソナルコンピュータ（以下、「ＰＣ」という。）２について、図面を参照して説明する。なお、参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。

図１を参照して、通信装置１およびＰＣ２を備えたテレビ会議システム１００のシステム構成について説明する。テレビ会議システム１００は、ネットワーク８を介して接続された複数のデバイスによって構成される。図１では、テレビ会議システム１００を構成するデバイスとして、拠点Ａに配置された通信装置１、拠点Ｂに配置されたＰＣ２、および拠点Ｃに配置された通信装置１を図示している。テレビ会議システム１００では、各デバイスが互いに情報を入出力することで、複数の拠点のユーザに映像および音声を共有させる。その結果、全てのユーザが同一の拠点にいない場合でも、ユーザは円滑に会議を実行することができる。

各デバイスは、同一拠点内に存在するマイク３１、スピーカ３２、カメラ３３、および表示装置３４に接続している。マイク３１は、音声を音声データに変換してデバイスに出力する。スピーカ３２は、音声データに基づいて音声を発生させる。カメラ３３は、動画像を撮像する。表示装置３４は、画像を表示する。

次に、テレビ会議システム１００のデバイス間で入出力される画像のデータについて説明する。テレビ会議システム１００を構成する各デバイスは、Ｈ．２６４の規格に基づいて画像圧縮符号化された符号化データを入出力する。画像圧縮符号化には、フレーム内符号化とフレーム間符号化とがある。フレーム内符号化とは、カメラによって入力された連続する複数フレーム分の画像データのうち、１フレーム分の画像データ内で行われる符号化である。フレーム内符号化によって生成される符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）は、他のピクチャを参照することなく単独で復号することができる。一方、フレーム間符号化では、連続するフレームのデータのうち、符号化するフレームのデータ（以下、「参照データ」という。）とは異なるフレームのデータ（以下、「被参照データ」という。）が参照されて予測誤差が計算され、計算された予測誤差が符号化される。フレーム間符号化によって生成される符号化データの一種に、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）がある。Ｐピクチャを復号するには、被参照データが必要となる。しかし、Ｐピクチャのデータ量は、単独で復号できるＩピクチャに比べて少ない。

テレビ会議システム１００を構成する各デバイスの復号性能が異なる場合、復号性能に適した符号化データを各デバイスに出力するのが望ましい。復号性能を超えるデータ量の符号化データを出力すると、処理に不具合が生じて動画像の品質が劣化する。出力する符号化データのデータ量が復号性能に比べて小さければ、デバイスの復号性能を十分に活用できない。デバイスの復号性能に応じた符号化データを出力する場合、出力する符号化データの量をフレーム数単位で調整することが考えられる。例えば、２つの入力側デバイスの復号性能が３対１である場合、出力側デバイスは、復号性能が低い方のデバイスには、高い方のデバイスに出力するフレーム数の３分の１の符号化データを出力すればよい。

しかし、フレームレートが異なる複数の符号化データを同一の動画像のデータから別々に生成する場合、符号化に係る処理負担が増大する。また、従来のフレーム間符号化によって符号化された複数の符号化データの一部を選択的にデバイスに出力する場合、Ｐピクチャを復号するために必要となる被参照データの符号化データもＰピクチャと併せて出力しなければ、入力側デバイスではＰピクチャの復号ができない。単独で復号できるＩピクチャの割合を増やすと、出力するデータの量が増大する。そこで、出力側デバイスとなる通信装置１およびＰＣ２は、連続する複数フレーム分の画像データから、参照データと被参照データとの組み合わせを複数決定する。換言すると、出力側デバイスは、連続する画像データのうちの複数の画像データからなる画像データの組み合わせを、フレーム間符号化の対象とする画像データである参照データと、参照データをフレーム間符号化するために参照される画像データである被参照データとが同一の組み合わせに属するように、入力側デバイスの復号性能に基づいて１または複数決定する。決定した組み合わせに従って、フレーム間符号化、および符号化データの出力を行う。組み合わせに属する画像データの符号化データを出力すれば、Ｐピクチャを復号するために必要な符号化データも必ず出力されるため、入力側デバイスでは円滑にＰピクチャを復号することができる。

図２を参照して、連続する７フレームの画像データを画像圧縮符号化する場合を例に挙げて説明を行う。２つの入力側デバイスの復号性能が３対１であれば、出力側デバイスは、１番目の画像データを共通の被参照データ（Ｉピクチャに符号化される画像データ）として除いた６つの画像データから、２つの画像データの組み合わせＲ１と、４つの画像データの組み合わせＲ２とを決定する。一例として、組み合わせＲ１では、７フレームの画像データのうち４番目、７番目の画像データを組み合わせる。４番目のフレームは、１番目のフレームを被参照データとし、７番目のフレームは、４番目のフレームを被参照データとする。また、組み合わせＲ２では、２番目、３番目、５番目、６番目の画像データを組み合わせる。２番目は１番目を、３番目は２番目を、５番目は３番目を、６番目は５番目を、それぞれ被参照データとする。そして、出力側デバイスは、組み合わせＲ１およびＲ２によって対応付けられた被参照データを参照して、２番目〜７番目の画像データをフレーム間符号化し、１番目の画像データをフレーム内符号化する。この２つの系列の符号化データの生成は、一連の処理の中で実行できる。つまり、連続する画像データの各々は、決定された参照・被参照の組み合わせのいずれかに属している。出力側デバイスは、連続した画像データの各々を、その画像データが属する組み合わせによって対応付けられている被参照データを参照して符号化していけばよい。組み合わせＲ１に基づく符号化と組み合わせＲ２に基づく符号化とを別々に行う必要はない。同一の画像データから複数の符号化データを生成する必要もない。すなわち、同一の画像データに対して符号化を複数回行う必要はない。よって、符号化の処理負担が増大することはない。

次いで、出力側デバイスは、入力側デバイスの復号性能に対応する組み合わせを決定し、決定した組み合わせに属する画像データの符号化データを、各デバイスに出力する。上記の例では、組み合わせＲ１に属する画像データの符号化データ、および組み合わせＲ２に属する画像データの符号化データを共に出力すると、出力されるＰピクチャの数は６となる。また、組み合わせＲ１のみに従って符号化データを出力すると、出力されるＰピクチャの数は２となる。その結果、出力されるＰピクチャの数の比は３対１となる。よって、出力側デバイスは、復号性能が高い方の入力側デバイスに対応する組み合わせとして、組み合わせＲ１および組み合わせＲ２の両方を決定する。組み合わせＲ１および組み合わせＲ２に属する画像データの符号化データを、出力する符号化データとして選択する。組み合わせＲ１・Ｒ２に共通のＩピクチャと選択したＰピクチャとを、復号性能が高い方の入力側デバイスに出力する。一方、出力側デバイスは、復号性能が低い方の入力側デバイスに対応する組み合わせとして、組み合わせＲ１のみを決定する。復号性能が低い方の入力側デバイスには、組み合わせＲ１に属する画像データの符号化データのみを選択して、共通のＩピクチャと共に出力する。以上説明した処理を行うことで、処理負担を増大させることなく、入力側デバイスの復号性能に応じたデータ量の符号化データを出力することができる。符号化データを選択して出力する際に、Ｐピクチャの復号に必要な被参照データの基となる符号化データが喪失することもない。これらの処理の詳細は後述する。

図３から図６を参照して、通信装置１の電気的構成、およびハードディスクドライブ（以下、「ＨＤＤ」という。）１３に記憶されるデータについて説明する。なお、ＰＣ２の電気的構成のうち、本実施の形態を説明するために必要な構成については、通信装置１の電気的構成と同じである。よって、以下の説明では、ＰＣ２の電気的構成については通信装置１の構成と同一の番号を付し、この詳細な説明は省略する。

図３に示すように、通信装置１は、通信装置１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３、および入出力インターフェース１９が、バス１８を介して接続されている。

ＲＯＭ１１は、通信装置１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、各種の情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。

入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像出力処理部２４、操作部２５、および外部通信Ｉ／Ｆ２６が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力するスピーカ３２の動作を処理する。映像入力処理部２３は、映像を撮像するカメラ３３からの映像データ（動画像データ）の入力を処理する。映像出力処理部２４は、映像を表示する表示装置３４の動作を処理する。操作部２５は、ユーザが通信装置１に各種指示を入力するために用いられる。外部通信Ｉ／Ｆ２６は、通信装置１をネットワーク８に接続する。

ＲＡＭ１２について詳細に説明する。ＲＡＭ１２には、ワークエリア１２１、符号化データバッファエリア１２２等の各種記憶エリアが設けられている。ワークエリア１２１には、処理に必要なフラグ等の各種データが記憶される。符号化データバッファエリア１２２には、他のデバイスから入力された符号化データが一時的に記憶される。

通信装置１は、符号化データバッファエリア１２２から出力される符号化データを復号し、復号したデータに基づいて映像および音声を出力する。従って、符号化データバッファエリア１２２から単位時間当たりに出力されるデータの量（以下、「出力レート」という。）を計測することで、通信装置１の復号性能を計測することができる。通信装置１は、計測した出力レートを、通信装置１の復号性能を示す性能情報として他のデバイスに出力する。

また、通信装置１は、符号化データバッファエリア１２２に単位時間当たりに入力されるデータの量（以下、「入力レート」という。）を計測し、入力レートと出力レートとの差分を計測する。さらに、通信装置１は、符号化データバッファエリア１２２の容量に対する使用中の容量の割合を、バッファ使用率として計測する。バッファの入力レートよりも出力レートの方が小さければ、バッファの空き容量は減少していく。バッファの空き容量がなければ、データの処理は停滞する。従って、通信装置１は、入出力レート差分およびバッファ使用率の情報を用いて、他のデバイスに通知する性能情報の値を補正する。性能情報の値を補正することによって、その時点の復号処理の状況にさらに適したデータ量の符号化データを他のデバイスから入力することができる。この詳細は後述する。

ＨＤＤ１３について詳細に説明する。ＨＤＤ１３には、通信相手データベース（以下、「ＤＢ」という。）記憶エリア１３１、組み合わせＤＢ記憶エリア１３２、および組み合わせ決定テーブル記憶エリア１３３等の各種記憶エリアが設けられている。

図４に示すように、通信相手ＤＢ記憶エリア１３１には、テレビ会議システム１００中の他のデバイスに関する各種情報が通信相手ＤＢとして記憶されている。通信相手ＤＢの情報は、デバイスのユーザの名前、ＩＰアドレス、出力レート、および出力する組み合わせを含む。先述したように、出力レートは、デバイスの復号性能を示す値であり、単位はＫｂｐｓである。出力する組み合わせとは、出力する符号化データの元となる画像データの組み合わせである。例えば、図４に示す例では、「Ｔａｒｏ」が使用するデバイスには、Ｒ１、Ｒ２、Ｒ３の３つの組み合わせに属する画像データの符号化データが出力される。

図５に示すように、組み合わせＤＢ記憶エリア１３２には、その時点の画像データの組み合わせに関するＤＢが記憶されている。組み合わせＤＢは、周期の情報と組み合わせの情報とを含む。周期とは、フレーム内符号化のみを行う直近の２つの画像データの間に存在する画像データのフレーム数である。Ｉピクチャに符号化される画像データの数に相当する「１」を周期に加えた値が、Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ（以下、「ＧＯＰ」という。）を構成するピクチャの数に一致する。組み合わせの情報は、その時点で決定されている全ての組み合わせについての、組み合わせを構成する画像データの数と、組み合わせに属する画像データの順番とを示す。例えば、図５に示す例では、組み合わせＲ１、Ｒ２、Ｒ３は、全て５つの画像データによって構成される。組み合わせＲ１は、連続する１５の画像データのうち、１，４，７，１０，１３番目の画像データによって構成される。

図６に示すように、組み合わせ決定テーブル記憶エリア１３３には、性能情報の比から画像データの組み合わせを決定するための組み合わせ決定テーブルが記憶されている。組み合わせ決定テーブルでは、テレビ会議システム１００中の他のデバイスの性能情報の比と、画像データの組み合わせとが対応付けられている。通信装置１は、組み合わせ決定テーブルを用いて組み合わせを決定する場合、他のデバイスの性能情報の比を算出する。テーブルに記憶された複数の比のうち、算出した比に最も近い比を抽出し、抽出した比に対応する組み合わせを用いて処理を行う。

以下、本実施の形態に係る通信装置１およびＰＣ２が行う処理について、図７から図１６を参照して説明する。通信装置１およびＰＣ２が行う処理は同じであるため、以下では通信装置１が行う処理について説明する。以下説明するメイン処理、組み合わせ決定処理、および性能情報出力処理は、ＲＯＭ１１に記憶されているプログラムに従ってＣＰＵ１０が実行する。

図７に示すメイン処理は、テレビ会議を実行する指示が入力されることで開始される。メイン処理が開始されると、まず、組み合わせ決定処理が開始され（Ｓ１）、さらに性能情報出力処理が開始される（Ｓ２）。組み合わせ決定処理および性能情報出力処理は、メイン処理と並行して実行される。組み合わせ決定処理では、参照データと被参照データとの組み合わせが決定される。性能情報出力処理では、自らの装置の復号性能を示す性能情報が計測され、計測された性能情報が他のデバイスに出力される。これらの処理の詳細は後述する。

次いで、テレビ会議を終了させる指示が入力されたか否かが判断される（Ｓ３）。終了指示の入力は、例えば、通信装置１のユーザが操作部２５（図３参照）を操作することによって行われる。入力されていなければ（Ｓ３：ＮＯ）、同一拠点内に設置されたカメラ３３（図１および図３参照）から、画像データが連続して取得される（Ｓ４）。取得された画像データが、組み合わせ決定処理（図８参照）によって決定された組み合わせに従って符号化される（Ｓ５）。詳細には、取得された画像データが、フレーム内符号化のみを行う画像データに該当すれば、フレーム内符号化のみが行われて、複数の組み合わせに共通のＩピクチャが生成される。フレーム間符号化を行う画像データ（参照データ）に該当すれば、組み合わせによって対応付けられている被参照データが参照されてフレーム間符号化が行われ、Ｐピクチャが生成される。生成されたＰピクチャには、どの組み合わせに属する符号化データであるか（詳細には、符号化データの元となる画像データがどの組み合わせに属するか）を示す属性情報が付される。通信装置１は、デバイス毎に符号化データを選択して出力することを、属性情報によって容易に実行できる。

次いで、他のデバイスに出力する符号化データが、出力先のデバイスの性能情報に応じて選択される（Ｓ６）。具体的には、ＣＰＵ１０は、後述する組み合わせ決定処理において、デバイス毎に、出力する符号化データが属する組み合わせを性能情報に応じて決定している（図４の「出力する組み合わせ」参照）。ＣＰＵ１０は、通信相手ＤＢを参照し、出力する組み合わせに属する符号化データを、属性情報を用いてデバイス毎に選択する。例えば、図４に示す例では、「Ｊｉｒｏ」が使用するデバイスに出力される符号化データとして、組み合わせＲ１およびＲ２に属するＰピクチャと、組み合わせＲ１〜Ｒ３に共通のＩピクチャとが選択される。

次いで、選択された符号化データが各デバイスに出力されて（Ｓ７）、処理はＳ３の判断へ戻る。会議終了の指示が入力されなければ（Ｓ３：ＮＯ）、Ｓ３〜Ｓ７の処理が繰り返し行われる。終了指示が入力されたと判断された場合には（Ｓ３：ＹＥＳ）、組み合わせ決定処理および性能情報出力処理を終了する処理が行われて（Ｓ８，Ｓ９）、メイン処理は終了する。

次に、図８から図１３を参照して、組み合わせ決定処理について説明する。図８に示すように、組み合わせ決定処理が開始されると、組み合わせを決定するタイミングを判定するための周期である決定周期が到来したか否かが判断される（Ｓ１１）。決定周期の長さは５秒に設定されているが、この長さは一例であり、適宜変更が可能である。決定周期が到来していなければ（Ｓ１１：ＮＯ）、他のデバイスから組み合わせの更新指示を入力したか否かが判断される（Ｓ１２）。他のデバイスは、所定条件を満たすと、組み合わせの更新を指示する更新指示情報を出力する（Ｓ７５、図１４参照）。更新指示情報を入力していなければ（Ｓ１２：ＮＯ）、終了処理（Ｓ８、図７参照）が行われたか否かが判断される（Ｓ１３）。終了処理が行われていなければ（Ｓ１３：ＮＯ）、処理はＳ１１の判断へ戻る。終了処理が行われると（Ｓ１３：ＹＥＳ）、組み合わせ決定処理は終了する。

決定周期が到来したと判断された場合には（Ｓ１１：ＹＥＳ）、復号性能を示す性能情報が、他のそれぞれのデバイスから取得される（Ｓ１４）。本実施の形態の通信装置１は、性能情報の出力を各デバイスに要求し、全デバイスから性能情報が入力されると次の処理へ移行する。しかし、各デバイスが周期的に性能情報を出力するように設定してもよい。次いで、取得された全デバイスの性能情報に基づいて、後述する決定処理が行われ（Ｓ１５）、処理はＳ１１の判断へ戻る。また、更新指示情報が他のデバイスから入力された場合には（Ｓ１２：ＹＥＳ）、更新指示情報と共に入力される性能情報と、その他のデバイスについての最新の性能情報とに基づいて決定処理が行われ（Ｓ１５）、処理はＳ１１の判断へ戻る。

本実施の形態の通信装置１は、以下説明する第一決定処理〜第三決定処理の３種類の決定処理で組み合わせを決定できる。ユーザは、３種類の決定処理のいずれで組み合わせを決定させるかをあらかじめ設定しておくことで、所望の方法で処理を実行させ得る。

まず、図９を参照して、第一決定処理について説明する。第一決定処理は、各デバイスの性能情報の値の比から画像データの組み合わせを決定する処理である。第一決定処理が開始されると、各デバイスの性能情報の比が算出される（Ｓ２１）。比の項のうち最大をとる項の値が所定値となるように、各項の値が等倍される（Ｓ２２）。本実施の形態では、この所定値は「１５」に設定されているが、この値は適宜変更できる。次いで、整数でない項について、小数点以下の端数が四捨五入されて、整数に変換される（Ｓ２３）。

次いで、組み合わせを決定するための整数値集合Ｓを割り出す処理が行われる。まず、整数値集合Ｓに、所定値である「１５」が追加される（Ｓ２４）。そして、比の各項の値が、整数値集合Ｓの要素の値と一致するか否か、および複数の要素の値の和と一致するか否かが判断されて、判断結果に応じて整数値集合Ｓの要素が割り出される。詳細には、まず、比の項のうち、判断対象とされていない項があるか否かが判断される（Ｓ２６）。未だ判断対象とされていない項があれば（Ｓ２６：ＹＥＳ）、判断対象とされていない項のうち最大である項の値が取得される（Ｓ２７）。取得された項の値が、整数値集合Ｓの１つの要素、または複数の要素の和のいずれかに一致するか否かが判断される（Ｓ２８）。いずれかに一致する場合には（Ｓ２８：ＹＥＳ）、処理はそのままＳ２６の判断へ戻る。いずれにも一致しない場合には（Ｓ２８：ＮＯ）、項の値より大きい整数値集合Ｓの要素のうち最小の要素が、整数値集合Ｓから削除される（Ｓ２９）。削除された要素の値と項の値との差が、整数値集合Ｓに追加される（Ｓ３０）。さらに、項の値が整数値集合Ｓに追加されて（Ｓ３１）、処理はＳ２６の判断へ戻る。その結果、整数値集合Ｓの要素で表現できなかった項の値が、整数値集合Ｓ内の１つの要素で表現できるようになる。

比の項の全てが判断対象とされた場合には（Ｓ２６：ＮＯ）、整数値集合Ｓ内の要素と組み合わせとが対応付けられる（Ｓ３３）。割り出された整数値集合Ｓの要素の数は、組み合わせの数を示す。整数値集合Ｓの要素の値は、組み合わせを構成する画像データの数を示す。Ｓ３３の処理では、ＣＰＵ１０は、整数値集合Ｓの各要素にＲｎ（ｎ＝１，２，３・・・）の番号を付して、組み合わせＲｎと各要素との対応付けを行う。

次いで、出力先のデバイス毎に、デバイスの性能情報に対応する組み合わせが決定される（Ｓ３４）。具体的には、デバイスαの性能情報の値をｐ、値がｐである比の項に対して等倍の処理（Ｓ２２）および整数への変換処理（Ｓ２３）を経た項の値をｑとする。ｑの値は、整数値集合Ｓの１つの要素の値、または複数の要素の和に一致する。ｑの値が整数値集合Ｓの１つの要素の値に一致する場合、一致する要素に対応付けられた１つの組み合わせが、デバイスαに出力される符号化データが属する組み合わせに決定される。また、ｑの値が整数値集合Ｓの複数の要素の和に一致する場合、その複数の要素に対応付けられた複数の組み合わせが、デバイスαに出力される符号化データの組み合わせに決定される。次いで、出現順決定処理が行われる（Ｓ３５）。

図１０に示す出現順決定処理は、連続する所定数の画像データのうち、各組み合わせを構成する画像データ（参照データ）の出現順序を決定する処理である。まず、整数値集合Ｓの要素が空か否かが判断され（Ｓ４１）、空でなければ（Ｓ４１：ＮＯ）、整数値集合Ｓ内の最小の要素が取得される（Ｓ４２）。次いで、所定数である１５の連続する画像データから、取得要素の数の参照データの位置が、取得要素に対応する組み合わせを構成する参照データの位置として算出される（Ｓ４３）。具体的には、取得要素の数をｍとすると、１番目からＸ番目（Ｘは所定数）までの画像データのうち、組み合わせ中のｉ番目（１≦ｉ≦ｍ）の参照データの位置Ｄｉは、以下の２つの式のいずれかによって算出される。
Ｄｉ＝（Ｘ／ｍ）×ｉ・・・・・・・ ・（１）
Ｄｉ＝（Ｘ＋１）−（Ｘ／ｍ）×ｉ・・・（２）

ここで、Ｄｉが整数とならなかった場合は、小数点以下が四捨五入される。算出されたＤｉの位置が、既に他の組み合わせの参照データとして採用されている画像データの位置と重複した場合は、未だ採用されていない位置のうち、今回算出されたＤｉに最も近い位置が、今回の参照データの位置として採用される。また、参照データの位置の算出は、構成する参照データの数が少ない組み合わせから優先して行われる。従って、参照データの数が少ない組み合わせ程、参照データの出現位置を分散させることができる。よって、出力する符号化データのフレーム数が少ない場合でも、再生される映像の品質の劣化を最小限に抑えることができる。

さらに、上記の式（１）および式（２）は、１つの組み合わせに対するＳ４３の処理が行われる毎に交互に用いられる。式（１）は、Ｘ個の画像データのうち１番目を基準としてＤｉを算出する式であるのに対し、式（２）は、Ｘ番目を基準としてＤｉを算出する式である。よって、参照データの数が少ない組み合わせから優先して位置の決定を行う上記の方法を用いても、１番目の近く、またはＸ番目の近くから、偏って参照データの位置が算出されていくことを防止することができる。よって、参照データの出現位置を適切に分散させることができる。このように、参照データの出現位置の偏りを最小にして組み合わせを決定することで、映像の品質の大幅な劣化を防ぎつつ、出力する符号化データのフレーム数を調整することができる。

取得要素に対応する組み合わせについての参照データの出現位置が算出されると（Ｓ４３）、整数値集合Ｓから取得要素が削除されて（Ｓ４４）、処理はＳ４１の判断へ戻る。整数値集合Ｓが空になるまでＳ４１〜Ｓ４４の処理が繰り返し行われる。空になると（Ｓ４１：ＹＥＳ）、処理は第一決定処理へ戻る。図９に示すように、出現順決定処理（Ｓ３５）が終了すると、通信相手ＤＢ（図４参照）の「出力する組み合わせ」、および組み合わせＤＢ（図５参照）が、決定された内容に応じて更新される（Ｓ３６）。処理は、組み合わせ決定処理（図８参照）へ戻る。

次に、第一決定処理による組み合わせの決定について、具体例を挙げて説明する。以下の説明では、５つのデバイスＡ，Ｂ，Ｃ，Ｄ，Ｅの性能情報の比が算出されて（Ｓ２１）、その比が
Ａ：Ｂ：Ｃ：Ｄ：Ｅ＝３０：１５：１８：１２：２５
であった場合を例に挙げる。この場合、ＣＰＵ１０は、最大をとる項の値「３０」が所定値「１５」となるように、各項の値に２分の１をかける（Ｓ２２）。
Ａ：Ｂ：Ｃ：Ｄ：Ｅ＝１５：７．５：９：６：１２．５
整数でない項の小数点以下が四捨五入される（Ｓ２３）。
Ａ：Ｂ：Ｃ：Ｄ：Ｅ＝１５：８：９：６：１３

整数値集合Ｓに、所定値である「１５」が追加される（Ｓ２４）。
Ｓ＝｛１５｝
比の項のうち、最大の項の値「１５」が取得される（Ｓ２７）。「１５」はＳの要素「１５」に一致するため（Ｓ２８：ＹＥＳ）、次に大きい項の値「１３」が取得される（Ｓ２７）。「１３」はＳの要素および要素の和のいずれにも一致しないため（Ｓ２８：ＮＯ）、整数値集合Ｓから「１５」が削除される（Ｓ２９）。削除された要素「１５」の値と項の値「１３」との差「２」が、整数値集合Ｓに追加される（Ｓ３０）。項の値「１３」が整数値集合に追加される（Ｓ３１）。
Ｓ＝｛１３，２｝
同様に、次に大きい項の値「９」はＳの要素で表現できないため、
Ｓ＝｛９，４，２｝
とされる。次に大きい項の値「８」はＳの要素で表現できないため、
Ｓ＝｛８，１，４，２｝
とされる。最も小さい項の値「６」は、Ｓの要素「４」および「２」の和に一致するため、整数値集合Ｓが確定する（Ｓ２６：ＮＯ）。

整数値集合Ｓの要素「８」に、組み合わせＲ１が対応付けられる。同様に、要素「１」に組み合わせＲ２が、要素「４」に組み合わせＲ３が、要素「２」に組み合わせＲ４が、それぞれ対応付けられる（Ｓ３３）。次いで、デバイス毎に、デバイスの性能情報に対応する組み合わせが決定される（Ｓ３４）。デバイスＡの性能情報に対応する比の項の値は「１５」であり、
｛１５｝＝｛８，１，４，２｝
で表現できるため、デバイスＡに出力する組み合わせは「Ｒ１，Ｒ２，Ｒ３，Ｒ４」となる。デバイスＢに対応する項の値「８」は、Ｓの要素「８」に一致するため、デバイスＢに出力する組み合わせは「Ｒ１」となる。同様にデバイスＣに出力する組み合わせは「Ｒ１，Ｒ２」、デバイスＤに出力する組み合わせは「Ｒ３，Ｒ４」、デバイスＥに出力する組み合わせは「Ｒ１，Ｒ２，Ｒ３」となる。

参照データの数が少ない組み合わせから、参照データの出現順序が決定される。まず、整数値集合Ｓ内の最小の要素「１」が取得され（Ｓ４２）、
Ｄｉ＝（Ｘ／ｍ）×ｉ・・・・・・・ ・（１）
によって、組み合わせＲ２を構成する参照データの位置が算出される。式（１）にＸ＝１５、ｍ＝１を代入すると、Ｄ１＝１５となる。よって、連続する１５個の画像データの１５番目が、組み合わせＲ２を構成する参照データの位置となる（Ｓ４３）。次いで、Ｓ内で次に小さい要素「２」が取得され、
Ｄｉ＝（Ｘ＋１）−（Ｘ／ｍ）×ｉ・・・（２）
によって、組み合わせＲ４を構成する参照データの位置が参照される。式（２）にＸ＝１５、ｍ＝２を代入すると、Ｄ１＝８．５となり、四捨五入してＤ１＝９となる。また、Ｄ２＝１となる。よって、１番目と９番目の画像データが、組み合わせＲ４を構成する参照データの位置となる。次いで、Ｓ内で次に小さい要素「４」が取得され、式（１）にＸ＝１５、ｍ＝４が代入される。Ｄ１≒４、Ｄ２≒８、Ｄ３≒１１、Ｄ４＝１５となるが、１５番目の位置は既に組み合わせＲ２の参照データの位置として採用されているため、Ｄ４＝１４とされる。よって、組み合わせＲ３を構成する参照データの位置は、４番目、８番目、１１番目、および１４番目となる。そして、残りの画像データの位置が、組み合わせＲ１を構成する参照データの位置となり、全ての組み合わせが決定される（図１１参照）。図１１中の「Ｉ」の画像データは、Ｉピクチャの元となる画像データである。「Ｉ」の画像データは、全ての組み合わせ中の最初の参照データについての被参照データとなる。

次に、図１２を参照して、第二決定処理について説明する。第二決定処理では、各デバイスの性能情報の値の比が算出され、さらに比の各項の値の最小公倍数が算出される。比の項の最小公倍数を、ＧＯＰ内のＰピクチャの数として、画像データの組み合わせが決定される。第二決定処理によると、性能情報の比をそのまま組み合わせに反映させることができ、最適な組み合わせを決定することができる。

第二決定処理が開始されると、各デバイスの性能情報の比が算出される（Ｓ５１）。算出された比の各項の値の最小公倍数が算出される（Ｓ５２）。比の項のうち最大をとる項の値が、算出された最小公倍数となるように、各項の値が等倍される（Ｓ５３）。整数でない項が存在すれば、小数点以下の端数が四捨五入される（Ｓ５４）。比の各項の値から整数値集合Ｓが作成される（Ｓ５５）。この処理は、第一決定処理のＳ２６〜Ｓ３１（図９参照）の処理と同じである。次いで、出力先のデバイス毎に、性能情報に対応する組み合わせが決定される（Ｓ５６）。この処理は先述したＳ３４（図９参照）の処理と同じである。次いで、Ｓを用いて出現順決定処理が行われる（Ｓ５７）。この出現順決定処理は、先述した第一決定処理中の出現順決定処理（図１０参照）と同じである。その後、通信相手ＤＢおよび組み合わせＤＢが更新されて（Ｓ５８）、処理は組み合わせ決定処理（図８参照）へ戻る。

第二決定処理による組み合わせの決定について、具体例を挙げて説明する。以下の説明では、２つのデバイスＡ，Ｂの性能情報の比が算出された結果（Ｓ５１）、その比が
Ａ：Ｂ＝３：５
であった場合を例に挙げる。この場合、「３」と「５」の最小公倍数「１５」が算出される（Ｓ５２）。最大の項の値「５」が最小公倍数「１５」となるように、各項の値が３倍される（Ｓ５３）。
Ａ：Ｂ＝９：１５
比の各項の値を要素とする整数値集合Ｓが作成される（Ｓ５５）。
Ｓ＝｛９，６｝
整数値集合Ｓを用いて出現順が決定されることで（Ｓ５６）、画像データの組み合わせが決定される。

次に、図１３を参照して、第三決定処理について説明する。第三決定処理では、あらかじめＨＤＤ１３に記憶された組み合わせ決定テーブルが参照されることで、画像データの組み合わせが決定される。第三決定処理では、まず、各デバイスの性能情報の比が算出される（Ｓ６１）。比の項のうち最大をとる項の値が所定値となるように、各項の値が等倍される（Ｓ６２）。本実施の形態では所定値は「１５」であるが、所定値は適宜変更できる。次いで、整数でない項が存在すれば、小数点以下の端数が四捨五入される（Ｓ６３）。

次いで、組み合わせ決定テーブル（図６参照）中の複数の比のうち、算出された比に最も近い比に対応する組み合わせが決定される（Ｓ６４）。例えば、算出された比が３対１５であれば、テーブル中の比のうち最も近い比は５：１５であるため、テーブル中の番号「２」の組み合わせが決定される。なお、この場合、算出された比の項が「３」となったデバイスには、組み合わせＲ１に属する符号化データが出力される。比の項が「１５」となったデバイスには、組み合わせＲ１および組み合わせＲ２に属する符号化データが共に出力される。

その後、ＤＢが更新されて（Ｓ６５）、処理は組み合わせ決定処理へ戻る。第三決定処理によると、通信装置１は、処理負担を増大させることなく容易に組み合わせを決定することができる。また、出力先のデバイスが多数存在する場合でも、近似する比の値を用いて組み合わせを決定することができるため、容易に組み合わせを決定することができる。

次に、図１４から図１６を参照して、性能情報出力処理について説明する。図１４に示すように、性能情報出力処理が開始されると、バッファ監視処理が行われる（Ｓ７１）。バッファ監視処理では、ＲＡＭ１２の符号化データバッファエリア１２２の出力レートが算出される。算出された出力レートは、通信装置１の復号性能を示す性能情報として用いられる。さらに、バッファ使用量の計測、および入出力レートの差分の算出が行われて、出力レートの値が補正される。

図１５に示すように、バッファ監視処理が開始されると、所定時間が経過したか否かが判断される（Ｓ８１）。この所定時間は適宜設定できる。経過していなければ（Ｓ８１：ＮＯ）、符号化データバッファエリア１２２への入力データ量が計測される（Ｓ８２）。符号化データバッファエリア１２２からの出力データ量が計測される（Ｓ８３）。符号化データバッファエリア１２２の使用量が計測されて（Ｓ８４）、処理はＳ８１の判断へ戻る。

所定時間が経過すると、符号化データバッファエリア１２２に単位時間当たりに入力されるデータの量である入力レートが算出される（Ｓ８６）。入力レートは、Ｓ８２で計測されたデータ量を所定時間で割ることで算出される。同様に、符号化データバッファエリア１２２から単位時間当たりに出力されるデータの量である出力レートが算出される（Ｓ８７）。入力レートからの出力レートの差が算出される（Ｓ８８）。

次いで、性能情報として用いる出力レートの値が補正される（Ｓ８９）。詳細には、図１６に示すように、入出力レートの差分が「０」であり、且つ、バッファ使用率が３％未満であれば、ＣＰＵ１０は出力レートに補正量α＝１．２をかける。上記２つの条件を満たしていれば、復号性能を十分に活用できていない場合がある。よって、通信装置１は、性能情報の値を増加させて他のデバイスに出力することで、高品質の動画像を再生できる符号化データを他のデバイスから入力し、復号性能を十分に活用することができる。また、バッファ使用率が６０％より大きいか否か、つまり、バッファの空き容量が４０％以下であるか否かが判断される。バッファ使用率が６０％より大きい場合、ＣＰＵ１０は出力レートに補正量α＝０．８をかける。バッファ中のデータの蓄積量を減少させることで、容量不足に起因した処理の不具合の発生を防止することができる。また、入出力レートの差分がバッファ容量の２０％より大きいか否かが判断される。大きい場合、ＣＰＵ１０は出力レートに補正量α＝０．７をかける。その結果、バッファ使用量の増加を抑え、バッファのオーバーフローを防止することができる。なお、バッファ使用率は、算出されたバッファ使用量をバッファの容量で割ることで算出される。出力レートの補正が終了すると、処理は性能情報出力処理（図１４参照）へ戻る。

図１４の説明に戻る。バッファ監視処理（Ｓ７１）が終了すると、更新指示条件を満たすか否かが判断される（Ｓ７２）。更新指示条件とは、他のデバイスに対する画像データの組み合わせの更新指示を行うための条件である。本実施の形態では、更新指示条件として、算出された出力レートが前回算出された値よりも３０％以上増加すること、バッファの空き容量が２０％未満となること、および、入出力レートの差分が前回算出された値よりも３０％以上増加すること、の３つの条件が設定されている。しかし、更新指示条件は適宜変更が可能である。いずれの条件も満たしていなければ（Ｓ７２：ＮＯ）、他のデバイスから性能情報の出力要求があったか否かが判断される（Ｓ７３）。出力要求がなければ（Ｓ７３：ＮＯ）、終了処理（Ｓ８、図７参照）が行われたか否かが判断され（Ｓ７４）終了処理が行われていなければ（Ｓ７４：ＮＯ）、処理はＳ７１へ戻る。終了処理が行われると（Ｓ７４：ＹＥＳ）、性能情報出力処理は終了する。

更新指示条件のいずれかを満たした場合には（Ｓ７２：ＹＥＳ）、画像データの組み合わせの更新を指示する更新指示情報が、他のデバイスに出力される（Ｓ７５）。その時点の出力レートが性能情報として他のデバイスに出力されて（Ｓ７６）、処理はＳ７１へ戻る。また、他のデバイスから性能情報の出力要求があれば（Ｓ７３）、出力レートが他のデバイスに出力されて（Ｓ７６）、処理はＳ７１へ戻る。他のデバイスは、通信装置１から入力した出力レートに基づいて、復号性能に応じた符号化データを通信装置１に出力することとなる。なお、通信装置１では、他のデバイスから入力した符号化データを復号して、同一拠点内に設置された表示装置３４に映像を表示させる処理も行われている。この処理は周知の処理であるため、説明を省略する。

以上説明したように、本実施の形態の通信装置１は、連続する複数の画像データから、参照データと被参照データとの組み合わせを、データの出力先である複数のデバイスの性能情報に基づいて１または複数決定する。決定した組み合わせによって対応付けられている被参照データを参照して、参照データをフレーム間符号化し、符号化データを生成する。生成した複数フレーム分の符号化データのうち、出力先のデバイスの性能情報に対応する少なくとも１つの組み合わせに属する画像データの符号化データを、各々のデバイスに出力する。従って、通信装置１は、複数のデバイスのそれぞれに対し、出力先のデバイスの復号性能に適したデータ量の符号化データを出力することができる。一連の処理で画像圧縮符号化を行い、デバイスに適したフレーム数分の符号化データのみを出力するため、出力先のデバイス毎に別々にデータを生成する場合に比べて処理負担は少ない。また、通信装置１は、参照データと被参照データとが対応付けられた組み合わせに応じて符号化データを出力する。それ故、符号化データをデバイス毎に選択して出力する際に、Ｐピクチャの復号に必要な被参照データの基となる符号化データが選択されないという事態は生じない。よって、出力先のデバイスでは、Ｐピクチャを復号できなくなることもない。

テレビ会議システム１００では、各デバイスが、出力先のデバイスの復号性能に応じて符号化データのデータ量を制御する。その結果、映像の再生にデバイス間で時間遅延が生じるおそれを低下させることができる。よって、テレビ会議システム１００は、映像を用いたテレビ会議を円滑に実行することができる。

通信装置１は、デバイス間の性能情報の比に応じて適切に画像データの組み合わせを決定することができる。デバイスの性能情報が小さい程、デバイスに出力される符号化データのデータ量を小さくすることができる。詳細には、第一決定処理によると、通信装置１は、所定値に１を加えた値をＧＯＰ内のピクチャ数として、組み合わせを決定する。よって、所定の周期でＩピクチャを挿入して画像をリフレッシュしつつ、送信先のデバイスの復号性能に応じて符号化データを送信することができる。第二決定処理によると、通信装置１は、出力先のデバイス間の性能情報の比をそのまま用いて最適な組み合わせを決定することができる。第三決定処理によると、通信装置１は、処理負担を増大させることなく組み合わせを決定することができる。また、第三決定処理によると、出力先のデバイスが多数存在する場合でも、容易に組み合わせを決定することができる。

通信装置１は、画像データの組み合わせを周期的に決定することができる。よって、デバイスの復号性能が変化した場合でも、変化した復号性能に合わせて、出力する符号化データのデータ量を制御することができる。

通信装置１は、性能情報を他のデバイスに出力することができる。よって、通信装置１およびＰＣ２を複数用いることで、サーバ等の装置を別に用いることなく、相互に適切な符号化データの入出力を行うことができる。通信装置１は、復号性能が変化した場合に、他のデバイスに対し、変化した復号性能に合わせて符号化データのデータ量を変更させることができる。よって、急激に復号性能が変化した場合でも、表示映像が乱れるおそれを低下させることができる。通信装置１は、符号化データバッファエリア１２２の出力を計測することで、容易に復号性能を割り出すことができる。

通信装置１は、符号化データバッファエリア１２２の入力と出力との差分に応じて、他のデバイスに出力する性能情報の値を補正することができる。よって、復号性能の変化をバッファの入出力の差分から容易に検出し、変化に応じた適切な復号性能を他のデバイスに出力することができる。また、通信装置１は、符号化データバッファエリア１２２の空き容量が少なくなった場合に、割り出された復号性能を減算して他のデバイスに出力することができる。よって、バッファの空き容量が無くなって処理に不具合が生じるおそれを低下させることができる。なお、ＰＣ２によって得られる効果は、通信装置１によって得られる効果と同じである。

なお、上記実施の形態において、通信装置１およびＰＣ２が本発明の「データ処理装置」に相当する。カメラ３３が本発明の「画像入力手段」に相当する。図８のＳ１４で性能情報を取得するＣＰＵ１０が「取得手段」として機能する。図９、図１０、図１２、および図１３に示す決定処理を行うＣＰＵ１０が「決定手段」として機能する。図７のＳ５で画像圧縮符号化を行うＣＰＵ１０が「画像圧縮符号化手段」として機能する。図７のＳ６およびＳ７で符号化データを選択して出力する処理を行うＣＰＵ１０が「データ出力手段」として機能する。

図９のＳ２１、図１２のＳ５１、および図１３のＳ６１で、出力先の各デバイスの性能情報の比を算出するＣＰＵ１０が、「第一算出手段」として機能する。図９のＳ２２、および図１２のＳ５３で比の各項の値を等倍するＣＰＵ１０が「第二算出手段」として機能する。図９のＳ２３および図１２のＳ５４で整数に変換する処理を行うＣＰＵ１０が「処理手段」として機能する。図９のＳ２６〜Ｓ３１および図１２のＳ５５で整数値集合Ｓを割り出すＣＰＵ１０が「割り出し手段」として機能する。図１２のＳ５２で比の各項の値の最小公倍数を算出するＣＰＵ１０が「第三算出手段」として機能する。組み合わせ決定テーブルを記憶するＨＤＤ１３が「記憶手段」に相当する。図８のＳ１１で決定周期が到来したか否かを判断するＣＰＵ１０が「周期判断手段」として機能する。

図１４のＳ７６で出力レートを他のデバイスに出力するＣＰＵ１０が「性能出力手段」として機能する。図１４のＳ７２で復号性能の値の変化が閾値以上となったか否かを判断するＣＰＵ１０が「変化判断手段」として機能する。図１４のＳ７５で更新指示情報を出力するＣＰＵ１０が「指示出力手段」として機能する。ＲＡＭ１２の符号化データバッファエリア１２２が「バッファ」に相当する。図１５のＳ８３およびＳ８７でバッファの出力レートを計測するＣＰＵ１０が「出力計測手段」として機能する。図１５のＳ８２およびＳ８６でバッファの入力レートを計測するＣＰＵ１０が「入力計測手段」として機能する。図１５のＳ８８で入出力レートの差分を算出するＣＰＵ１０が「差分算出手段」として機能する。図１５のＳ８９で入出力レートの差分に応じて出力レートの値を補正するＣＰＵ１０が「第一補正手段」として機能する。図１５のＳ８４でバッファの空き容量を計測するＣＰＵ１０が「容量計測手段」として機能する。図１５のＳ８９で、バッファの空き容量が閾値以下であるか否かを判断し、出力レートを減算する処理を行うＣＰＵ１０が、本発明の「容量判断手段」および「第二補正手段」として機能する。

図８のＳ１４で性能情報を取得する処理が、本発明の「取得ステップ」に相当する。図９、図１０、図１２、および図１３に示す決定処理が「決定ステップ」に相当する。図７のＳ５で画像圧縮符号化を行う処理が「画像圧縮符号化ステップ」に相当する。図７のＳ６およびＳ７で符号化データを選択して出力する処理が「データ出力ステップ」に相当する。

本発明は、上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、上記実施の形態では、ネットワーク８を介して相互に接続された複数の装置を備えるテレビ会議システム１００を例に挙げて説明を行った。しかし、本発明は、複数の装置間で符号化データを入出力する場合に限られず、１つの装置の内部で符号化データを入出力する場合にも適用できる。例えば、カメラによって入力された画像データをＩＣによって符号化し、符号化データを同一装置内の複数のＣＰＵ等へ出力する場合等にも、本発明は適用できる。より具体的には、ビデオカメラ内で、符号化を行うＩＣから、液晶表示装置の出力デバイス、および記憶デバイス（例えば、ＨＤＤ、ＤＶＤ）等の複数のデバイスに符号化データを出力する場合にも、本発明は適用できる。

また、複数の装置を用いる場合でも、本発明が適用できるのは通信装置１およびＰＣ２に限られない。例えば、複数の装置間における符号化データの送受信を制御するサーバにも、本発明は適用できる。

上記実施の形態の通信装置１は、デバイスの復号性能を示す性能情報として、バッファの出力レートを用いている。出力レートを用いることで、復号性能が変化する場合でも適切且つ容易に性能情報を取得することができる。しかし、他の情報を性能情報として用いることもできる。例えば、ＣＰＵ１０のスペック値、メモリの容量等を、性能情報として用いてもよい。この場合、符号化データの出力先のデバイスの性能情報が、あらかじめ記憶装置に記憶されていてもよい。通信装置は、記憶装置にあらかじめ記憶された性能情報を取得して処理を行えばよい。性能情報をあらかじめ記憶する方法を用いれば、性能情報をその都度取得する処理の負担が無くなる。

上記実施の形態の通信装置１は、決定周期が到来した場合、および他のデバイスから画像データの組み合わせの更新指示が入力された場合に、画像データの組み合わせを更新する（図８のＳ１１、Ｓ１２参照）。しかし、決定周期の到来、および更新指示の入力のいずれかの場合にのみ、組み合わせを更新してもよい。

上記実施の形態の通信装置１は、比の項の値が整数でない場合に、小数点以下を四捨五入することで整数に変換している（図９のＳ２３参照）。しかし、比の項の値を変換する方法はこれに限られない。例えば、２のべき乗の値のうち最も近い値に、比の項の値を変換してもよい。その結果、整数値集合Ｓを容易に割り出すことができる。

上記実施の形態の通信装置１は、バッファの入出力レートの差分、およびバッファの空き容量を用いて出力レートを補正してから、補正済みの出力レートを他のデバイスに出力している。従って、入出力レートの差分、およびバッファの空き容量の情報を他のデバイスに出力する必要がない。しかし、通信装置１は、補正に必要な情報を他のデバイスに出力し、情報を入力した他のデバイスが出力レートを補正してもよい。

図６に示した組み合わせ決定テーブルの内容を変更できることは言うまでもない。例えば、より細分化されたテーブルを記憶してもよい。

１ 通信装置
２ ＰＣ
８ ネットワーク
１０ ＣＰＵ
１２ ＲＡＭ
１３ ＨＤＤ
３３ カメラ
１００ テレビ会議システム
１２２ 符号化データバッファエリア
１３３ 組み合わせ決定テーブル記憶エリア

Claims (15)

1. 画像入力手段によって入力された画像データを画像圧縮符号化し、画像圧縮符号化したデータである符号化データを複数のデバイスに出力するデータ処理装置であって、
   前記複数のデバイスの各々についての、前記符号化データの復号性能を示す性能情報を取得する取得手段と、
   前記取得手段が取得した前記複数のデバイスについての複数の性能情報に基づいて、連続する複数の前記画像データから、フレーム間符号化の対象とする画像データである参照データと、前記参照データのフレーム間符号化のために参照される画像データである被参照データとの組み合わせを１または複数決定する決定手段と、
   複数の前記参照データの各々を、前記決定手段が決定した組み合わせによって対応付けられている被参照データを参照してフレーム間符号化することで符号化データを生成する画像圧縮符号化手段と、
   前記画像圧縮符号化手段が生成した複数の符号化データのうち、出力先のデバイスの性能情報に対応する少なくとも１つの組み合わせに属する画像データの符号化データを、前記複数のデバイスの各々に出力するデータ出力手段と
   を備えたことを特徴とするデータ処理装置。
2. 前記取得手段が取得した前記複数のデバイスについての複数の性能情報の比を算出する第一算出手段をさらに備え、
   前記決定手段は、前記第一算出手段によって算出された比に基づいて前記組み合わせを決定することを特徴とする請求項１に記載のデータ処理装置。
3. 前記第一算出手段によって算出された比の各項の値の中で最大をとる値が所定値に一致するように、前記比の各項の値に同一の値を掛け合わせる第二算出手段と、
   前記第二算出手段によって算出された各項の値が整数でない場合に、前記項の値を整数に変換する処理手段と、
   前記処理手段によって処理された各項の値の全てを１つの値または複数の値の和で表現できる整数値の集合を割り出す割り出し手段とをさらに備え、
   前記決定手段は、前記所定値の数の連続する画像データのうち、前記割り出し手段によって割り出された集合の各要素の整数値の数の画像データを、１つの前記組み合わせを構成する画像データの数として、前記集合を構成する要素の個数分の前記組み合わせを決定することを特徴とする請求項２に記載のデータ処理装置。
4. 前記第一算出手段によって算出された比の各項の値の最小公倍数を算出する第三算出手段をさらに備え、
   前記第二算出手段は、前記第三算出手段によって算出された前記最小公倍数を前記所定値として、前記比の各項の値に同一の値を掛け合わせることを特徴とする請求項３に記載のデータ処理装置。
5. 前記データ出力手段は、前記比の各項の値のうち出力先のデバイスに対応する項の値に一致する前記集合中の１つの要素、または前記対応する項の値に和が一致する前記集合中の複数の要素を抽出し、抽出した前記要素の値と同数の画像データによって構成される前記組み合わせに属する画像データの符号化データを前記出力先のデバイスに出力することを特徴とする請求項３または４に記載のデータ処理装置。
6. 前記組み合わせと性能情報の比との対応を複数記憶する記憶手段をさらに備え、
   前記決定手段は、前記記憶手段に記憶された性能情報の比のうち、前記第一算出手段によって算出された比に最も近い性能情報の比に対応する前記組み合わせを決定することを特徴とする請求項２に記載のデータ処理装置。
7. 前記記憶手段は、性能情報の比の項の値が特定の値よりも小さくなれば、前記比の項に対応する前記組み合わせを構成する画像データの数が減少するように、前記対応を記憶することを特徴とする請求項６に記載のデータ処理装置。
8. 前記組み合わせを決定するタイミングを判定するための周期である決定周期が到来したか否かを判断する周期判断手段をさらに備え、
   前記決定手段は、前記周期判断手段によって前記決定周期が到来したと判断される毎に前記組み合わせを決定することを特徴とする請求項１から７のいずれかに記載のデータ処理装置。
9. 前記性能情報を他のデータ処理装置に出力する性能出力手段をさらに備えたことを特徴とする請求項１から８のいずれかに記載のデータ処理装置。
10. 復号性能の値の変化が閾値以上となったか否かを判断する変化判断手段と、
    前記変化判断手段によって変化が閾値以上となったと判断された場合に、前記組み合わせの決定を指示する指示情報を他のデータ処理装置に出力する指示出力手段と
    をさらに備えたことを特徴とする請求項９に記載のデータ処理装置。
11. 復号する対象となる前記符号化データを一時的に保存するバッファから出力される前記符号化データの単位時間当たりのデータ量を計測する出力計測手段をさらに備え、
    前記性能出力手段は、前記出力計測手段によって計測されたデータ量を前記性能情報として出力することを特徴とする請求項９または１０に記載のデータ処理装置。
12. 前記バッファに入力される前記符号化データの単位時間当たりのデータ量を計測する入力計測手段と、
    前記入力計測手段によって計測されたデータ量と前記出力計測手段によって計測されたデータ量との差分を算出する差分算出手段と、
    前記差分算出手段によって算出された差分に応じて、前記性能出力手段によって出力される前記性能情報の値を補正する第一補正手段と
    をさらに備えたことを特徴とする請求項１１に記載のデータ処理装置。
13. 前記バッファの空き容量を計測する容量計測手段と、
    前記容量計測手段によって計測された空き容量が閾値以下であるか否かを判断する容量判断手段と、
    前記容量判断手段によって空き容量が閾値以下であると判断された場合に、前記性能出力手段によって出力される性能情報の値を減算する第二補正手段と
    をさらに備えたことを特徴とする請求項１１または１２に記載のデータ処理装置。
14. 画像入力手段によって入力された画像データを画像圧縮符号化し、画像圧縮符号化したデータである符号化データを複数のデバイスに出力するデータ処理方法であって、
    前記複数のデバイスの各々についての、前記符号化データの復号性能を示す性能情報を取得する取得ステップと、
    前記取得ステップが取得した前記複数のデバイスについての複数の性能情報に基づいて、連続する複数の前記画像データから、フレーム間符号化の対象とする画像データである参照データと、前記参照データのフレーム間符号化のために参照される画像データである被参照データとの組み合わせを１または複数決定する決定ステップと、
    複数の前記参照データの各々を、前記決定ステップが決定した組み合わせによって対応付けられている被参照データを参照してフレーム間符号化することで符号化データを生成する画像圧縮符号化ステップと、
    前記画像圧縮符号化ステップが生成した複数の符号化データのうち、出力先のデバイスの性能情報に対応する少なくとも１つの組み合わせに属する画像データの符号化データを、前記複数のデバイスの各々に出力するデータ出力ステップと
    を備えたことを特徴とするデータ処理方法。
15. 画像入力手段によって入力された画像データを画像圧縮符号化し、画像圧縮符号化したデータである符号化データを複数のデバイスに出力するデータ処理プログラムであって、
    コンピュータに、
    前記複数のデバイスの各々についての、前記符号化データの復号性能を示す性能情報を取得する取得ステップと、
    前記取得ステップが取得した前記複数のデバイスについての複数の性能情報に基づいて、連続する複数の前記画像データから、フレーム間符号化の対象とする画像データである参照データと、前記参照データのフレーム間符号化のために参照される画像データである被参照データとの組み合わせを１または複数決定する決定ステップと、
    複数の前記参照データの各々を、前記決定ステップが決定した組み合わせによって対応付けられている被参照データを参照してフレーム間符号化することで符号化データを生成する画像圧縮符号化ステップと、
    前記画像圧縮符号化ステップが生成した複数の符号化データのうち、出力先のデバイスの性能情報に対応する少なくとも１つの組み合わせに属する画像データの符号化データを、前記複数のデバイスの各々に出力するデータ出力ステップと
    を実行させることを特徴とするデータ処理プログラム。

Images