JP2005341347A - 多地点接続装置および方法 - Google Patents

Abstract

【課題】多地点映像コミュニケーションサービスにおいて、ネットワークリソースが限られた状況の中で通信者間のコミュニティ全体の品質を向上する。
【解決手段】発言者判別部１４で、各通信者端末からの音声に基づき発言者を判別して、映像符号量決定部１５で、判別結果に基づき各通信者端末３０からの映像に対する符号量を決定し、映像符号化部１６で、その符号量に基づき各通信者端末からの映像を符号化して各通信者端末３０へ配信する。
【選択図】 図１

Description

本発明は、映像通信技術に関し、特に多地点に配置された端末間で映像や音声をネットワークを介してやり取りする多地点映像コミュニケーション技術に関する。

近年、インターネットに代表される通信ネットワークにおけるアクセス回線のブロードバンド化に応じて、比較的容量の大きいストリーミング系の映像・音声メディアの配信サービスが提供されつつある。特に、インターネットでは、そのアクセス回線を用いて複数の端末間で映像・音声メディアをやり取りする、いわゆるテレビ会議などの多地点映像コミュニケーションサービスが注目されている。

この種の多地点映像コミュニケーションサービスでは、通信者が会話する場合、傍聴者の映像に対してはあまり注目せず発言者の映像に注目して会話を進めることが多く、通信者間の立場によって映像の重要度が異なる。
従来、このような多地点映像コミュニケーションの特性に着目し、各通信者端末からの映像・音声を中継処理する多地点接続装置で、発言者の映像を他の傍聴者の映像より拡大して配信するようにしたものが提案されている（例えば、特許文献１など参照）

これによれば、図５に示すように、通信者Ａが発言している期間については、通信者Ａの映像が他の通信者に比較して大きく画面表示され、通信者Ｂが発言している期間については、通信者Ｂの映像が他の通信者に比較して大きく画面表示される。
これにより、ネットワークリソースが限られた状況の中で、より鮮明な映像を得て臨場感あるコミュニケーションシステムが実現される。

なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
特開平５−１０３３２４号公報

しかしながら、このような従来技術では、発言者の映像を拡大表示することにより、他の傍聴者の映像を縮小表示するため、傍聴者の反応などを読み取ることができなくなる。また、発言者が頻繁に変化すると、拡大される映像も頻繁に切り替わってしまうため、不快に感じられる場合もある。したがって、従来技術によれば、多地点映像コミュニケーションサービスにおいて、通信者間のコミュニティ全体の品質が低下するという問題がある。

本発明はこのような課題を解決するためのものであり、多地点映像コミュニケーションサービスにおいて、ネットワークリソースが限られた状況の中で通信者間のコミュニティ全体の品質を向上できる多地点接続装置および方法を提供することを目的としている。

このような目的を達成するために、本発明にかかる多地点接続装置は、多地点に配置されている複数の通信者端末と通信ネットワークを介して接続し、これら通信者端末からの映像・音声を中継処理することにより各通信者端末に対して多地点映像コミュニケーションサービスを提供する多地点接続装置であって、各通信者端末からの音声に基づき発言者を判別する発言者判別部と、判別の結果に基づき各通信者端末からの映像に対する符号量を決定する映像符号量決定部と、符号量に基づき各通信者端末からの映像を符号化する映像符号化部と、符号化された映像を各通信者端末へ配信する制御部とを備えるものである。

符号量制御の具体例としては、映像符号化部で、各通信者端末からの映像を符号化して量子化処理する際、当該通信者端末に対する符号量に応じた量子化ステップ幅を用いるようにしてもよい。
あるいは、映像符号化部で、各通信者端末からの映像を予測符号化処理する際、当該通信者端末に対する符号量に応じたピクチャグループ構成を用いるようにしてもよい。

また、本発明にかかる多地点接続方法は、多地点に配置されている複数の通信者端末と通信ネットワークを介して接続する多地点接続装置で、これら通信者端末からの映像・音声を中継処理することにより各通信者端末に対して多地点映像コミュニケーションサービスを提供する多地点接続方法であって、各通信者端末からの音声に基づき発言者を判別する発言者判別ステップと、判別の結果に基づき各通信者端末からの映像に対する符号量を決定する映像符号量決定ステップと、符号量に基づき各通信者端末からの映像を符号化する映像符号化ステップと、符号化された映像を各通信者端末へ配信する制御ステップとを備えるものである。

符号量制御の具体例としては、映像符号化ステップで、各通信者端末からの映像を符号化して量子化処理する際、当該通信者端末に対する符号量に応じた量子化ステップ幅を用いるようにしてもよい。
あるいは、映像符号化ステップで、各通信者端末からの映像を予測符号化処理する際、当該通信者端末に対する符号量に応じたピクチャグループ構成を用いるようにしてもよい。

本発明によれば、発言者か否かに応じて当該通信者の映像符号量が調整されて配信されるため、発言者の映像符号量を傍聴者の映像符号量をより多くすることができ、各通信者端末に、発言者を示す映像として精細度の高い映像が配信されるとともに、傍聴者を示す映像として精細度の低い映像が配信されることになる。
したがって、発言者の切り替わりにおいて映像の精細度のみが切り替えられるため、画像の大きさや表示位置を変える必要がなく、従来のように画像の大きさが調整されて傍聴者の映像が小さくなる場合と比較して、傍聴者の表情も確認できるとともに、発言切り替わりに応じて画像サイズが変化せず切替時の画面表示がスムーズとなる。これにより、ネットワークリソースが限られた状況の中で、通信者が主観的に感じるコミュニティ全体の品質を向上させることが可能となる。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる多地点接続装置について説明する。図１は、本発明の第１の実施の形態にかかる多地点接続装置の構成を示すブロック図である。

多地点接続装置（ＭＣＵ：Multipoint Communication Unit）１０は、全体としてサーバなどの情報処理装置からなり、インターネットに代表される通信ネットワーク２０を介して、多地点に配置されている複数の通信者端末３０（３０Ａ〜３０Ｃ）と接続し、これら通信者端末からの映像・音声を中継処理することにより多地点映像コミュニケーションサービスを提供する装置である。
通信者端末３０は、パソコンなどの情報処理端末装置からなり、所定のアプリケーションプログラムを実行することにより、多地点接続装置１０で提供される多地点映像コミュニケーションサービスを利用する装置である。

本実施の形態では、この多地点接続装置１０において、各通信者端末３０から受信した各映像・音声を符号化して各通信者端末３０へ配信する際、各映像・音声の送信元通信者端末３０の通信者が発言者か否かに応じて、当該映像・音声の符号化の際の符号量を決定し、それぞれの符号量に応じて当該映像・音声を符号化して配信するようにしたものである。

［多地点接続装置の構成］
次に、図１を参照して、本実施の形態にかかる多地点接続装置１０の構成について説明する。以下では、３つの通信者端末３０Ａ〜３０Ｃが、多地点接続装置１０で提供される多地点映像コミュニケーションサービスを利用する場合を例として説明する。

この多地点接続装置１０には、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１、制御部１２、復号部１３、発言者判別部１４、映像符号量決定部１５、映像符号化部１６、および音声符号化部１７が設けられている。

通信Ｉ／Ｆ部１１は、通信ネットワーク２０を介して各通信者端末３０Ａ〜３０Ｃと各種データを送受信することにより、通信者端末３０Ａ〜３０Ｃからの映像・音声を受信し、これらを合成した映像・音声を通信者端末３０Ａ〜３０Ｃへ配信する回路部である。
制御部１２は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部（図示せず）から所定のプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて、所定の通信プロトコルに応じた各種通信処理を行う機能部である。

復号部１３は、通信Ｉ／Ｆ部１１および制御部１２を介して受信した各通信者端末３０Ａ〜３０Ｃからの映像・音声を復号する回路部である。
発言者判別部１４は、復号部１３で得られた各通信者端末３０からの音声のレベルに応じて発言者を判別する回路部である。
映像符号量決定部１５は、発言者判別部１４での判別結果に応じて、各通信者端末からの映像に対する符号量を決定する回路部である。

映像符号化部１６は、映像符号量決定部１５で決定された符号量に基づき、復号部１３で得られた各通信者端末３０Ａ〜３０Ｃからの映像を符号化し、これらを合成して各通信者端末３０Ａ〜３０Ｃへ配信する映像を生成する回路部である。
音声符号化部１７は、復号部１３で得られた各通信者端末３０Ａ〜３０Ｃからの音声を符号化する回路部である。

［映像符号量決定部］
映像符号量決定部１５について詳細に説明する。映像の符号量とは、映像（画像）を構成する１画素（１ピクセル）あたりに用いるビット数（bits/pel：pel=pixel element）であり、映像（画像）の精細度を左右する。この符号量が大きい場合は、１画素を表現するために用いるデータ量が多くなり映像が精細になる。逆に、符号量が小さい場合は、１画素を表現するために用いるデータ量が少なくなり映像が粗くなる。

デジタル映像の符号化方式として広く用いているＭＰＥＧ（Moving Picture Expert Group）などの符号化方式では、入力された映像データをＤＣＴ（離散余弦変換：Discrete Cosine Transform）処理などの周波数変換処理を行った後に量子化し、これを２次元ハフマン符号に割り当てることにより元の映像データを圧縮処理しており、ＩＴＵ−Ｔ Ｈ．２６Ｘシリーズ、モーションＪＰＥＧ（Motion-JPEG:Joint Photographic Experts Group）、あるいはＪＰＥＧ２０００などの符号化方式でも同様である。
量子化処理では、ＤＣＴ処理で得られた各ＤＣＴ係数を、デフォルトで設定されている量子化テーブルの対応する量子化係数でそれぞれ除算することにより量子化している。したがって、高周波数成分に対応する量子化係数を大きくしておくことにより、除算結果のうち高周波成分のＤＣＴ係数に対する除算結果が小さくなって、その値を表現するのに必要な情報量も少なくなり、結果として圧縮されたことになる。

上記量子化処理では、量子化テーブルの量子化係数を調整することにより、圧縮の度合いを制御する符号量制御方式が利用されている。例えば、デフォルトの量子化係数を少し大きくすれば、上記除算結果が小さくなるＤＣＴ係数が多くなり圧縮率が増加し、結果として符号量が小さくなる。逆にデフォルトの量子化係数を少し小さくすれば、上記除算結果が小さくなるＤＣＴ係数が少なくなり圧縮率が低下し、結果として符号量が大きくなる。

本実施の形態では、このような量子化係数の調整幅すなわち量子化ステップ幅を、映像符号量決定部１５で決定された符号量に応じて制御することにより、発言者および傍聴者に対する映像符号量を空間的に制御している。
なお、ＭＰＥＧ以外の符号化方式でも、上記と同様に量子化処理において符号量を制御するパラメータが用意されており、これらパラメータを用いて符号量を制御すればよい。例えば、ＪＰＥＧ２０００では、ＤＣＴ処理に代えてウェーブレット変換処理が用いられているが、この場合も上記と同様の量子化ステップ幅を用いて符号量を制御できる。

［第１の実施の形態の動作］
次に、図２を参照して、本実施の形態にかかる多地点接続装置１０の動作について説明する。図２は、本実施の形態にかかる多地点接続装置１０の中継処理を示すフローチャートである。

多地点接続装置１０は、まず、制御部１２により、通信ネットワーク２０および通信Ｉ／Ｆ部１１を介して、通信者端末３０Ａ〜３０Ｃからの映像・音声を受信し（ステップ１００）、復号部１３へ出力する。
復号部１３は、通信者毎に音声・映像を復号し（ステップ１０２）、それぞれ発言者判別部１４と映像符号化部１６に出力する。発言者判別部１４は、音量の大きい通信者を発言者として判別し（ステップ１０３）、判別結果を映像符号量決定部１５に出力するとともに、音声情報を音声符号化部１７に出力する。

映像符号量決定部１５は、発言者判別部１４からの判別結果に基づき、各通信者のうち発言者の映像符号化に用いる量子化ステップ幅を、傍聴者の量子化ステップ幅より小さく設定する（ステップ１０４）。
映像符号化部１６は、映像符号量決定部１５によって設定された量子化ステップ幅に基づいて、各通信者からの映像に対する符号化を行い（ステップ１０５）、制御部１２に映像情報を出力する。これにより、発話者に対する映像符号量が、傍聴者に対する映像符号量より多くなる。

音声符号化部１７は、発言者判別部１４からの音声情報を符号化して（ステップ１０６）、制御部１２に出力する。
制御部１２は、映像符号化部１６から符号化された映像を受け取るとともに、音声符号化部１７から符号化された音声を受け取り、これら映像・音声を、通信Ｉ／Ｆ部１１および通信ネットワーク２０を介して、各通信者端末３０Ａ〜３０Ｃへ配信する（ステップ１０７）。

多地点接続装置１０では、逐次、各通信者端末３０Ａ〜３０Ｃから送信される映像・音声について、上記のような符号化処理により映像符号量を調整した後、各通信者端末３０Ａ〜３０Ｃへ配信する。
したがって、多地点接続装置１０での映像符号量の制御および各通信者端末３０Ａ〜３０Ｃでの映像表示は、図３および図４のように制御される。図３は、本実施の形態にかかる多地点接続装置での映像符号量の制御を示すタイミングチャートである。図４は、各通信者端末での映像表示例である。

通信者Ａが発言している期間ＴＡでは、通信者Ａの符号量だけが「大」に制御されて通信者Ａの映像が高精細で配信され、傍聴者である通信者Ｂ，Ｃの符号量は「小」に制御されて通信者Ｂ，Ｃの映像が低精細で配信される。
その後、時刻Ｔに発言者が通信者Ａから通信者Ｂに切り替わった場合、それ以降の通信者Ｂが発言している期間ＴＢでは、通信者Ｂの符号量だけが「大」に制御されて通信者Ｂの映像が高精細で配信され、傍聴者である通信者Ａ，Ｃの符号量は「小」に制御されて通信者Ａ，Ｃの映像が低精細で配信される。

このように、本実施の形態では、発言者か否かに応じて当該通信者の映像符号量を調整して配信するようにしたので、発言者の映像符号量を傍聴者の映像符号量より多くすることができ、各通信者端末に、発言者を示す映像として精細度の高い映像が配信されるとともに、傍聴者を示す映像として精細度の低い映像が配信されることになる。

したがって、本実施の形態によれば、発言者が切り替わりにおいて映像の精細度のみが切り替えられて画像の大きさや表示位置については変化しないため、従来のように画像の大きさが調整されて傍聴者の映像が小さくなる場合と比較して、傍聴者の表情も確認できるとともに、発言切り替わりに応じて画像サイズが変化せず切替時の画面表示がスムーズとなる。
これにより、ネットワークリソースが限られた状況の中で、通信者が主観的に感じるコミュニティ全体の品質を向上させることが可能となる。

また、映像符号量の制御方法として、映像符号化に用いる量子化ステップ幅を調整するようにしたので、標準の符号化方式に用意されている処理を利用でき、新たな構成を追加することなく映像符号量を制御できる。

［第２の実施の形態］
次に、本発明の第２の実施の形態にかかる多地点接続装置について説明する。なお、本実施の形態にかかる多地点接続装置の構成は、前述した第１の実施の形態（図１参照）と同様であり、ここでの詳細な説明は省略する。また、本実施の形態にかかる多地点接続装置の動作は、前述した第１の実施の形態（図２参照）と同様であり、ここでの詳細な説明は省略する。

前述した第１の実施の形態では、映像符号量決定部１５において、発言者か否かに応じて符号量を決定する際、映像符号化部１６での量子化処理に用いる量子化ステップ幅を変更することにより、各通信者の映像符号量を空間的に制御する場合を例として説明した。
本実施の形態では、映像符号化部１６での予測符号化処理に用いるピクチャグループ構成を変更することにより、各通信者の映像符号量を時間的に制御する場合について説明する。

前述したＭＰＥＧ符号化方式では、予測符号化処理を採用しており、基準となるＩピクチャ間を、ＰピクチャさらにはＢピクチャにより補間するピクチャグループ構成を用いている。Ｉピクチャは、映像再生の基点となる画像でありフレーム内予測符号化により静止画モードにより符号化されている。Ｐピクチャは、時間的に前のＩピクチャまたはＰピクチャから動き補償フレーム間予測により符号化される。Ｂピクチャは、ＩピクチャとＰピクチャとの間、またはＰピクチャ間に複数配置され、時間的に前、後、または前後のピクチャを利用して動き補償フレーム間予測により符号化される。

このような予測符号化処理では、上記ピクチャの数（フレームレート）や配置順序などのピクチャグループ構成を変更することにより、結果として映像符号量を制御できる。
したがって、前述した図２のステップ１０４において、映像符号量決定部１５により、発言者か否かに応じて異なるピクチャグループ構成を設定すればよい。

例えば、発言者の映像については、単位時間あたりのピクチャ数を増やしてフレームレートを高くしたピクチャグループ構成や、Ｂピクチャに代えてＰピクチャを用いるなどの配置順序を変更したピクチャグループ構成を用いるよう、映像符号化部１６へ設定すれば、結果として発言者の映像符号量を増やすことができる。
逆に、傍聴者の映像については、単位時間あたりのピクチャ数を減らしてフレームレートを低くしたピクチャグループ構成や、Ｐピクチャに代えてＢピクチャを用いるなどの配置順序を変更したピクチャグループ構成を用いるよう、映像符号化部１６へ設定すれば、結果として傍聴者の映像符号量を減らすことができる。

このように、映像符号量の制御方法として、映像符号化に用いるピクチャグループ構成を変更するようにしたので、標準の符号化方式に用意されている処理を利用でき、新たな構成を追加することなく映像符号量を制御できる。
なお、モーションＪＰＥＧなどの符号化方式では、上記Ｉピクチャに相当するピクチャしか用いていないものもあるが、このような符号化方式でも、上記と同様にして当該ピクチャについて単位時間あたりのピクチャ数（フレームレート）を増減することにより映像符号量を制御できる。

なお、以上の各実施の形態では、多地点接続装置１０により、３つの通信者端末３０Ａ〜３０Ｃに対して多地点映像コミュニケーションサービスを提供する場合を例として説明したが、通信者端末３０の数については、これに限定されるものではない。少なくとも通信者端末３０が２つ以上であれば、いずれの場合にも前述と同様にして各実施の形態を適用でき、それぞれ同様の作用効果が得られる。

また、各実施の形態は、それぞれ単独で実施してもよく組み合わせて実施してもよい。
また、各通信者端末の映像については、多地点接続装置１０の映像符号化部１６あるいは制御部１２で合成した後、各通信者端末３０へ配信してもよく、あるいはそれぞれの映像を個別に配信して、各通信者端末３０で合成して画面表示してもよい。

本発明の第１の実施の形態にかかる多地点接続装置の構成を示すブロック図である。 本発明の第１の実施の形態にかかる多地点接続装置の中継処理を示すフローチャートである。 本発明の第１の実施の形態にかかる多地点接続装置での映像符号量の制御を示すタイミングチャートである。 各通信者端末での映像表示例である。 従来技術による各通信者端末での映像表示例である。

符号の説明

１０…多地点接続装置、１１…通信Ｉ／Ｆ部、１２…制御部、１３…復号部、１４…発言者判別部、１５…映像符号量決定部、１６…映像符号化部、１７…音声符号化部、２０…通信ネットワーク、３０，３０Ａ〜３０Ｃ…通信者端末。

Claims (6)

1. 多地点に配置されている複数の通信者端末と通信ネットワークを介して接続し、これら通信者端末からの映像・音声を中継処理することにより前記各通信者端末に対して多地点映像コミュニケーションサービスを提供する多地点接続装置であって、
   前記各通信者端末からの音声に基づき発言者を判別する発言者判別部と、
   前記判別の結果に基づき前記各通信者端末からの映像に対する符号量を決定する映像符号量決定部と、
   前記符号量に基づき前記各通信者端末からの映像を符号化する映像符号化部と、
   前記符号化された映像を前記各通信者端末へ配信する制御部と
   を備えることを特徴とする多地点接続装置。
2. 請求項１に記載の多地点接続装置において、
   前記映像符号化部は、前記各通信者端末からの映像を符号化して量子化処理する際、当該通信者端末に対する符号量に応じた量子化ステップ幅を用いることを特徴とする多地点接続装置。
3. 請求項１に記載の多地点接続装置において、
   前記映像符号化部は、前記各通信者端末からの映像を予測符号化処理する際、当該通信者端末に対する符号量に応じたピクチャグループ構成を用いることを特徴とする多地点接続装置。
4. 多地点に配置されている複数の通信者端末と通信ネットワークを介して接続する多地点接続装置で、これら通信者端末からの映像・音声を中継処理することにより前記各通信者端末に対して多地点映像コミュニケーションサービスを提供する多地点接続方法であって、
   前記各通信者端末からの音声に基づき発言者を判別する発言者判別ステップと、
   前記判別の結果に基づき前記各通信者端末からの映像に対する符号量を決定する映像符号量決定ステップと、
   前記符号量に基づき前記各通信者端末からの映像を符号化する映像符号化ステップと、
   前記符号化された映像を前記各通信者端末へ配信する制御ステップと
   を備えることを特徴とする多地点接続方法。
5. 請求項４に記載の多地点接続方法において、
   前記映像符号化ステップは、前記各通信者端末からの映像を符号化して量子化処理する際、当該通信者端末に対する符号量に応じた量子化ステップ幅を用いることを特徴とする多地点接続方法。
6. 請求項４に記載の多地点接続方法において、
   前記映像符号化ステップは、前記各通信者端末からの映像を予測符号化処理する際、当該通信者端末に対する符号量に応じたピクチャグループ構成を用いることを特徴とする多地点接続方法。
   

Images