JP2006333254A - 動画像リアルタイム通信端末、動画像リアルタイム通信端末の制御方法及び動画像リアルタイム通信端末の制御プログラム - Google Patents

Abstract

【課題】リアルタイムの動画像送信において、ネットワークの伝送帯域が減少しても、映像の動きの滑らかさを失わせることなく、かつ画質を低下させないようにする。
【解決手段】通信端末１００は、バッファ１２から符号化部１３へのＵ，Ｖの映像信号の出力経路を接続又は切断するスイッチング回路１７と、スイッチング回路の動作を制御する切替制御部３０とを備えており、切替制御部３０は、帯域推定部１６が伝送帯域の低下を推定したことに応じ、スイッチング回路１７を動作させてＵ，Ｖの映像信号の出力経路を切断する。符号化部１３は、Ｕ，Ｖの映像信号の出力経路が切断されたことに応じ、Ｕ，Ｖの映像信号の切断によって削減されたデータ量を上限として、Ｙ信号の符号化ビットレートを増加させる。
【選択図】 図３

Description

本発明は動画像通信に係り、特に帯域の変動するネットワークを介した動画像通信に関し、カラー動画像と白黒動画像切り替えによって所定の画質を確保する技術に関する。

従来、ネットワーク環境の帯域幅に応じて、送信するデータ量を動的に調整する技術が様々開発されている。例えば特許文献１によると、帯域幅の情報であるネットワーク情報を用いて、マルチメディアデータ内の各要素データの順序変えや選別を行い、その結果を一時的にバッファに格納する。送出エンジンは、その結果に従ってマルチメディアデータを加工、例えば映像データのコマを落しながら利用者端末に向けて送出する。
特開２００２−７７８５７号公報

ところで、ＴＶ電話、ＴＶ会議システムにみられるような通信ネットワークを介して接続された端末同士でリアルタイムに映像を相互に交信する場合、画質を優先するあまり（つまりフレーム単体の圧縮ビットレートを高いままに維持しようとして）逆に、映像データのコマ落としないしフレームレートの低下を行うと不都合なことがある。例えば、聴覚障害者の手話用ＴＶ電話話では、相手の表情、手の動きが重要であり、コマ落としによって動きが滑らかでない相手方の映像を見ても、相手方の表情の変化、口の動き、手先の動きが読み取れず、手話内容の把握が困難となる。

本発明はこのような問題点に鑑みてなされたもので、リアルタイムの動画像送受信において、ネットワークの伝送帯域が減少しても、映像の動きの滑らかさを失わせることなく、かつ画質を向上させることを目的とする。

上述の課題を解決するため、本願発明に係る動画像リアルタイム通信端末は、ＲＧＢ映像信号を入力する入力部と、ＲＧＢ映像信号をＹＵＶ映像信号に変換して出力する変換部と、変換部から出力されたＹＵＶ映像信号を動画像にデジタル変換した上で圧縮符号化する符号化部と、符号化部により圧縮符号化された動画像を、ネットワークを介して接続された相手方の通信端末とリアルタイムで送受信する通信部と、ネットワークの帯域変動を推定する帯域推定部と、変換部から符号化部へのＵＶ映像信号の出力経路を接続又は切断するスイッチング回路と、帯域推定部による帯域変動の推定に応じてスイッチング回路を動作させてＵＶ映像信号の出力経路を切断する切替制御部と、を備える。

また、上述の課題を解決するため、本願発明に係る動画像リアルタイム通信端末の制御方法は、帯域推定部による帯域変動の推定に応じてスイッチング回路を動作させてＵＶ映像信号の出力経路を切断するステップと、ＵＶ映像信号の出力経路を切断したことに応じ、圧縮符号化部による圧縮符号化をＹ信号のみにするステップと、を含む。

また、上述の課題を解決するため、本願発明に係る動画像リアルタイム通信端末の制御プログラムは、帯域推定部による帯域変動の推定に応じてスイッチング回路を動作させてＵＶ映像信号の出力経路を切断するステップと、ＵＶ映像信号の出力経路を切断したことに応じ、圧縮符号化部による圧縮符号化をＹ信号のみにするステップと、を動画像リアルタイム通信端末に実行させる。

この発明によると、ＹＵＶ映像信号おけるＵＶ信号の切断によって映像信号をカラーから白黒に切り替え、この切り替えによって削減されたＵ，Ｖデータ量を上限としてＹ信号の圧縮符号化のビットレートをその分だけ増やす。例えば、変換部がＲＧＢ映像信号をＹＵＶ４：２：０フォーマットのＹＵＶ映像信号に変換する場合、白黒画像への切り替えにより、Ｙ信号としてみた場合の圧縮符号化のビットレートを最大１．５倍まで増加させる。即ち、帯域が減少しても、圧縮符号化すべき映像信号を白黒に切り替えた上でＹ信号圧縮符号化のビットレートを増加させることで、逆に画質を向上させることができる。このため、従来のように帯域減少に応じてコマ数を落とし、画像の動きがぎこちなくなることもない。

この発明によると、ＹＵＶ映像信号おけるＵＶ信号の切断によって映像信号をカラーから白黒に切り替え、この切り替えによって削減されたデータ量を上限としてＹ信号の圧縮符号化のビットレートを増やす。例えば、変換部がＲＧＢ映像信号をＹＵＶ４：２：０フォーマットのＹＵＶ映像信号に変換する場合、白黒画像への切り替えにより、Ｙ信号の圧縮符号化のビットレートを最大１．５倍まで増加させる。即ち、帯域が減少しても、圧縮符号化すべき映像信号を白黒に切り替えた上でＹ信号圧縮符号化のビットレートを増加させることで、逆に画質を向上させることができる。このため、従来のように帯域減少に応じてコマ数を落とし、画像の動きがぎこちなくなることもない。

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。

図１は本発明の好ましい実施形態に係る通信端末１００のブロック図である。この通信端末１００は、同等の構成を有する相手方の通信端末１００とネットワーク５を介して接続され、映像信号を動画像にデジタル圧縮符号化して相手方の通信端末１００にパケット送出する一方、相手方からも同様にデジタル圧縮符号化された動画像を受信して復号再生する。

説明の簡略のため、通信端末１００同士は１対１で接続される（ユニキャスト）ものとして説明するが、マルチキャスト、ブロードキャストであってもよい。通信端末１００同士の接続経路は、例えばＳＩＰ（Session Initiation Protocol）サーバで構成された図示しない交換台サーバがネットワークアドレス（グローバルＩＰアドレスなど）、ポート、識別子（ＭＡＣアドレスなど）を用いて指定する。交換台サーバによって通信端末１００同士のセッションが確立すると、通信端末１００同士は以後交換台サーバを仲介することなく直接データの送受信を行う（ピアツーピア方式）。

ネットワーク５は、例えばＡＤＳＬ、光ファイバ（ＦＴＴＨ）、ケーブルテレビなどのブロードバンドネットワークや、ＩＳＤＮなどのナローバンドネットワーク、ＵＷＢ（Ultra Wide Band）やＷｉ−Ｆｉ（Wireless Fidelity）といったＩＥＥＥ ８０２．ｘｘ準拠の無線通信などで構成される。

本実施形態では、ネットワーク５は、所定値の帯域（通信速度）が常に確保できるかどうかは保証されていないベストエフォート型ネットワークを想定する。ネットワーク５は、電話局と自宅の距離やADSLモデム間の通信速度、トラフィックの増減、セッションの相手方の通信環境などの各種要因で、公称されている最大帯域が実質的に制限されることがある。実効値が公称値の数分の一以下になる場合も多い。ネットワーク５の帯域は、ビット毎秒（bps）で表される。例えば、ＦＴＴＨの公称帯域は１００Ｍｂｐｓなどが一般的であるが、実際には、数百ｋｂｐｓにまで制限されることがある。

通信端末１００は、カメラ１０などから入力したＲ，Ｇ，Ｂの映像信号を、Ｙ（輝度信号），Ｕ（色差信号Ｃｂ），Ｖ（色差信号Ｃｒ）の映像信号に変換する信号変換部１１、符号化部１３へ転送するＹ，Ｕ，Ｖの映像信号を一時的に蓄積するバッファ１２、バッファ１２から出力されるＹ，Ｕ，Ｖの映像信号を動画像データにデジタル変換した上でＭＰＥＧ４方式などで圧縮符号化する符号化部１３、符号化部１３によって圧縮符号化された動画像データをパケット化して相手方の通信端末１００に送信する送信部１４を備えている。

信号変換部１１によるＲ，Ｇ，Ｂ信号からＹ，Ｕ，Ｖの映像信号への変換は、人間の目は輝度の変化には敏感だが、色の変化には鈍感だという特性を利用し、輝度Ｙにより多くの情報を与えて色の情報量を抑えるために行われる。この変換は、Ｙ，Ｕ，Ｖのサンプリングする比率によって、ＹＵＶ４：４：４、ＹＵＶ４：２：２、ＹＵＶ４：２：０などの名称で呼ばれる。

ＹＵＶ４：４：４は、Ｙ，Ｕ，Ｖを同じ割合で変換する。即ち、１ピクセルあたりＲ，Ｇ，Ｂそれぞれ８ビット、合計８＋８＋８＝２４ビットで色表現されるＲＧＢ信号をＹＵＶ系に座標変換し、水平方向の４ピクセルに対して輝度Ｙ、色差Ｕ、Ｖを４ピクセル全て取る。ＹＵＶ４：４：４フォーマット変換後のＹ，Ｕ，Ｖ信号１ピクセルあたりのビット数は８＋８＋８＝２４ビット（圧縮率１）であり、１ピクセルあたりのデータ量は変わらない。ＹＵＶ４：４：４フォーマットは医療や映画などの特殊な分野に用いられる。

ＹＵＶ４：２：２は、画素を構成する色差信号Ｕ、Ｖのデータ量を水平方向にそれぞれ１／２に間引く。即ち、水平方向の４ピクセルに対して輝度Ｙを４ピクセル全て取るが、色差Ｕ、Ｖは２ピクセルずつ取る。このため、ＹＵＶ４：２：２フォーマット変換後のＹ，Ｕ，Ｖ信号１ピクセルあたりのビット数は８＋４＋４＝１６ビットとなる（圧縮率２／３）。ＹＵＶ４：２：２フォーマットは一般にテレビ局のスタジオ内やプロユースで用いられる。

ＹＵＶ４：２：０は、ＹＵＶ４：２：２の色差信号Ｕ、Ｖを垂直方向に１／２間引く。ＹＵＶ４：２：０フォーマット変換後のＹ，Ｕ，Ｖ信号１ピクセルあたりのビット数は８＋２＋２＝１２ビットとなる（圧縮率１／２）。ＹＵＶ４：２：０はＭＰＥＧ４方式などの符号化器で慣用され、データ量は１ピクセルあたり１／２減少する。

信号変換部１１により変換されたＹ，Ｕ，Ｖの映像信号のフォーマットは、ＹＵＶ４：４：４、ＹＵＶ４：２：２、ＹＵＶ４：２：０のいずれであっても同等の理論が成り立つが、４：４：４、４：２：２の方がより高い効果が得られる。以下、特に断らない限りＹＵＶ４：２：０であるとして説明する。

符号化部１３によって圧縮符号化された動画像データのデータ量は、カメラ１０からの映像信号のノイズ、映像信号の解像度、１秒あたりのフレーム数（フレームレート）などによっても左右される。

MPEG４などのエンコーダーによって生成される圧縮データ量（パケット数）は、以下のような主な画像パラメーターに依存して決まって来る。

画像キャプチャーデバイスの品質：カメラの性能、撮影画像品質（ノイズ）など
画像の解像度：縦/横の画素数
フレームレート：フレーム数/秒
GOPの長さ：２つのIntra frame間の長さ（フレーム数）
想定ビットレート：現在の通信路の帯域幅を想定。

（Best Effort通信路である限り、時間帯によって変動する。）
ここで、本発明の目的として、色情報よりも、動きや、物体の形状をより正確に伝えたい場合を考える。例えば、聴覚障害者が手話によるビデオ通信を行う場合などのアプリケーションを考えると、重要なの、手話、つまり、指や手、顔の動き表現である。その場合、劣化したカラー画像よりも、白黒画像であっても動きの鮮明な方が好ましい。

帯域ビットレートが低くなると、通常のTV電話等ではデータ量を少なくするやり方として、フレームレートを落とすことが良く行われている。例えば１５フレーム/秒である。しかし、１５フレームではなめらかな手の動きが十分ではなく、やはり、TVと同じ３０フレーム/秒は欲しい。

送信部１４のパケット送出のプロトコルは、ストリーミング・メディア等の送信に慣用されるＵＤＰ(User Datagram Protocol)タイプのプロトコルであるＲＴＰ(Real-Time Transport Protocol)が用いられる。ＲＴＰはリアルタイム情報を運ぶための汎用ヘッダであるＲＴＰヘッダと、実際の動画像データを格納するＲＴＰペイロードにより構成される。ＲＴＰペイロードは、ＭＰＥＧ−１，２，４、Ｈ２６４、Ｈ２６４／ＭＰＥＧ−４ ＡＶＣなどのデータフォーマットごとにＲＦＣ(Request For Comments)によって規定されているが本方式はこれらのディジタル動画像の圧縮方式には依存しない。

ＵＤＰでは、ＴＣＰ（Transmission Control Protocol）と異なり、パケットロス対策や再送制御などは行われていない。このため、ＲＴＰの制御プロトコルであるＲＴＣＰ(RTP Control Protocol)による通信状態レポートが合わせて用いられる。このレポートは、第１監視部１５によって得られる。

即ち、図２を参照すると、一方の通信端末１００−Ａに備えられた第１監視部１５−Ａは、セッションの相手方となった通信端末１００−Ｂへ、定期的に（具体的には所定時間ごとに）、ＳＲ(Sender Report)タイプのＲＴＣＰパケット（ＲＴＣＰ ＳＲ）――監視パケット――を送信する。第１監視部１５−Ａは、ＲＴＣＰ ＳＲの送出時刻を示したタイムスタンプと定期期間内に送出したＲＴＣＰ ＳＲの総数である送出パケット数を記憶しておく。

通信端末１００は第２監視部２５を備えている。通信端末１００−Ｂに備えられた第２監視部２５−Ｂは、通信端末１００−ＡからＲＴＣＰ ＳＲを受信すると、ＲＴＣＰ ＳＲパケットのヘッダ内にあるsequence number fieldのシーケンス番号を計数することで受信したＲＴＣＰ ＳＲの損失数を算出する。そして、第２監視部２５−Ｂは、当該損失数が記述されたＲＲ(Receiver Report)タイプのＲＴＣＰパケット（ＲＴＣＰ ＲＲ）を通信端末１００−Ａに送信する。ＲＴＣＰ ＲＲには、ＲＴＣＰ ＳＲの受信からＲＴＣＰ ＲＲの送信までの時間（便宜上応答時間と呼ぶ）も記述されている。

第１監視部１５−Ａは、第２監視部２５−ＢからＲＴＣＰ ＲＲを受信すると、ＲＴＣＰ ＳＲの送信時刻からＲＴＣＰ ＲＲの受信時刻までの時間から応答時間を引いた時間であるＲＴＴ（Round Trip Time）を算出する。また、第１監視部１５−Ａは、ＲＴＣＰ ＳＲの送出パケット数とＲＴＣＰ ＲＲの損失数を参照し、定期期間内における(損失数)/(送出パケット数)=パケット損失率を算出する。第１監視部１５−Ａは、ＲＴＴとパケット損失率を通信状態レポートとして帯域推定部１６−Ａに送る。

監視パケットを出す間隔は、１０秒から数１０秒に一回あたりが適当と考えられるが、1回の監視パケット試行での推定では、ネットワーク状態が正確に把握できない時も多いため、複数回に分けて行い、その平均等を取って推定する方が推定確度は増す。監視パケットの数量を多くすると,それ自体が帯域を狭める要因ともなるので、全体の通信量の２−３％に留めておくのが好ましい。

なお、以上に説明した以外にも、各種のQoS(Quality of Service)制御技術を帯域推定部１６に用いることで通信状態レポートを得ることができる。

また、通信端末１００は、相手方の通信端末１００からパケット送信された圧縮符号化された動画像データのパケットを受信する受信部２１、受信した映像信号をＹ，Ｕ，Ｖの映像信号に復号再生する復号化部２２、復号化部２２の再生したＹ，Ｕ，Ｖの映像信号を蓄積するバッファ２３、バッファ２３から出力されるＹ，Ｕ，Ｖの映像信号から映像を再生表示する表示装置２４を備えている。

さて、従来のように、ネットワーク５の伝送帯域の減少が推定された際に伝送フレームレートを低下させると、すなわちフレームを間引くと、動きが滑らかでないカクカクしたぎこちないものになる。リアルタイム映像送信においてしばしば発生するこの不具合は、色情報よりも物体の動きや形状をより正確に伝えたい場合に特に不都合である。例えば、視覚障害者同士で手話を行う際、手、指、顔の動きが詳細に把握できないと、コミュニケーションの大きな障害となりかねない。このため、本発明の通信端末１００は、ネットワーク５の伝送帯域の低下を推定したことに応じて、フレームを間引くのではなく、あるいは単に全体の圧縮ビットレートを低下させて画質全体を落とすのではなく、送信すべき動画像データをカラー画像から白黒画像に切り替える事を主眼とするものである。

即ち、通信端末１００は、バッファ１２から符号化部１３へのＵ，Ｖの映像信号の出力経路を接続又は切断するスイッチング回路１７と、スイッチング回路の動作を制御する切替制御部３０とを備えており、切替制御部３０は、帯域推定部１６が伝送帯域の低下を推定したことに応じ、スイッチング回路１７を動作させてＵ，Ｖの映像信号の出力経路を切断する。Ｕ，Ｖの映像信号の出力経路を切断すると、符号化されるべき映像信号がＹ信号のみとなり、映像信号がカラーから白黒となる。

さらに、符号化部１３は、Ｕ，Ｖの映像信号の出力経路が切断されたことに応じ、Ｕ，Ｖの映像信号の切断によって削減されたデータ量を上限として、Ｙ信号の符号化ビットレートを増加させる。具体的には、ＹＵＶ４：２：０フォーマットの場合、Ｕ，Ｖの映像信号の出力経路を切断すると、１ピクセルあたり１２ビット中４ビット、比率に換算して約３３％のデータが削減される。ＹＵＶ４：２：２フォーマットの場合、１ピクセルあたり１６ビット中８ビット、比率に換算して５０％のデータが削減される。ＹＵＶ４：４：４フォーマットの場合、１ピクセルあたり２４ビット中１６ビット、比率に換算して６６％のデータが削減される。このため、ＹＵＶ４：２：０フォーマットの場合は最大１．５倍、ＹＵＶ４：２：２フォーマットの場合は最大２．０倍、ＹＵＶ４：４：４フォーマットの場合は最大３．０倍まで、Ｙ信号の符号化ビットレートを増加させる事が可能となる。

図３は、かかる動作を示すフローチャートである。帯域推定部１６が伝送帯域の低下を推定すると（Ｓ１で“Ｙ”）、切替制御部３０は、スイッチング回路１７を動作させてＵ，Ｖの映像信号の出力経路を切断する（Ｓ２）。符号化部１３は、Ｕ，Ｖの映像信号の出力が切断されたことによって削減されたデータ量を上限として、Ｙ信号符号化ビットレートを増加させる（Ｓ３）。このＳ１〜Ｓ３の一連の動作は必要に応じて繰り返される。

例えばＹＵＶ４：２：０フォーマットの場合、Ｕ，Ｖの切断によって削減される１ピクセルあたりのデータ量に比例した値、１２ビット／８ビット＝１．５倍を上限として、Ｙ信号符号化ビットレートを増加させたとする。映像は白黒に変わるが、Ｙ信号の符号化ビットレートを増加させるので、動画像としての画質が高まる。換言すると、例えば、帯域が４００ｋｂｐｓであっても、白黒画像に切り替えれば、理論的には最大６００ｋｂｐｓのビットレートで動画像を符号化でき、帯域が低下しても５割増しの品質の動画像を送ることができる。従来のように、帯域の低下に応じてフレームレートを減少させるのではないため、帯域の低下に伴って画像がカクカクしたぎこちないものになることはない。

切替制御部３０は、帯域推定部１６が伝送帯域の増加を推定したことに応じ、スイッチング回路１７を動作させてＵ，Ｖの映像信号の出力経路を再び接続し、Ｙ，Ｕ，Ｖ信号の符号化ビットレートを元のカラー動画信号に戻す。即ち、帯域が低下したら白黒画像に切り替え、帯域が好転すれば、元の符号化ビットレートでカラー映像を送出する。

どの帯域ビットレートを切り替え点にするかは、個別のシステムで設定するが、現状の圧縮技術とインターネットの状況から判断すれば、３００ｋｂｐｓから５００ｋｂｐｓの範囲あたりが適当ではないかと考えられる。本実施例では４００ｋｂｐｓに設定している。

さらに、通信端末１００において、上記ステップＳ１〜Ｓ３を動作させる方法及びプログラムも本発明に含まれる。さらに本実施例で述べたスイッチング回路等もプログラム制御によって実現可能である。

リアルタイム通信端末のブロック図 第１監視部及び第２監視部によるＲＴＣＰ ＳＲとＲＴＣＰ ＲＲの送受信を概念的に示した図 通信端末の動作を示すフローチャート

符号の説明

１１：信号変換部、１３：符号化部、１６：帯域推定部、１７：スイッチング回路

Claims (4)

1. ＲＧＢ映像信号を入力する入力部と、
   前記ＲＧＢ映像信号をＹＵＶ映像信号に変換して出力する変換部と、
   前記変換部から出力されたＹＵＶ映像信号を動画像にデジタル変換した上で圧縮符号化する符号化部と、
   前記符号化部により圧縮符号化された動画像を、ネットワークを介して接続された相手方の通信端末とリアルタイムで送受信する通信部と、
   前記ネットワークの帯域変動を推定する帯域推定部と、
   前記変換部から前記符号化部へのＵＶ映像信号の出力経路を接続又は切断するスイッチング回路と、
   前記帯域推定部による帯域変動の推定に応じて前記スイッチング回路を動作させて前記ＵＶ映像信号の出力経路を切断する切替制御部と、
   を備え、
   前記圧縮符号化部は前記ＵＶ映像信号の出力経路を切断したことに応じて前記Ｙ信号圧縮符号化のビットレートを増加させる動画像リアルタイム通信端末。
2. 前記変換部は前記ＲＧＢ映像信号をＹＵＶ４：２：０フォーマットのＹＵＶ映像信号に変換し、
   前記圧縮符号化部は前記Ｙ信号圧縮符号化のビットレートを最大１．５倍まで増加させる請求項１に記載の動画像リアルタイム通信端末。
3. ＲＧＢ映像信号を入力する入力部、前記ＲＧＢ映像信号をＹＵＶ映像信号に変換して出力する変換部、前記変換部から出力されたＹＵＶ映像信号を動画像にデジタル変換した上で圧縮符号化する符号化部、前記符号化部により圧縮符号化された動画像を、ネットワークを介して接続された相手方の通信端末とリアルタイムで送受信する通信部、前記ネットワークの帯域変動を推定する帯域推定部、前記変換部から前記符号化部へのＵＶ映像信号の出力経路を接続又は切断するスイッチング回路を備える動画像リアルタイム通信端末の制御方法であって、
   前記帯域推定部による帯域変動の推定に応じて前記スイッチング回路を動作させて前記ＵＶ映像信号の出力経路を切断するステップと、
   前記ＵＶ映像信号の出力経路を切断したことに応じ、前記圧縮符号化部によるＹ信号圧縮符号化のビットレートを増加させるステップと、
   を含む動画像リアルタイム通信端末の制御方法。
4. ＲＧＢ映像信号を入力する入力部、前記ＲＧＢ映像信号をＹＵＶ映像信号に変換して出力する変換部、前記変換部から出力されたＹＵＶ映像信号を動画像にデジタル変換した上で圧縮符号化する符号化部、前記符号化部により圧縮符号化された動画像を、ネットワークを介して接続された相手方の通信端末とリアルタイムで送受信する通信部、前記ネットワークの帯域変動を推定する帯域推定部、前記変換部から前記符号化部へのＵＶ映像信号の出力経路を接続又は切断するスイッチング回路を備える動画像リアルタイム通信端末の制御プログラムであって、
   前記帯域推定部による帯域変動の推定に応じて前記スイッチング回路を動作させて前記ＵＶ映像信号の出力経路を切断するステップと、
   前記ＵＶ映像信号の出力経路を切断したことに応じ、前記圧縮符号化部によるＹ信号圧縮符号化のビットレートを増加させるステップと、
   を前記動画像リアルタイム通信端末に実行させる動画像リアルタイム通信端末の制御プログラム。

Images