JP2001045495A

JP2001045495A - 画面合成装置

Info

Publication number: JP2001045495A
Application number: JP21849299A
Authority: JP
Inventors: Norio Suzuki; 典生鈴木
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 1999-08-02
Filing date: 1999-08-02
Publication date: 2001-02-16

Abstract

(57)【要約】【課題】各テレビ会議端末の画像を正確に復号化して、
これらを合成して合成画面を作っていたので、復号化部
が端末の数だけ必要で、合成画面を作る場合に装置規模
が大きくなった。【解決手段】Ｈ．２６１等の符号化方式は、フレーム内
符号化とフレーム間予測符号化を併せて符号化するモー
ドがあり、フレーム内符号化は数十フレームに１回の割
合で送られるので、フレーム内符号化データだけを取り
出して、各テレビ会議端末６からのフレーム内符号化デ
ータをバッファメモリ３で平滑化して時分割多重化し
て、１つの信号列として復号化及び画面合成の処理を行
うことにより、準動画の合成画面を小規模な装置間で簡
単に構成できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画面合成装置、特に
多地点テレビ会議制御装置（Multipoint ControlUnit :
MCU)において多地点の合成画面を得るのに好適な画面
合成装置に関する。

【０００２】

【従来の技術】情報化時代にあっては、時間が重要なフ
ァクタであり、多地点をテレビ回線で結んで会議を行う
多地点テレビ会議システムが急速に普及している。この
システムの導入により、時間及び経費を大幅に短縮又は
低減することが可能になる。

【０００３】画像符号化伝送装置端末を用いて多地点テ
レビ会議を行う場合、各端末と多地点制御装置（MCU）
でシステムが構成されるが、端末で全参加地点の画面を
見ることができれば、全体の様子を把握するのに便利で
あり、円滑なテレビ会議が可能になる。全地点を見る為
には、MCUで、各端末からの符号化伝送信号を復号化し
て、復号した画像信号から合成画面を作り、この合成画
面を符号化して各端末へ符号化伝送する必要がある。こ
の復号化処理及び合成処理を行う為には、復号化装置と
画面を縮小する為の画面縮小回路が合成画面数に対応し
て必要となるので、装置規模が大きくなる傾向があっ
た。

【０００４】この為に、画面合成機能としては、画面合
成した画像信号を見るメリットに対して装置規模の拡大
によるコスト上昇というデメリットのバランスがとりに
くい。多地点参加でテレビ会議を行った場合に、多地点
の合成画面を常時見るよりは、話者（発信者）／議長／
所望地点等の各画像を選択することの方が実質的に多く
利用される。多地点の合成画面は、地点数が増加するに
つれて各地点の画面は小さくなる。全体の概要を知るに
は合成画面は有効であるが、ある特定画面を詳細に見よ
うとすると、小さすぎてしまい、必要な１つの画面を選
択して表示する必要がある。

【０００５】１例として、１６地点の合成画面をMCUで
作るには、各端末からの信号を復号化する為に１６個の
復号化装置及び１６個の画面縮小回路が必要となり、回
路規模は非常に大きくなる。合成画面を全体概要の表示
機能として用いるには、これら１６地点の画像は準静止
画等でもよいが、その為には別の画像情報を送信する為
の符号化機能を余分に追加する必要があり、ITU-TのH３
２０等の標準仕様に基づいて構成されたシステムでは実
現できない。

【０００６】そこで、MCUの画面合成手法として、いく
つかの手法が提案されている。例えば、特開平１０−２
００８７２号公報の「多地点テレビ会議制御装置及び画
面合成符号化方法」には、合成画面の画質の劣化を抑制
する多地点テレビ会議制御装置（MCU）を開示してい
る。その為の技術手段として、各復号化装置からの復号
化情報を比較して、画像の劣化の目立ち難さを相対的な
段階に分け、それを合成符号化制御信号として符号化部
へ供給する。符号化部は、バッファメモリの占有量に応
じて符号化を行う際に、合成符号化制御信号に従って量
子化特性を変更する。

【０００７】この従来技術のブロック図を図８に示す。
複数のテレビ会議端末６３−１〜６３−n、ネットワー
ク６２及びMCU６９より構成される。MCU６９は、データ
交換部６４、複数の復号化部６５−１〜６５−ｎ、画像
合成部６６、合成符号化制御部６８及び符号化部６７を
含んでいる。各テレビ会議端末６３からネットワーク６
２を経てMCU６９のデータ交換部６４に入力された信号
は、選択された復号化部６５に送られ、復号化されて画
像信号を出力する。画像合成部６６では、供給される選
択信号により選択された画像について画面合成が行われ
る。合成した画像信号を符号化部６７へ供給し、合成符
号化制御部６８からの制御信号に従って量子化特性を適
応的に変化させて合成画面を符号化して出力する。この
出力は、データ交換部６４及びネットワーク６２を経て
テレビ会議端末６３へ合成画面の送信を行う。

【０００８】また、特開平１０−３１３４５３号公報の
「異速度間での多地点テレビ会議接続方法及びシステ
ム」には、多画面合成を用いた多地点テレビ会議におい
て、異速度間の相互通信を簡単な構成で比較的安価に、
各端末の転送レートの設定作業を不要とする技術を開示
する。その為に、MCU内で転送レートの異なる各端末か
らの映像を各々復号化器で復号し、間引きして合成した
後に複数の符号化器において各転送レートで符号化して
各端末へ送信する。受信した映像の転送レートを自動的
に検出して符号化及び復号化する。画面合成は、各端末
からの信号を各々復号する復号化器で復号した画像を画
像合成器により合成する。

【０００９】更に、特開平４−３１７２８５号公報の
「映像信号多重復号化装置」は、多地点から送られて来
る映像符号化データを画面合成回路を用いて１つの画面
に合成した後、可変長復号化を行うことにより、１つの
可変長復号化回路で多地点からの映像信号を再生するこ
とを開示する。その構成ブロック図を図９に示す。即
ち、この装置は、デジタル／アナログ変換器（D／A）９
７、フレームメモリ（FM）９５、加算回路９４、可変長
復号化回路（VLDEC）９３、画面合成回路９８、複数の
受信バッファメモリ（BM）９２a〜９２d及び複数の受信
回路９１a〜９１dより構成される。

【００１０】複数の符号化データ受信回路９１a〜９１d
で受信した映像符号化データが各々対応するBM９２a〜
９２dに一時的に蓄積される。画面合成回路９８は、BM
９２a〜９２dからフレーム位相を合わせて複数地点から
供給される映像符号化データを読出し、複数の画面を合
成して、１画面分の映像符号化データに変換する。この
際に、複数地点から送られて来るブロック数の総和が出
力画面のブロック数より多い場合には、余分なブロック
データを削除する。他方、少ない場合には、ダミーブロ
ックデータを挿入し、合成画面のブロック数と出力画面
のブロック数を一致させる。画面合成回路９８からの合
成画面符号化データは、可変長復号化回路９３で差分情
報に変換され、更に加算回路９４で前フレームの再生映
像データと加算され、現フレームの映像が再生され、D
／A９７に供給されアナログ信号に変換される。再生さ
れた映像データは、次のフレームの画像を再生する為
に、フレームメモリ９５に蓄積される。

【００１１】更にまた、特開平９−１４９３３２号公報
の「マルチ画面作成装置」は、装置規模が小さく且つ安
価となるマルチ画面作成装置を開示している。その構成
を示すブロック図を図１０に示す。即ち、多重デジタル
信号が入力される入力端子１２１、分離回路１２２、Ｉ
ピクチャ検出回路１２３、デコード回路１２４、マルチ
画面作成回路１２５、制御回路１２６及び表示画面１２
７より構成される。ここで、分離回路１２２は、複数の
圧縮されたデジタル映像信号を多重化して伝送される多
重デジタル信号からN個のデジタル映像信号を順次分離
する。検出回路１２３は、分離回路１２２により分離さ
れたN個のデジタル映像信号から、フレーム内符号化さ
れた部分のみを検出する。デコード回路１２４は、検出
回路１２３により検出されたN個のフレーム内符号化さ
れた部分を順次デコードする。このデコード回路１２４
によりデコードされたN個の映像信号を表示領域がN個に
分割された表示画面１２７上の各領域A〜Dに圧縮して表
示するよう制御回路１２６で制御している。

【００１２】

【発明が解決しようとする課題】上述した従来技術１乃
至４には、いくつかの問題点がある。先ず従来例１及び
２にあっては、多地点テレビ会議システムの各端末から
全地点の様子を見るには、ＭＣＵで各地点の画像の復号
化データを各々復号化し、画面合成した後に、符号化し
て各地点に符号化信号を送信する構成である。従って、
ＭＣＵで各地点の画像を復号化する為に地点数分の復号
化装置が必要となり、装置が大規模且つ高価となる。

【００１３】また、上述した従来技術３では、受信バッ
ファメモリ９２からの信号を画面合成回路９８で合成し
た信号で復号化することにより、可変長復号化回路９
３、加算回路９４及びフレームメモリ９５を１つの処理
回路で構成できる。しかし、画面合成方式がｎ地点から
の映像符号化データを読出し、ｎ個の画面を合成して１
画面分の映像符号化データに変換する。この際に、ｎ地
点から送られて来るブロック数の総和が出力画面のブロ
ック数と一致させる為に送信側で予め画面のサイズを縮
小しておく必要がある。その為に、例えば通常サイズで
送られて来た４つの画面を各々縦横１／２に縮小して４
画面を合成して１つの画面とする如き、画面合成ができ
ず、各画面を縦横１／２の大きさに切取る為に、画面に
欠けが生じるという問題がある。また、ブロックデータ
の増減で画面を調整する方法は符号化方式がフレーム間
方式の場合にのみ有効であり、テレビ会議端末の方式で
汎用的な標準方式であるH.２６１等の予測方式には動き
補償予測方式が用いられるので、ブロックを削除すると
正しく復号化できない。

【００１４】更にまた、上述した従来技術４をMCU制御
装置に適用するには、各端末からMCUへ送信されて来た
圧縮されたデジタル信号を一旦多重化して多重デジタル
信号として適用することになる。しかし、この従来技術
では、多重デジタル信号からN個のデジタル映像信号を
順番にデコードする為に、N個の画面を１回リフレッシ
ュする迄の時間が長くかかることになり、各地点の様子
をよく見ることができない。例えば、テレビ会議装置の
送信端末では、伝送効率を上げる為にエラー回復の為の
リフレッシュとしてフレーム内符号化を行うには最低１
〜２秒の周期となる。そして、N＝１６地点の多地点で
会議を行った場合には、１個のフレームを検出するのが
平均０．５〜１秒とすると、合成画面が得られる平均周
期は８〜１６秒の時間がかかるので、合成画面は静止画
に近く、MCUの合成画面としては不適切である。

【００１５】本発明の目的は、多地点から送られて来た
符号化信号を復号化して合成画面を作って各端末に送信
する為に、簡単な構成で準動画の合成画面が得られる多
地点テレビ会議システム用の画面合成装置を提供するこ
とである。

【００１６】

【課題を解決するための手段】前述の課題を解決するた
め、本発明による画面合成装置は、次のような特徴的な
構成を採用している。

【００１７】（１）複数のテレビ会議端末を有し、該各
テレビ会議端末でフレーム内符号化とフレーム間符号化
の両モードを有する符号化方式で画像信号を符号化した
信号を受信して合成画面を作成する画面合成装置におい
て、前記各テレビ会議端末からのフレーム内符号化デー
タのみを分離するデータ分離部と、該分離部で分離され
たデータを平滑化するバッファメモリと、該バッファメ
モリの出力をフレーム内復号化するフレーム内復号化部
と、該フレーム内復号化部からの合成画面を作成する画
面合成部とを備える画面合成装置。

【００１８】（２）前記テレビ会議端末で所望周期毎に
フレーム内符号化を行う制御部を備える上記（１）の画
面合成装置。

【００１９】（３）前記テレビ会議端末からのフレーム
内符号化データを時分割多重化して単一フレーム内復号
化部でフレーム内復号化を行う復号化部と、多重化され
た再生画像信号を帯域制限及び再標本化する単一画面縮
小手段とを備える上記（１）の画面合成装置。

【００２０】（４）前記各テレビ会議端末からの符号化
データからフレーム内符号化データを時分割多重化処理
で分離する単一データ分離回路から成るデータ分離部
と、前記バッファメモリをアドレス空間区分して１つの
メモリで構成するバッファメモリとを有する上記（１）
の画面合成装置。

【００２１】（５）前記バッファメモリに１フレームの
フレーム内符号化データを蓄積される順番に優先順位を
つけて復号化を行う制御部を有する上記（１）の画面合
成装置。

【００２２】（６）前記フレーム内符号化データに識別
信号符号化データを多重化する識別信号発生部と、多重
化信号を復号化して得られる復号画像信号から前記識別
信号を検出して各フレームの再生画像を該当する画面の
合成位置に書込む画面合成部を有する上記（５）の画面
合成装置。

【００２３】（７）送信側の画像信号の一部に識別信号
を加算してフレーム内符号化する手段を有するテレビ会
議端末と、受信側においてフレーム内符号化データを復
号した復号画像信号から前記識別信号を検出し、各フレ
ームの再生画像を該当する画面の合成位置に書込む画面
合成手段とを有する上記（５）の画面合成装置。

【００２４】

【発明の実施の形態】以下、本発明による画面合成装置
の好適実施形態例の構成及び動作を参照して詳細に説明
する。

【００２５】先ず図１は、本発明の画面合成装置の第１
実施形態例のブロック図である。この画面合成装置は、
複数のテレビ会議端末６a〜６d、ネットワーク７及びMC
U８より構成される。また、MCU８は、データ交換部１、
複数のデータ分離部２a〜２d、複数のバッファメモリ３
a〜３d、符号化部５、フレーム内復号化部３２及び画像
合成部３３を含んでいる。

【００２６】複数（図１の例では４台）のテレビ会議端
末６a〜６dは、ネットワーク７を介してMCU８に接続さ
れている。各テレビ会議端末６は、例えばITU-T H.３
２０に準拠しており、例えばITU-T H.２６１に準拠す
る符号化方式及び復号化方式を採用している。また、各
テレビ会議端末６は、画像信号を符号化（圧縮符号化）
し、端末データとしてネットワークへ送出する。H.２６
１の符号化では、フレーム内符号化（I）とフレーム間
予測符号化（P）の符号化モードを有する。通常は、フ
レーム間予測符号化で行われるが、端末の切替え選択時
の復号開始、伝送路エラー時の復号開始の初期化の為
に、フレーム内符号化が必要であり、適当な周期（例え
ば１秒に１回）毎にフレーム内符号化を行って符号化デ
ータを送出する。

【００２７】多地点テレビ会議制御装置（MCU）８は、
ネットワーク７に送出された各テレビ会議端末６からの
端末画像データをデータ交換部１によって受信し、各テ
レビ会議端末６に対応するデータ分離部２へ供給する。
画面合成を行わない場合には、端末画像データは復号化
されず、そのまま交換して所望のテレビ会議端末６への
送信データとしてネットワーク７へ送り出される。

【００２８】データ分離部２は、端末画像データ列から
符号化モードの切替わりの先頭を検出する機能を有し、
端末画像データの中からフレーム内符号化データとフレ
ーム間予測符号化データとを分離し、フレーム内符号化
データのみをバッファメモリ３へ供給する。各端末毎に
対応したバッファメモリ３は、蓄積したフレーム内符号
化データを所定の順番にフレーム内復号化部３２へ供給
する。また、データ分離部２で検出されたフレーム内符
号化圧縮データは、バッファメモリ３に供給され、各バ
ッファメモリ３は、１フレームの画面をフレーム内符号
化した圧縮データを蓄積する容量を有する。n個（例え
ばn＝１６）のバッファメモリ３には、該当する端末の
画像の１フレーム毎のフレーム内符号化データが約１秒
の周期で順次書込まれる。バッファメモリ３の読出し
は、フレーム内復号化部３２の処理制御の要求に依り、
n個のバッファメモリ３から順に選択されて読出され、
フレーム内復号化部３２へ供給される。あるバッファメ
モリ３で読出された後、次の読出しまでの間に、バッフ
ァメモリ３にフレーム内符号化圧縮データが蓄えられて
いない場合には、読飛ばされ、信号なしの状態で出力さ
れる。

【００２９】フレーム内復号化部３２は、H.２６１のテ
レビ会議端末６の有する符号化方式のうち、フレーム内
符号化方式（I）のモードのみを復号する機能を有し、
バッファメモリ３から供給されたフレーム内符号化圧縮
データを復号して、復号画像信号を得て、画像合成部３
３へ供給される。

【００３０】標準NTSCのテレビ信号（画像信号）は、１
秒間に３０フレームの信号から構成される。通常の復号
化装置の信号処理速度は、通常３０フレーム／秒以上で
あり、フレーム内符号化部の処理速度も同等以上であ
る。この為に、約１秒間に１回のフレーム内符号化を行
うようにテレビ会議端末６の符号化部の設定を行った場
合、３０地点からのフレーム内符号化データを多重化す
ると、１秒間に３０フレーム分の信号となるが、この程
度であればフレーム内復号化部３２は十分処理できる。

【００３１】画像合成部３３は、各テレビ会議端末６か
ら送られて来たフレーム内符号化で取込まれた画像信号
を、所望の画面数を選択し、所望のサイズに縮小し、所
望の合成画面となるように、順番に並べて合成フレーム
メモリ（図示せず）に一旦蓄積してから符号化部５へ供
給する。符号化部５は、テレビ会議端末６の符号化部と
同じ符号化の機能を有しており、フレーム内符号化とフ
レーム間予測符号化の符号化モードを適応的に切替え
て、画像合成部３３から供給された合成画像信号を符号
化して、符号化データをデータ交換部１へ供給する。

【００３２】データ交換部１は、各テレビ会議端末６か
ら送られて来る制御信号に基づいて、各テレビ会議端末
６が所望する画像に対応する符号化データを選択してネ
ットワーク７へ送出する。各テレビ会議端末６に対し
て、各々合成画面が要求された場合には、画面合成信号
の符号化データを選択して送出する。あるテレビ会議端
末６の１画面の画像が要求された場合には、該当するテ
レビ会議端末６からの符号化データを選択して送出す
る。

【００３３】テレビ会議端末６は、ネットワーク７を介
して符号化データを受信し、復号化して復号信号を得
る。テレビ会議端末６では、全体の様子を知りたいと
き、合成画面の受信を選択する選択信号をMCU８へ送
る。合成画面中の個々の画面は、約１秒に１フレーム変
わる準動画であるが、全体の動きを知るには十分であ
る。全体の様子が判明した後、話者選択の画面を選択す
る。話者選択は、MCU８のデータ交換部１で、音声信号
に基づいて、テレビ会議に参加しているテレビ会議端末
６の中で発言中と思われる端末を推定して、この推定さ
れた１つのテレビ会議端末６の画面を自動的に選択し
て、符号化データをテレビ会議端末６に送信する。

【００３４】図３は、図１中のフレーム内復号化部３２
の具体的なブロック図である。フレーム内復号化部３２
は、可変長復号化部４１及びフレーム内復号器４２を備
え、H.２６１のフレーム内復号化処理を行う。通常のテ
レビ信号のフレーム数と同じである１秒間に３０フレー
ムの画像を復号する処理速度を有している。図１中のバ
ッファメモリ３から供給される時分割多重化されたフレ
ーム内符号化データの多重化信号を順次復号化して、復
号した１フレーム毎の画像を出力する。復号画像は、１
フレーム毎に時分割の多重化の順番で各テレビ会議端末
６の画面が復号化されて出力される。

【００３５】次に、図４は、図１中の画像合成部３３の
具体的なブロック図を示す。この画像合成部３３は、帯
域制限フィルタ５１、再標本化回路（リサンプラー）５
２及び合成フレームメモリ５３より構成される。帯域制
限フィルタ（間引きフィルタ）５１は、再標本化で画像
信号のサンプル数を間引いたときに折返し歪みが発生し
ないように、予め縦横方向の１／４の周波数となるよう
に帯域制限を行う。再標本化回路５２は、帯域制限され
た信号を所望の縮小率になるように縦と横をそれぞれ１
／４に間引いて出力する。帯域制限フィルタ５１と再標
本化回路５２とで構成される画面縮小回路５５は、所望
のサイズに間引いた画像信号を生成する。合成フレーム
メモリ５３は、この間引かれた画像信号を、書込みアド
レスを制御して、各テレビ会議端末６の画面が合成画面
の所望の位置に配置されるように書込む。従って、合成
画面は、１フレーム毎に合成画面の中の各テレビ会議端
末６の画面が順に更新される。n＝１６の場合、１秒経
つと全てのテレビ会議端末６からの画面が更新される。
この合成された画面は、１秒間に３０フレームの割合で
合成フレームメモリ５３から読出される。

【００３６】画像合成部３３から読出された合成画面の
信号は、符号化部５へ供給され、H.２６１の符号化方式
で符号化された符号化データは、データ交換部１へ供給
される。データ交換部１は、各テレビ会議端末６から送
られて来る制御信号に基づいて、各テレビ会議端末６が
所望する画像に対応した符号化データを選択してネット
ワーク７へ送出する。

【００３７】次に、図５にフレーム内符号化データの多
重化の様子を示す。各データ分離部２に供給される符号
化データ信号のうち、初めの４つのデータ分離部２に供
給される信号が図５中の信号a〜dで示される。「I」
は、フレーム内符号化のデータ、「P」は、フレーム間
符号化データを示す。「O」はデータがない場合を示
す。各データ分離部２でフレーム内符号化データが分離
され、各バッファメモリ３はフレーム内符号化データ
「I」を蓄積する。多重化信号yは、信号a、b、c及びdの
順に、フレーム内符号化のデータ「I」を順次選択し
て、多重化を行った多重化信号を得る。図５中、m＋２
番目のフレーム周期のタイミングでは、次のフレーム内
符号化のデータがバッファメモリ３に蓄積されていない
ので、データなしを示す信号として、例えば「O」の信
号が多重化される。信号bのフレーム内符号化データIb
＊は、次の周期まで待って多重化される。多重化信号y
は、フレーム内復号化部３２に供給されてフレーム内復
号化が行われる。

【００３８】実際の符号化データは、各テレビ会議端末
６の違いや、時間的変動で、フレーム毎にデータ量が変
動する。また、フレーム間予測符号化「P」の場合よ
り、フレーム内符号化「I」の場合の方が情報量が多く
なるのが普通である。従って、図５で示す模式的な表示
では、簡単の為に全て同じ長さのデータブロックとして
いるが、実際には個々に異なる。

【００３９】次に、図２のブロック図を参照して、本発
明の画面合成装置の第２実施形態例を説明する。尚、図
１の画面合成装置の構成要素と同じ構成要素には同様の
参照符号を使用する。このMCU３４は、データ交換部
１、複数のデータ分離部２a〜２d、フレーム内復号化部
３２、画像合成部３３及び符号化部５を含む点で、図１
のMCU８と同じである。但し、複数のデータ分離部２の
出力を、一括して単一のバッファメモリ３１に供給する
ことを特徴とする。バッファメモリ３１は、複数のチャ
ンネルのデータを並列処理する。１．５Mb／s程度のデ
ータレートであれば高速メモリ１個で１６チャンネル分
のバッファメモリを時分割で並列処理可能である。

【００４０】次に、フレーム内符号化圧縮データ信号の
多重化方法として、上述の如く各テレビ会議端末６毎に
順番に多重化してフレーム内復号化部３２で復号する方
法では、取込みタイミングのずれで復号化が最大約１秒
遅れることになる。これを改善する為の第３実施形態例
のブロック図を図６に示す。このMCU８５は、データ交
換部１、複数のデータ分離部２を有するデータ分離部８
０１、複数のバッファメモリ８１を有するバッファメモ
リ８０２、制御部８２、フレーム内復号化部８３、画像
合成部８４及び符号化部５より構成される。

【００４１】データ交換部１、データ分離部２及び符号
化部５は、図１の対応要素と同様に動作する。バッファ
メモリ８１は、データ分離部２から分離されたフレーム
内符号化データが１フレーム分蓄積されると、制御部８
２にバッファメモリ８１を区別する為の番号と蓄積され
たことを示す状態信号を供給する。

【００４２】制御部８２は、各バッファメモリ８１から
供給される状態信号から、１フレームデータが蓄積され
た順番に優先順位を付けて、１フレーム毎に時分割多重
でバッファメモリ８１から順番に読出してフレーム内復
号化部８３へ供給するよう制御する。どのバッファメモ
リ８１も１フレーム分のフレーム内符号化データを蓄積
していない場合は、データなしとして「０」のデータが
出力される。バッファメモリ８１に１フレーム分のデー
タが蓄積されると直ちに復号化が行われるので、画像信
号が再生されるまでの遅延時間を少なくすることが可能
である。

【００４３】フレーム内復号化部８３では、多重化され
た信号を１フレーム毎に順次復号化して、復号画像信号
を画像合成部８４に供給する。データがない場合には、
復号化は行わない。画像合成部８４では、画像信号を帯
域制限した後、リサンプルして所望のサイズに縮小す
る。制御部８２は、縮小した画面がどのバッファメモリ
８１の番号の画像か（即ちどのテレビ会議端末の画像
か）判るので、番号に対応した合成画面の位置のメモリ
アドレスを指定して縮小した画像信号データを合成フレ
ームメモリに書込むようにする。

【００４４】この実施形態例では、フレーム内符号化圧
縮データが１フレーム分、蓄積されたところから優先的
に復号化を行うようにした為に、バッファメモリ８１で
の遅延時間を少なくでき、画像信号の伝送遅延を少なく
することが可能である。

【００４５】データ速度が３８４kb／sの場合、１６の
テレビ会議端末分のデータ速度は３８４×１６＝６.１
４４Mb／sとなる。この程度の速度であれば、データ分
離部８０１とバッファメモリ８０２は十分動作するの
で、各処理部を並列で個別に設けなくとも、これらデー
タ分離部８０１及びバッファメモリ８０２をそれぞれ１
個にまとめると、時分割で並列処理することにより、装
置の規模を更に小さくすることができる。この場合、時
分割多重処理で各テレビ会議端末からのデータを分離
し、バッファメモリは読出し／書込み独立のメモリで構
成され、アドレス空間で各バッファメモリ領域を分けて
使用する。また、フレーム内符号化で送る周期は約１秒
に制限する必要はなく、自由に設定可能である。周期が
短い場合又は合成画面数が多い場合、多重化されるフレ
ーム内符号化データは１秒間のフレーム枚数が３０枚を
超える場合がある。この場合、フレーム内復号化部の処
理速度が間に合えば、そのまま復号化を行う。処理速度
が間に合わない場合には、適当なフレームのデータを間
引いて復号化を行う。

【００４６】フレーム内復号化部８３を汎用のH.２６１
の復号器を用いて構成する場合、入力インタフェースが
H２２１のフレーム構成の伝送路インタフェースで且つ
データの平滑化を行うバッファメモリが入力側にある場
合、入力データがフレーム毎に各端末のフレーム内符号
化データが多重化されていると、復号器で復号化を行っ
た後に出力される再生画像信号が、どのテレビ会議端末
の再生画像信号か判定が困難となる。そこで、再生画像
信号の中に、どのテレビ会議端末の画像信号であるかを
区別する識別信号を画像信号の中に盛込み、復号器から
出力された再生画像信号からこの識別信号を検出して、
どのテレビ会議端末の画像信号かを判定するようにする
ことが考えられる。尚、識別信号の挿入方法は、送信側
のテレビ会議端末で画像信号に挿入するか、フレーム内
符号化データを多重化する時間の間に識別画面のデータ
を挿入することが考えられる。

【００４７】斯かる機能を付加した本発明の画面合成装
置の第４実施形態例を、図７のブロック図を参照して説
明する。この実施形態例のMCU９０は、データ交換部
１、複数のデータ分離部２a〜２dを含むデータ分離部８
０１、複数のバッファメモリ８１a〜８１dを含むバッフ
ァメモリ８０２、制御部８２、多重化部８６、復号化部
８８、識別信号発生部８７、識別信号検出部８９、画像
合成部８４及び符号化部５より構成される。

【００４８】データ交換部１で各テレビ会議端末からの
信号を受信し、該当するデータ分離部２へデータを供給
する。データ分離部２では、フレーム内符号化データの
みを分離し、バッファメモリ８１へ供給して蓄積する。
識別信号発生部８７は、制御部８２からの制御信号に基
づき、指定されたバッファメモリ８１の番号を識別でき
る１フレームの画像信号をフレーム内符号化した圧縮デ
ータを発生して多重化部８６へ供給する。識別用の１フ
レームの画像信号は、先頭に番号識別信号を入れて、残
りは固定値としておく。

【００４９】多重化部８６は、バッファメモリ８１に１
フレームのフレーム内符号化データが蓄積された順番に
選択して取込む。この取込み前に識別信号発生部８７か
ら該当するバッファメモリ８１の番号を符号化した圧縮
データを先に取込み、データがバッファメモリ８１の識
別番号データ、該当番号の画像信号のデータの順に交互
に多重化するようにする。また、多重化したデータが後
段の復号化部８８でそのまま復号化できるように、所望
の符号化データのフレームに再構築する。復号化部８８
は、汎用のH.２６１の復号化LSI（又はCPU）で構成さ
れ、符号化データを復号化して画像信号を再生して出力
する。

【００５０】識別信号検出部８９は、再生画像信号から
識別番号を検出して画像合成部８４へ供給する。画像合
成部８４は、再生画像信号に対して識別信号が検出され
る毎に次の１フレームの画像を帯域制限して、所望のサ
イズに縮小した後、識別信号検出部８９から供給された
識別番号の合成画面の位置に該当するメモリアドレスを
指定して書込む。

【００５１】符号化部５は、画像合成部８４から供給さ
れる合成画面を符号化してデータ交換部１へ供給する。
合成画面を得る為に、既存の復号器を１つ用いて、多地
点の画面を復号化して合成した画像を構成することがで
き、装置規模を小さくする。データ分離器２は、処理を
時分割多重処理で行い、１つのデータ分離器８０１で構
成することが可能であること上述のとおりである。ま
た、バッファメモリ８１は、メモリを複数領域に分割し
て使用することで１つのバッファメモリ８０２とするこ
とが可能である。

【００５２】以上、本発明による画面合成装置の好適実
施形態例の構成及び動作を説明した。しかし、本発明は
斯かる特定例のみに限定されるべきではなく、用途に応
じて種々の変形変更が可能であることは容易に理解でき
よう。

【００５３】

【発明の効果】上述の説明から理解される如く、本発明
の画面合成装置によると、フレーム内符号データのみを
分離してバッファメモリで平滑化して、フレーム内符号
化圧縮データを多重化して復号化することにより、フレ
ーム内符号化データを取りこぼすことなく１つの復号化
部で復号でき、装置規模が小さく且つ準動画の合成画面
信号を各端末に送信することが可能である。また、フレ
ーム内符号化圧縮データのバッファメモリへの蓄積状況
を見て、蓄積されたフレームを優先的に復号処理するこ
とにより、フレーム内の画面を取りこぼすことなく復号
可能であるという実用上の顕著な効果を有する。

【図面の簡単な説明】

【図１】本発明による画面合成装置の第１実施形態例の
ブロック図である。

【図２】本発明による画面合成装置の第２実施形態例の
ブロック図である。

【図３】図１及び図２中のフレーム内復号化部の具体的
構成図である。

【図４】図１及び図２中の画面合成部の具体的構成図で
ある。

【図５】本発明における多重化の模式的例を示す図であ
る。

【図６】本発明による画面合成装置の第３実施形態例の
ブロック図である。

【図７】本発明による画面合成装置の第４実施形態例の
ブロック図である。

【図８】従来の画面合成装置の一例のブロック図であ
る。

【図９】従来の画面合成装置の他の例のブロック図であ
る。

【図１０】従来の画面合成装置の更に他の例のブロック
図である。

【符号の説明】１データ交換部２データ分離部３、３１、８１バッファメモリ５符号化部６テレビ会議端末７ネットワーク８、３４、８５、９０多地点制御装置（MCU）３２、８３フレーム内復号化部３３、８４画像合成部５１帯域制限フィルタ５２再標本化回路８２制御部８６多重化部８７識別信号発生部８９識別信号検出部

Claims

【特許請求の範囲】

【請求項１】複数のテレビ会議端末を有し、該各テレビ
会議端末でフレーム内符号化とフレーム間符号化の両モ
ードを有する符号化方式で画像信号を符号化した信号を
受信して合成画面を作成する画面合成装置において、前記各テレビ会議端末からのフレーム内符号化データの
みを分離するデータ分離部と、該分離部で分離されたデ
ータを平滑化するバッファメモリと、該バッファメモリ
の出力をフレーム内復号化するフレーム内復号化部と、
該フレーム内復号化部からの合成画面を作成する画面合
成部とを備えることを特徴とする画面合成装置。
【請求項２】前記テレビ会議端末で所望周期毎にフレー
ム内符号化を行う制御部を備えることを特徴とする請求
項１に記載の画面合成装置。
【請求項３】前記テレビ会議端末からのフレーム内符号
化データを時分割多重化して単一フレーム内復号化部で
フレーム内復号化を行う復号化部と、多重化された再生
画像信号を帯域制限及び再標本化する単一画面縮小手段
とを備えることを特徴とする請求項１に記載の画面合成
装置。
【請求項４】前記各テレビ会議端末からの符号化データ
からフレーム内符号化データを時分割多重化処理で分離
する単一データ分離回路から成るデータ分離部と、前記
バッファメモリをアドレス空間区分して１つのメモリで
構成するバッファメモリとを有することを特徴とする請
求項１に記載の画面合成装置。
【請求項５】前記バッファメモリに１フレームのフレー
ム内符号化データを蓄積される順番に優先順位をつけて
復号化を行う制御部を有することを特徴とする請求項１
に記載の画面合成装置。
【請求項６】前記フレーム内符号化データに識別信号符
号化データを多重化する識別信号発生部と、多重化信号
を復号化して得られる復号画像信号から前記識別信号を
検出して各フレームの再生画像を該当する画面の合成位
置に書込む画面合成部を有することを特徴とする請求項
５に記載の画面合成装置。
【請求項７】送信側の画像信号の一部に識別信号を加算
してフレーム内符号化する手段を有するテレビ会議端末
と、受信側においてフレーム内符号化データを復号した
復号画像信号から前記識別信号を検出し、各フレームの
再生画像を該当する画面の合成位置に書込む画面合成手
段とを有することを特徴とする請求項５に記載の画面合
成装置。