JPH1066088A

JPH1066088A - 多地点テレビ会議制御装置

Info

Publication number: JPH1066088A
Application number: JP23368896A
Authority: JP
Inventors: Giichi Watanabe; 義一渡邊
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-08-16
Filing date: 1996-08-16
Publication date: 1998-03-06

Abstract

(57)【要約】【課題】各テレビ会議端末装置に送信する符号化合成
動画像に付加する動きベクトル情報を簡易な演算により
算出できる多地点テレビ会議制御装置を提供すること。【解決手段】各テレビ会議端末装置からの符号化原動
画像の復号化の際に得られる動きベクトル情報を記憶す
る現フレーム動きベクトル記憶手段と、各テレビ会議端
末装置に送信する符号化合成動画像に付加する動きベク
トル情報を、当該合成動画像として縮小合成された前記
各原動画像について前記現フレーム動きベクトル記憶手
段が記憶している動きベクトル情報と、それら各原動画
像の前記合成動画像上の合成位置と、それら原動画像の
前記縮小合成手段における縮小率とに基づいて算出する
動きベクトル算出手段とを備えたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数地点に設置さ
れたテレビ会議端末装置からそれぞれ受信した、動きベ
クトル情報を伴って動き補償フレーム間予測符号化され
た符号化原動画像をそれぞれ復号化して得た各テレビ会
議端末装置からの原動画像を縮小合成することにより合
成動画像を作成し、その合成動画像を再度動きベクトル
情報を伴って動き補償フレーム間予測符号化することに
より符号化合成動画像を生成して、前記各テレビ会議端
末装置に送信する機能を少なくとも備えた多地点テレビ
会議制御装置に関する。

【０００２】

【従来の技術】現在のほとんどのテレビ会議システムに
おける通信方式は、ＩＴＵ−Ｔ勧告Ｈ．３２０に従って
おり、動画像の符号化・復号化方式は、そのシリーズで
あるＩＴＵ−Ｔ勧告Ｈ．２６１に従っている。

【０００３】そのＩＴＵ−Ｔ勧告Ｈ．２６１に規定され
た動画像の符号化方式は、フレーム間の差分を符号化す
るフレーム間予測符号化方式であり、また、前後のフレ
ームを比較して物体の動きを検出し、前フレームの中の
物体を動いた量だけずらしてから次のフレームを予測す
ることにより予測誤差を減らすことができる、動き補償
付きフレーム間予測符号化方式も、オプションではある
が定義されており、ほとんどのテレビ会議端末装置ある
いは多地点テレビ会議制御装置は、その動き補償付きフ
レーム間予測符号化方式に対応している。

【０００４】その動き補償付きフレーム間予測符号化方
式では、フレームを構成する多数の小領域（ブロック）
毎に動きベクトルを演算により検出している。

【０００５】動きベクトルの検出方法としては、ブロッ
クマッチング法やグラジエント法等が知られているが、
ＩＴＵ−Ｔ勧告Ｈ．２６１では、ブロックマッチング法
を採用しており、マクロブロック（ＭＢ：１６×１６画
素）毎に、±１５画素の探索範囲で、現フレーム中の着
目しているマクロブロックと最も近似しているブロック
を前フレームから探し、その画素位置の差を当該現フレ
ームの着目しているマクロブロックについての動きベク
トルとするものである。

【０００６】動き補償付きフレーム間予測符号化方式に
おける符号化処理は、上記動きベクトル検出処理の他、
ＤＣＴ処理、逆ＤＣＴ処理、量子化処理、逆量子化処
理、可変長符号化処理等の多数のデータ処理により構成
されるが、その中でも動きベクトル検出処理は、毎秒約
３０回発生する各フレームに多数（フレームのフォーマ
ットがＦＣＩＦ（３５２画素×２８８ライン）なら、３
９６（２２×１８）個）含まれる各マクロブロックにつ
いて、±１５画素の探索範囲分（３１×３１＝９６１）
の９６１回の比較演算が必要であり、そのめための処理
量は、全符号化処理量の半分以上を占めている。

【０００７】一方、多地点テレビ会議制御装置は、各テ
レビ会議端末装置から受信した動画像を、ＩＴＵ−Ｔ勧
告Ｔ．１２０勧告草案に示される各種ミキシング方式に
より適宜ミキシングして各テレビ会議端末装置に送信す
るが、そのうち、トランスコーダを用いたミキシング方
式の場合の多地点ＴＶ会議制御装置における動画像処理
について、図１７を参照して模式的に説明する。なお、
図１７の前提として、多地点テレビ会議制御装置には、
テレビ会議端末装置（以下単に端末と略す）ＡないしＥ
の５端末が接続されているものとする。

【０００８】同図において、多地点ＴＶ会議制御装置
は、端末ＡないしＥからそれぞれ受信した、符号化され
た原動画像（符号化原動画像）をそれぞれ復号化して、
各原動画像を得て、それらの各原動画像をそれぞれ縦横
２分の１に縮小して縮小動画像を作成し、それらの各縮
小動画像を各端末毎に合成する。つまり、端末Ａに対し
ては、端末Ａから受信した原動画像を除く端末Ｂないし
Ｅからそれぞれ受信した原動画像の縮小動画像を合成し
て合成動画像を作成し、その他の端末に対しても同様
に、合成動画像を作成する。そして、それら各端末向け
の合成動画像を、それぞれ再度符号化して符号化合成動
画像を作成し、各端末に対して送信する。

【０００９】

【発明が解決しようとする課題】このように、トランス
コーダを用いたミキシング方式では、各端末から受信し
た符号化原動画像をそれぞれいったん復号化して、原動
画像に戻してから任意に縮小処理や合成処理を行えるた
め、多地点テレビ会議制御装置において多様な動画像処
理を行える利点がある一方、各端末向けのそれぞれの動
画像を、各端末毎に同時的に再符号化する必要があるた
め、端末と接続可能な通信チャネル数分の符号化器を備
える必要がある。

【００１０】その各通信チャネル毎の符号化器は、１つ
のテレビ会議端末装置が備えるものと同等の機能を備え
る必要があり、それらの符号化器が、動き補償付きフレ
ーム間予測符号化に対応していれば、多地点テレビ会議
制御装置は、通信チャネル数分の、動きベクトル検出機
能を持つ符号化器を備える必要がある。一方、動きベク
トル検出機能は、前述したように、符号化処理の全処理
量の半分以上を占めている。したがって、多地点テレビ
会議制御装置は、通信チャネル数分の動きベクトル検出
機能をまかなうために、高性能な演算処理装置を備える
必要があり、その分装置コストが嵩んでいた。

【００１１】本発明は、係る事情に鑑みてなされたもの
であり、各テレビ会議端末装置に送信する符号化合成動
画像に付加する動きベクトル情報を簡易な演算により算
出できる多地点テレビ会議制御装置を提供することを目
的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の多地点テレビ会議制御装置は、複数
の地点に設置されたテレビ会議端末装置を接続して、そ
れら各テレビ会議端末装置からの、フレームを構成する
各小領域毎に付加された動きベクトル情報を伴って動き
補償フレーム間予測符号化された符号化原動画像を受信
する受信手段と、その受信した各テレビ会議端末装置か
らの符号化原動画像をそれぞれ復号化する復号化手段
と、その復号化されたそれぞれの原動画像を縮小して合
成することで合成動画像を作成する縮小合成手段と、そ
の合成動画像を、フレームを構成する各小領域毎に付加
される動きベクトル情報を伴って動き補償フレーム間予
測符号化することにより符号化合成動画像を生成する再
符号化手段と、その符号化合成動画像を前記各テレビ会
議端末装置に送信する送信手段とを少なくとも備えた多
地点テレビ会議制御装置において、前記復号化手段が各
テレビ会議端末装置からそれぞれ受信した現フレームの
符号化原動画像を復号化する際に得られる動きベクトル
情報をそれぞれの現フレーム毎に記憶する現フレーム動
きベクトル記憶手段と、前記再符号化手段において前記
符号化合成動画像の現フレームを構成する各小領域毎に
付加する動きベクトル情報を、当該合成動画像として縮
小合成された前記各原動画像の現フレームについて前記
現フレーム動きベクトル記憶手段が記憶している動きベ
クトル情報と、それら各原動画像の前記合成動画像上の
合成位置と、それら原動画像の前記縮小合成手段におけ
る縮小率とに基づいて算出する動きベクトル算出手段と
を備えたことを特徴とする。

【００１３】請求項２記載の多地点テレビ会議制御装置
は、複数の地点に設置されたテレビ会議端末装置を接続
して、それら各テレビ会議端末装置からの、フレームを
構成する各小領域毎に付加された動きベクトル情報を伴
って動き補償フレーム間予測符号化された符号化原動画
像を受信する受信手段と、その受信した各テレビ会議端
末装置からの符号化原動画像をそれぞれ復号化する復号
化手段と、その復号化されたそれぞれの原動画像を縮小
して合成することで合成動画像を作成する縮小合成手段
と、その合成動画像を、フレームを構成する各小領域毎
に付加される動きベクトル情報を伴って動き補償フレー
ム間予測符号化することにより符号化合成動画像を生成
する再符号化手段と、その符号化合成動画像を前記各テ
レビ会議端末装置に送信する送信手段とを少なくとも備
えた多地点テレビ会議制御装置において、前記復号化手
段が各テレビ会議端末装置からそれぞれ受信した現フレ
ームの符号化原動画像を復号化する際に得られる動きベ
クトル情報をそれぞれの現フレーム毎に記憶する現フレ
ーム動きベクトル記憶手段と、前記再符号化手段におい
て前記符号化合成動画像の現フレームを構成する各小領
域毎に付加する動きベクトル情報の探索範囲の中心を、
当該合成動画像として縮小合成された前記各原動画像の
現フレームについて前記現フレーム動きベクトル記憶手
段が記憶している動きベクトル情報と、それら各原動画
像の前記合成動画像上の合成位置と、それら原動画像の
前記縮小合成手段における縮小率とに基づいて各小領域
毎に算出する探索範囲中心算出手段とを備え、前記再符
号化手段は、前記符号化合成動画像の現フレームを構成
する各小領域毎に付加する動きベクトル情報を、前記探
索範囲中心算出手段により各小領域について算出される
探索範囲中心を中心とする所定範囲内で探索することを
特徴とする。

【００１４】請求項３記載の多地点テレビ会議制御装置
は、請求項１記載の多地点テレビ会議制御装置におい
て、前記復号化手段が各テレビ会議端末装置からそれぞ
れ受信した、現フレームより１フレーム前のフレームの
符号化原動画像を復号化する際に得られる動きベクトル
情報をそれぞれ記憶する前フレーム動きベクトル記憶手
段を更に備え、前記動きベクトル算出手段は、前記再符
号化手段における前記合成動画像の符号化の際にフレー
ムスキップが発生した場合は、前記再符号化手段におい
て前記符号化合成動画像の現フレームを構成する各小領
域毎に付加する動きベクトル情報を、当該合成動画像と
して縮小合成された前記各原動画像の現フレームについ
て前記現フレーム動きベクトル記憶手段が記憶している
各小領域毎の動きベクトルと、その現フレーム動きベク
トル記憶手段が記憶している現フレームの各小領域毎の
動きベクトルが指し示す小領域について、当該合成動画
像として縮小合成された前記各原動画像の現フレームよ
り１フレーム前のフレームについて前記前フレーム動き
ベクトル記憶手段が記憶している動きベクトルとを前記
各原動画像の現フレームを構成する各小領域について加
算した動きベクトル情報と、それら各原動画像の前記合
成動画像上の合成位置と、それら原動画像の前記縮小合
成手段における縮小率とに基づいて算出することを特徴
とする。

【００１５】請求項４記載の多地点テレビ会議制御装置
は、請求項２記載の多地点テレビ会議制御装置におい
て、前記復号化手段が各テレビ会議端末装置からそれぞ
れ受信した現フレームより１フレーム前のフレームの符
号化原動画像を復号化する際に得られる動きベクトル情
報をそれぞれ記憶する前フレーム動きベクトル記憶手段
を更に備え、前記探索範囲中心算出手段は、前記再符号
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、前記再符号化手段において
前記符号化合成動画像の現フレームを構成する各小領域
毎に付加する動きベクトル情報の探索範囲の中心を、当
該合成動画像として縮小合成された前記各原動画像の現
フレームについて前記現フレーム動きベクトル記憶手段
が記憶している各小領域毎の動きベクトルと、その現フ
レーム動きベクトル記憶手段が記憶している現フレーム
の各小領域毎の動きベクトルが指し示す小領域につい
て、当該合成動画像として縮小合成された前記各原動画
像の現フレームより１フレーム前のフレームについて前
記前フレーム動きベクトル記憶手段が記憶している動き
ベクトルとを前記各原動画像の現フレームを構成する各
小領域について加算した動きベクトル情報と、それら各
原動画像の前記合成動画像上の合成位置と、それら原動
画像の前記縮小合成手段における縮小率とに基づいて算
出することを特徴とする。

【００１６】

【発明の実施の形態】以下、添付図面を参照しながら本
発明の実施の形態に係る多地点テレビ会議制御装置につ
いて詳細に説明する。

【００１７】図１は、本実施の形態に係る多地点テレビ
会議制御装置を含むテレビ会議システムの構成を示して
いる。

【００１８】同図において、１、１９、２０は、本発明
に関係する、同一構成のテレビ会議端末装置であり、Ｉ
ＳＤＮ回線１８により、ＩＳＤＮネットワークに接続さ
れている。なお、図示していないが、本発明に関係する
テレビ会議端末装置は、１、１９及び２０の３装置に限
られない。また、２１は本発明に係る多地点テレビ会議
制御装置であり、ＩＳＤＮ回線２８によりＩＳＤＮネッ
トワークに接続されている。

【００１９】図２は、本発明に関係するテレビ会議端末
装置のうちのテレビ会議端末装置１について、そのブロ
ック構成を示したものである。

【００２０】同図において、２はシステム全体の制御を
司り、ＣＰＵ、メモリ、タイマー等からなるシステム制
御部、３は各種プログラムやデータを記憶するための磁
気ディスク装置、４はＩＳＤＮのレイヤ１の信号処理と
Ｄチャネルのレイヤ２の信号処理とを行うＩＳＤＮイン
ターフェイス部、５はＩＴＵ−Ｔ勧告Ｈ．２２１に規定
された信号処理によって、複数メディアのデータの多重
・分離を行うマルチメデイア多重・分離部、６は音声入
力のためのマイク、７は、マイク６からの入力信号を増
幅した後Ａ／Ｄ変換を行う音声入力処理部、８は音声信
号の符号化・復号化・エコーキャンセルを行う音声符号
・復号化部、９は音声符号・復号化部８で復号化された
音声信号をＤ／Ａ変換の後増幅する、音声出力処理部、
１０は音声出力処理部９からの音声を出力するためのス
ピーカ、１１は映像入力のためのビデオカメラ、１２は
ビデオカメラ１１からの映像信号をＮＴＳＣデコード、
Ａ／Ｄ変換等の信号処理を行う映像入力処理部、１３は
ＩＴＵ−Ｔ勧告Ｈ．２６１に準拠した動画像の符号化・
復号化を行う動画符号化・復号化部、１４は、動画符号
化・復号化装置１３で復号化された映像信号をＤ／Ａ変
換、ＮＴＳＣエンコード、グラフイックス合成等の信号
処理を行う映像出力処理部、１５は受信動画映像やグラ
フィックス情報を表示するためのモニター、１６はコン
ソールを制御するユーザーインターフェイス制御部、１
７は操作キー及び表示部よりなるコンソール、１８はＩ
ＳＤＮ回線である。

【００２１】図３は、多地点テレビ会議制御装置２１の
ブロック構成を示している。同図において、２２はシス
テム全体の制御を司りＣＰＵ、メモリ、タイマー等から
なるシステム制御部である。

【００２２】２３はＩＳＤＮインターフェイス部、２４
はマルチメデイア多重・分離部、２５は音声信号の符号
化・復号化を行う音声符号・復号化部、２６はＩＴＵ−
Ｔ勧告Ｈ．２６１に準拠した動画像の符号化・復号化を
行う動画符号化・復号化部であり、２３ないし２６の構
成要素により、通信チャネル１が構成されている。

【００２３】以上の構成は、通信チャネル１の構成であ
るが、図示するように、多地点テレビ会議制御装置２１
は、１ないしｎの通信チャネルを備え、通信チャネル１
以外の通信チャネルも、図示を省略しているが通信チャ
ネル１と同一構成を備え、それぞれがＩＳＤＮ回線に接
続されている。

【００２４】２７は、各通信チャネルで復号化された音
声及び動画像のデータをチャネル間で合成し、各チャネ
ルに配送する音声・動画マルチプレクス部、２８は、通
信チャネルに接続されたＩＳＤＮ回線である。なお、図
において、音声符号・復号化部２５から音声・動画マル
チプレクス部２７への接続、動画符号・複号化部２６か
ら音声・動画マルチプレクス部２７への接続、及び、音
声・動画マルチプレクス部２７から動画符号・復号化部
２６への接続は、図の煩雑さを避ける為に単一の接続で
示したが、これらは、実際は、各通信チャネル１〜ｎ毎
に別個に接続されている。

【００２５】次に、テレビ会議システムの基本的な動作
について図４を参照して説明する。同図において、テレ
ビ会議を起動する際には、各テレビ会議端末装置と多地
点テレビ会議制御装置２１（相手端末）との間でまず回
線の接続を行う必要がある。これはＬＡＰＤを通じて行
う通常の発呼手順に従う。ＳＥＴＵＰ（呼設定メッセー
ジ）は、伝達能力（ＢＣ）を非制限デジタル、下位レイ
ヤ整合性（ＬＬＣ）をＨ．２２１、高位レイヤ整合性
（ＨＬＣ）を会議として送出する。

【００２６】相手端末がＳＥＴＵＰを解析し、通信可能
性が承認されると、相手端末はＣＯＮＮ（応答）を返
し、呼が確立される。ここで、下位レイヤ整合性におい
てＨ．２２１とは、図２におけるマルチメデイア多重・
分離部５で実行されるＩＴＵ−Ｔ勧告Ｈ．２２１がイン
プリメントされていることを示している。

【００２７】呼が確立されると、システム制御部２はマ
ルチメデイア多重・分離部５を制御し、マルチフレーム
同期信号の送出を行いマルチフレーム同期を確立する。
更に、システム制御部２はＩＴＵ−Ｔ勧告Ｈ．２４２に
従いマルチメデイア多重・分離部５を制御して能力通知
を行い、交信モードを確立する。これは、Ｈ．２２１上
のＢＡＳ信号上で行い、共通能力で必要なチャネルの設
定、ビットレートの割り当てを行う。本実施の形態で
は、音声、動画、デー夕（ＬＳＤ）の３つのチャネルが
アサインされる。交信モードが確定すると、各チャネル
は各々独立したデータとして取り扱う事が可能となり、
テレビ会議としての動作を開始する。

【００２８】以上の手順が、各テレビ会議端末と、多地
点テレビ会議制御装置２１の各通信チャネルとの間で行
われることにより、多地点テレビ会議制御装置２１を介
して多地点テレビ会議が可能となる。

【００２９】テレビ会議が起動されると、システム制御
部２は、音声符号・復号化部８及び動画符号・復号化部
１３を起動し、音声、動画、及びデータの双方向通信が
可能となる。

【００３０】テレビ会議終了時には、システム制御部２
は、音声符号・復号化部８及び動画符号・復号化部１３
を停止すると共に、ＩＳＤＮインターフェイス部４を制
御し図４に示した手順に従い呼を解放する。

【００３１】ユーザは、これまで述べた各動作（発呼、
会議終了）の起動を、コンソール１７を操作して行う。
入力された操作データは、ユーザーインターフェイス制
御部１６を介してシステム制御部２へ通知される。シス
テム制御部２は、操作データを解析し、操作内容に応じ
た動作の起動あるいは停止を行うと共に、ユーザーへの
ガイダンスの表示データを作成し、ユーザーインターフ
ェイス制御部１６を介して、コンソール１７上へ表示さ
せる。

【００３２】多地点テレビ会議制御装置２１側では、上
述した様な手順で、各通信チャネル毎に１つのテレビ会
議端末と接続し、多地点間でのテレビ会議を運営する。
なお、上述した例では、テレビ会議端末装置側からの発
呼により接続する例について説明したが、あらかじめ定
められた時刻に定められたテレビ会議端末装置へ多地点
テレビ会議制御装置２１側から発呼し、接続することも
できる。

【００３３】テレビ会議制御装置２１において、音声・
動画マルチプレクス部２７では、各通信チャネルで復号
化された音声を合成して各通信チャネルに配分すると共
に、同じく各通信チャネルで復号化された動画を縮小し
て合成して各通信チャネルに配分する。

【００３４】図５に、各テレビ会議端末装置（端末）の
接続形態と、図示しない多地点テレビ会議制御装置２１
からそれら各テレビ会議端末装置に送信されて表示され
る画像例を示す。

【００３５】同図において、端末ＡないしＥは、会議に
参加している各テレビ会議端末装置（図１の１、１９、
２０等に相当）で、それぞれ多地点テレビ会議制御装置
によって縮小、合成された動画像の各端末での表示画像
を示している。四角内の各アルファベットＡ〜Ｅは、各
テレビ会議端末装置Ａ〜Ｅから多地点テレビ会議制御装
置に送信された動画像を示している。同図を見てわかる
ように、各テレビ会議端末装置では、自端末以外の４地
点のテレビ会議端末装置からの動画像が多地点テレビ会
議制御装置により縮小合成された動画像が表示されてい
る。これにより、各テレビ会議端末装置における会議参
加者は、他端末における会議風景を見ながらテレビ会議
を行う。

【００３６】このような合成動画像を作成するために、
多地点テレビ会議制御装置２１の音声・動画マルチプレ
クス部２７内では、各通信チャネルの動画符号・復号化
部２６からの復号化された動画像を縮小したのち、その
各通信チャネル毎の縮小動画像のそれぞれを音声・動画
マルチプレクス部２７内に配置された画像メモリ内に記
憶し、各通信チャネル毎の合成形態に従って画像メモリ
から順次読み出して合成し、その合成動画像を各通信チ
ャネルに転送する。なお、転送は各通信チャネルで並行
に行われる。各通信チャネルに転送された合成動画像
は、各通信チャネルの動画符号・復号化部２６により符
号化されて、各テレビ会議端末装置に送信され、各テレ
ビ会議端末装置では、図５に示したように、受信した符
号化合成動画像を、動画符号・復号化部１３により復号
化してモニター１５に表示する。なお、多地点テレビ会
議制御装置２１の音声・動画マルチプレクス部２７にお
ける各通信チャネルからの動画像の合成形態は、テレビ
会議中の状況（発言権の移動等）により可変であり、シ
ステム制御部２２からの設定に従って随時変更すること
ができる。

【００３７】次に、本発明に係る多地点テレビ会議制御
装置における、各テレビ会議端末装置からの受信動画像
の復号化処理及び、各テレビ会議端末装置へ送信する合
成動画像の符号化処理について第１ないし第３実施形態
に分けて説明する。

【００３８】先ず、第１実施形態に係る、図６に示す各
テレビ会議端末装置からの受信動画像の復号化処理、及
び、図７に示す各テレビ会議端末装置へ送信する合成動
画像の符号化処理について説明する。

【００３９】これらの２つの処理は、後述する、図８に
示す動きベクトルテーブルへの書き込みと読み出しか競
合しない様に、かつ、前述した音声・動画マルチプレク
ス部２７内の画像メモリ内の画像と図８に示す動きベク
トルテーブルの対応が損なわれない様に制御しつつ、並
行して行われる。また、音声・動画マルチプレクス部２
７内で実行される縮小処理の為に、図８に示す動きベク
トルテーブルの更新は、音声・動画マルチプレクス部２
７内の画像メモリの更新に先だって実行される。その間
は、図８に示す動きベクトルテーブルと画像メモリ内の
画像の対応が損なわれる為、相当する位置（マクロブロ
ック単位）の符号化処理は禁止される。また、これらの
処理は各通信チヤネル毎に並行に実行される。

【００４０】図６に示す第１実施形態に係る復号化処理
手順について以下説明する。なお、この復号化処理にお
いて復号化する動画像のフォーマットは、ＦＣＩＦ（３
５２画素×２８８ライン）であるとする。従って、動画
像の１フレームには、１番から１２番のＧＯＢが含まれ
ている。また、１つのＧＯＢには、３３個のマクロブロ
ック（ＭＢ）含まれている。したがって、１フレーム
は、１２×３３＝３９６個のマクロブロックで構成され
ている。なお、ＧＯＢのフレーム中における配列順序
や、マクロブロックの、ＧＯＢにおける配置は、ＩＴＵ
−Ｔ勧告Ｈ．２６１に規定されており、それ自体よく知
られているため、詳細な説明は省略する。

【００４１】さて、まず、各通信チャネルの動画符号・
復号化部２６は、各テレビ会議端末装置から受信した、
マクロブロック単位で動きベクトル情報が付加されるこ
とにより動き補償付きフレーム間予測符号化された符号
化動画像の現フレーム中の１ＭＢ分の画像データの復号
化を実行する（処理１０１）。

【００４２】そして、復号化処理に伴って得られた、当
該ＭＢの動きベクトル値を、そのＭＢの含まれるＧＯＢ
の番号（ＩＴＵ−Ｔ勧告Ｈ．２６１参照）、及び、その
ＭＢの属するＧＯＢにおいて当該ＭＢの配置を特定する
ためのＭＢアドレスと共にシステム制御部２２へ通知す
る（処理１０２）。もし、当該ＭＢに動きベクトル値が
付随していなかった場合には動きベクトル値をＸ成分、
Ｙ成分共に値０として通知する。

【００４３】システム制御部２２は、システム制御部２
２内に配置されている一時記憶用メモリに図８に示す様
な動きベクトルテーブルを確保し、その動きベクトルテ
ーブルの、処理１０２で通知されたＭＢのアドレス及び
ＧＯＢ番号により決まる現フレームにおけるＭＢ位置
に、当該ＭＢの動きベクトル値を格納する（処理１０
３）。

【００４４】ここで、図８に示す動きベクトルテーブル
について説明する。同図において、（ａ）は、現フレー
ムを構成する（Ｘ方向２２）×（Ｙ方向１８）＝３９６
個のＭＢのそれぞれについての動きベクトルＶのＸ成分
格納用テーブル、（ｂ）が同じくＹ成分格納用テーブル
である。それら各成分格納用テーブルにおいて、Ｐｘ
は、復号化され縮小される前の現フレームのＸ方向のＭ
Ｂ単位での位置を、Ｐｙが同じくＹ方向のＭＢ単位での
位置を示している。このような動きベクトルテーブル
が、動画像合成のソースとなる画像分（本実施形態では
５つ）設けられ、各通信チヤネル内の動画符号・復号化
部２６から通知された動きベクトル値を記憶する。ま
た、ＭＢデータが無く、スキップされたＭＢがある場合
には、同時にそれらの位置に相当するベクトル値を０に
書き換える。当該スキップされたＭＢの位置は、ＩＴＵ
−Ｔ勧告Ｈ．２６１に規定されたＭＢデータの伝送順に
従って判定する。

【００４５】動画符号・復号化部２６は復号化して得ら
れた１ＭＢ分の画像データを音声・動画マルチプレクス
部２７に転送する（処理１０４）。以上の処理が、現フ
レームを構成する全てのＭＢについて繰り返される（判
断１０５のＮｏループ）。なお、音声・動画マルチプレ
クス部２７内では、前述したように、各通信チャネルの
動画符号・復号化部２６からの復号化された現フレーム
分の動画像を縮小したのち、その各通信チャネル毎の縮
小動画像のそれぞれを音声・動画マルチプレクス部２７
内に配置された画像メモリ内に記憶し、各通信チャネル
毎の合成形態に従って画像メモリから順次読み出して合
成し、その合成動画像を各通信チャネルに並行して転送
する。これにより、各通信チャネル毎の現フレームの動
きベクトル情報がシステム制御部２２の各通信チャネル
毎の動きベクトルテーブルに記憶されると共に、それら
動きベクトルテーブルに対応する各通信チャネル毎の縮
小動画像が音声・動画マルチプレクス部２７に記憶され
る。

【００４６】以上説明した復号化処理により得られた各
通信チャネル毎の動きベクトルテーブルに基づいて、各
通信チャネル向けの縮小合成動画像を動き補償付きフレ
ーム間予測符号化する場合の手順について、図７に示す
第１実施形態に係る符号化処理手順を参照して説明す
る。

【００４７】同図において、各通信チャネルの動画符号
・復号化部２６は、前述した音声・動画マルチプレクス
部２７内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、ＭＢ位置に相当
する１ＭＢ分の画像データを読み込む（処理２０１）。

【００４８】また、システム制御部２２は、処理２０１
において、各通信チャネルの動画符号・復号化部２６が
音声・動画マルチプレクス部２７から読み込んだＭＢ
（今処理しているＭＢ）の位置に相当する位置の４ＭＢ
分の動きベクトル値を、図８に示した動きベクトルテー
ブルから読み込み（処理２０２）、その読み込んだ４Ｍ
Ｂ分の動きベクトル値に基づいて、今処理しているＭＢ
の動きベクトルを、以下に示す演算により算出する（処
理２０３）。

【００４９】いま、各通信チャネル毎に音声・動画マル
チプレクス部２７の動きベクトルテーブルに記憶されて
いる各ＭＢ位置における動きベクトル値をＶ＝（Ｖｘ，Ｖｙ）とし、求めるべき、今処理しているＭＢの動きベクトル
値をＭＶ＝（ＭＶｘ，ＭＶｙ）とし、ＭＶのＸ成分ＭＶｘを、以下の（式１）により求
め、ＭＶのＹ成分ＭＶｙを、以下の（式２）により求め
る。

【００５０】

【数１】

【００５１】上記の（式１）及び（式２）の意味につい
て定性的にいうならば、今処理しているＭＢの動きベク
トル値は、各通信チャネルにより受信された原動画像を
構成するＭＢのうち、縮小合成処理により当該今処理し
ているＭＢに実質的に含まれることとなった複数のＭＢ
（本実施形態では、４つのＭＢ）のそれぞれの動きベク
トルを合計して、その合計数（本実施形態では４）で除
算することにより平均化された値に、縮小率（本実施形
態では１／２）を乗じた値となる。

【００５２】図９に、今符号化している縮小合成画像に
おいて今処理しているＭＢの動きベクトルＭＶ（ＭＰ
ｘ，ＭＰｙ）と、原画像中の、縮小合成処理により当該
今処理しているＭＢに実質的に含まれることとなった２
×２＝４個のＭＢについてのそれぞれの動きベクトルＶ
（Ｐｘ、Ｐｙ）、Ｖ（Ｐｘ＋１、Ｐｙ）、Ｖ（Ｐｘ、Ｐ
ｙ＋１）、Ｖ（Ｐｘ＋１、Ｐｙ＋１）との対応例を示し
ている。また、同図を見て分かるように、今符号化して
いる縮小合成画像は、原画像を縦横をそれぞれ２分１に
縮小した画像を４つ含んでいる。なお、図中の各動きベ
クトルの矢印は、現フレームの前フレームの相当位置の
画像を参照していることを示している。

【００５３】縮小合成前の原画像の２×２＝４個のＭＢ
は、縮小合成画像における１個のＭＢに相当する。した
がって、縮小合成画像における１個のＭＢの動きベクト
ル値は、そのＭＢに対応する原画像の４個のＭＢの動き
ベクトル値と大きな相関がある。したがって、その原画
像の４個のＭＢの動きベクトル値を平均した動きベクト
ル値は、縮小合成画像において対応する１個のＭＢの動
きベクトル値とほぼ同一であると考えることができる。
ただし、実際には、原画像は、縮小合成画像において
は、Ｘ方向及びＹ方向に１／２の縮小率で縮小されてい
るため、その画素単位の動きも１／２になる、したがっ
て、原画像の４個のＭＢの動きベクトル値を平均した動
きベクトル値の１／２が、縮小合成画像において対応す
る１個のＭＢの動きベクトル値になる。

【００５４】このようにして、システム制御部２２は、
今処理しているＭＢの動きベクトルを算出するが、その
算出のための演算量は、従来のブロックマッチング法等
と比較すれば、ずっと少なく、縮小合成動画像の符号化
時の動きベクトル検出のための演算量を大幅に減らすこ
とができる。なお、システム制御部２２は、さらに、図
９に示す縮小合成画像を構成する各ＭＢについての動き
ベクトル値の算出において、縮小合成画像の周囲を構成
する、斜線で示された位置のＭＢについては、ＩＴＵ−
Ｔ勧告Ｈ．２６１では、規定により、画像の外側を参照
する事ができないため、ＩＴＵ−Ｔ勧告Ｈ．２６１で規
定されている範囲に動きベクトル値をクリッピング処理
する。

【００５５】そして、システム制御部２２は、算出した
今処理しているＭＢの動きベクトルＭＶを動画符号・復
号化部２６に設定する（処理２０４）。

【００５６】動画符号・復号化部２６に設定された今処
理しているＭＢの動きベクトルＭＶは、動画符号・復号
化部２６内において、入力動画像の動き補償付きフレー
ム間予測符号化を担う、図１０に示す動画符号器の、動
き補償用可変遅延機能を持つ画像メモリ１００に与えら
れる。図１０に示す動画符号器は、基本的には、ＩＴＵ
−Ｔ勧告Ｈ．２６１に準拠したものであり、異なる点
は、従来は、動き補償用可変遅延機能を持つ画像メモリ
１００が自ら検出してした今処理しているＭＢの動きベ
クトルが、システム制御部２２から動きベクトルＭＶと
して与えられる点である。これにより、動き補償用可変
遅延機能を持つ画像メモリ１００による膨大な演算によ
る動きベクトルの検出が不要となる。

【００５７】動画符号・復号化部２６内の、図１０に示
す動画符号器は、システム制御部２２から設定された動
きベクトルＭＶに従って、処理２０１で音声・動画マル
チプレクス部２７から読み込んだ、今処理している１Ｍ
Ｂ分の縮小合成画像を動き補償付きフレーム間予測符号
化する（処理２０５）。これにより、図１０に示す動画
符号器は、従来と同様に動画符号・復号化部２６内の図
示しないビデオ信号多重化部に対して、その他の符号化
パラメータと共に、動きベクトルｖを出力するが、この
動きベクトルｖとして出力される動きベクトルは、シス
テム制御部２２から設定された動きベクトルＭＶそのも
のである。なお、図１０に示す動画符号器における符号
化においては、動きベクトルの検出以外の、ＩＮＴＥＲ
／ＩＮＴＲＡの判別、ループフィルタのＯＮ／ＯＦＦ等
については、従来と同様に、図１０に示す動画符号器の
適応制御にゆだねられる。

【００５８】以上の処理が各通信チャネル向けの縮小合
成動画像の現フレームを構成する全てのＭＢについて繰
り返される（判断２０６のＮｏループ）。

【００５９】次に、第２実施形態に係る、各テレビ会議
端末装置からの受信動画像の復号化処理、及び、各テレ
ビ会議端末装置へ送信する合成動画像の符号化処理につ
いて説明する。

【００６０】各テレビ会議端末装置からの受信動画像の
復号化処理については、図６に示した、第１実施形態に
係る復号化処理手順と同じであるため、説明を省略する
が、図６に示す復号化処理により、各通信チャネル毎の
現フレームの動きベクトルがシステム制御部２２の各通
信チャネル毎の動きベクトルテーブルに記憶されると共
に、それら動きベクトルテーブルに対応する各通信チャ
ネル毎の縮小動画像が音声・動画マルチプレクス部２７
に記憶される。

【００６１】その図６に示した復号化処理により得られ
た各通信チャネル毎の動きベクトルテーブルに基づい
て、各通信チャネル向けの縮小合成動画像を動き補償付
きフレーム間予測符号化する場合の手順について、図１
１に示す第２実施形態に係る符号化処理手順を参照して
説明する。

【００６２】同図において、各通信チャネルの動画符号
・復号化部２６は、前述した音声・動画マルチプレクス
部２７内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、ＭＢ位置に相当
する１ＭＢ分の画像データを読み込む（処理３０１）。

【００６３】また、システム制御部２２は、処理２０１
において、各通信チャネルの動画符号・復号化部２６が
音声・動画マルチプレクス部２７から読み込んだＭＢ
（今処理しているＭＢ）の位置に相当する位置の４ＭＢ
分の動きベクトル値を、第１実施形態と同様に図８に示
した動きベクトルテーブルから読み込み（処理３０
２）、その読み込んだ４ＭＢ分の動きベクトル値に基づ
いて、今処理しているＭＢの動きベクトルＭＶを、第１
実施形態と同様に、前記（式１）及び（式２）に示す演
算により算出し、その算出した動きベクトルＭＶに基づ
いて、動きベクトル探索範囲ＳＡを決定する（処理３０
３）。

【００６４】その動きベクトル探索範囲ＳＡの決定法に
ついて、図１２を参照して説明する。同図において、
（ｐ）は、動きベクトル探索範囲ＳＡの決定の対象とな
る今処理しているＭＢの中心点、（Ｓ）は従来のＩＴＵ
−Ｔ勧告Ｈ・２６１に準拠した符号器における動きベク
トルの探索範囲（±１５画素）、（ａ）（ｂ）及び
（ｃ）は算出により求めた動きベクトルＭＶのいくつか
の具体例、（Ａ）（Ｂ）及び（Ｃ）は、それぞれ動きベ
クトル（ａ）（ｂ）及び（ｃ）に対応した動きベクトル
探索範囲ＳＡを示している。

【００６５】システム制御部２２は、基本的には、今処
理しているＭＢの中心点（ｐ）を原点として、算出した
動きベクトルＭＶ（（ａ）（ｂ）（ｃ）等）が差し示す
画素の周辺±３画素の範囲を動きベクトル探索範囲ＳＡ
として決定する。ただし、従来の探索範囲（±１５画
素：これはＩＴＵ−Ｔ勧告Ｈ．２６１で探索範囲の上限
である）からはみ出ない様にクリッピングを行い探索範
囲を設定する。つまり、例えば、図１２において、
（Ａ）（Ｂ）の範囲はクリッピングなし、（Ｃ）がクリ
ッピングされた範囲を示している。また、第１実施形態
の場合と同様に、図９の縮小合成画像の斜線で示された
位置のＭＢを処理している場合には、規定によりＨ．２
６１では、画像の外側を参照する事ができないため、Ｉ
ＴＵ−Ｔ勧告Ｈ．２６１で規定されている範囲に探索範
囲をクリッピング処理する。このように、検索範囲のク
リッピングを行うことで、後述する動画符号器におい
て、ＩＴＵ−Ｔ勧告Ｈ．２６１の規定から逸脱すること
のない動きベクトルｖを求めることができる。

【００６６】なお、処理３０３で算出した動きベクトル
ＭＶは、第１実施形態においては、そのまま、今処理し
ているＭＢの動きベクトルとしたが、この第２実施形態
では、動きベクトル探索範囲を決定するために用いるだ
けで、そのまま、今処理しているＭＢの動きベクトルと
されるのではない。

【００６７】さて、システム制御部２は、決定した動き
ベクトル探索範囲ＳＡを動画符号・復号化部２６に設定
する（処理３０４）。

【００６８】動画符号・復号化部２６に設定された今処
理しているＭＢについての動きベクトル探索範囲ＳＡ
は、動画符号・復号化部２６内において、入力動画像の
動き補償付きフレーム間予測符号化を担う、図１３に示
す動画符号器の、動き補償用可変遅延機能を持つ画像メ
モリ１０１に与えられる。

【００６９】図１３に示す動画符号器は、基本的には、
ＩＴＵ−Ｔ勧告Ｈ．２６１に準拠したものであり、異な
る点は、従来は、動き補償用可変遅延機能を持つ画像メ
モリ１０１が自ら、ＩＴＵ−Ｔ勧告Ｈ．２６１の規定に
基づいて±１５画素の範囲内で、参照される画素が符号
化対象となるフレームの内部に在るように必要に応じて
クリッピングして、今処理しているＭＢの動きベクトル
探索範囲を設定していたのに対し、今処理しているＭＢ
の動きベクトル探索範囲が、システム制御部２２から動
きベクトル探索範囲ＳＡとして与えられる点である。

【００７０】動画符号・復号化部２６内の、図１３に示
す動画符号器は、システム制御部２２から設定された動
きベクトル探索範囲ＳＡ内で、今処理しているＭＢ分の
縮小合成画像の動きベクトルを探索する（処理３０
５）。この探索方法自体は、ブロックマッチング法等の
それ自体すでに知られたものである。

【００７１】ここで、従来の動きベクトルの探索処理
と、この第２実施形態における動きベクトルの探索処理
の処理量について比較すると、それらの処理量は、動き
ベクトルの探索範囲の広さにほぼ比例するため、動きベ
クトル探索範囲のクリッピングがないとして、従来で
は、３１（±１５画素）×３１（±１５画素）＝９６１
回の比較演算が必要であったが、この第２実施形態で
は、７（±３画素）×７（±３画素）＝４９回の比較演
算ですみ、処理量は、約１／２０となる。

【００７２】このように、この第２実施形態において、
動きベクトルの探索範囲を狭くすることができるのは、
今処理しているＭＢについての動きベクトル探索範囲Ｓ
Ａを決定する基となる動きベクトルＭＶが、第１実施形
態において説明したように、縮小合成処理により、当該
今処理しているＭＢに含まれることとなった、当該今処
理しているＭＢとの相関が大きい原画像の複数のＭＢの
動きベクトルの平均値に、縮小率を乗じたもので、ほぼ
当該今処理しているＭＢの真の動きベクトル値と近い値
をとるためである。つまり、従来のように、動きベクト
ル探索範囲を広くとらなくても、動きベクトルＭＶが差
し示す画素周辺の微小範囲について、動きベクトルを探
索すれば、その中に当該今処理しているＭＢの真の動き
ベクトルが存在するといえる。

【００７３】これにより、従来よりもずっと少ない処理
量で、かつ、第１実施形態よりも正確な動きベクトルの
検出が可能となる。

【００７４】動画符号・復号化部２６内の、図１３に示
す動画符号器は、処理３０５により得られた今処理して
いるＭＢについての動きベクトル従って、処理３０１で
音声・動画マルチプレクス部２７から読み込んだ、今処
理しているＭＢ分の縮小合成画像を動き補償付きフレー
ム間予測符号化する（処理３０６）。これにより、図１
３に示す動画符号器は、従来と同様に動画符号・復号化
部２６内の図示しないビデオ信号多重化部に対して、そ
の他の符号化パラメータと共に、動きベクトルｖを出力
するが、この動きベクトルｖとして出力される動きベク
トルは、システム制御部２２から設定された動きベクト
ル探索範囲ＳＡの範囲内で検出したものである。なお、
図１３に示す動画符号器における符号化においては、動
きベクトルの検出以外の、ＩＮＴＥＲ／ＩＮＴＲＡの判
別、ループフィルタのＯＮ／ＯＦＦ等については、従来
と同様に、図１３に示す動画符号器の適応制御にゆだね
られる。

【００７５】以上の処理が各通信チャネル向けの縮小合
成動画像の現フレームを構成する全てのＭＢについて繰
り返される（判断３０７のＮｏループ）。

【００７６】次に、第３実施形態に係る、各テレビ会議
端末装置からの受信動画像の復号化処理、及び、各テレ
ビ会議端末装置へ送信する合成動画像の符号化処理につ
いて説明する。

【００７７】この第３実施形態は、第１実施形態の変形
例であり、各テレビ会議端末装置からの受信動画像の復
号化処理については、図６に示した第１実施形態に係る
復号化処理と基本的には同様である。しかし、第３実施
形態では、システム制御部２２は、各通信チャネルにつ
いて、図８に示したような動きベクトルテーブルを現フ
レームと、その現フレームより１フレーム前のフレーム
（前フレーム）分の２つ備えている点である。

【００７８】つまり、現フレームを復号化しているとき
には、２つの動きベクトルテーブルのうちの一方を当該
現フレームを復号化する際に得られる動きベクトル値の
格納のために使用し、現フレームの次のフレームを復号
化する際には、その次のフレームを復号化する際に得ら
れる動きベクトル値を、前記現フレームの動きベクトル
値を格納したテーブルではない方のテーブルに格納する
というように、２つの動きベクトルテーブルを１フレー
ム毎に切り替えて使用する。

【００７９】これにより、現フレームを復号化する際に
は、前フレームを復号化した際に得られた当該前フレー
ム分の動きベクトル値が、現フレーム分の動きベクトル
値を格納するための動きベクトルテーブルとは別の動き
ベクトルテーブルに常に格納されていることになる。

【００８０】以上のように、現フレームの前フレームの
それぞれの動きベクトル値がそれぞれの動きベクトルテ
ーブルに格納された上で行われる第３実施形態に係る縮
小合成画像の動き補償付きフレーム間予測符号化処理の
手順について、図１４を参照して説明する。

【００８１】同図において、各通信チャネルの動画符号
・復号化部２６は、前述した音声・動画マルチプレクス
部２７内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、ＭＢ位置に相当
する１ＭＢ分の画像データを読み込む（処理４０１）。

【００８２】また、システム制御部２２は、処理４０１
において、各通信チャネルの動画符号・復号化部２６が
音声・動画マルチプレクス部２７から読み込んだＭＢ
（今処理しているＭＢ）の位置に相当する位置の４ＭＢ
分の動きベクトル値を、図８に示した現フレーム用の動
きベクトルテーブルから読み込む（処理４０２）。

【００８３】そして、フレームスキップが発生したか、
すなわち、１つ前に符号化したフレームから現フレーム
までの間に、復号化された画像の書き換えが２つ以上発
生したかを調べる（判断４０３）。フレームスキップが
発生していなければ（判断４０３のＮｏ）、現フレーム
用の動きベクトルテーブルに格納された動きベクトル値
により、第１実施形態と同様の復号化が可能であるた
め、処理４０６に移り、その処理４０６以降の処理を第
１実施形態と同様に行う。実際、処理４０６、処理４０
７、処理４０８、及び、判断４０９は、それぞれ、図７
に示す第１実施形態に係る復号化処理における処理２０
３、処理２０４、処理２０５、及び、判断２０６と同一
である。言い換えれば、この第３実施形態に係る復号化
処理の特徴点は、フレームスキップが発生した場合にお
ける、現フレームの今処理しているＭＢの動きベクトル
ＭＶの算出手順にある。

【００８４】すなわち、フレームスキップが発生したし
た場合（判断４０３のＹｅｓ）には、処理４０２で読み
込んだ現フレームの４ＭＢ分の動きベクトルがそれぞれ
差し示している位置（相当位置）の前フレームのＭＢの
動きベクトルをそれぞれ読み込んで（処理４０４）、当
該現フレームの４ＭＢのそれぞれの動きベクトルと、そ
れらのベクトルがそれぞれ差し示す前フレームのＭＢの
動きベクトルとを、それぞれ加算して、当該現フレーム
の４ＭＢのそれぞれの新たな動きベクトルとする（処理
４０５）。

【００８５】それらの現フレームの１ＭＢの動きベクト
ルと、その動きベクトルが差し示す前フレームのＭＢの
動きベクトルの加算処理の具体例について、図１５を参
照して説明する。同図（ａ）は、処理４０２で読み出さ
れた現フレームのＭＢの動きベクトル、同図（ｂ）は、
処理４０２で読み出された現フレームのＭＢ（点線枠）
の動きベクトル（点線）と、その動きベクトルが差し示
す、処理４０４で読み出された前フレームのＭＢ（実線
枠）の動きベクトル（実線）を示している。

【００８６】実際に処理４０２で読み出される現フレー
ムのＭＢは、２×２の４ＭＢであるが、図には、１つの
ＭＢについての、２つのパターンについて示してある。
同図（ａ）において、ベクトル（ａ）はベクトルをＭＢ
の中心に置いたとき左下のＭＢを指し示し、それに従っ
て処理４０４で読み出すベクトルは左下のＭＢのベクト
ル（ｂ）となり、そのベクトル（ｂ）が、ベクトル
（ａ）と加算処理される。一方、ベクトル（ｃ）は自Ｍ
Ｂを指し示し、それに従って処理４０４で読み出すベク
トルは同じ位置のＭＢのベクトル（ｄ）となり、そのベ
クトル（ｄ）が、ベクトル（ｃ）と加算処理される。

【００８７】すなわち、処理４０２で読み出した現フレ
ームのＭＢ（１６画素×１６画素）の動きベクトルのｘ
及びｙ方向の各成分の大きさ（絶対値）が８以上である
場合には、前フレームにおいて周囲８つのＭＢのうちの
何れかの動きベクトルを、８未満である揚合には前フレ
ームにおいて同じ位置のＭＢの動きベクトルを、処理４
０４において読み出して、処理４０５で加算する。

【００８８】その処理４０５における現フレームの４Ｍ
Ｂのそれぞれの動きベクトルと、それらが差し示す前フ
レームのＭＢの動きベクトルとのそれぞれの加算は、図
１６に示すように、ベクトル（ｖ１）と、ベクトル（ｖ
２）とが、ベクトル（ｖ）に合成できるのと同様に行わ
れ、具体的には、それぞれの動きベクトルのｘ及びｙ方
向の各成分毎の加算により行える。

【００８９】このように、フレームスキップが発生した
場合には、フレームスキップが発生したときのために、
復号化時に図８に示すような動きベクトルテーブルに記
憶していた前フレームの各ＭＢ毎の動きベクトルを、そ
れらのＭＢを差し示している現フレームのＭＢの動きベ
クトルに加算することで、スキップされたフレーム分の
画像の動き量を補間することができるため、フレームス
キップが発生した場合でも、第１実施形態と同様の縮小
合成画像の動き補償付きフレーム間予測符号化処理が可
能となる。

【００９０】なお、以上説明した第３実施形態に係る符
号化処理は、図７に示した第１実施形態に係る符号化処
理に、フレームスキップが発生した場合の処理（判断４
０３、処理４０４及び４０５）を追加したものである
が、図１１に示した第２実施形態に係る符号化処理に対
しても、同様にフレームスキップが発生した場合の処理
を追加することができる。すなわち、図１１に示した第
２実施形態に係る符号化処理手順の、処理３０２と、処
理３０３との間に、図１４に示した第３実施形態に係る
符号化処理手順における、判断４０３、処理４０４及び
処理４０５を追加することで、フレームスキップが発生
した場合でも、第２実施形態と同様の縮小合成画像の動
き補償付きフレーム間予測符号化処理が可能となる。

【００９１】なお、以上説明した各実施形態において
は、本発明を、各通信チャネル向けの符号化縮小合成動
画像として、４つの原動画像を縦横それぞれ１／２の縮
小率で縮小した縮小動画像を、縦横それぞれ２づつ合成
した縮小合成画像を符号化する場合を例にとって説明し
たが、本発明は、原動画像の動きベクトル情報と、縮小
合成動画像の動きベクトル情報の相関性の高さを利用し
ているため、それに限らず、多様な縮小率（縦と横の縮
小率がそれぞれ異なる場合を含む）、合成動画像数、及
び、縮小合成動画像の合成位置に対応することができ
る。

【００９２】また、以上説明した各実施形態において
は、本発明に係る縮小合成動画像の動き補償付きフレー
ム間予測符号化法を、多地点テレビ会議制御装置に適用
したが、それに限らず、デジタル動画記録・再生・編集
装置等において、動き補償付きフレーム間予測符号化さ
れた複数の原動画像を復号化して縮小合成して再度動き
補償付きフレーム間予測符号化する場合にも適用可能で
あることはいうまでもない。ただし、多地点テレビ会議
制御装置のように、複数の動き補償付きフレーム間予測
符号化された原動画像を復号化して縮小合成して再度動
き補償付きフレーム間予測符号化する処理を、複数の通
信チャネル分リアルタイムに行う必要があるために、複
数の縮小合成画像について、動きベクトルの検出を同時
に行わなければならず、動きベクトルの検出のための処
理量が非常に多い装置程、本発明に係る縮小合成動画像
の動き補償付きフレーム間予測符号化法の効果は大き
い。

【００９３】

【発明の効果】請求項１に係る発明によれば、前記各符
号化合成動画像に付加される動きベクトル情報は、それ
ら合成動画像を構成する各原動画像の復号化時の動きベ
クトル情報と、合成位置と、縮小合成時の縮小率とに基
づいて算出されるため、従来のように、原動画像の動き
ベクトル情報と、合成動画像の動きベクトル情報の相関
性の高さを考慮することなく、合成動画像について、再
度動きベクトルの検出処理を行う必要がなく、各テレビ
会議端末装置に送信する符号化合成動画像に付加する動
きベクトル情報を簡易な演算によりほぼ正確に算出でき
る。したがって、動きベクトル検出のための演算処理負
担を軽減でき、その分、演算処理装置を低速で低コスト
なものにでき、装置コストを低減できる。

【００９４】請求項２に係る発明によれば、前記各符号
化合成動画像に付加される動きベクトル情報の前記再符
号化手段における探索範囲の中心は、それら合成動画像
を構成する各原動画像の復号化時の動きベクトル情報
と、合成位置と、縮小合成時の縮小率とに基づいて算出
され、前記再符号化手段は、その算出された探索範囲中
心を中心とする所定範囲でのみ動きベクトルを探索する
ため、従来のように、原動画像の動きベクトル情報と、
合成動画像の動きベクトル情報の相関性の高さを考慮す
ることなく、合成動画像について、再度比較的広範囲な
探索範囲で動きベクトルの検出処理を行う必要がなく、
請求項１に係る発明と同様に、テレビ会議端末装置に送
信する符号化合成動画像に付加する動きベクトル情報を
簡易な演算により算出できる。したがって、動きベクト
ル検出のための演算処理負担は従来よりもずっと少なく
て済む。さらに、原動画像の動きベクトル情報と、合成
動画像の動きベクトル情報の相関性の高さを考慮して、
合成動画像の動きベクトルのおおよその値を、探索範囲
中心として求め、その近傍の所定範囲内に在るはずの真
の動きベクトルを前記再符号化手段が検出するため、請
求項１に係る発明よりも正確に合成動画像の動きベクト
ル情報を算出することができる。

【００９５】請求項３に係る発明によれば、前記再符号
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、前記動きベクトル算出手段
は、現フレームの各小領域についての動きベクトル情報
のそれぞれについて、前フレームの動きベクトル情報を
加算することにより、スキップされたフレームの動き情
報を補間するため、前記再符号化手段においてフレーム
スキップが発生した場合でも、請求項１に係る発明を効
果的に実現でき、請求項１に係る発明の汎用性を高める
ことができる。

【００９６】請求項４に係る発明によれば、前記再符号
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、探索範囲中心算出手段は、
現フレームの各小領域についての動きベクトル情報のそ
れぞれについて、前フレームの動きベクトル情報を加算
することにより、スキップされたフレームの動き情報を
補間するため、前記再符号化手段においてフレームスキ
ップが発生した場合でも、請求項２に係る発明を効果的
に実現でき、請求項２に係る発明の汎用性を高めること
ができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る多地点テレビ会議制
御装置を含むテレビ会議システムの構成を示す図であ
る。

【図２】本発明の実施の形態に係るテレビ会議端末装置
のブロック構成を示す図である。

【図３】本発明の実施の形態に係る多地点テレビ会議制
御装置のブロック構成を示す図である。

【図４】本発明の実施の形態に係るテレビ会議システム
の基本的な動作を示す図である。

【図５】本発明の実施形態に係る多地点テレビ会議制御
装置から各テレビ会議端末装置に対して送信され表示さ
れる縮小合成画像について示す模式的な図である。

【図６】本発明の第１実施形態に係る復号化処理手順を
示すフローチャートである。

【図７】本発明の第１実施形態に係る符号化処理手順を
示すフローチャートである。

【図８】多地点テレビ会議制御装置のシステム制御部が
記憶している動きベクトルテーブルの具体例を示す図で
ある。

【図９】原画像中の４つのマクロブロックと、縮小合成
画像中の１つのＭＢの対応関係を示す図である。

【図１０】本発明の第１実施形態に係る動画符号器のブ
ロック構成を示す図である。

【図１１】本発明の第２実施形態に係る符号化処理手順
を示すフローチャートである。

【図１２】本発明の第２実施形態に係る符号化処理手順
において設定される動きベクトル探索範囲の具体例を示
す図である。

【図１３】本発明の第２実施形態に係る動画符号器のブ
ロック構成を示す図である。

【図１４】本発明の第３実施形態に係る符号化処理手順
を示すフローチャートである。

【図１５】本発明の第３実施形態に係る符号化処理手順
において加算される現フレームの動きベクトルと、前フ
レームの動きベクトルとの関係を示す図である。

【図１６】動きベクトルの加算法について示す図であ
る。

【図１７】従来の多地点テレビ会議制御装置における各
テレビ会議端末装置から受信した符号化原動画像を、復
号化して縮小して合成して再符号化して各テレビ会議端
末装置に送信する際の処理について模式的に示した図で
ある。

【符号の説明】

１、１９、２０テレビ会議端末装置２システム制御部３磁気ディスク装置４ＩＳＤＮインターフェイス部５マルチメデイア多重・分離部６マイク７音声入力処理部８音声符号・復号化部９音声出力処理部１０スピーカ１１ビデオカメラ１２映像入力処理部１３動画符号化・復号化部１４映像出力処理部１５モニター１６ユーザーインターフェイス制御部１７コンソール１８、２８ＩＳＤＮ回線２２システム制御部２３ＩＳＤＮインターフェイス部２４マルチメデイア多重・分離部２５音声符号・復号化部２６動画符号・復号化部２７音声・動画マルチプレクス部

Claims

【特許請求の範囲】

【請求項１】複数の地点に設置されたテレビ会議端末
装置を接続して、それら各テレビ会議端末装置からの、
フレームを構成する各小領域毎に付加された動きベクト
ル情報を伴って動き補償フレーム間予測符号化された符
号化原動画像を受信する受信手段と、その受信した各テ
レビ会議端末装置からの符号化原動画像をそれぞれ復号
化する復号化手段と、その復号化されたそれぞれの原動
画像を縮小して合成することで合成動画像を作成する縮
小合成手段と、その合成動画像を、フレームを構成する
各小領域毎に付加される動きベクトル情報を伴って動き
補償フレーム間予測符号化することにより符号化合成動
画像を生成する再符号化手段と、その符号化合成動画像
を前記各テレビ会議端末装置に送信する送信手段とを少
なくとも備えた多地点テレビ会議制御装置において、前記復号化手段が各テレビ会議端末装置からそれぞれ受
信した現フレームの符号化原動画像を復号化する際に得
られる動きベクトル情報をそれぞれの現フレーム毎に記
憶する現フレーム動きベクトル記憶手段と、前記再符号
化手段において前記符号化合成動画像の現フレームを構
成する各小領域毎に付加する動きベクトル情報を、当該
合成動画像として縮小合成された前記各原動画像の現フ
レームについて前記現フレーム動きベクトル記憶手段が
記憶している動きベクトル情報と、それら各原動画像の
前記合成動画像上の合成位置と、それら原動画像の前記
縮小合成手段における縮小率とに基づいて算出する動き
ベクトル算出手段とを備えたことを特徴とする多地点テ
レビ会議制御装置。
【請求項２】複数の地点に設置されたテレビ会議端末
装置を接続して、それら各テレビ会議端末装置からの、
フレームを構成する各小領域毎に付加された動きベクト
ル情報を伴って動き補償フレーム間予測符号化された符
号化原動画像を受信する受信手段と、その受信した各テ
レビ会議端末装置からの符号化原動画像をそれぞれ復号
化する復号化手段と、その復号化されたそれぞれの原動
画像を縮小して合成することで合成動画像を作成する縮
小合成手段と、その合成動画像を、フレームを構成する
各小領域毎に付加される動きベクトル情報を伴って動き
補償フレーム間予測符号化することにより符号化合成動
画像を生成する再符号化手段と、その符号化合成動画像
を前記各テレビ会議端末装置に送信する送信手段とを少
なくとも備えた多地点テレビ会議制御装置において、前記復号化手段が各テレビ会議端末装置からそれぞれ受
信した現フレームの符号化原動画像を復号化する際に得
られる動きベクトル情報をそれぞれの現フレーム毎に記
憶する現フレーム動きベクトル記憶手段と、前記再符号
化手段において前記符号化合成動画像の現フレームを構
成する各小領域毎に付加する動きベクトル情報の探索範
囲の中心を、当該合成動画像として縮小合成された前記
各原動画像の現フレームについて前記現フレーム動きベ
クトル記憶手段が記憶している動きベクトル情報と、そ
れら各原動画像の前記合成動画像上の合成位置と、それ
ら原動画像の前記縮小合成手段における縮小率とに基づ
いて各小領域毎に算出する探索範囲中心算出手段とを備
え、前記再符号化手段は、前記符号化合成動画像の現フ
レームを構成する各小領域毎に付加する動きベクトル情
報を、前記探索範囲中心算出手段により各小領域につい
て算出される探索範囲中心を中心とする所定範囲内で探
索することを特徴とする多地点テレビ会議制御装置。
【請求項３】前記復号化手段が各テレビ会議端末装置
からそれぞれ受信した、現フレームより１フレーム前の
フレームの符号化原動画像を復号化する際に得られる動
きベクトル情報をそれぞれ記憶する前フレーム動きベク
トル記憶手段を更に備え、前記動きベクトル算出手段
は、前記再符号化手段における前記合成動画像の符号化
の際にフレームスキップが発生した場合は、前記再符号
化手段において前記符号化合成動画像の現フレームを構
成する各小領域毎に付加する動きベクトル情報を、当該
合成動画像として縮小合成された前記各原動画像の現フ
レームについて前記現フレーム動きベクトル記憶手段が
記憶している各小領域毎の動きベクトルと、その現フレ
ーム動きベクトル記憶手段が記憶している現フレームの
各小領域毎の動きベクトルが指し示す小領域について、
当該合成動画像として縮小合成された前記各原動画像の
現フレームより１フレーム前のフレームについて前記前
フレーム動きベクトル記憶手段が記憶している動きベク
トルとを前記各原動画像の現フレームを構成する各小領
域について加算した動きベクトル情報と、それら各原動
画像の前記合成動画像上の合成位置と、それら原動画像
の前記縮小合成手段における縮小率とに基づいて算出す
ることを特徴とする請求項１記載の多地点テレビ会議制
御装置。
【請求項４】前記復号化手段が各テレビ会議端末装置
からそれぞれ受信した現フレームより１フレーム前のフ
レームの符号化原動画像を復号化する際に得られる動き
ベクトル情報をそれぞれ記憶する前フレーム動きベクト
ル記憶手段を更に備え、前記探索範囲中心算出手段は、
前記再符号化手段における前記合成動画像の符号化の際
にフレームスキップが発生した場合は、前記再符号化手
段において前記符号化合成動画像の現フレームを構成す
る各小領域毎に付加する動きベクトル情報の探索範囲の
中心を、当該合成動画像として縮小合成された前記各原
動画像の現フレームについて前記現フレーム動きベクト
ル記憶手段が記憶している各小領域毎の動きベクトル
と、その現フレーム動きベクトル記憶手段が記憶してい
る現フレームの各小領域毎の動きベクトルが指し示す小
領域について、当該合成動画像として縮小合成された前
記各原動画像の現フレームより１フレーム前のフレーム
について前記前フレーム動きベクトル記憶手段が記憶し
ている動きベクトルとを前記各原動画像の現フレームを
構成する各小領域について加算した動きベクトル情報
と、それら各原動画像の前記合成動画像上の合成位置
と、それら原動画像の前記縮小合成手段における縮小率
とに基づいて算出することを特徴とする請求項２記載の
多地点テレビ会議制御装置。