JPH1066088A - 多地点テレビ会議制御装置 - Google Patents
多地点テレビ会議制御装置Info
- Publication number
- JPH1066088A JPH1066088A JP23368896A JP23368896A JPH1066088A JP H1066088 A JPH1066088 A JP H1066088A JP 23368896 A JP23368896 A JP 23368896A JP 23368896 A JP23368896 A JP 23368896A JP H1066088 A JPH1066088 A JP H1066088A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- moving image
- frame
- current frame
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 各テレビ会議端末装置に送信する符号化合成
動画像に付加する動きベクトル情報を簡易な演算により
算出できる多地点テレビ会議制御装置を提供すること。 【解決手段】 各テレビ会議端末装置からの符号化原動
画像の復号化の際に得られる動きベクトル情報を記憶す
る現フレーム動きベクトル記憶手段と、各テレビ会議端
末装置に送信する符号化合成動画像に付加する動きベク
トル情報を、当該合成動画像として縮小合成された前記
各原動画像について前記現フレーム動きベクトル記憶手
段が記憶している動きベクトル情報と、それら各原動画
像の前記合成動画像上の合成位置と、それら原動画像の
前記縮小合成手段における縮小率とに基づいて算出する
動きベクトル算出手段とを備えたことを特徴とする。
動画像に付加する動きベクトル情報を簡易な演算により
算出できる多地点テレビ会議制御装置を提供すること。 【解決手段】 各テレビ会議端末装置からの符号化原動
画像の復号化の際に得られる動きベクトル情報を記憶す
る現フレーム動きベクトル記憶手段と、各テレビ会議端
末装置に送信する符号化合成動画像に付加する動きベク
トル情報を、当該合成動画像として縮小合成された前記
各原動画像について前記現フレーム動きベクトル記憶手
段が記憶している動きベクトル情報と、それら各原動画
像の前記合成動画像上の合成位置と、それら原動画像の
前記縮小合成手段における縮小率とに基づいて算出する
動きベクトル算出手段とを備えたことを特徴とする。
Description
【0001】
【発明の属する技術分野】本発明は、複数地点に設置さ
れたテレビ会議端末装置からそれぞれ受信した、動きベ
クトル情報を伴って動き補償フレーム間予測符号化され
た符号化原動画像をそれぞれ復号化して得た各テレビ会
議端末装置からの原動画像を縮小合成することにより合
成動画像を作成し、その合成動画像を再度動きベクトル
情報を伴って動き補償フレーム間予測符号化することに
より符号化合成動画像を生成して、前記各テレビ会議端
末装置に送信する機能を少なくとも備えた多地点テレビ
会議制御装置に関する。
れたテレビ会議端末装置からそれぞれ受信した、動きベ
クトル情報を伴って動き補償フレーム間予測符号化され
た符号化原動画像をそれぞれ復号化して得た各テレビ会
議端末装置からの原動画像を縮小合成することにより合
成動画像を作成し、その合成動画像を再度動きベクトル
情報を伴って動き補償フレーム間予測符号化することに
より符号化合成動画像を生成して、前記各テレビ会議端
末装置に送信する機能を少なくとも備えた多地点テレビ
会議制御装置に関する。
【0002】
【従来の技術】現在のほとんどのテレビ会議システムに
おける通信方式は、ITU−T勧告H.320に従って
おり、動画像の符号化・復号化方式は、そのシリーズで
あるITU−T勧告H.261に従っている。
おける通信方式は、ITU−T勧告H.320に従って
おり、動画像の符号化・復号化方式は、そのシリーズで
あるITU−T勧告H.261に従っている。
【0003】そのITU−T勧告H.261に規定され
た動画像の符号化方式は、フレーム間の差分を符号化す
るフレーム間予測符号化方式であり、また、前後のフレ
ームを比較して物体の動きを検出し、前フレームの中の
物体を動いた量だけずらしてから次のフレームを予測す
ることにより予測誤差を減らすことができる、動き補償
付きフレーム間予測符号化方式も、オプションではある
が定義されており、ほとんどのテレビ会議端末装置ある
いは多地点テレビ会議制御装置は、その動き補償付きフ
レーム間予測符号化方式に対応している。
た動画像の符号化方式は、フレーム間の差分を符号化す
るフレーム間予測符号化方式であり、また、前後のフレ
ームを比較して物体の動きを検出し、前フレームの中の
物体を動いた量だけずらしてから次のフレームを予測す
ることにより予測誤差を減らすことができる、動き補償
付きフレーム間予測符号化方式も、オプションではある
が定義されており、ほとんどのテレビ会議端末装置ある
いは多地点テレビ会議制御装置は、その動き補償付きフ
レーム間予測符号化方式に対応している。
【0004】その動き補償付きフレーム間予測符号化方
式では、フレームを構成する多数の小領域(ブロック)
毎に動きベクトルを演算により検出している。
式では、フレームを構成する多数の小領域(ブロック)
毎に動きベクトルを演算により検出している。
【0005】動きベクトルの検出方法としては、ブロッ
クマッチング法やグラジエント法等が知られているが、
ITU−T勧告H.261では、ブロックマッチング法
を採用しており、マクロブロック(MB:16×16画
素)毎に、±15画素の探索範囲で、現フレーム中の着
目しているマクロブロックと最も近似しているブロック
を前フレームから探し、その画素位置の差を当該現フレ
ームの着目しているマクロブロックについての動きベク
トルとするものである。
クマッチング法やグラジエント法等が知られているが、
ITU−T勧告H.261では、ブロックマッチング法
を採用しており、マクロブロック(MB:16×16画
素)毎に、±15画素の探索範囲で、現フレーム中の着
目しているマクロブロックと最も近似しているブロック
を前フレームから探し、その画素位置の差を当該現フレ
ームの着目しているマクロブロックについての動きベク
トルとするものである。
【0006】動き補償付きフレーム間予測符号化方式に
おける符号化処理は、上記動きベクトル検出処理の他、
DCT処理、逆DCT処理、量子化処理、逆量子化処
理、可変長符号化処理等の多数のデータ処理により構成
されるが、その中でも動きベクトル検出処理は、毎秒約
30回発生する各フレームに多数(フレームのフォーマ
ットがFCIF(352画素×288ライン)なら、3
96(22×18)個)含まれる各マクロブロックにつ
いて、±15画素の探索範囲分(31×31=961)
の961回の比較演算が必要であり、そのめための処理
量は、全符号化処理量の半分以上を占めている。
おける符号化処理は、上記動きベクトル検出処理の他、
DCT処理、逆DCT処理、量子化処理、逆量子化処
理、可変長符号化処理等の多数のデータ処理により構成
されるが、その中でも動きベクトル検出処理は、毎秒約
30回発生する各フレームに多数(フレームのフォーマ
ットがFCIF(352画素×288ライン)なら、3
96(22×18)個)含まれる各マクロブロックにつ
いて、±15画素の探索範囲分(31×31=961)
の961回の比較演算が必要であり、そのめための処理
量は、全符号化処理量の半分以上を占めている。
【0007】一方、多地点テレビ会議制御装置は、各テ
レビ会議端末装置から受信した動画像を、ITU−T勧
告T.120勧告草案に示される各種ミキシング方式に
より適宜ミキシングして各テレビ会議端末装置に送信す
るが、そのうち、トランスコーダを用いたミキシング方
式の場合の多地点TV会議制御装置における動画像処理
について、図17を参照して模式的に説明する。なお、
図17の前提として、多地点テレビ会議制御装置には、
テレビ会議端末装置(以下単に端末と略す)AないしE
の5端末が接続されているものとする。
レビ会議端末装置から受信した動画像を、ITU−T勧
告T.120勧告草案に示される各種ミキシング方式に
より適宜ミキシングして各テレビ会議端末装置に送信す
るが、そのうち、トランスコーダを用いたミキシング方
式の場合の多地点TV会議制御装置における動画像処理
について、図17を参照して模式的に説明する。なお、
図17の前提として、多地点テレビ会議制御装置には、
テレビ会議端末装置(以下単に端末と略す)AないしE
の5端末が接続されているものとする。
【0008】同図において、多地点TV会議制御装置
は、端末AないしEからそれぞれ受信した、符号化され
た原動画像(符号化原動画像)をそれぞれ復号化して、
各原動画像を得て、それらの各原動画像をそれぞれ縦横
2分の1に縮小して縮小動画像を作成し、それらの各縮
小動画像を各端末毎に合成する。つまり、端末Aに対し
ては、端末Aから受信した原動画像を除く端末Bないし
Eからそれぞれ受信した原動画像の縮小動画像を合成し
て合成動画像を作成し、その他の端末に対しても同様
に、合成動画像を作成する。そして、それら各端末向け
の合成動画像を、それぞれ再度符号化して符号化合成動
画像を作成し、各端末に対して送信する。
は、端末AないしEからそれぞれ受信した、符号化され
た原動画像(符号化原動画像)をそれぞれ復号化して、
各原動画像を得て、それらの各原動画像をそれぞれ縦横
2分の1に縮小して縮小動画像を作成し、それらの各縮
小動画像を各端末毎に合成する。つまり、端末Aに対し
ては、端末Aから受信した原動画像を除く端末Bないし
Eからそれぞれ受信した原動画像の縮小動画像を合成し
て合成動画像を作成し、その他の端末に対しても同様
に、合成動画像を作成する。そして、それら各端末向け
の合成動画像を、それぞれ再度符号化して符号化合成動
画像を作成し、各端末に対して送信する。
【0009】
【発明が解決しようとする課題】このように、トランス
コーダを用いたミキシング方式では、各端末から受信し
た符号化原動画像をそれぞれいったん復号化して、原動
画像に戻してから任意に縮小処理や合成処理を行えるた
め、多地点テレビ会議制御装置において多様な動画像処
理を行える利点がある一方、各端末向けのそれぞれの動
画像を、各端末毎に同時的に再符号化する必要があるた
め、端末と接続可能な通信チャネル数分の符号化器を備
える必要がある。
コーダを用いたミキシング方式では、各端末から受信し
た符号化原動画像をそれぞれいったん復号化して、原動
画像に戻してから任意に縮小処理や合成処理を行えるた
め、多地点テレビ会議制御装置において多様な動画像処
理を行える利点がある一方、各端末向けのそれぞれの動
画像を、各端末毎に同時的に再符号化する必要があるた
め、端末と接続可能な通信チャネル数分の符号化器を備
える必要がある。
【0010】その各通信チャネル毎の符号化器は、1つ
のテレビ会議端末装置が備えるものと同等の機能を備え
る必要があり、それらの符号化器が、動き補償付きフレ
ーム間予測符号化に対応していれば、多地点テレビ会議
制御装置は、通信チャネル数分の、動きベクトル検出機
能を持つ符号化器を備える必要がある。一方、動きベク
トル検出機能は、前述したように、符号化処理の全処理
量の半分以上を占めている。したがって、多地点テレビ
会議制御装置は、通信チャネル数分の動きベクトル検出
機能をまかなうために、高性能な演算処理装置を備える
必要があり、その分装置コストが嵩んでいた。
のテレビ会議端末装置が備えるものと同等の機能を備え
る必要があり、それらの符号化器が、動き補償付きフレ
ーム間予測符号化に対応していれば、多地点テレビ会議
制御装置は、通信チャネル数分の、動きベクトル検出機
能を持つ符号化器を備える必要がある。一方、動きベク
トル検出機能は、前述したように、符号化処理の全処理
量の半分以上を占めている。したがって、多地点テレビ
会議制御装置は、通信チャネル数分の動きベクトル検出
機能をまかなうために、高性能な演算処理装置を備える
必要があり、その分装置コストが嵩んでいた。
【0011】本発明は、係る事情に鑑みてなされたもの
であり、各テレビ会議端末装置に送信する符号化合成動
画像に付加する動きベクトル情報を簡易な演算により算
出できる多地点テレビ会議制御装置を提供することを目
的とする。
であり、各テレビ会議端末装置に送信する符号化合成動
画像に付加する動きベクトル情報を簡易な演算により算
出できる多地点テレビ会議制御装置を提供することを目
的とする。
【0012】
【課題を解決するための手段】上記目的を達成するた
め、請求項1記載の多地点テレビ会議制御装置は、複数
の地点に設置されたテレビ会議端末装置を接続して、そ
れら各テレビ会議端末装置からの、フレームを構成する
各小領域毎に付加された動きベクトル情報を伴って動き
補償フレーム間予測符号化された符号化原動画像を受信
する受信手段と、その受信した各テレビ会議端末装置か
らの符号化原動画像をそれぞれ復号化する復号化手段
と、その復号化されたそれぞれの原動画像を縮小して合
成することで合成動画像を作成する縮小合成手段と、そ
の合成動画像を、フレームを構成する各小領域毎に付加
される動きベクトル情報を伴って動き補償フレーム間予
測符号化することにより符号化合成動画像を生成する再
符号化手段と、その符号化合成動画像を前記各テレビ会
議端末装置に送信する送信手段とを少なくとも備えた多
地点テレビ会議制御装置において、前記復号化手段が各
テレビ会議端末装置からそれぞれ受信した現フレームの
符号化原動画像を復号化する際に得られる動きベクトル
情報をそれぞれの現フレーム毎に記憶する現フレーム動
きベクトル記憶手段と、前記再符号化手段において前記
符号化合成動画像の現フレームを構成する各小領域毎に
付加する動きベクトル情報を、当該合成動画像として縮
小合成された前記各原動画像の現フレームについて前記
現フレーム動きベクトル記憶手段が記憶している動きベ
クトル情報と、それら各原動画像の前記合成動画像上の
合成位置と、それら原動画像の前記縮小合成手段におけ
る縮小率とに基づいて算出する動きベクトル算出手段と
を備えたことを特徴とする。
め、請求項1記載の多地点テレビ会議制御装置は、複数
の地点に設置されたテレビ会議端末装置を接続して、そ
れら各テレビ会議端末装置からの、フレームを構成する
各小領域毎に付加された動きベクトル情報を伴って動き
補償フレーム間予測符号化された符号化原動画像を受信
する受信手段と、その受信した各テレビ会議端末装置か
らの符号化原動画像をそれぞれ復号化する復号化手段
と、その復号化されたそれぞれの原動画像を縮小して合
成することで合成動画像を作成する縮小合成手段と、そ
の合成動画像を、フレームを構成する各小領域毎に付加
される動きベクトル情報を伴って動き補償フレーム間予
測符号化することにより符号化合成動画像を生成する再
符号化手段と、その符号化合成動画像を前記各テレビ会
議端末装置に送信する送信手段とを少なくとも備えた多
地点テレビ会議制御装置において、前記復号化手段が各
テレビ会議端末装置からそれぞれ受信した現フレームの
符号化原動画像を復号化する際に得られる動きベクトル
情報をそれぞれの現フレーム毎に記憶する現フレーム動
きベクトル記憶手段と、前記再符号化手段において前記
符号化合成動画像の現フレームを構成する各小領域毎に
付加する動きベクトル情報を、当該合成動画像として縮
小合成された前記各原動画像の現フレームについて前記
現フレーム動きベクトル記憶手段が記憶している動きベ
クトル情報と、それら各原動画像の前記合成動画像上の
合成位置と、それら原動画像の前記縮小合成手段におけ
る縮小率とに基づいて算出する動きベクトル算出手段と
を備えたことを特徴とする。
【0013】請求項2記載の多地点テレビ会議制御装置
は、複数の地点に設置されたテレビ会議端末装置を接続
して、それら各テレビ会議端末装置からの、フレームを
構成する各小領域毎に付加された動きベクトル情報を伴
って動き補償フレーム間予測符号化された符号化原動画
像を受信する受信手段と、その受信した各テレビ会議端
末装置からの符号化原動画像をそれぞれ復号化する復号
化手段と、その復号化されたそれぞれの原動画像を縮小
して合成することで合成動画像を作成する縮小合成手段
と、その合成動画像を、フレームを構成する各小領域毎
に付加される動きベクトル情報を伴って動き補償フレー
ム間予測符号化することにより符号化合成動画像を生成
する再符号化手段と、その符号化合成動画像を前記各テ
レビ会議端末装置に送信する送信手段とを少なくとも備
えた多地点テレビ会議制御装置において、前記復号化手
段が各テレビ会議端末装置からそれぞれ受信した現フレ
ームの符号化原動画像を復号化する際に得られる動きベ
クトル情報をそれぞれの現フレーム毎に記憶する現フレ
ーム動きベクトル記憶手段と、前記再符号化手段におい
て前記符号化合成動画像の現フレームを構成する各小領
域毎に付加する動きベクトル情報の探索範囲の中心を、
当該合成動画像として縮小合成された前記各原動画像の
現フレームについて前記現フレーム動きベクトル記憶手
段が記憶している動きベクトル情報と、それら各原動画
像の前記合成動画像上の合成位置と、それら原動画像の
前記縮小合成手段における縮小率とに基づいて各小領域
毎に算出する探索範囲中心算出手段とを備え、前記再符
号化手段は、前記符号化合成動画像の現フレームを構成
する各小領域毎に付加する動きベクトル情報を、前記探
索範囲中心算出手段により各小領域について算出される
探索範囲中心を中心とする所定範囲内で探索することを
特徴とする。
は、複数の地点に設置されたテレビ会議端末装置を接続
して、それら各テレビ会議端末装置からの、フレームを
構成する各小領域毎に付加された動きベクトル情報を伴
って動き補償フレーム間予測符号化された符号化原動画
像を受信する受信手段と、その受信した各テレビ会議端
末装置からの符号化原動画像をそれぞれ復号化する復号
化手段と、その復号化されたそれぞれの原動画像を縮小
して合成することで合成動画像を作成する縮小合成手段
と、その合成動画像を、フレームを構成する各小領域毎
に付加される動きベクトル情報を伴って動き補償フレー
ム間予測符号化することにより符号化合成動画像を生成
する再符号化手段と、その符号化合成動画像を前記各テ
レビ会議端末装置に送信する送信手段とを少なくとも備
えた多地点テレビ会議制御装置において、前記復号化手
段が各テレビ会議端末装置からそれぞれ受信した現フレ
ームの符号化原動画像を復号化する際に得られる動きベ
クトル情報をそれぞれの現フレーム毎に記憶する現フレ
ーム動きベクトル記憶手段と、前記再符号化手段におい
て前記符号化合成動画像の現フレームを構成する各小領
域毎に付加する動きベクトル情報の探索範囲の中心を、
当該合成動画像として縮小合成された前記各原動画像の
現フレームについて前記現フレーム動きベクトル記憶手
段が記憶している動きベクトル情報と、それら各原動画
像の前記合成動画像上の合成位置と、それら原動画像の
前記縮小合成手段における縮小率とに基づいて各小領域
毎に算出する探索範囲中心算出手段とを備え、前記再符
号化手段は、前記符号化合成動画像の現フレームを構成
する各小領域毎に付加する動きベクトル情報を、前記探
索範囲中心算出手段により各小領域について算出される
探索範囲中心を中心とする所定範囲内で探索することを
特徴とする。
【0014】請求項3記載の多地点テレビ会議制御装置
は、請求項1記載の多地点テレビ会議制御装置におい
て、前記復号化手段が各テレビ会議端末装置からそれぞ
れ受信した、現フレームより1フレーム前のフレームの
符号化原動画像を復号化する際に得られる動きベクトル
情報をそれぞれ記憶する前フレーム動きベクトル記憶手
段を更に備え、前記動きベクトル算出手段は、前記再符
号化手段における前記合成動画像の符号化の際にフレー
ムスキップが発生した場合は、前記再符号化手段におい
て前記符号化合成動画像の現フレームを構成する各小領
域毎に付加する動きベクトル情報を、当該合成動画像と
して縮小合成された前記各原動画像の現フレームについ
て前記現フレーム動きベクトル記憶手段が記憶している
各小領域毎の動きベクトルと、その現フレーム動きベク
トル記憶手段が記憶している現フレームの各小領域毎の
動きベクトルが指し示す小領域について、当該合成動画
像として縮小合成された前記各原動画像の現フレームよ
り1フレーム前のフレームについて前記前フレーム動き
ベクトル記憶手段が記憶している動きベクトルとを前記
各原動画像の現フレームを構成する各小領域について加
算した動きベクトル情報と、それら各原動画像の前記合
成動画像上の合成位置と、それら原動画像の前記縮小合
成手段における縮小率とに基づいて算出することを特徴
とする。
は、請求項1記載の多地点テレビ会議制御装置におい
て、前記復号化手段が各テレビ会議端末装置からそれぞ
れ受信した、現フレームより1フレーム前のフレームの
符号化原動画像を復号化する際に得られる動きベクトル
情報をそれぞれ記憶する前フレーム動きベクトル記憶手
段を更に備え、前記動きベクトル算出手段は、前記再符
号化手段における前記合成動画像の符号化の際にフレー
ムスキップが発生した場合は、前記再符号化手段におい
て前記符号化合成動画像の現フレームを構成する各小領
域毎に付加する動きベクトル情報を、当該合成動画像と
して縮小合成された前記各原動画像の現フレームについ
て前記現フレーム動きベクトル記憶手段が記憶している
各小領域毎の動きベクトルと、その現フレーム動きベク
トル記憶手段が記憶している現フレームの各小領域毎の
動きベクトルが指し示す小領域について、当該合成動画
像として縮小合成された前記各原動画像の現フレームよ
り1フレーム前のフレームについて前記前フレーム動き
ベクトル記憶手段が記憶している動きベクトルとを前記
各原動画像の現フレームを構成する各小領域について加
算した動きベクトル情報と、それら各原動画像の前記合
成動画像上の合成位置と、それら原動画像の前記縮小合
成手段における縮小率とに基づいて算出することを特徴
とする。
【0015】請求項4記載の多地点テレビ会議制御装置
は、請求項2記載の多地点テレビ会議制御装置におい
て、前記復号化手段が各テレビ会議端末装置からそれぞ
れ受信した現フレームより1フレーム前のフレームの符
号化原動画像を復号化する際に得られる動きベクトル情
報をそれぞれ記憶する前フレーム動きベクトル記憶手段
を更に備え、前記探索範囲中心算出手段は、前記再符号
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、前記再符号化手段において
前記符号化合成動画像の現フレームを構成する各小領域
毎に付加する動きベクトル情報の探索範囲の中心を、当
該合成動画像として縮小合成された前記各原動画像の現
フレームについて前記現フレーム動きベクトル記憶手段
が記憶している各小領域毎の動きベクトルと、その現フ
レーム動きベクトル記憶手段が記憶している現フレーム
の各小領域毎の動きベクトルが指し示す小領域につい
て、当該合成動画像として縮小合成された前記各原動画
像の現フレームより1フレーム前のフレームについて前
記前フレーム動きベクトル記憶手段が記憶している動き
ベクトルとを前記各原動画像の現フレームを構成する各
小領域について加算した動きベクトル情報と、それら各
原動画像の前記合成動画像上の合成位置と、それら原動
画像の前記縮小合成手段における縮小率とに基づいて算
出することを特徴とする。
は、請求項2記載の多地点テレビ会議制御装置におい
て、前記復号化手段が各テレビ会議端末装置からそれぞ
れ受信した現フレームより1フレーム前のフレームの符
号化原動画像を復号化する際に得られる動きベクトル情
報をそれぞれ記憶する前フレーム動きベクトル記憶手段
を更に備え、前記探索範囲中心算出手段は、前記再符号
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、前記再符号化手段において
前記符号化合成動画像の現フレームを構成する各小領域
毎に付加する動きベクトル情報の探索範囲の中心を、当
該合成動画像として縮小合成された前記各原動画像の現
フレームについて前記現フレーム動きベクトル記憶手段
が記憶している各小領域毎の動きベクトルと、その現フ
レーム動きベクトル記憶手段が記憶している現フレーム
の各小領域毎の動きベクトルが指し示す小領域につい
て、当該合成動画像として縮小合成された前記各原動画
像の現フレームより1フレーム前のフレームについて前
記前フレーム動きベクトル記憶手段が記憶している動き
ベクトルとを前記各原動画像の現フレームを構成する各
小領域について加算した動きベクトル情報と、それら各
原動画像の前記合成動画像上の合成位置と、それら原動
画像の前記縮小合成手段における縮小率とに基づいて算
出することを特徴とする。
【0016】
【発明の実施の形態】以下、添付図面を参照しながら本
発明の実施の形態に係る多地点テレビ会議制御装置につ
いて詳細に説明する。
発明の実施の形態に係る多地点テレビ会議制御装置につ
いて詳細に説明する。
【0017】図1は、本実施の形態に係る多地点テレビ
会議制御装置を含むテレビ会議システムの構成を示して
いる。
会議制御装置を含むテレビ会議システムの構成を示して
いる。
【0018】同図において、1、19、20は、本発明
に関係する、同一構成のテレビ会議端末装置であり、I
SDN回線18により、ISDNネットワークに接続さ
れている。なお、図示していないが、本発明に関係する
テレビ会議端末装置は、1、19及び20の3装置に限
られない。また、21は本発明に係る多地点テレビ会議
制御装置であり、ISDN回線28によりISDNネッ
トワークに接続されている。
に関係する、同一構成のテレビ会議端末装置であり、I
SDN回線18により、ISDNネットワークに接続さ
れている。なお、図示していないが、本発明に関係する
テレビ会議端末装置は、1、19及び20の3装置に限
られない。また、21は本発明に係る多地点テレビ会議
制御装置であり、ISDN回線28によりISDNネッ
トワークに接続されている。
【0019】図2は、本発明に関係するテレビ会議端末
装置のうちのテレビ会議端末装置1について、そのブロ
ック構成を示したものである。
装置のうちのテレビ会議端末装置1について、そのブロ
ック構成を示したものである。
【0020】同図において、2はシステム全体の制御を
司り、CPU、メモリ、タイマー等からなるシステム制
御部、3は各種プログラムやデータを記憶するための磁
気ディスク装置、4はISDNのレイヤ1の信号処理と
Dチャネルのレイヤ2の信号処理とを行うISDNイン
ターフェイス部、5はITU−T勧告H.221に規定
された信号処理によって、複数メディアのデータの多重
・分離を行うマルチメデイア多重・分離部、6は音声入
力のためのマイク、7は、マイク6からの入力信号を増
幅した後A/D変換を行う音声入力処理部、8は音声信
号の符号化・復号化・エコーキャンセルを行う音声符号
・復号化部、9は音声符号・復号化部8で復号化された
音声信号をD/A変換の後増幅する、音声出力処理部、
10は音声出力処理部9からの音声を出力するためのス
ピーカ、11は映像入力のためのビデオカメラ、12は
ビデオカメラ11からの映像信号をNTSCデコード、
A/D変換等の信号処理を行う映像入力処理部、13は
ITU−T勧告H.261に準拠した動画像の符号化・
復号化を行う動画符号化・復号化部、14は、動画符号
化・復号化装置13で復号化された映像信号をD/A変
換、NTSCエンコード、グラフイックス合成等の信号
処理を行う映像出力処理部、15は受信動画映像やグラ
フィックス情報を表示するためのモニター、16はコン
ソールを制御するユーザーインターフェイス制御部、1
7は操作キー及び表示部よりなるコンソール、18はI
SDN回線である。
司り、CPU、メモリ、タイマー等からなるシステム制
御部、3は各種プログラムやデータを記憶するための磁
気ディスク装置、4はISDNのレイヤ1の信号処理と
Dチャネルのレイヤ2の信号処理とを行うISDNイン
ターフェイス部、5はITU−T勧告H.221に規定
された信号処理によって、複数メディアのデータの多重
・分離を行うマルチメデイア多重・分離部、6は音声入
力のためのマイク、7は、マイク6からの入力信号を増
幅した後A/D変換を行う音声入力処理部、8は音声信
号の符号化・復号化・エコーキャンセルを行う音声符号
・復号化部、9は音声符号・復号化部8で復号化された
音声信号をD/A変換の後増幅する、音声出力処理部、
10は音声出力処理部9からの音声を出力するためのス
ピーカ、11は映像入力のためのビデオカメラ、12は
ビデオカメラ11からの映像信号をNTSCデコード、
A/D変換等の信号処理を行う映像入力処理部、13は
ITU−T勧告H.261に準拠した動画像の符号化・
復号化を行う動画符号化・復号化部、14は、動画符号
化・復号化装置13で復号化された映像信号をD/A変
換、NTSCエンコード、グラフイックス合成等の信号
処理を行う映像出力処理部、15は受信動画映像やグラ
フィックス情報を表示するためのモニター、16はコン
ソールを制御するユーザーインターフェイス制御部、1
7は操作キー及び表示部よりなるコンソール、18はI
SDN回線である。
【0021】図3は、多地点テレビ会議制御装置21の
ブロック構成を示している。同図において、22はシス
テム全体の制御を司りCPU、メモリ、タイマー等から
なるシステム制御部である。
ブロック構成を示している。同図において、22はシス
テム全体の制御を司りCPU、メモリ、タイマー等から
なるシステム制御部である。
【0022】23はISDNインターフェイス部、24
はマルチメデイア多重・分離部、25は音声信号の符号
化・復号化を行う音声符号・復号化部、26はITU−
T勧告H.261に準拠した動画像の符号化・復号化を
行う動画符号化・復号化部であり、23ないし26の構
成要素により、通信チャネル1が構成されている。
はマルチメデイア多重・分離部、25は音声信号の符号
化・復号化を行う音声符号・復号化部、26はITU−
T勧告H.261に準拠した動画像の符号化・復号化を
行う動画符号化・復号化部であり、23ないし26の構
成要素により、通信チャネル1が構成されている。
【0023】以上の構成は、通信チャネル1の構成であ
るが、図示するように、多地点テレビ会議制御装置21
は、1ないしnの通信チャネルを備え、通信チャネル1
以外の通信チャネルも、図示を省略しているが通信チャ
ネル1と同一構成を備え、それぞれがISDN回線に接
続されている。
るが、図示するように、多地点テレビ会議制御装置21
は、1ないしnの通信チャネルを備え、通信チャネル1
以外の通信チャネルも、図示を省略しているが通信チャ
ネル1と同一構成を備え、それぞれがISDN回線に接
続されている。
【0024】27は、各通信チャネルで復号化された音
声及び動画像のデータをチャネル間で合成し、各チャネ
ルに配送する音声・動画マルチプレクス部、28は、通
信チャネルに接続されたISDN回線である。なお、図
において、音声符号・復号化部25から音声・動画マル
チプレクス部27への接続、動画符号・複号化部26か
ら音声・動画マルチプレクス部27への接続、及び、音
声・動画マルチプレクス部27から動画符号・復号化部
26への接続は、図の煩雑さを避ける為に単一の接続で
示したが、これらは、実際は、各通信チャネル1〜n毎
に別個に接続されている。
声及び動画像のデータをチャネル間で合成し、各チャネ
ルに配送する音声・動画マルチプレクス部、28は、通
信チャネルに接続されたISDN回線である。なお、図
において、音声符号・復号化部25から音声・動画マル
チプレクス部27への接続、動画符号・複号化部26か
ら音声・動画マルチプレクス部27への接続、及び、音
声・動画マルチプレクス部27から動画符号・復号化部
26への接続は、図の煩雑さを避ける為に単一の接続で
示したが、これらは、実際は、各通信チャネル1〜n毎
に別個に接続されている。
【0025】次に、テレビ会議システムの基本的な動作
について図4を参照して説明する。同図において、テレ
ビ会議を起動する際には、各テレビ会議端末装置と多地
点テレビ会議制御装置21(相手端末)との間でまず回
線の接続を行う必要がある。これはLAPDを通じて行
う通常の発呼手順に従う。SETUP(呼設定メッセー
ジ)は、伝達能力(BC)を非制限デジタル、下位レイ
ヤ整合性(LLC)をH.221、高位レイヤ整合性
(HLC)を会議として送出する。
について図4を参照して説明する。同図において、テレ
ビ会議を起動する際には、各テレビ会議端末装置と多地
点テレビ会議制御装置21(相手端末)との間でまず回
線の接続を行う必要がある。これはLAPDを通じて行
う通常の発呼手順に従う。SETUP(呼設定メッセー
ジ)は、伝達能力(BC)を非制限デジタル、下位レイ
ヤ整合性(LLC)をH.221、高位レイヤ整合性
(HLC)を会議として送出する。
【0026】相手端末がSETUPを解析し、通信可能
性が承認されると、相手端末はCONN(応答)を返
し、呼が確立される。ここで、下位レイヤ整合性におい
てH.221とは、図2におけるマルチメデイア多重・
分離部5で実行されるITU−T勧告H.221がイン
プリメントされていることを示している。
性が承認されると、相手端末はCONN(応答)を返
し、呼が確立される。ここで、下位レイヤ整合性におい
てH.221とは、図2におけるマルチメデイア多重・
分離部5で実行されるITU−T勧告H.221がイン
プリメントされていることを示している。
【0027】呼が確立されると、システム制御部2はマ
ルチメデイア多重・分離部5を制御し、マルチフレーム
同期信号の送出を行いマルチフレーム同期を確立する。
更に、システム制御部2はITU−T勧告H.242に
従いマルチメデイア多重・分離部5を制御して能力通知
を行い、交信モードを確立する。これは、H.221上
のBAS信号上で行い、共通能力で必要なチャネルの設
定、ビットレートの割り当てを行う。本実施の形態で
は、音声、動画、デー夕(LSD)の3つのチャネルが
アサインされる。交信モードが確定すると、各チャネル
は各々独立したデータとして取り扱う事が可能となり、
テレビ会議としての動作を開始する。
ルチメデイア多重・分離部5を制御し、マルチフレーム
同期信号の送出を行いマルチフレーム同期を確立する。
更に、システム制御部2はITU−T勧告H.242に
従いマルチメデイア多重・分離部5を制御して能力通知
を行い、交信モードを確立する。これは、H.221上
のBAS信号上で行い、共通能力で必要なチャネルの設
定、ビットレートの割り当てを行う。本実施の形態で
は、音声、動画、デー夕(LSD)の3つのチャネルが
アサインされる。交信モードが確定すると、各チャネル
は各々独立したデータとして取り扱う事が可能となり、
テレビ会議としての動作を開始する。
【0028】以上の手順が、各テレビ会議端末と、多地
点テレビ会議制御装置21の各通信チャネルとの間で行
われることにより、多地点テレビ会議制御装置21を介
して多地点テレビ会議が可能となる。
点テレビ会議制御装置21の各通信チャネルとの間で行
われることにより、多地点テレビ会議制御装置21を介
して多地点テレビ会議が可能となる。
【0029】テレビ会議が起動されると、システム制御
部2は、音声符号・復号化部8及び動画符号・復号化部
13を起動し、音声、動画、及びデータの双方向通信が
可能となる。
部2は、音声符号・復号化部8及び動画符号・復号化部
13を起動し、音声、動画、及びデータの双方向通信が
可能となる。
【0030】テレビ会議終了時には、システム制御部2
は、音声符号・復号化部8及び動画符号・復号化部13
を停止すると共に、ISDNインターフェイス部4を制
御し図4に示した手順に従い呼を解放する。
は、音声符号・復号化部8及び動画符号・復号化部13
を停止すると共に、ISDNインターフェイス部4を制
御し図4に示した手順に従い呼を解放する。
【0031】ユーザは、これまで述べた各動作(発呼、
会議終了)の起動を、コンソール17を操作して行う。
入力された操作データは、ユーザーインターフェイス制
御部16を介してシステム制御部2へ通知される。シス
テム制御部2は、操作データを解析し、操作内容に応じ
た動作の起動あるいは停止を行うと共に、ユーザーへの
ガイダンスの表示データを作成し、ユーザーインターフ
ェイス制御部16を介して、コンソール17上へ表示さ
せる。
会議終了)の起動を、コンソール17を操作して行う。
入力された操作データは、ユーザーインターフェイス制
御部16を介してシステム制御部2へ通知される。シス
テム制御部2は、操作データを解析し、操作内容に応じ
た動作の起動あるいは停止を行うと共に、ユーザーへの
ガイダンスの表示データを作成し、ユーザーインターフ
ェイス制御部16を介して、コンソール17上へ表示さ
せる。
【0032】多地点テレビ会議制御装置21側では、上
述した様な手順で、各通信チャネル毎に1つのテレビ会
議端末と接続し、多地点間でのテレビ会議を運営する。
なお、上述した例では、テレビ会議端末装置側からの発
呼により接続する例について説明したが、あらかじめ定
められた時刻に定められたテレビ会議端末装置へ多地点
テレビ会議制御装置21側から発呼し、接続することも
できる。
述した様な手順で、各通信チャネル毎に1つのテレビ会
議端末と接続し、多地点間でのテレビ会議を運営する。
なお、上述した例では、テレビ会議端末装置側からの発
呼により接続する例について説明したが、あらかじめ定
められた時刻に定められたテレビ会議端末装置へ多地点
テレビ会議制御装置21側から発呼し、接続することも
できる。
【0033】テレビ会議制御装置21において、音声・
動画マルチプレクス部27では、各通信チャネルで復号
化された音声を合成して各通信チャネルに配分すると共
に、同じく各通信チャネルで復号化された動画を縮小し
て合成して各通信チャネルに配分する。
動画マルチプレクス部27では、各通信チャネルで復号
化された音声を合成して各通信チャネルに配分すると共
に、同じく各通信チャネルで復号化された動画を縮小し
て合成して各通信チャネルに配分する。
【0034】図5に、各テレビ会議端末装置(端末)の
接続形態と、図示しない多地点テレビ会議制御装置21
からそれら各テレビ会議端末装置に送信されて表示され
る画像例を示す。
接続形態と、図示しない多地点テレビ会議制御装置21
からそれら各テレビ会議端末装置に送信されて表示され
る画像例を示す。
【0035】同図において、端末AないしEは、会議に
参加している各テレビ会議端末装置(図1の1、19、
20等に相当)で、それぞれ多地点テレビ会議制御装置
によって縮小、合成された動画像の各端末での表示画像
を示している。四角内の各アルファベットA〜Eは、各
テレビ会議端末装置A〜Eから多地点テレビ会議制御装
置に送信された動画像を示している。同図を見てわかる
ように、各テレビ会議端末装置では、自端末以外の4地
点のテレビ会議端末装置からの動画像が多地点テレビ会
議制御装置により縮小合成された動画像が表示されてい
る。これにより、各テレビ会議端末装置における会議参
加者は、他端末における会議風景を見ながらテレビ会議
を行う。
参加している各テレビ会議端末装置(図1の1、19、
20等に相当)で、それぞれ多地点テレビ会議制御装置
によって縮小、合成された動画像の各端末での表示画像
を示している。四角内の各アルファベットA〜Eは、各
テレビ会議端末装置A〜Eから多地点テレビ会議制御装
置に送信された動画像を示している。同図を見てわかる
ように、各テレビ会議端末装置では、自端末以外の4地
点のテレビ会議端末装置からの動画像が多地点テレビ会
議制御装置により縮小合成された動画像が表示されてい
る。これにより、各テレビ会議端末装置における会議参
加者は、他端末における会議風景を見ながらテレビ会議
を行う。
【0036】このような合成動画像を作成するために、
多地点テレビ会議制御装置21の音声・動画マルチプレ
クス部27内では、各通信チャネルの動画符号・復号化
部26からの復号化された動画像を縮小したのち、その
各通信チャネル毎の縮小動画像のそれぞれを音声・動画
マルチプレクス部27内に配置された画像メモリ内に記
憶し、各通信チャネル毎の合成形態に従って画像メモリ
から順次読み出して合成し、その合成動画像を各通信チ
ャネルに転送する。なお、転送は各通信チャネルで並行
に行われる。各通信チャネルに転送された合成動画像
は、各通信チャネルの動画符号・復号化部26により符
号化されて、各テレビ会議端末装置に送信され、各テレ
ビ会議端末装置では、図5に示したように、受信した符
号化合成動画像を、動画符号・復号化部13により復号
化してモニター15に表示する。なお、多地点テレビ会
議制御装置21の音声・動画マルチプレクス部27にお
ける各通信チャネルからの動画像の合成形態は、テレビ
会議中の状況(発言権の移動等)により可変であり、シ
ステム制御部22からの設定に従って随時変更すること
ができる。
多地点テレビ会議制御装置21の音声・動画マルチプレ
クス部27内では、各通信チャネルの動画符号・復号化
部26からの復号化された動画像を縮小したのち、その
各通信チャネル毎の縮小動画像のそれぞれを音声・動画
マルチプレクス部27内に配置された画像メモリ内に記
憶し、各通信チャネル毎の合成形態に従って画像メモリ
から順次読み出して合成し、その合成動画像を各通信チ
ャネルに転送する。なお、転送は各通信チャネルで並行
に行われる。各通信チャネルに転送された合成動画像
は、各通信チャネルの動画符号・復号化部26により符
号化されて、各テレビ会議端末装置に送信され、各テレ
ビ会議端末装置では、図5に示したように、受信した符
号化合成動画像を、動画符号・復号化部13により復号
化してモニター15に表示する。なお、多地点テレビ会
議制御装置21の音声・動画マルチプレクス部27にお
ける各通信チャネルからの動画像の合成形態は、テレビ
会議中の状況(発言権の移動等)により可変であり、シ
ステム制御部22からの設定に従って随時変更すること
ができる。
【0037】次に、本発明に係る多地点テレビ会議制御
装置における、各テレビ会議端末装置からの受信動画像
の復号化処理及び、各テレビ会議端末装置へ送信する合
成動画像の符号化処理について第1ないし第3実施形態
に分けて説明する。
装置における、各テレビ会議端末装置からの受信動画像
の復号化処理及び、各テレビ会議端末装置へ送信する合
成動画像の符号化処理について第1ないし第3実施形態
に分けて説明する。
【0038】先ず、第1実施形態に係る、図6に示す各
テレビ会議端末装置からの受信動画像の復号化処理、及
び、図7に示す各テレビ会議端末装置へ送信する合成動
画像の符号化処理について説明する。
テレビ会議端末装置からの受信動画像の復号化処理、及
び、図7に示す各テレビ会議端末装置へ送信する合成動
画像の符号化処理について説明する。
【0039】これらの2つの処理は、後述する、図8に
示す動きベクトルテーブルへの書き込みと読み出しか競
合しない様に、かつ、前述した音声・動画マルチプレク
ス部27内の画像メモリ内の画像と図8に示す動きベク
トルテーブルの対応が損なわれない様に制御しつつ、並
行して行われる。また、音声・動画マルチプレクス部2
7内で実行される縮小処理の為に、図8に示す動きベク
トルテーブルの更新は、音声・動画マルチプレクス部2
7内の画像メモリの更新に先だって実行される。その間
は、図8に示す動きベクトルテーブルと画像メモリ内の
画像の対応が損なわれる為、相当する位置(マクロブロ
ック単位)の符号化処理は禁止される。また、これらの
処理は各通信チヤネル毎に並行に実行される。
示す動きベクトルテーブルへの書き込みと読み出しか競
合しない様に、かつ、前述した音声・動画マルチプレク
ス部27内の画像メモリ内の画像と図8に示す動きベク
トルテーブルの対応が損なわれない様に制御しつつ、並
行して行われる。また、音声・動画マルチプレクス部2
7内で実行される縮小処理の為に、図8に示す動きベク
トルテーブルの更新は、音声・動画マルチプレクス部2
7内の画像メモリの更新に先だって実行される。その間
は、図8に示す動きベクトルテーブルと画像メモリ内の
画像の対応が損なわれる為、相当する位置(マクロブロ
ック単位)の符号化処理は禁止される。また、これらの
処理は各通信チヤネル毎に並行に実行される。
【0040】図6に示す第1実施形態に係る復号化処理
手順について以下説明する。なお、この復号化処理にお
いて復号化する動画像のフォーマットは、FCIF(3
52画素×288ライン)であるとする。従って、動画
像の1フレームには、1番から12番のGOBが含まれ
ている。また、1つのGOBには、33個のマクロブロ
ック(MB)含まれている。したがって、1フレーム
は、12×33=396個のマクロブロックで構成され
ている。なお、GOBのフレーム中における配列順序
や、マクロブロックの、GOBにおける配置は、ITU
−T勧告H.261に規定されており、それ自体よく知
られているため、詳細な説明は省略する。
手順について以下説明する。なお、この復号化処理にお
いて復号化する動画像のフォーマットは、FCIF(3
52画素×288ライン)であるとする。従って、動画
像の1フレームには、1番から12番のGOBが含まれ
ている。また、1つのGOBには、33個のマクロブロ
ック(MB)含まれている。したがって、1フレーム
は、12×33=396個のマクロブロックで構成され
ている。なお、GOBのフレーム中における配列順序
や、マクロブロックの、GOBにおける配置は、ITU
−T勧告H.261に規定されており、それ自体よく知
られているため、詳細な説明は省略する。
【0041】さて、まず、各通信チャネルの動画符号・
復号化部26は、各テレビ会議端末装置から受信した、
マクロブロック単位で動きベクトル情報が付加されるこ
とにより動き補償付きフレーム間予測符号化された符号
化動画像の現フレーム中の1MB分の画像データの復号
化を実行する(処理101)。
復号化部26は、各テレビ会議端末装置から受信した、
マクロブロック単位で動きベクトル情報が付加されるこ
とにより動き補償付きフレーム間予測符号化された符号
化動画像の現フレーム中の1MB分の画像データの復号
化を実行する(処理101)。
【0042】そして、復号化処理に伴って得られた、当
該MBの動きベクトル値を、そのMBの含まれるGOB
の番号(ITU−T勧告H.261参照)、及び、その
MBの属するGOBにおいて当該MBの配置を特定する
ためのMBアドレスと共にシステム制御部22へ通知す
る(処理102)。もし、当該MBに動きベクトル値が
付随していなかった場合には動きベクトル値をX成分、
Y成分共に値0として通知する。
該MBの動きベクトル値を、そのMBの含まれるGOB
の番号(ITU−T勧告H.261参照)、及び、その
MBの属するGOBにおいて当該MBの配置を特定する
ためのMBアドレスと共にシステム制御部22へ通知す
る(処理102)。もし、当該MBに動きベクトル値が
付随していなかった場合には動きベクトル値をX成分、
Y成分共に値0として通知する。
【0043】システム制御部22は、システム制御部2
2内に配置されている一時記憶用メモリに図8に示す様
な動きベクトルテーブルを確保し、その動きベクトルテ
ーブルの、処理102で通知されたMBのアドレス及び
GOB番号により決まる現フレームにおけるMB位置
に、当該MBの動きベクトル値を格納する(処理10
3)。
2内に配置されている一時記憶用メモリに図8に示す様
な動きベクトルテーブルを確保し、その動きベクトルテ
ーブルの、処理102で通知されたMBのアドレス及び
GOB番号により決まる現フレームにおけるMB位置
に、当該MBの動きベクトル値を格納する(処理10
3)。
【0044】ここで、図8に示す動きベクトルテーブル
について説明する。同図において、(a)は、現フレー
ムを構成する(X方向22)×(Y方向18)=396
個のMBのそれぞれについての動きベクトルVのX成分
格納用テーブル、(b)が同じくY成分格納用テーブル
である。それら各成分格納用テーブルにおいて、Px
は、復号化され縮小される前の現フレームのX方向のM
B単位での位置を、Pyが同じくY方向のMB単位での
位置を示している。このような動きベクトルテーブル
が、動画像合成のソースとなる画像分(本実施形態では
5つ)設けられ、各通信チヤネル内の動画符号・復号化
部26から通知された動きベクトル値を記憶する。ま
た、MBデータが無く、スキップされたMBがある場合
には、同時にそれらの位置に相当するベクトル値を0に
書き換える。当該スキップされたMBの位置は、ITU
−T勧告H.261に規定されたMBデータの伝送順に
従って判定する。
について説明する。同図において、(a)は、現フレー
ムを構成する(X方向22)×(Y方向18)=396
個のMBのそれぞれについての動きベクトルVのX成分
格納用テーブル、(b)が同じくY成分格納用テーブル
である。それら各成分格納用テーブルにおいて、Px
は、復号化され縮小される前の現フレームのX方向のM
B単位での位置を、Pyが同じくY方向のMB単位での
位置を示している。このような動きベクトルテーブル
が、動画像合成のソースとなる画像分(本実施形態では
5つ)設けられ、各通信チヤネル内の動画符号・復号化
部26から通知された動きベクトル値を記憶する。ま
た、MBデータが無く、スキップされたMBがある場合
には、同時にそれらの位置に相当するベクトル値を0に
書き換える。当該スキップされたMBの位置は、ITU
−T勧告H.261に規定されたMBデータの伝送順に
従って判定する。
【0045】動画符号・復号化部26は復号化して得ら
れた1MB分の画像データを音声・動画マルチプレクス
部27に転送する(処理104)。以上の処理が、現フ
レームを構成する全てのMBについて繰り返される(判
断105のNoループ)。なお、音声・動画マルチプレ
クス部27内では、前述したように、各通信チャネルの
動画符号・復号化部26からの復号化された現フレーム
分の動画像を縮小したのち、その各通信チャネル毎の縮
小動画像のそれぞれを音声・動画マルチプレクス部27
内に配置された画像メモリ内に記憶し、各通信チャネル
毎の合成形態に従って画像メモリから順次読み出して合
成し、その合成動画像を各通信チャネルに並行して転送
する。これにより、各通信チャネル毎の現フレームの動
きベクトル情報がシステム制御部22の各通信チャネル
毎の動きベクトルテーブルに記憶されると共に、それら
動きベクトルテーブルに対応する各通信チャネル毎の縮
小動画像が音声・動画マルチプレクス部27に記憶され
る。
れた1MB分の画像データを音声・動画マルチプレクス
部27に転送する(処理104)。以上の処理が、現フ
レームを構成する全てのMBについて繰り返される(判
断105のNoループ)。なお、音声・動画マルチプレ
クス部27内では、前述したように、各通信チャネルの
動画符号・復号化部26からの復号化された現フレーム
分の動画像を縮小したのち、その各通信チャネル毎の縮
小動画像のそれぞれを音声・動画マルチプレクス部27
内に配置された画像メモリ内に記憶し、各通信チャネル
毎の合成形態に従って画像メモリから順次読み出して合
成し、その合成動画像を各通信チャネルに並行して転送
する。これにより、各通信チャネル毎の現フレームの動
きベクトル情報がシステム制御部22の各通信チャネル
毎の動きベクトルテーブルに記憶されると共に、それら
動きベクトルテーブルに対応する各通信チャネル毎の縮
小動画像が音声・動画マルチプレクス部27に記憶され
る。
【0046】以上説明した復号化処理により得られた各
通信チャネル毎の動きベクトルテーブルに基づいて、各
通信チャネル向けの縮小合成動画像を動き補償付きフレ
ーム間予測符号化する場合の手順について、図7に示す
第1実施形態に係る符号化処理手順を参照して説明す
る。
通信チャネル毎の動きベクトルテーブルに基づいて、各
通信チャネル向けの縮小合成動画像を動き補償付きフレ
ーム間予測符号化する場合の手順について、図7に示す
第1実施形態に係る符号化処理手順を参照して説明す
る。
【0047】同図において、各通信チャネルの動画符号
・復号化部26は、前述した音声・動画マルチプレクス
部27内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、MB位置に相当
する1MB分の画像データを読み込む(処理201)。
・復号化部26は、前述した音声・動画マルチプレクス
部27内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、MB位置に相当
する1MB分の画像データを読み込む(処理201)。
【0048】また、システム制御部22は、処理201
において、各通信チャネルの動画符号・復号化部26が
音声・動画マルチプレクス部27から読み込んだMB
(今処理しているMB)の位置に相当する位置の4MB
分の動きベクトル値を、図8に示した動きベクトルテー
ブルから読み込み(処理202)、その読み込んだ4M
B分の動きベクトル値に基づいて、今処理しているMB
の動きベクトルを、以下に示す演算により算出する(処
理203)。
において、各通信チャネルの動画符号・復号化部26が
音声・動画マルチプレクス部27から読み込んだMB
(今処理しているMB)の位置に相当する位置の4MB
分の動きベクトル値を、図8に示した動きベクトルテー
ブルから読み込み(処理202)、その読み込んだ4M
B分の動きベクトル値に基づいて、今処理しているMB
の動きベクトルを、以下に示す演算により算出する(処
理203)。
【0049】いま、各通信チャネル毎に音声・動画マル
チプレクス部27の動きベクトルテーブルに記憶されて
いる各MB位置における動きベクトル値を V=(Vx,Vy) とし、求めるべき、今処理しているMBの動きベクトル
値を MV=(MVx,MVy) とし、MVのX成分MVxを、以下の(式1)により求
め、MVのY成分MVyを、以下の(式2)により求め
る。
チプレクス部27の動きベクトルテーブルに記憶されて
いる各MB位置における動きベクトル値を V=(Vx,Vy) とし、求めるべき、今処理しているMBの動きベクトル
値を MV=(MVx,MVy) とし、MVのX成分MVxを、以下の(式1)により求
め、MVのY成分MVyを、以下の(式2)により求め
る。
【0050】
【数1】
【0051】上記の(式1)及び(式2)の意味につい
て定性的にいうならば、今処理しているMBの動きベク
トル値は、各通信チャネルにより受信された原動画像を
構成するMBのうち、縮小合成処理により当該今処理し
ているMBに実質的に含まれることとなった複数のMB
(本実施形態では、4つのMB)のそれぞれの動きベク
トルを合計して、その合計数(本実施形態では4)で除
算することにより平均化された値に、縮小率(本実施形
態では1/2)を乗じた値となる。
て定性的にいうならば、今処理しているMBの動きベク
トル値は、各通信チャネルにより受信された原動画像を
構成するMBのうち、縮小合成処理により当該今処理し
ているMBに実質的に含まれることとなった複数のMB
(本実施形態では、4つのMB)のそれぞれの動きベク
トルを合計して、その合計数(本実施形態では4)で除
算することにより平均化された値に、縮小率(本実施形
態では1/2)を乗じた値となる。
【0052】図9に、今符号化している縮小合成画像に
おいて今処理しているMBの動きベクトルMV(MP
x,MPy)と、原画像中の、縮小合成処理により当該
今処理しているMBに実質的に含まれることとなった2
×2=4個のMBについてのそれぞれの動きベクトルV
(Px、Py)、V(Px+1、Py)、V(Px、P
y+1)、V(Px+1、Py+1)との対応例を示し
ている。また、同図を見て分かるように、今符号化して
いる縮小合成画像は、原画像を縦横をそれぞれ2分1に
縮小した画像を4つ含んでいる。なお、図中の各動きベ
クトルの矢印は、現フレームの前フレームの相当位置の
画像を参照していることを示している。
おいて今処理しているMBの動きベクトルMV(MP
x,MPy)と、原画像中の、縮小合成処理により当該
今処理しているMBに実質的に含まれることとなった2
×2=4個のMBについてのそれぞれの動きベクトルV
(Px、Py)、V(Px+1、Py)、V(Px、P
y+1)、V(Px+1、Py+1)との対応例を示し
ている。また、同図を見て分かるように、今符号化して
いる縮小合成画像は、原画像を縦横をそれぞれ2分1に
縮小した画像を4つ含んでいる。なお、図中の各動きベ
クトルの矢印は、現フレームの前フレームの相当位置の
画像を参照していることを示している。
【0053】縮小合成前の原画像の2×2=4個のMB
は、縮小合成画像における1個のMBに相当する。した
がって、縮小合成画像における1個のMBの動きベクト
ル値は、そのMBに対応する原画像の4個のMBの動き
ベクトル値と大きな相関がある。したがって、その原画
像の4個のMBの動きベクトル値を平均した動きベクト
ル値は、縮小合成画像において対応する1個のMBの動
きベクトル値とほぼ同一であると考えることができる。
ただし、実際には、原画像は、縮小合成画像において
は、X方向及びY方向に1/2の縮小率で縮小されてい
るため、その画素単位の動きも1/2になる、したがっ
て、原画像の4個のMBの動きベクトル値を平均した動
きベクトル値の1/2が、縮小合成画像において対応す
る1個のMBの動きベクトル値になる。
は、縮小合成画像における1個のMBに相当する。した
がって、縮小合成画像における1個のMBの動きベクト
ル値は、そのMBに対応する原画像の4個のMBの動き
ベクトル値と大きな相関がある。したがって、その原画
像の4個のMBの動きベクトル値を平均した動きベクト
ル値は、縮小合成画像において対応する1個のMBの動
きベクトル値とほぼ同一であると考えることができる。
ただし、実際には、原画像は、縮小合成画像において
は、X方向及びY方向に1/2の縮小率で縮小されてい
るため、その画素単位の動きも1/2になる、したがっ
て、原画像の4個のMBの動きベクトル値を平均した動
きベクトル値の1/2が、縮小合成画像において対応す
る1個のMBの動きベクトル値になる。
【0054】このようにして、システム制御部22は、
今処理しているMBの動きベクトルを算出するが、その
算出のための演算量は、従来のブロックマッチング法等
と比較すれば、ずっと少なく、縮小合成動画像の符号化
時の動きベクトル検出のための演算量を大幅に減らすこ
とができる。なお、システム制御部22は、さらに、図
9に示す縮小合成画像を構成する各MBについての動き
ベクトル値の算出において、縮小合成画像の周囲を構成
する、斜線で示された位置のMBについては、ITU−
T勧告H.261では、規定により、画像の外側を参照
する事ができないため、ITU−T勧告H.261で規
定されている範囲に動きベクトル値をクリッピング処理
する。
今処理しているMBの動きベクトルを算出するが、その
算出のための演算量は、従来のブロックマッチング法等
と比較すれば、ずっと少なく、縮小合成動画像の符号化
時の動きベクトル検出のための演算量を大幅に減らすこ
とができる。なお、システム制御部22は、さらに、図
9に示す縮小合成画像を構成する各MBについての動き
ベクトル値の算出において、縮小合成画像の周囲を構成
する、斜線で示された位置のMBについては、ITU−
T勧告H.261では、規定により、画像の外側を参照
する事ができないため、ITU−T勧告H.261で規
定されている範囲に動きベクトル値をクリッピング処理
する。
【0055】そして、システム制御部22は、算出した
今処理しているMBの動きベクトルMVを動画符号・復
号化部26に設定する(処理204)。
今処理しているMBの動きベクトルMVを動画符号・復
号化部26に設定する(処理204)。
【0056】動画符号・復号化部26に設定された今処
理しているMBの動きベクトルMVは、動画符号・復号
化部26内において、入力動画像の動き補償付きフレー
ム間予測符号化を担う、図10に示す動画符号器の、動
き補償用可変遅延機能を持つ画像メモリ100に与えら
れる。図10に示す動画符号器は、基本的には、ITU
−T勧告H.261に準拠したものであり、異なる点
は、従来は、動き補償用可変遅延機能を持つ画像メモリ
100が自ら検出してした今処理しているMBの動きベ
クトルが、システム制御部22から動きベクトルMVと
して与えられる点である。これにより、動き補償用可変
遅延機能を持つ画像メモリ100による膨大な演算によ
る動きベクトルの検出が不要となる。
理しているMBの動きベクトルMVは、動画符号・復号
化部26内において、入力動画像の動き補償付きフレー
ム間予測符号化を担う、図10に示す動画符号器の、動
き補償用可変遅延機能を持つ画像メモリ100に与えら
れる。図10に示す動画符号器は、基本的には、ITU
−T勧告H.261に準拠したものであり、異なる点
は、従来は、動き補償用可変遅延機能を持つ画像メモリ
100が自ら検出してした今処理しているMBの動きベ
クトルが、システム制御部22から動きベクトルMVと
して与えられる点である。これにより、動き補償用可変
遅延機能を持つ画像メモリ100による膨大な演算によ
る動きベクトルの検出が不要となる。
【0057】動画符号・復号化部26内の、図10に示
す動画符号器は、システム制御部22から設定された動
きベクトルMVに従って、処理201で音声・動画マル
チプレクス部27から読み込んだ、今処理している1M
B分の縮小合成画像を動き補償付きフレーム間予測符号
化する(処理205)。これにより、図10に示す動画
符号器は、従来と同様に動画符号・復号化部26内の図
示しないビデオ信号多重化部に対して、その他の符号化
パラメータと共に、動きベクトルvを出力するが、この
動きベクトルvとして出力される動きベクトルは、シス
テム制御部22から設定された動きベクトルMVそのも
のである。なお、図10に示す動画符号器における符号
化においては、動きベクトルの検出以外の、INTER
/INTRAの判別、ループフィルタのON/OFF等
については、従来と同様に、図10に示す動画符号器の
適応制御にゆだねられる。
す動画符号器は、システム制御部22から設定された動
きベクトルMVに従って、処理201で音声・動画マル
チプレクス部27から読み込んだ、今処理している1M
B分の縮小合成画像を動き補償付きフレーム間予測符号
化する(処理205)。これにより、図10に示す動画
符号器は、従来と同様に動画符号・復号化部26内の図
示しないビデオ信号多重化部に対して、その他の符号化
パラメータと共に、動きベクトルvを出力するが、この
動きベクトルvとして出力される動きベクトルは、シス
テム制御部22から設定された動きベクトルMVそのも
のである。なお、図10に示す動画符号器における符号
化においては、動きベクトルの検出以外の、INTER
/INTRAの判別、ループフィルタのON/OFF等
については、従来と同様に、図10に示す動画符号器の
適応制御にゆだねられる。
【0058】以上の処理が各通信チャネル向けの縮小合
成動画像の現フレームを構成する全てのMBについて繰
り返される(判断206のNoループ)。
成動画像の現フレームを構成する全てのMBについて繰
り返される(判断206のNoループ)。
【0059】次に、第2実施形態に係る、各テレビ会議
端末装置からの受信動画像の復号化処理、及び、各テレ
ビ会議端末装置へ送信する合成動画像の符号化処理につ
いて説明する。
端末装置からの受信動画像の復号化処理、及び、各テレ
ビ会議端末装置へ送信する合成動画像の符号化処理につ
いて説明する。
【0060】各テレビ会議端末装置からの受信動画像の
復号化処理については、図6に示した、第1実施形態に
係る復号化処理手順と同じであるため、説明を省略する
が、図6に示す復号化処理により、各通信チャネル毎の
現フレームの動きベクトルがシステム制御部22の各通
信チャネル毎の動きベクトルテーブルに記憶されると共
に、それら動きベクトルテーブルに対応する各通信チャ
ネル毎の縮小動画像が音声・動画マルチプレクス部27
に記憶される。
復号化処理については、図6に示した、第1実施形態に
係る復号化処理手順と同じであるため、説明を省略する
が、図6に示す復号化処理により、各通信チャネル毎の
現フレームの動きベクトルがシステム制御部22の各通
信チャネル毎の動きベクトルテーブルに記憶されると共
に、それら動きベクトルテーブルに対応する各通信チャ
ネル毎の縮小動画像が音声・動画マルチプレクス部27
に記憶される。
【0061】その図6に示した復号化処理により得られ
た各通信チャネル毎の動きベクトルテーブルに基づい
て、各通信チャネル向けの縮小合成動画像を動き補償付
きフレーム間予測符号化する場合の手順について、図1
1に示す第2実施形態に係る符号化処理手順を参照して
説明する。
た各通信チャネル毎の動きベクトルテーブルに基づい
て、各通信チャネル向けの縮小合成動画像を動き補償付
きフレーム間予測符号化する場合の手順について、図1
1に示す第2実施形態に係る符号化処理手順を参照して
説明する。
【0062】同図において、各通信チャネルの動画符号
・復号化部26は、前述した音声・動画マルチプレクス
部27内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、MB位置に相当
する1MB分の画像データを読み込む(処理301)。
・復号化部26は、前述した音声・動画マルチプレクス
部27内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、MB位置に相当
する1MB分の画像データを読み込む(処理301)。
【0063】また、システム制御部22は、処理201
において、各通信チャネルの動画符号・復号化部26が
音声・動画マルチプレクス部27から読み込んだMB
(今処理しているMB)の位置に相当する位置の4MB
分の動きベクトル値を、第1実施形態と同様に図8に示
した動きベクトルテーブルから読み込み(処理30
2)、その読み込んだ4MB分の動きベクトル値に基づ
いて、今処理しているMBの動きベクトルMVを、第1
実施形態と同様に、前記(式1)及び(式2)に示す演
算により算出し、その算出した動きベクトルMVに基づ
いて、動きベクトル探索範囲SAを決定する(処理30
3)。
において、各通信チャネルの動画符号・復号化部26が
音声・動画マルチプレクス部27から読み込んだMB
(今処理しているMB)の位置に相当する位置の4MB
分の動きベクトル値を、第1実施形態と同様に図8に示
した動きベクトルテーブルから読み込み(処理30
2)、その読み込んだ4MB分の動きベクトル値に基づ
いて、今処理しているMBの動きベクトルMVを、第1
実施形態と同様に、前記(式1)及び(式2)に示す演
算により算出し、その算出した動きベクトルMVに基づ
いて、動きベクトル探索範囲SAを決定する(処理30
3)。
【0064】その動きベクトル探索範囲SAの決定法に
ついて、図12を参照して説明する。同図において、
(p)は、動きベクトル探索範囲SAの決定の対象とな
る今処理しているMBの中心点、(S)は従来のITU
−T勧告H・261に準拠した符号器における動きベク
トルの探索範囲(±15画素)、(a)(b)及び
(c)は算出により求めた動きベクトルMVのいくつか
の具体例、(A)(B)及び(C)は、それぞれ動きベ
クトル(a)(b)及び(c)に対応した動きベクトル
探索範囲SAを示している。
ついて、図12を参照して説明する。同図において、
(p)は、動きベクトル探索範囲SAの決定の対象とな
る今処理しているMBの中心点、(S)は従来のITU
−T勧告H・261に準拠した符号器における動きベク
トルの探索範囲(±15画素)、(a)(b)及び
(c)は算出により求めた動きベクトルMVのいくつか
の具体例、(A)(B)及び(C)は、それぞれ動きベ
クトル(a)(b)及び(c)に対応した動きベクトル
探索範囲SAを示している。
【0065】システム制御部22は、基本的には、今処
理しているMBの中心点(p)を原点として、算出した
動きベクトルMV((a)(b)(c)等)が差し示す
画素の周辺±3画素の範囲を動きベクトル探索範囲SA
として決定する。ただし、従来の探索範囲(±15画
素:これはITU−T勧告H.261で探索範囲の上限
である)からはみ出ない様にクリッピングを行い探索範
囲を設定する。つまり、例えば、図12において、
(A)(B)の範囲はクリッピングなし、(C)がクリ
ッピングされた範囲を示している。また、第1実施形態
の場合と同様に、図9の縮小合成画像の斜線で示された
位置のMBを処理している場合には、規定によりH.2
61では、画像の外側を参照する事ができないため、I
TU−T勧告H.261で規定されている範囲に探索範
囲をクリッピング処理する。このように、検索範囲のク
リッピングを行うことで、後述する動画符号器におい
て、ITU−T勧告H.261の規定から逸脱すること
のない動きベクトルvを求めることができる。
理しているMBの中心点(p)を原点として、算出した
動きベクトルMV((a)(b)(c)等)が差し示す
画素の周辺±3画素の範囲を動きベクトル探索範囲SA
として決定する。ただし、従来の探索範囲(±15画
素:これはITU−T勧告H.261で探索範囲の上限
である)からはみ出ない様にクリッピングを行い探索範
囲を設定する。つまり、例えば、図12において、
(A)(B)の範囲はクリッピングなし、(C)がクリ
ッピングされた範囲を示している。また、第1実施形態
の場合と同様に、図9の縮小合成画像の斜線で示された
位置のMBを処理している場合には、規定によりH.2
61では、画像の外側を参照する事ができないため、I
TU−T勧告H.261で規定されている範囲に探索範
囲をクリッピング処理する。このように、検索範囲のク
リッピングを行うことで、後述する動画符号器におい
て、ITU−T勧告H.261の規定から逸脱すること
のない動きベクトルvを求めることができる。
【0066】なお、処理303で算出した動きベクトル
MVは、第1実施形態においては、そのまま、今処理し
ているMBの動きベクトルとしたが、この第2実施形態
では、動きベクトル探索範囲を決定するために用いるだ
けで、そのまま、今処理しているMBの動きベクトルと
されるのではない。
MVは、第1実施形態においては、そのまま、今処理し
ているMBの動きベクトルとしたが、この第2実施形態
では、動きベクトル探索範囲を決定するために用いるだ
けで、そのまま、今処理しているMBの動きベクトルと
されるのではない。
【0067】さて、システム制御部2は、決定した動き
ベクトル探索範囲SAを動画符号・復号化部26に設定
する(処理304)。
ベクトル探索範囲SAを動画符号・復号化部26に設定
する(処理304)。
【0068】動画符号・復号化部26に設定された今処
理しているMBについての動きベクトル探索範囲SA
は、動画符号・復号化部26内において、入力動画像の
動き補償付きフレーム間予測符号化を担う、図13に示
す動画符号器の、動き補償用可変遅延機能を持つ画像メ
モリ101に与えられる。
理しているMBについての動きベクトル探索範囲SA
は、動画符号・復号化部26内において、入力動画像の
動き補償付きフレーム間予測符号化を担う、図13に示
す動画符号器の、動き補償用可変遅延機能を持つ画像メ
モリ101に与えられる。
【0069】図13に示す動画符号器は、基本的には、
ITU−T勧告H.261に準拠したものであり、異な
る点は、従来は、動き補償用可変遅延機能を持つ画像メ
モリ101が自ら、ITU−T勧告H.261の規定に
基づいて±15画素の範囲内で、参照される画素が符号
化対象となるフレームの内部に在るように必要に応じて
クリッピングして、今処理しているMBの動きベクトル
探索範囲を設定していたのに対し、今処理しているMB
の動きベクトル探索範囲が、システム制御部22から動
きベクトル探索範囲SAとして与えられる点である。
ITU−T勧告H.261に準拠したものであり、異な
る点は、従来は、動き補償用可変遅延機能を持つ画像メ
モリ101が自ら、ITU−T勧告H.261の規定に
基づいて±15画素の範囲内で、参照される画素が符号
化対象となるフレームの内部に在るように必要に応じて
クリッピングして、今処理しているMBの動きベクトル
探索範囲を設定していたのに対し、今処理しているMB
の動きベクトル探索範囲が、システム制御部22から動
きベクトル探索範囲SAとして与えられる点である。
【0070】動画符号・復号化部26内の、図13に示
す動画符号器は、システム制御部22から設定された動
きベクトル探索範囲SA内で、今処理しているMB分の
縮小合成画像の動きベクトルを探索する(処理30
5)。この探索方法自体は、ブロックマッチング法等の
それ自体すでに知られたものである。
す動画符号器は、システム制御部22から設定された動
きベクトル探索範囲SA内で、今処理しているMB分の
縮小合成画像の動きベクトルを探索する(処理30
5)。この探索方法自体は、ブロックマッチング法等の
それ自体すでに知られたものである。
【0071】ここで、従来の動きベクトルの探索処理
と、この第2実施形態における動きベクトルの探索処理
の処理量について比較すると、それらの処理量は、動き
ベクトルの探索範囲の広さにほぼ比例するため、動きベ
クトル探索範囲のクリッピングがないとして、従来で
は、31(±15画素)×31(±15画素)=961
回の比較演算が必要であったが、この第2実施形態で
は、7(±3画素)×7(±3画素)=49回の比較演
算ですみ、処理量は、約1/20となる。
と、この第2実施形態における動きベクトルの探索処理
の処理量について比較すると、それらの処理量は、動き
ベクトルの探索範囲の広さにほぼ比例するため、動きベ
クトル探索範囲のクリッピングがないとして、従来で
は、31(±15画素)×31(±15画素)=961
回の比較演算が必要であったが、この第2実施形態で
は、7(±3画素)×7(±3画素)=49回の比較演
算ですみ、処理量は、約1/20となる。
【0072】このように、この第2実施形態において、
動きベクトルの探索範囲を狭くすることができるのは、
今処理しているMBについての動きベクトル探索範囲S
Aを決定する基となる動きベクトルMVが、第1実施形
態において説明したように、縮小合成処理により、当該
今処理しているMBに含まれることとなった、当該今処
理しているMBとの相関が大きい原画像の複数のMBの
動きベクトルの平均値に、縮小率を乗じたもので、ほぼ
当該今処理しているMBの真の動きベクトル値と近い値
をとるためである。つまり、従来のように、動きベクト
ル探索範囲を広くとらなくても、動きベクトルMVが差
し示す画素周辺の微小範囲について、動きベクトルを探
索すれば、その中に当該今処理しているMBの真の動き
ベクトルが存在するといえる。
動きベクトルの探索範囲を狭くすることができるのは、
今処理しているMBについての動きベクトル探索範囲S
Aを決定する基となる動きベクトルMVが、第1実施形
態において説明したように、縮小合成処理により、当該
今処理しているMBに含まれることとなった、当該今処
理しているMBとの相関が大きい原画像の複数のMBの
動きベクトルの平均値に、縮小率を乗じたもので、ほぼ
当該今処理しているMBの真の動きベクトル値と近い値
をとるためである。つまり、従来のように、動きベクト
ル探索範囲を広くとらなくても、動きベクトルMVが差
し示す画素周辺の微小範囲について、動きベクトルを探
索すれば、その中に当該今処理しているMBの真の動き
ベクトルが存在するといえる。
【0073】これにより、従来よりもずっと少ない処理
量で、かつ、第1実施形態よりも正確な動きベクトルの
検出が可能となる。
量で、かつ、第1実施形態よりも正確な動きベクトルの
検出が可能となる。
【0074】動画符号・復号化部26内の、図13に示
す動画符号器は、処理305により得られた今処理して
いるMBについての動きベクトル従って、処理301で
音声・動画マルチプレクス部27から読み込んだ、今処
理しているMB分の縮小合成画像を動き補償付きフレー
ム間予測符号化する(処理306)。これにより、図1
3に示す動画符号器は、従来と同様に動画符号・復号化
部26内の図示しないビデオ信号多重化部に対して、そ
の他の符号化パラメータと共に、動きベクトルvを出力
するが、この動きベクトルvとして出力される動きベク
トルは、システム制御部22から設定された動きベクト
ル探索範囲SAの範囲内で検出したものである。なお、
図13に示す動画符号器における符号化においては、動
きベクトルの検出以外の、INTER/INTRAの判
別、ループフィルタのON/OFF等については、従来
と同様に、図13に示す動画符号器の適応制御にゆだね
られる。
す動画符号器は、処理305により得られた今処理して
いるMBについての動きベクトル従って、処理301で
音声・動画マルチプレクス部27から読み込んだ、今処
理しているMB分の縮小合成画像を動き補償付きフレー
ム間予測符号化する(処理306)。これにより、図1
3に示す動画符号器は、従来と同様に動画符号・復号化
部26内の図示しないビデオ信号多重化部に対して、そ
の他の符号化パラメータと共に、動きベクトルvを出力
するが、この動きベクトルvとして出力される動きベク
トルは、システム制御部22から設定された動きベクト
ル探索範囲SAの範囲内で検出したものである。なお、
図13に示す動画符号器における符号化においては、動
きベクトルの検出以外の、INTER/INTRAの判
別、ループフィルタのON/OFF等については、従来
と同様に、図13に示す動画符号器の適応制御にゆだね
られる。
【0075】以上の処理が各通信チャネル向けの縮小合
成動画像の現フレームを構成する全てのMBについて繰
り返される(判断307のNoループ)。
成動画像の現フレームを構成する全てのMBについて繰
り返される(判断307のNoループ)。
【0076】次に、第3実施形態に係る、各テレビ会議
端末装置からの受信動画像の復号化処理、及び、各テレ
ビ会議端末装置へ送信する合成動画像の符号化処理につ
いて説明する。
端末装置からの受信動画像の復号化処理、及び、各テレ
ビ会議端末装置へ送信する合成動画像の符号化処理につ
いて説明する。
【0077】この第3実施形態は、第1実施形態の変形
例であり、各テレビ会議端末装置からの受信動画像の復
号化処理については、図6に示した第1実施形態に係る
復号化処理と基本的には同様である。しかし、第3実施
形態では、システム制御部22は、各通信チャネルにつ
いて、図8に示したような動きベクトルテーブルを現フ
レームと、その現フレームより1フレーム前のフレーム
(前フレーム)分の2つ備えている点である。
例であり、各テレビ会議端末装置からの受信動画像の復
号化処理については、図6に示した第1実施形態に係る
復号化処理と基本的には同様である。しかし、第3実施
形態では、システム制御部22は、各通信チャネルにつ
いて、図8に示したような動きベクトルテーブルを現フ
レームと、その現フレームより1フレーム前のフレーム
(前フレーム)分の2つ備えている点である。
【0078】つまり、現フレームを復号化しているとき
には、2つの動きベクトルテーブルのうちの一方を当該
現フレームを復号化する際に得られる動きベクトル値の
格納のために使用し、現フレームの次のフレームを復号
化する際には、その次のフレームを復号化する際に得ら
れる動きベクトル値を、前記現フレームの動きベクトル
値を格納したテーブルではない方のテーブルに格納する
というように、2つの動きベクトルテーブルを1フレー
ム毎に切り替えて使用する。
には、2つの動きベクトルテーブルのうちの一方を当該
現フレームを復号化する際に得られる動きベクトル値の
格納のために使用し、現フレームの次のフレームを復号
化する際には、その次のフレームを復号化する際に得ら
れる動きベクトル値を、前記現フレームの動きベクトル
値を格納したテーブルではない方のテーブルに格納する
というように、2つの動きベクトルテーブルを1フレー
ム毎に切り替えて使用する。
【0079】これにより、現フレームを復号化する際に
は、前フレームを復号化した際に得られた当該前フレー
ム分の動きベクトル値が、現フレーム分の動きベクトル
値を格納するための動きベクトルテーブルとは別の動き
ベクトルテーブルに常に格納されていることになる。
は、前フレームを復号化した際に得られた当該前フレー
ム分の動きベクトル値が、現フレーム分の動きベクトル
値を格納するための動きベクトルテーブルとは別の動き
ベクトルテーブルに常に格納されていることになる。
【0080】以上のように、現フレームの前フレームの
それぞれの動きベクトル値がそれぞれの動きベクトルテ
ーブルに格納された上で行われる第3実施形態に係る縮
小合成画像の動き補償付きフレーム間予測符号化処理の
手順について、図14を参照して説明する。
それぞれの動きベクトル値がそれぞれの動きベクトルテ
ーブルに格納された上で行われる第3実施形態に係る縮
小合成画像の動き補償付きフレーム間予測符号化処理の
手順について、図14を参照して説明する。
【0081】同図において、各通信チャネルの動画符号
・復号化部26は、前述した音声・動画マルチプレクス
部27内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、MB位置に相当
する1MB分の画像データを読み込む(処理401)。
・復号化部26は、前述した音声・動画マルチプレクス
部27内に各通信チャネル毎に記憶されている各縮小画
像データから、画像データの合成位置、MB位置に相当
する1MB分の画像データを読み込む(処理401)。
【0082】また、システム制御部22は、処理401
において、各通信チャネルの動画符号・復号化部26が
音声・動画マルチプレクス部27から読み込んだMB
(今処理しているMB)の位置に相当する位置の4MB
分の動きベクトル値を、図8に示した現フレーム用の動
きベクトルテーブルから読み込む(処理402)。
において、各通信チャネルの動画符号・復号化部26が
音声・動画マルチプレクス部27から読み込んだMB
(今処理しているMB)の位置に相当する位置の4MB
分の動きベクトル値を、図8に示した現フレーム用の動
きベクトルテーブルから読み込む(処理402)。
【0083】そして、フレームスキップが発生したか、
すなわち、1つ前に符号化したフレームから現フレーム
までの間に、復号化された画像の書き換えが2つ以上発
生したかを調べる(判断403)。フレームスキップが
発生していなければ(判断403のNo)、現フレーム
用の動きベクトルテーブルに格納された動きベクトル値
により、第1実施形態と同様の復号化が可能であるた
め、処理406に移り、その処理406以降の処理を第
1実施形態と同様に行う。実際、処理406、処理40
7、処理408、及び、判断409は、それぞれ、図7
に示す第1実施形態に係る復号化処理における処理20
3、処理204、処理205、及び、判断206と同一
である。言い換えれば、この第3実施形態に係る復号化
処理の特徴点は、フレームスキップが発生した場合にお
ける、現フレームの今処理しているMBの動きベクトル
MVの算出手順にある。
すなわち、1つ前に符号化したフレームから現フレーム
までの間に、復号化された画像の書き換えが2つ以上発
生したかを調べる(判断403)。フレームスキップが
発生していなければ(判断403のNo)、現フレーム
用の動きベクトルテーブルに格納された動きベクトル値
により、第1実施形態と同様の復号化が可能であるた
め、処理406に移り、その処理406以降の処理を第
1実施形態と同様に行う。実際、処理406、処理40
7、処理408、及び、判断409は、それぞれ、図7
に示す第1実施形態に係る復号化処理における処理20
3、処理204、処理205、及び、判断206と同一
である。言い換えれば、この第3実施形態に係る復号化
処理の特徴点は、フレームスキップが発生した場合にお
ける、現フレームの今処理しているMBの動きベクトル
MVの算出手順にある。
【0084】すなわち、フレームスキップが発生したし
た場合(判断403のYes)には、処理402で読み
込んだ現フレームの4MB分の動きベクトルがそれぞれ
差し示している位置(相当位置)の前フレームのMBの
動きベクトルをそれぞれ読み込んで(処理404)、当
該現フレームの4MBのそれぞれの動きベクトルと、そ
れらのベクトルがそれぞれ差し示す前フレームのMBの
動きベクトルとを、それぞれ加算して、当該現フレーム
の4MBのそれぞれの新たな動きベクトルとする(処理
405)。
た場合(判断403のYes)には、処理402で読み
込んだ現フレームの4MB分の動きベクトルがそれぞれ
差し示している位置(相当位置)の前フレームのMBの
動きベクトルをそれぞれ読み込んで(処理404)、当
該現フレームの4MBのそれぞれの動きベクトルと、そ
れらのベクトルがそれぞれ差し示す前フレームのMBの
動きベクトルとを、それぞれ加算して、当該現フレーム
の4MBのそれぞれの新たな動きベクトルとする(処理
405)。
【0085】それらの現フレームの1MBの動きベクト
ルと、その動きベクトルが差し示す前フレームのMBの
動きベクトルの加算処理の具体例について、図15を参
照して説明する。同図(a)は、処理402で読み出さ
れた現フレームのMBの動きベクトル、同図(b)は、
処理402で読み出された現フレームのMB(点線枠)
の動きベクトル(点線)と、その動きベクトルが差し示
す、処理404で読み出された前フレームのMB(実線
枠)の動きベクトル(実線)を示している。
ルと、その動きベクトルが差し示す前フレームのMBの
動きベクトルの加算処理の具体例について、図15を参
照して説明する。同図(a)は、処理402で読み出さ
れた現フレームのMBの動きベクトル、同図(b)は、
処理402で読み出された現フレームのMB(点線枠)
の動きベクトル(点線)と、その動きベクトルが差し示
す、処理404で読み出された前フレームのMB(実線
枠)の動きベクトル(実線)を示している。
【0086】実際に処理402で読み出される現フレー
ムのMBは、2×2の4MBであるが、図には、1つの
MBについての、2つのパターンについて示してある。
同図(a)において、ベクトル(a)はベクトルをMB
の中心に置いたとき左下のMBを指し示し、それに従っ
て処理404で読み出すベクトルは左下のMBのベクト
ル(b)となり、そのベクトル(b)が、ベクトル
(a)と加算処理される。一方、ベクトル(c)は自M
Bを指し示し、それに従って処理404で読み出すベク
トルは同じ位置のMBのベクトル(d)となり、そのベ
クトル(d)が、ベクトル(c)と加算処理される。
ムのMBは、2×2の4MBであるが、図には、1つの
MBについての、2つのパターンについて示してある。
同図(a)において、ベクトル(a)はベクトルをMB
の中心に置いたとき左下のMBを指し示し、それに従っ
て処理404で読み出すベクトルは左下のMBのベクト
ル(b)となり、そのベクトル(b)が、ベクトル
(a)と加算処理される。一方、ベクトル(c)は自M
Bを指し示し、それに従って処理404で読み出すベク
トルは同じ位置のMBのベクトル(d)となり、そのベ
クトル(d)が、ベクトル(c)と加算処理される。
【0087】すなわち、処理402で読み出した現フレ
ームのMB(16画素×16画素)の動きベクトルのx
及びy方向の各成分の大きさ(絶対値)が8以上である
場合には、前フレームにおいて周囲8つのMBのうちの
何れかの動きベクトルを、8未満である揚合には前フレ
ームにおいて同じ位置のMBの動きベクトルを、処理4
04において読み出して、処理405で加算する。
ームのMB(16画素×16画素)の動きベクトルのx
及びy方向の各成分の大きさ(絶対値)が8以上である
場合には、前フレームにおいて周囲8つのMBのうちの
何れかの動きベクトルを、8未満である揚合には前フレ
ームにおいて同じ位置のMBの動きベクトルを、処理4
04において読み出して、処理405で加算する。
【0088】その処理405における現フレームの4M
Bのそれぞれの動きベクトルと、それらが差し示す前フ
レームのMBの動きベクトルとのそれぞれの加算は、図
16に示すように、ベクトル(v1)と、ベクトル(v
2)とが、ベクトル(v)に合成できるのと同様に行わ
れ、具体的には、それぞれの動きベクトルのx及びy方
向の各成分毎の加算により行える。
Bのそれぞれの動きベクトルと、それらが差し示す前フ
レームのMBの動きベクトルとのそれぞれの加算は、図
16に示すように、ベクトル(v1)と、ベクトル(v
2)とが、ベクトル(v)に合成できるのと同様に行わ
れ、具体的には、それぞれの動きベクトルのx及びy方
向の各成分毎の加算により行える。
【0089】このように、フレームスキップが発生した
場合には、フレームスキップが発生したときのために、
復号化時に図8に示すような動きベクトルテーブルに記
憶していた前フレームの各MB毎の動きベクトルを、そ
れらのMBを差し示している現フレームのMBの動きベ
クトルに加算することで、スキップされたフレーム分の
画像の動き量を補間することができるため、フレームス
キップが発生した場合でも、第1実施形態と同様の縮小
合成画像の動き補償付きフレーム間予測符号化処理が可
能となる。
場合には、フレームスキップが発生したときのために、
復号化時に図8に示すような動きベクトルテーブルに記
憶していた前フレームの各MB毎の動きベクトルを、そ
れらのMBを差し示している現フレームのMBの動きベ
クトルに加算することで、スキップされたフレーム分の
画像の動き量を補間することができるため、フレームス
キップが発生した場合でも、第1実施形態と同様の縮小
合成画像の動き補償付きフレーム間予測符号化処理が可
能となる。
【0090】なお、以上説明した第3実施形態に係る符
号化処理は、図7に示した第1実施形態に係る符号化処
理に、フレームスキップが発生した場合の処理(判断4
03、処理404及び405)を追加したものである
が、図11に示した第2実施形態に係る符号化処理に対
しても、同様にフレームスキップが発生した場合の処理
を追加することができる。すなわち、図11に示した第
2実施形態に係る符号化処理手順の、処理302と、処
理303との間に、図14に示した第3実施形態に係る
符号化処理手順における、判断403、処理404及び
処理405を追加することで、フレームスキップが発生
した場合でも、第2実施形態と同様の縮小合成画像の動
き補償付きフレーム間予測符号化処理が可能となる。
号化処理は、図7に示した第1実施形態に係る符号化処
理に、フレームスキップが発生した場合の処理(判断4
03、処理404及び405)を追加したものである
が、図11に示した第2実施形態に係る符号化処理に対
しても、同様にフレームスキップが発生した場合の処理
を追加することができる。すなわち、図11に示した第
2実施形態に係る符号化処理手順の、処理302と、処
理303との間に、図14に示した第3実施形態に係る
符号化処理手順における、判断403、処理404及び
処理405を追加することで、フレームスキップが発生
した場合でも、第2実施形態と同様の縮小合成画像の動
き補償付きフレーム間予測符号化処理が可能となる。
【0091】なお、以上説明した各実施形態において
は、本発明を、各通信チャネル向けの符号化縮小合成動
画像として、4つの原動画像を縦横それぞれ1/2の縮
小率で縮小した縮小動画像を、縦横それぞれ2づつ合成
した縮小合成画像を符号化する場合を例にとって説明し
たが、本発明は、原動画像の動きベクトル情報と、縮小
合成動画像の動きベクトル情報の相関性の高さを利用し
ているため、それに限らず、多様な縮小率(縦と横の縮
小率がそれぞれ異なる場合を含む)、合成動画像数、及
び、縮小合成動画像の合成位置に対応することができ
る。
は、本発明を、各通信チャネル向けの符号化縮小合成動
画像として、4つの原動画像を縦横それぞれ1/2の縮
小率で縮小した縮小動画像を、縦横それぞれ2づつ合成
した縮小合成画像を符号化する場合を例にとって説明し
たが、本発明は、原動画像の動きベクトル情報と、縮小
合成動画像の動きベクトル情報の相関性の高さを利用し
ているため、それに限らず、多様な縮小率(縦と横の縮
小率がそれぞれ異なる場合を含む)、合成動画像数、及
び、縮小合成動画像の合成位置に対応することができ
る。
【0092】また、以上説明した各実施形態において
は、本発明に係る縮小合成動画像の動き補償付きフレー
ム間予測符号化法を、多地点テレビ会議制御装置に適用
したが、それに限らず、デジタル動画記録・再生・編集
装置等において、動き補償付きフレーム間予測符号化さ
れた複数の原動画像を復号化して縮小合成して再度動き
補償付きフレーム間予測符号化する場合にも適用可能で
あることはいうまでもない。ただし、多地点テレビ会議
制御装置のように、複数の動き補償付きフレーム間予測
符号化された原動画像を復号化して縮小合成して再度動
き補償付きフレーム間予測符号化する処理を、複数の通
信チャネル分リアルタイムに行う必要があるために、複
数の縮小合成画像について、動きベクトルの検出を同時
に行わなければならず、動きベクトルの検出のための処
理量が非常に多い装置程、本発明に係る縮小合成動画像
の動き補償付きフレーム間予測符号化法の効果は大き
い。
は、本発明に係る縮小合成動画像の動き補償付きフレー
ム間予測符号化法を、多地点テレビ会議制御装置に適用
したが、それに限らず、デジタル動画記録・再生・編集
装置等において、動き補償付きフレーム間予測符号化さ
れた複数の原動画像を復号化して縮小合成して再度動き
補償付きフレーム間予測符号化する場合にも適用可能で
あることはいうまでもない。ただし、多地点テレビ会議
制御装置のように、複数の動き補償付きフレーム間予測
符号化された原動画像を復号化して縮小合成して再度動
き補償付きフレーム間予測符号化する処理を、複数の通
信チャネル分リアルタイムに行う必要があるために、複
数の縮小合成画像について、動きベクトルの検出を同時
に行わなければならず、動きベクトルの検出のための処
理量が非常に多い装置程、本発明に係る縮小合成動画像
の動き補償付きフレーム間予測符号化法の効果は大き
い。
【0093】
【発明の効果】請求項1に係る発明によれば、前記各符
号化合成動画像に付加される動きベクトル情報は、それ
ら合成動画像を構成する各原動画像の復号化時の動きベ
クトル情報と、合成位置と、縮小合成時の縮小率とに基
づいて算出されるため、従来のように、原動画像の動き
ベクトル情報と、合成動画像の動きベクトル情報の相関
性の高さを考慮することなく、合成動画像について、再
度動きベクトルの検出処理を行う必要がなく、各テレビ
会議端末装置に送信する符号化合成動画像に付加する動
きベクトル情報を簡易な演算によりほぼ正確に算出でき
る。したがって、動きベクトル検出のための演算処理負
担を軽減でき、その分、演算処理装置を低速で低コスト
なものにでき、装置コストを低減できる。
号化合成動画像に付加される動きベクトル情報は、それ
ら合成動画像を構成する各原動画像の復号化時の動きベ
クトル情報と、合成位置と、縮小合成時の縮小率とに基
づいて算出されるため、従来のように、原動画像の動き
ベクトル情報と、合成動画像の動きベクトル情報の相関
性の高さを考慮することなく、合成動画像について、再
度動きベクトルの検出処理を行う必要がなく、各テレビ
会議端末装置に送信する符号化合成動画像に付加する動
きベクトル情報を簡易な演算によりほぼ正確に算出でき
る。したがって、動きベクトル検出のための演算処理負
担を軽減でき、その分、演算処理装置を低速で低コスト
なものにでき、装置コストを低減できる。
【0094】請求項2に係る発明によれば、前記各符号
化合成動画像に付加される動きベクトル情報の前記再符
号化手段における探索範囲の中心は、それら合成動画像
を構成する各原動画像の復号化時の動きベクトル情報
と、合成位置と、縮小合成時の縮小率とに基づいて算出
され、前記再符号化手段は、その算出された探索範囲中
心を中心とする所定範囲でのみ動きベクトルを探索する
ため、従来のように、原動画像の動きベクトル情報と、
合成動画像の動きベクトル情報の相関性の高さを考慮す
ることなく、合成動画像について、再度比較的広範囲な
探索範囲で動きベクトルの検出処理を行う必要がなく、
請求項1に係る発明と同様に、テレビ会議端末装置に送
信する符号化合成動画像に付加する動きベクトル情報を
簡易な演算により算出できる。したがって、動きベクト
ル検出のための演算処理負担は従来よりもずっと少なく
て済む。さらに、原動画像の動きベクトル情報と、合成
動画像の動きベクトル情報の相関性の高さを考慮して、
合成動画像の動きベクトルのおおよその値を、探索範囲
中心として求め、その近傍の所定範囲内に在るはずの真
の動きベクトルを前記再符号化手段が検出するため、請
求項1に係る発明よりも正確に合成動画像の動きベクト
ル情報を算出することができる。
化合成動画像に付加される動きベクトル情報の前記再符
号化手段における探索範囲の中心は、それら合成動画像
を構成する各原動画像の復号化時の動きベクトル情報
と、合成位置と、縮小合成時の縮小率とに基づいて算出
され、前記再符号化手段は、その算出された探索範囲中
心を中心とする所定範囲でのみ動きベクトルを探索する
ため、従来のように、原動画像の動きベクトル情報と、
合成動画像の動きベクトル情報の相関性の高さを考慮す
ることなく、合成動画像について、再度比較的広範囲な
探索範囲で動きベクトルの検出処理を行う必要がなく、
請求項1に係る発明と同様に、テレビ会議端末装置に送
信する符号化合成動画像に付加する動きベクトル情報を
簡易な演算により算出できる。したがって、動きベクト
ル検出のための演算処理負担は従来よりもずっと少なく
て済む。さらに、原動画像の動きベクトル情報と、合成
動画像の動きベクトル情報の相関性の高さを考慮して、
合成動画像の動きベクトルのおおよその値を、探索範囲
中心として求め、その近傍の所定範囲内に在るはずの真
の動きベクトルを前記再符号化手段が検出するため、請
求項1に係る発明よりも正確に合成動画像の動きベクト
ル情報を算出することができる。
【0095】請求項3に係る発明によれば、前記再符号
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、前記動きベクトル算出手段
は、現フレームの各小領域についての動きベクトル情報
のそれぞれについて、前フレームの動きベクトル情報を
加算することにより、スキップされたフレームの動き情
報を補間するため、前記再符号化手段においてフレーム
スキップが発生した場合でも、請求項1に係る発明を効
果的に実現でき、請求項1に係る発明の汎用性を高める
ことができる。
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、前記動きベクトル算出手段
は、現フレームの各小領域についての動きベクトル情報
のそれぞれについて、前フレームの動きベクトル情報を
加算することにより、スキップされたフレームの動き情
報を補間するため、前記再符号化手段においてフレーム
スキップが発生した場合でも、請求項1に係る発明を効
果的に実現でき、請求項1に係る発明の汎用性を高める
ことができる。
【0096】請求項4に係る発明によれば、前記再符号
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、探索範囲中心算出手段は、
現フレームの各小領域についての動きベクトル情報のそ
れぞれについて、前フレームの動きベクトル情報を加算
することにより、スキップされたフレームの動き情報を
補間するため、前記再符号化手段においてフレームスキ
ップが発生した場合でも、請求項2に係る発明を効果的
に実現でき、請求項2に係る発明の汎用性を高めること
ができる。
化手段における前記合成動画像の符号化の際にフレーム
スキップが発生した場合は、探索範囲中心算出手段は、
現フレームの各小領域についての動きベクトル情報のそ
れぞれについて、前フレームの動きベクトル情報を加算
することにより、スキップされたフレームの動き情報を
補間するため、前記再符号化手段においてフレームスキ
ップが発生した場合でも、請求項2に係る発明を効果的
に実現でき、請求項2に係る発明の汎用性を高めること
ができる。
【図1】本発明の実施の形態に係る多地点テレビ会議制
御装置を含むテレビ会議システムの構成を示す図であ
る。
御装置を含むテレビ会議システムの構成を示す図であ
る。
【図2】本発明の実施の形態に係るテレビ会議端末装置
のブロック構成を示す図である。
のブロック構成を示す図である。
【図3】本発明の実施の形態に係る多地点テレビ会議制
御装置のブロック構成を示す図である。
御装置のブロック構成を示す図である。
【図4】本発明の実施の形態に係るテレビ会議システム
の基本的な動作を示す図である。
の基本的な動作を示す図である。
【図5】本発明の実施形態に係る多地点テレビ会議制御
装置から各テレビ会議端末装置に対して送信され表示さ
れる縮小合成画像について示す模式的な図である。
装置から各テレビ会議端末装置に対して送信され表示さ
れる縮小合成画像について示す模式的な図である。
【図6】本発明の第1実施形態に係る復号化処理手順を
示すフローチャートである。
示すフローチャートである。
【図7】本発明の第1実施形態に係る符号化処理手順を
示すフローチャートである。
示すフローチャートである。
【図8】多地点テレビ会議制御装置のシステム制御部が
記憶している動きベクトルテーブルの具体例を示す図で
ある。
記憶している動きベクトルテーブルの具体例を示す図で
ある。
【図9】原画像中の4つのマクロブロックと、縮小合成
画像中の1つのMBの対応関係を示す図である。
画像中の1つのMBの対応関係を示す図である。
【図10】本発明の第1実施形態に係る動画符号器のブ
ロック構成を示す図である。
ロック構成を示す図である。
【図11】本発明の第2実施形態に係る符号化処理手順
を示すフローチャートである。
を示すフローチャートである。
【図12】本発明の第2実施形態に係る符号化処理手順
において設定される動きベクトル探索範囲の具体例を示
す図である。
において設定される動きベクトル探索範囲の具体例を示
す図である。
【図13】本発明の第2実施形態に係る動画符号器のブ
ロック構成を示す図である。
ロック構成を示す図である。
【図14】本発明の第3実施形態に係る符号化処理手順
を示すフローチャートである。
を示すフローチャートである。
【図15】本発明の第3実施形態に係る符号化処理手順
において加算される現フレームの動きベクトルと、前フ
レームの動きベクトルとの関係を示す図である。
において加算される現フレームの動きベクトルと、前フ
レームの動きベクトルとの関係を示す図である。
【図16】動きベクトルの加算法について示す図であ
る。
る。
【図17】従来の多地点テレビ会議制御装置における各
テレビ会議端末装置から受信した符号化原動画像を、復
号化して縮小して合成して再符号化して各テレビ会議端
末装置に送信する際の処理について模式的に示した図で
ある。
テレビ会議端末装置から受信した符号化原動画像を、復
号化して縮小して合成して再符号化して各テレビ会議端
末装置に送信する際の処理について模式的に示した図で
ある。
1、19、20 テレビ会議端末装置 2 システム制御部 3 磁気ディスク装置 4 ISDNインターフェイス部 5 マルチメデイア多重・分離部 6 マイク 7 音声入力処理部 8 音声符号・復号化部 9 音声出力処理部 10 スピーカ 11 ビデオカメラ 12 映像入力処理部 13 動画符号化・復号化部 14 映像出力処理部 15 モニター 16 ユーザーインターフェイス制御部 17 コンソール 18、28 ISDN回線 22 システム制御部 23 ISDNインターフェイス部 24 マルチメデイア多重・分離部 25 音声符号・復号化部 26 動画符号・復号化部 27 音声・動画マルチプレクス部
Claims (4)
- 【請求項1】 複数の地点に設置されたテレビ会議端末
装置を接続して、それら各テレビ会議端末装置からの、
フレームを構成する各小領域毎に付加された動きベクト
ル情報を伴って動き補償フレーム間予測符号化された符
号化原動画像を受信する受信手段と、その受信した各テ
レビ会議端末装置からの符号化原動画像をそれぞれ復号
化する復号化手段と、その復号化されたそれぞれの原動
画像を縮小して合成することで合成動画像を作成する縮
小合成手段と、その合成動画像を、フレームを構成する
各小領域毎に付加される動きベクトル情報を伴って動き
補償フレーム間予測符号化することにより符号化合成動
画像を生成する再符号化手段と、その符号化合成動画像
を前記各テレビ会議端末装置に送信する送信手段とを少
なくとも備えた多地点テレビ会議制御装置において、 前記復号化手段が各テレビ会議端末装置からそれぞれ受
信した現フレームの符号化原動画像を復号化する際に得
られる動きベクトル情報をそれぞれの現フレーム毎に記
憶する現フレーム動きベクトル記憶手段と、前記再符号
化手段において前記符号化合成動画像の現フレームを構
成する各小領域毎に付加する動きベクトル情報を、当該
合成動画像として縮小合成された前記各原動画像の現フ
レームについて前記現フレーム動きベクトル記憶手段が
記憶している動きベクトル情報と、それら各原動画像の
前記合成動画像上の合成位置と、それら原動画像の前記
縮小合成手段における縮小率とに基づいて算出する動き
ベクトル算出手段とを備えたことを特徴とする多地点テ
レビ会議制御装置。 - 【請求項2】 複数の地点に設置されたテレビ会議端末
装置を接続して、それら各テレビ会議端末装置からの、
フレームを構成する各小領域毎に付加された動きベクト
ル情報を伴って動き補償フレーム間予測符号化された符
号化原動画像を受信する受信手段と、その受信した各テ
レビ会議端末装置からの符号化原動画像をそれぞれ復号
化する復号化手段と、その復号化されたそれぞれの原動
画像を縮小して合成することで合成動画像を作成する縮
小合成手段と、その合成動画像を、フレームを構成する
各小領域毎に付加される動きベクトル情報を伴って動き
補償フレーム間予測符号化することにより符号化合成動
画像を生成する再符号化手段と、その符号化合成動画像
を前記各テレビ会議端末装置に送信する送信手段とを少
なくとも備えた多地点テレビ会議制御装置において、 前記復号化手段が各テレビ会議端末装置からそれぞれ受
信した現フレームの符号化原動画像を復号化する際に得
られる動きベクトル情報をそれぞれの現フレーム毎に記
憶する現フレーム動きベクトル記憶手段と、前記再符号
化手段において前記符号化合成動画像の現フレームを構
成する各小領域毎に付加する動きベクトル情報の探索範
囲の中心を、当該合成動画像として縮小合成された前記
各原動画像の現フレームについて前記現フレーム動きベ
クトル記憶手段が記憶している動きベクトル情報と、そ
れら各原動画像の前記合成動画像上の合成位置と、それ
ら原動画像の前記縮小合成手段における縮小率とに基づ
いて各小領域毎に算出する探索範囲中心算出手段とを備
え、前記再符号化手段は、前記符号化合成動画像の現フ
レームを構成する各小領域毎に付加する動きベクトル情
報を、前記探索範囲中心算出手段により各小領域につい
て算出される探索範囲中心を中心とする所定範囲内で探
索することを特徴とする多地点テレビ会議制御装置。 - 【請求項3】 前記復号化手段が各テレビ会議端末装置
からそれぞれ受信した、現フレームより1フレーム前の
フレームの符号化原動画像を復号化する際に得られる動
きベクトル情報をそれぞれ記憶する前フレーム動きベク
トル記憶手段を更に備え、前記動きベクトル算出手段
は、前記再符号化手段における前記合成動画像の符号化
の際にフレームスキップが発生した場合は、前記再符号
化手段において前記符号化合成動画像の現フレームを構
成する各小領域毎に付加する動きベクトル情報を、当該
合成動画像として縮小合成された前記各原動画像の現フ
レームについて前記現フレーム動きベクトル記憶手段が
記憶している各小領域毎の動きベクトルと、その現フレ
ーム動きベクトル記憶手段が記憶している現フレームの
各小領域毎の動きベクトルが指し示す小領域について、
当該合成動画像として縮小合成された前記各原動画像の
現フレームより1フレーム前のフレームについて前記前
フレーム動きベクトル記憶手段が記憶している動きベク
トルとを前記各原動画像の現フレームを構成する各小領
域について加算した動きベクトル情報と、それら各原動
画像の前記合成動画像上の合成位置と、それら原動画像
の前記縮小合成手段における縮小率とに基づいて算出す
ることを特徴とする請求項1記載の多地点テレビ会議制
御装置。 - 【請求項4】 前記復号化手段が各テレビ会議端末装置
からそれぞれ受信した現フレームより1フレーム前のフ
レームの符号化原動画像を復号化する際に得られる動き
ベクトル情報をそれぞれ記憶する前フレーム動きベクト
ル記憶手段を更に備え、前記探索範囲中心算出手段は、
前記再符号化手段における前記合成動画像の符号化の際
にフレームスキップが発生した場合は、前記再符号化手
段において前記符号化合成動画像の現フレームを構成す
る各小領域毎に付加する動きベクトル情報の探索範囲の
中心を、当該合成動画像として縮小合成された前記各原
動画像の現フレームについて前記現フレーム動きベクト
ル記憶手段が記憶している各小領域毎の動きベクトル
と、その現フレーム動きベクトル記憶手段が記憶してい
る現フレームの各小領域毎の動きベクトルが指し示す小
領域について、当該合成動画像として縮小合成された前
記各原動画像の現フレームより1フレーム前のフレーム
について前記前フレーム動きベクトル記憶手段が記憶し
ている動きベクトルとを前記各原動画像の現フレームを
構成する各小領域について加算した動きベクトル情報
と、それら各原動画像の前記合成動画像上の合成位置
と、それら原動画像の前記縮小合成手段における縮小率
とに基づいて算出することを特徴とする請求項2記載の
多地点テレビ会議制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23368896A JPH1066088A (ja) | 1996-08-16 | 1996-08-16 | 多地点テレビ会議制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23368896A JPH1066088A (ja) | 1996-08-16 | 1996-08-16 | 多地点テレビ会議制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1066088A true JPH1066088A (ja) | 1998-03-06 |
Family
ID=16958989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23368896A Pending JPH1066088A (ja) | 1996-08-16 | 1996-08-16 | 多地点テレビ会議制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1066088A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2354845A (en) * | 1999-09-15 | 2001-04-04 | Whitney Co W | Real time control of laser beam characteristics in a laser equipped machine tool |
JP2002218468A (ja) * | 2001-01-17 | 2002-08-02 | Sony Corp | 動きベクトル変換装置及び動きベクトル変換方法 |
JP2007522761A (ja) * | 2004-02-13 | 2007-08-09 | タンベルグ テレコム エーエス | 連続的存在イメージを生成する方法と装置 |
JP2012105289A (ja) * | 2005-04-28 | 2012-05-31 | Apple Inc | 多人数参加型テレビ会議における映像処理 |
US8638353B2 (en) | 2005-04-28 | 2014-01-28 | Apple Inc. | Video processing in a multi-participant video conference |
-
1996
- 1996-08-16 JP JP23368896A patent/JPH1066088A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2354845A (en) * | 1999-09-15 | 2001-04-04 | Whitney Co W | Real time control of laser beam characteristics in a laser equipped machine tool |
GB2354845B (en) * | 1999-09-15 | 2004-03-24 | Whitney Co W | Real time control of laser beam characteristics in a laser equipped tool |
JP2002218468A (ja) * | 2001-01-17 | 2002-08-02 | Sony Corp | 動きベクトル変換装置及び動きベクトル変換方法 |
JP2007522761A (ja) * | 2004-02-13 | 2007-08-09 | タンベルグ テレコム エーエス | 連続的存在イメージを生成する方法と装置 |
JP2012105289A (ja) * | 2005-04-28 | 2012-05-31 | Apple Inc | 多人数参加型テレビ会議における映像処理 |
US8638353B2 (en) | 2005-04-28 | 2014-01-28 | Apple Inc. | Video processing in a multi-participant video conference |
JP2015133721A (ja) * | 2005-04-28 | 2015-07-23 | アップル インコーポレイテッド | 多人数参加型テレビ会議における映像処理 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3659161B2 (ja) | 動画像符号化装置及びそれを用いたテレビ電話端末 | |
US5623312A (en) | Compressed-domain bit rate reduction system | |
US8811482B2 (en) | Method and device for establishing a coded output video stream from at least two coded input video streams and use of the device and coded input video stream | |
JP2001238218A (ja) | 信号変換装置及び方法 | |
JP4083266B2 (ja) | 動きベクトルの生成方法および装置 | |
EP1126710A1 (en) | A method and an apparatus for video mixing of bit streams | |
JP2004120732A (ja) | 動画像符号化装置及び動画像復号装置 | |
JPH10178639A (ja) | 画像コーデック部および画像データ符号化方法 | |
EP1494481B1 (en) | Motion picture receiving device, motion picture transmitting device, and program | |
JPH1066088A (ja) | 多地点テレビ会議制御装置 | |
JP2755851B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH07240944A (ja) | ステレオ画像符号化装置 | |
JP2573177B2 (ja) | 電子会議システムにおける図形表示装置 | |
JPH07298231A (ja) | 多地点動画像通信システム、その制御装置及び動画像通信端末 | |
JPH10224799A (ja) | 画像信号符号化方法及び装置、画像信号復号方法及び装置、並びに画像信号記録媒体 | |
JPH0630402A (ja) | 画像符号化装置 | |
JP2006173962A (ja) | 画像符号化装置 | |
JPH07162831A (ja) | テレビ会議通信装置の制御方法 | |
JPH0884329A (ja) | 画像通信端末装置 | |
JP4301495B2 (ja) | 動画像圧縮符号化装置 | |
JP2925046B2 (ja) | 動画像の動き補償予測方法 | |
JPH0846973A (ja) | 画像通信装置及びシステム | |
JPH06153181A (ja) | 予測符号化方法、予測復号化方法、予測符号化装置及び予測復号化装置 | |
CN100502513C (zh) | 运动图像解码设备和运动图像解码方法 | |
JPH0846928A (ja) | 画像符号化前処理装置 |