JP3031309B2 - ビデオ会議装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はネットワークに接続
されたパーソナルコンピュータやビデオ会議端末を使用
してビデオ会議を行うビデオ会議装置に係わり、特にカ
メラの有効利用を図ったビデオ会議装置に関する。

【０００２】

【従来の技術】会議室に複数の者が出席して会議を行う
のと同様に、ネットワークを使用して複数の者が互いに
伝送された画像を見ながら会議を行うビデオ会議装置が
実用化されている。このようなビデオ会議装置では、電
話回線や、ＬＡＮ（ローカルエリアネットワーク）等の
ネットワークに接続されたパーソナルコンピュータやビ
デオ会議端末を使用して、互いの顔を見ながら話をした
り、アプリケーションソフトウァアや電子的なホワイト
ボードによって、各人のデータを共有することができ
る。また、テキストデータや、グラフィックスデータ、
音声データ、画像データ等の各種のデータをリアルタイ
ムにやり取りする機能を有するものも出現している。こ
れらのビデオ会議装置の各端末には、カメラ等の映像入
力装置が接続されており、ビデオ会議の参加者や会議に
使用される資料が撮影される。撮影された動画像データ
やその他の画像データは、端末側の画像表示装置に表示
することができる。

【０００３】特開平７−２９８２３２号公報は、このよ
うなビデオ会議装置の一例を開示している。この公報に
開示されたビデオ会議装置は、発言者から送られる動画
像を画質を落とさずに表示すると共に、他の参加者から
送られてきた画像も表示できるようにしている。

【０００４】図９は、この公報に開示されたビデオ会議
装置を説明するためのものである。この装置は、各種の
制御を行うためのＣＰＵ（中央処理装置）１０１を備え
ている。ＣＰＵ１０１は、ユーザが端末を操作するため
の入力装置１０２と、端末を制御するためのプログラム
やデータを格納しておくためのメモリ１０３と、各種情
報を表示するための表示装置１０４と、画像および音声
の圧縮や伸長を行うための画像音声圧縮伸長装置１０５
と、画像、音声等の各種のデータを送信時に多重する一
方、受信時にはこれらのデータの分離を行う多重分離化
装置１０６と、通信回線１０７の回線制御を行う回線制
御装置１０８とが接続されている。画像音声圧縮伸長装
置１０５には、画像を入力するためのカメラ等の画像入
力装置１０９と、音声を入力するためのマイクロフォン
等の音声入力装置１１１と、音声を出力するための音声
出力装置１１２が接続されている。また、表示装置１０
４内には、画像メモリ１１３とこれに対する画像の書込
領域を切り替えるための書込領域切替手段１１４とが設
けられている。この装置で、書込領域切替手段１１４は
ソフトウァアによって実現されている。また、この装置
のＣＰＵ１０１は、メモリ１０３に格納されたプログラ
ムを実行することでビデオ会議装置の各種動作を実現す
るようになっている。

【０００５】図１０は、図９に示したビデオ会議装置に
おける画像音声圧縮伸長装置と多重分離化装置を具体的
に表わしたものである。画像音声圧縮伸長装置１０５に
は、画像復号器１２１と、画像符号器１２２およびスイ
ッチ１２３が配置されている。このうち画像符号器１２
２は、画像入力装置１０９から得られる送信すべき画像
信号１２４を入力してこれを圧縮符号化して、スイッチ
１２３の端子Ｓ側を介して多重分離化装置１０６へと供
給するようになっている。多重分離化装置１０６は、こ
の供給された画像信号を図９に示したように外部に送信
する。

【０００６】画像符号化器１２１は、多重分離化装置１
０６を介して得られる外部から受信した画像信号を復号
して伸長し、得られた動画像信号１２５を図９に示した
表示装置１０４に送出するようになっている。スイッチ
１２３は、前記した端子Ｓの他に端子Ｎを備えており、
これらを択一的に選択して、得られた画像信号を多重分
離化装置１０６に供給する。このような切替制御は、図
９に示したＣＰＵ１０１が行うようになっており、自端
末が発言者の場合に端子Ｓが選択され、また他端末が発
言者の場合には端子Ｎが選択される。すなわち、スイッ
チ１２３は、多重分離化装置１０６から入力された画像
データをそのまま折り返して、換言すれば中継を行って
多重分離化装置１０６から出力されるように制御する
か、画像符号器１２２から出力されたデータを多重分離
化装置１０６から出力されるように制御するかの切り替
えを行うようになっている。

【０００７】なお、画像音声圧縮伸長装置１０５および
多重分離化装置１０６には、実際には以上説明した画像
だけでなく音声やその他のデータに関する回路が含まれ
ているが、これらについてこのビデオ会議装置では図示
および説明を省略している。

【０００８】図１１は、図９に示した表示装置の構成を
具体的に表わしたものである。表示装置１０４は、受信
した画像を書き込んで記憶するための画像メモリ１１３
と、画像の表示を行う表示手段１３１と、画像メモリ１
１３から読み出される受信画像を入力して表示のための
信号を作成するディスプレイドライバ１３２と、図９に
も示した書込領域切替手段１１４によって構成されてい
る。画像メモリ１１３は、一例としてこの図に示すよう
にＡ、Ｂ、Ｃ、Ｄの４つの書込領域に分けられるので、
書込領域切替手段１１４はこれらの領域のいずれに書き
込むかの切り替えを行うことになる。この切替制御は、
ソフトウァアにより行われるが、ここではスイッチを使
用して概念的に示している。

【０００９】画像メモリ１１３は、この図１１に示した
例で、左上の書込領域Ａ、右上の書込領域Ｂ、左上の書
込領域Ｃ、および左下の書込領域Ｄの４つに分割してい
るが、書込アドレスを変えることで、これ以外の分割個
数や分割方法ももちろん可能である。また、画像音声圧
縮伸長装置１０５から得られた動画像信号１２５をどの
書込領域に書き込むかは、ＣＰＵ１０１による書込アド
レスの制御によって変更することが可能である。

【００１０】このような構成のこの提案のビデオ会議装
置では、図１０に示した動画像信号１２５を画像メモリ
１１３における書込領域切替手段１１４（図１１）で指
定した領域に１フレームごとに書き込むようになってい
る。画像メモリ１１３に書き込まれた画像データは、デ
ィスプレイドライバ１３２が表示のための適当な信号に
変換し、表示手段１３１が表示を行うことになる。画像
メモリ１１３における現在書き込みが行われていない領
域には、前の画像が記憶されている。このため、受信画
像を書き込んでいる書込領域は動画として表示が行われ
る一方、その他の書込領域は静止画像として表示される
ことになる。

【００１１】図１２は、この提案のビデオ会議装置にお
ける発言者の切り替えが行われる際の制御の流れを表わ
したものである。この制御のためのプログラムは、図９
に示したメモリ１０３に格納されている。端末が、例え
ばＩＴＵ（International Telecomｍｕnication Unio
n）−Ｔ勧告のＨ．２２１に示されたＬＳＤデータを受
け取ると（ステップＳ１０１）、発言者が自端末である
かどうかの判別が行われる（ステップＳ１０２）。ここ
でＬＳＤ（Low Speed）データとは、ビデオ会議システ
ムとうで規定されている汎用のデータのチャネルをい
う。発言者が自端末である場合には（Ｙ）、スイッチ１
２３（図１０）を端子Ｓ側に切り替える（ステップＳ１
０３）。これにより、他の端末に自端末からの動画像、
すなわち発言者の動画像が送信される。

【００１２】なお、この送信された動画像は、他の端末
に中継された後、自端末の多重分離化装置１０６を介し
てこの自端末の画像符号化器１２１に供給される。しか
しながら、発言者が自端末の場合には動画像を外部に送
信すると共に、この動画像を自端末の多重分離化装置１
０６で折り返してこの自端末の画像符号化器１２１に供
給するようにしてもよい。

【００１３】ステップＳ１０２で発言者が自端末ではな
いと判別された場合には（Ｎ）、図１０に示したスイッ
チ１２３を端子Ｎ側に切り替える（ステップＳ１０
４）。これによって、受信した画像としての他の端末の
発言者の動画像がそのまま送信画像となる。すなわち、
受信した画像は、そのまま中継されて隣の端末に送信さ
れる。

【００１４】以上のステップＳ１０３あるいはステップ
Ｓ１０４の制御が行われたら、画像メモリ１１３におけ
る発言者に対応する書込領域に画像が書き込まれるよう
に書込領域切替手段１１４（図１１）の切り替えが行わ
れる。この結果として、端末の表示手段１３１には、発
言者の画像が動画で、それ以外の参加者の画像が静止画
で表示される。また、発言していない端末の画像も静止
画として表示されることになる。

【００１５】図１３は、この提案のビデオ会議装置の機
能的な構成の概略を示したものである。ビデオ会議装置
は、外部から受信した画像を処理する受信画像処理手段
１４１と、送信すべき画像信号１２４（図１０参照）を
処理する送信画像処理手段１４２と、ビデオ会議に参加
する複数のビデオ会議端末装置のいずれが発言者である
かの検出を行う検出手段１４３と、送受信切替処理を行
う送受信切替処理手段１４４と、検出手段１４３が自己
のビデオ会議端末が発言者であると検出したときに、外
部から受信した画像信号を中継して外部へ送信すると共
に受信画像処理手段１４１に供給する中継受信切替処理
手段１４５と、図９および図１１で説明した複数の書込
領域を備えた画像メモリ１１３ならびに書込制御装置１
４６とによって構成されている。ここで書込制御装置１
４６は、受信画像処理手段１４１で処理された画像信号
１２５（図９）を、検出手段１４３の検出に応じて、画
像メモリ１１３の書込領域に書き込むように制御する手
段である。

【００１６】検出手段１４３および書込制御装置１４６
は、図９に示したＣＰＵ１０１とこれによって実行され
るプログラムによって実現される。また、受信画像処理
手段１４１は、図１０に示した画像符号化器１２１によ
って構成される。送信画像処理手段１４２は、画像符号
器１２２で構成される。送受信切替処理手段１４４およ
び中継受信切替処理手段１４５は、ＣＰＵ１０１と多重
分離化装置１０６およびスイッチ１２３によって構成さ
れる。

【００１７】このようなビデオ会議装置の動作を説明す
る。検出手段１４３によって発言者が自端末であると検
出された場合には、送信画像処理手段１４２で処理され
た画像信号は、送受信切替処理手段１４４を通じて他方
の端末に送信される。発言者が他の端末であると検出さ
れた場合には、中継受信切替処理手段１４５を通じて得
られる一方の隣接した端末から受信画像信号はそのまま
中継されて他方の隣接した端末に送信されると共に、受
信画像処理手段１４１に供給される。

【００１８】受信画像処理手段１４１で処理された自端
末および他端末の発言者の画像信号１２５は、書込制御
装置１４６によって画像メモリ１１３に書き込まれる。
この画像メモリ１１３の内容を読み出して表示すること
により、表示画面上には複数の分割された領域のそれぞ
れに各会議参加者の画像が表示される。この際に、現在
発言を行っている発言者は動画像で表示され、その他の
参加者は静止画で表示されることになる。

【００１９】また、特開平１−１４６４８７号公報に
は、カメラから得られた画像データ情報をディジタル画
像化して、この画像を符号化する際に画像の一部を抽出
し、この抽出部分のみを符号化するようにすると共に、
この符号化を行う際の指令を出力する切替手段を有する
ビデオ会議装置が開示されている。この公報記載の技術
では、自局により相手局の映像の焦点を短時間で集束さ
せるようにしている。

【００２０】図１４は、この特開平１−１４６４８７号
公報で開示されたビデオ会議装置の構成を表わしたもの
である。この装置は、ビデオコーデック２０１Ａと、シ
ステム制御部２０２Ａを介してビデオコーデック２０１
Ａを制御するための操作部２０３Ａと、カメラ２０４Ａ
を制御するためのカメラコントローラ２０５Ａと、カメ
ラ２０４Ａの撮像したアナログ画像をディジタル画像に
変換するためのＡ／Ｄ変換部２０６Ａと、このＡ／Ｄ変
換部２０６Ａで変換された後のディジタル信号を格納す
るための送信フレームメモリ部２０７Ａと、この送信フ
レームメモリ部２０７Ａが格納したフレーム画像を符号
化して伝送制御部２０８Ａの多重化部２０９Ａに送出す
る符号化部２１０Ａとを有している。なお、回線２１１
を介した相手局については、数字の後の符号“Ａ”を符
号“Ｂ”に置き換えて表わして折り、これらの詳細な説
明は省略する。

【００２１】多重化部２０９Ａは、符号化部２１０Ａか
ら入力された画像データと、システム制御部２０２Ａか
らの操作指令に基づいた例えば相手局カメラ２０４Ｂの
焦点合わせ情報とを多重化する。そして、これを回線２
１１を介して相手局のビデオコーデック２０１Ｂに送出
する。

【００２２】分離部２１２Ｂは、多重化された情報を受
信して画像データ情報とカメラ２０４Ｂの焦点合わせ情
報等の情報に分離するようになっている。分離部２１２
Ｂで抽出されたカメラ２０４Ｂの焦点合わせ情報は、シ
ステム制御部２０２Ｂに送出される。カメラコントロー
ラ２０５Ｂを介してカメラ２０４Ｂの移動量に従って変
化する画像は、その都度、Ａ／Ｄ変換部２０６Ｂ、送信
フレームメモリ部２０７Ｂ、符号化部２１０Ｂおよび伝
送制御部２０８Ｂを経由して、相手局から自局の分離部
２１２Ａに送信されるように構成されている。

【００２３】復号化部２１３Ａは、分離部２１２Ａから
得られた符号化画像情報を元の状態に復元するためのも
のである。ま、受信フレームメモリ部２１４Ａは、復号
化された画像データ情報を格納するためのものである。
更に、Ｄ／Ａ変換部２１５Ａは、復号化されたディジタ
ル画像をアナログ画像に変換してテレビモニタ２１６Ａ
に映し出すための変換を行うためのものである。テレビ
モニタ２１６Ａは、操作部２０３Ａによって相手局カメ
ラ２０４Ｂを遠隔操作したときの画像を映し出すように
なっており、相手局のシステム制御部２０２Ｂが自局の
操作部２０３Ａによる焦点合わせの指令に基づいて、モ
ード切替指令２２１Ａを、送信フレームメモリ部２０７
Ａおよび符号化部２１０Ａに送出するようになってい
る。

【００２４】この公報に記載されたビデオ会議装置の動
作を説明する。モード切替指令２２１Ａは、画面全体を
符号化する標準モードから、画面の一部を固定領域とし
てこの領域の画像のみを符号化する焦点モードに切り替
えるための指令信号である。全画面に占める固定領域の
割合は、Ｎを整数とすると、１／Ｎとなるように決める
ことができる。システム制御部２０２Ｂは、送信フレー
ムメモリ部２０７Ｂと符号化部２１０Ｂに対してモード
切替指令２２１Ｂを送出する。すなわち、１画面すべて
を符号化する標準モードから、１画面の１／Ｎだけ符号
化する焦点モードに切り替えるための指令信号を送信す
る。したがって、焦点モードに切り替えることによっ
て、符号化部２１０Ｂの発生する情報が概略で１／Ｎと
なり、自局のモニタテレビ２１６Ａに映し出される映像
の動きは、標準モードよりも操作による映像の応答が迅
速化され、焦点合わせがスムーズに行えるようになる。

【００２５】

【発明が解決しようとする課題】以上説明した従来の２
つのビデオ会議装置のうち、前者の技術では画像メモリ
を幾つかの領域に分割して、画像入力装置から入力され
る動画像データと、ループ状に接続された他の端末から
の受信画像に割り当てるようにしている。自端末に入力
される動画像データを格納するための画像メモリを複数
割り当てるようにしたとしても、表示および他の端末に
送出される動画像データのための画像メモリは１つだけ
となっている。したがって、カメラを他の用途に使用す
ることができない。

【００２６】また、この前者の技術では、入力される画
像データと他の端末から送られてきた受信画像データと
をスイッチで切り替えて画像メモリに書き込むようにし
ている。このため、カメラから入力される動画像データ
がすべてビデオ会議の接続先に送出されるようになって
おり、この点からもカメラを他の用途に使用することが
できない。なお、後者の技術ではカメラの焦点を合わせ
るための指令信号を他の端末に送信しているものの、画
像データ自体の送出制御は行っていない。

【００２７】そこで本発明の目的は、ビデオ会議でカメ
ラを使用中でも、他の用途にそのカメラを使用できるよ
うにしたビデオ会議装置を提供することにある。

【００２８】また、従来のビデオ会議装置では、同一の
会議参加場所に複数の会議参加者が出席しこれらの者の
動画像を１台のビデオカメラで切り替えようとする場合
には、切り替え途中の伝送するのに必ずしも適していな
い画像まで他の会議端末に送信してしまう場合もあっ
た。

【００２９】本発明の他の目的は、１台のビデオカメラ
で同一の会議参加場所にいる複数の会議参加者の動画像
を切り替える場合に、動画像の自然な切り替えが可能な
ビデオ会議装置を提供することにある。

【００３０】

【課題を解決するための手段】請求項１記載の発明で
は、（イ）ビデオカメラと、（ロ）このビデオカメラか
ら入力される画像データの格納を行うビデオバッファ
と、（ハ）このビデオバッファから読み出された画像デ
ータの圧縮を行う画像圧縮手段と、（ニ）ビデオカメラ
をビデオ会議用とそれ以外の用途のいずれかに切り替え
るビデオカメラ用途切替手段と、（ホ）このビデオカメ
ラ用途切替手段がビデオカメラをビデオ会議用からそれ
以外の用途に切り替えている間はビデオバッファ内にこ
のビデオ会議以外の用途での画像データを新たに格納す
るためのキャプチャ領域を割り込んで確保するキャプチ
ャ領域確保手段と、（へ）このキャプチャ領域確保手段
がビデオバッファ内の領域を割り込んで使用していると
きビデオバッファの残りの領域を使用してビデオ会議用
に画像データを圧縮してビデオ会議の相手方と接続され
た通信回線に送出し、これ以外の場合には動画の伝送に
ビデオバッファ内の本来的に必要なメモリ領域の全域を
使用して画像データを圧縮して通信回線に送出するビデ
オ会議用画像データ送出手段とをビデオ会議装置に具備
させる。

【００３１】すなわち請求項１記載の発明では、本来ビ
デオ会議に使用されるために用意されたビデオバッファ
内にビデオ会議以外の用途での画像データを新たに格納
するために、キャプチャ領域を割り込んで確保させるこ
とにし、この割り込みによって減少する領域をカバーす
るためにビデオ会議用に画像データを圧縮して格納し、
これをビデオ会議の相手方と接続された通信回線に送出
するようにしている。

【００３２】請求項２記載の発明では、請求項１記載の
ビデオ会議装置におけるキャプチャ領域確保手段は、ビ
デオカメラ用途切替手段がビデオカメラをビデオ会議用
に設定しているときビデオバッファの全域をビデオ会議
用とし、このビデオカメラをビデオ会議用以外の用途に
切り替えている間はこの用途に必要とされる領域をキャ
プチャ領域として割り込ませることを特徴としている。
これにより、既存のビデオバッファのままでキャプチャ
領域を確保できることになる。

【００３３】請求項３記載の発明では、請求項１記載の
ビデオ会議装置におけるビデオカメラ用途切替手段がビ
デオカメラをビデオ会議以外の用途に設定しているとき
には、画像圧縮手段は解像度をビデオ会議用の場合と同
一にし、画像のフレームの周期をキャプチャ領域の割合
に応じて長くして画像データの圧縮を行うことを特徴と
している。このように画像のフレームの周期を長くする
ことで解像度を落とさずに画像データを会議用に使用す
ることができる。

【００３４】請求項４記載の発明では、（イ）ビデオカ
メラと、（ロ）同一の会議参加場所に出席した複数の会
議参加者の動画像をこのビデオカメラで切り替える被写
体切替手段と、（ハ）このビデオカメラから入力される
動画像の画像データを複数フレームにわたって連続して
格納するビデオバッファと、（ニ）このビデオバッファ
から読み出された画像データの圧縮を行う画像圧縮手段
と、（ホ）ビデオカメラ切替手段が被写体の画像の切り
替えを行うのに伴って切替途中の動画像をビデオ会議参
加者に送出するのをカットする動画像カット手段と、
（へ）この動画像カット手段によって動画像の送出がカ
ットされる時間を、ビデオバッファに格納されたこのカ
ットされる動画像の手前の複数フレーム分の動画像を画
像圧縮手段による画像のフレームで埋め合わせる画像圧
縮手段フレーム周期制御手段とをビデオ会議装置に具備
させる。

【００３５】すなわち請求項４記載の発明では、同一の
会議参加場所に出席した複数の会議参加者の動画像をビ
デオカメラで切り替える場合の切り替え途中の画像をカ
ットする場合を扱っている。例えば２人の画像をカメラ
で画像を流しながら切り替える場合には、その途中でこ
れらの人の画像が共にほとんど映らないような見苦しい
画像が存在する場合が有り得る。このような場合に、そ
の部分の画像の送出をカットする一方で、ビデオバッフ
ァに格納されたこのカットされる動画像の手前の複数フ
レーム分の動画像を画像圧縮手段による画像のフレーム
で埋め合わせるようにしている。

【００３６】請求項５記載の発明では、請求項４記載の
動画像カット手段は、動画像のフレームに新たな会議参
加者の画像の一部が登場する時点から、直前に撮影され
ていた会議参加者の画像の全部が撮影されなくなった時
点までをカバーする時間を最小時間として設定してお
き、動画像のカットを行うようにしている。また、請求
項６記載の発明では、動画像の送出がカットされる時間
を埋め合わせる画像は、それ以外の画像と解像度を等し
くしてフレーム周期を長くしたものとして、埋め合わせ
た画像の品位を保持している。

【００３７】

【発明の実施の形態】

【００３８】

【実施例】以下実施例につき本発明を詳細に説明する。

【００３９】図１は、本発明の一実施例におけるビデオ
会議装置の構成を表わしたものである。この装置は、ビ
デオ会議装置本体３１１と、これに接続された入力装置
としての音声入力装置３１２、画像入力装置３１３およ
びデータ入力装置３１４と、出力装置としての音声出力
装置３１５および表示装置３１６から構成されており、
通信回線３１７を介して会議の相手としての図示しない
ビデオ会議装置と接続されるようになっている。

【００４０】ここでビデオ会議装置本体３１１は、動画
像データ、画像データ、音声データ、テキストデータ、
グラフィックスデータ等の各種のデータを、他の図示し
ないビデオ会議装置と会議のために相互に入出力するた
めの回路装置である。音声入力装置３１２は、マイクロ
フォンに代表されるもので、音声の入力を行うためのも
のである。音声出力装置３１５は、スピーカやヘッドフ
ォンに代表されるもので、音声を出力するためのもので
ある。画像入力装置３１３は、カメラに代表され、画像
の入力を行うようになっている。これに対して、データ
入力装置３１４は、マウス、トラッキイグボールのよう
なポインティングデバイスやキーボードに代表されるも
ので、このビデオ会議装置の操作のための各種データを
入力するためのものである。表示装置３１６は、画像入
力装置３１３から入力された画像データや、通信回線３
１７によって受信した圧縮された画像データを復号して
得られた画像データあるいは接続先の図示しないビデオ
会議装置に送出される画像データ等の画像データを表示
するもので、ＣＲＴや液晶等のディスプレイ装置によっ
て構成されている。

【００４１】ビデオ会議装置本体３１１は、音声入力装
置３１２ならびに音声出力装置３１５と接続された音声
制御手段３２１を備えている。音声制御手段３２１は音
声データの入出力制御を行うもので、音声データ処理手
段３２２と接続されている。音声データ処理手段３２２
は、多重分離化手段３２３とも接続されており、音声制
御手段３２１を介して入力される音声データの圧縮と、
多重分離化手段３２３から受信した圧縮された音声デー
タの復号とを行うようになっている。

【００４２】多重分離化手段３２３は、回線制御手段３
２５を介して通信回線３１７と接続される他、画像デー
タ処理手段３２６を介して表示制御手段３２７と接続さ
れている。ここで、表示制御手段３２７は画像入力装置
３１３および表示装置３１６と接続されており、これら
の装置から入力される画像データを表示装置３１６に視
覚的に表示する際の表示制御を行うようになっている。
画像データ処理手段３２６は、画像データの符号化なら
びに復号化等の処理を行う。多重分離化手段３２３は、
圧縮された音声データや画像データを通信回線３１７に
送出する際に所定のデータ形式に多重化する処理と、回
線制御手段３２５から受信したデータを音声データなら
びに画像データに分離する処理を行う。また、回線制御
手段３２５は通信回線３１７を介してデータの送受信制
御を行うためのものである。ビデオ会議装置本体３１１
にはメイン制御手段３２８も配置されている。メイン制
御手段３２８は、データ入力装置３１４等の各部と接続
されてビデオ会議装置としての各種制御を行うためのも
のである。

【００４３】図２は、画像データ処理手段の具体的な構
成を表わしたものである。画像データ処理手段３２６
は、画像データの切り替えを行う画像データ切替手段３
３１を備えている。画像データ切替手段３３１は、図１
に示したメイン制御手段３２８から供給されるカメラ切
替信号３３２に従って、表示制御手段３２７（図１）か
ら入力された画像データ３３３を第１または第２の画像
バッファ３３４、３３５のいずれか一方に格納するよう
になっている。これらの画像バッファ３３４、３３５
は、それぞれ入力された画像データを複数フレーム分格
納するメモリ領域で構成されている。画像データ選択手
段３３６は、メイン制御手段３２８から供給されるカメ
ラ切替信号３３２に従って、第１または第２の画像バッ
ファ３３４、３３５の出力する画像データ３３７、３３
８のいずれか一方を選択して、画像データ３３９として
画像符号化手段３４１に供給する。画像符号化手段３４
１は、画像データ選択手段３３６から入力された画像デ
ータ３３９を符号化し、画像データ３４２として図１に
示した多重分離化手段３２３に供給することになる。

【００４４】図３は、本実施例のビデオ会議装置におけ
るカメラによって入力される画像データの処理の流れを
表わしたものである。図１に示す画像入力装置３１３か
らビデオ会議装置本体３１１に入力される画像データ
は、表示制御手段３２７を介して、画像データ３３３
（図２）として画像データ処理手段３２６に入力され
る。画像データ処理手段３２６内の画像データ切替手段
３３１は、メイン制御手段３２８から供給されるカメラ
切替信号（画像メモリフラグ）３３２によって、画像デ
ータ３３３を格納する先が第１の画像バッファ３３４で
あるか、第２の画像バッファ３３５であるかの判定を行
う（ステップＳ２０１）。画像メモリフラグの指示が第
１の画像バッファ３３４となっている場合には（Ｙ）、
画像データ３３３をこれに格納する（ステップＳ２０
２）。これに対して、画像メモリフラグの指示が第１の
画像バッファ３３４とはなっていない場合（Ｎ）、この
画像データ３３３を第２の画像バッファ３３５に格納す
る（ステップＳ２０３）。

【００４５】このようにして画像データ３３３が判別先
の第１または第２の画像バッファ３３４または３３５に
格納されたら、カメラの切替指示がデータ入力装置３１
４から入力されるのを待機する（ステップＳ２０４、Ｓ
２０５）。この指示は、ユーザがキー入力用の機器を使
用して入力することになる。このような入力指示は、ユ
ーザがカメラをビデオ会議に使用している最中に、ビデ
オ会議以外の用途に使用したいときに行われるものであ
る。指示の方法の一例としては、表示装置３１６の画面
上に選択用のボタンを表示し、これらのボタンのいずれ
かをマウスやカーソルキーで選択することや、カメラ等
の画像入力装置３１３に専用の切替ボタンを配置するこ
とが考えられる。

【００４６】カメラの切替指示があったら（ステップＳ
２０４、Ｓ２０５；Ｙ）、図２に示した画像データ切替
手段３３１は、第１または第２の画像バッファ３３４、
３３５への画像データの格納処理を停止する（ステップ
Ｓ２０６）。停止するタイミングは、入力される画像デ
ータ３３３の処理単位としてのフレーム単位となる。次
に、第１および第２の画像バッファ３３４、３３５のう
ちの画像データの格納を現在行った方以外の画像バッフ
ァを指示するように画像メモリフラグを設定する（ステ
ップＳ２０７）。この後、ステップＳ２０１に戻って、
次のフレームの画像データ３３３を第１の画像バッファ
３３４に格納するか第２の画像バッファ３３５に格納す
るかの判定が行われることになる。以下同様であり、判
定先の第１または第２の画像バッファ３３４、３３５に
フレーム単位で画像データが格納されることになる。

【００４７】図４は、カメラ等の画像入力装置から入力
される画像データの符号化処理の流れを表わしたもので
ある。図２に示した画像データ処理手段３２６内の画像
データ選択手段３３６は、メイン制御手段３２８から供
給されるカメラ切替信号（画像メモリフラグ）３３２が
第１の画像バッファ３３４を指示しているかどうかの判
定を行う（ステップＳ３０１）。第１の画像バッファ３
３４を指示している場合には（Ｙ）、これから画像デー
タ３３７の読み出しを行う（ステップＳ３０２）。これ
に対して、第１の画像バッファ３３４を指示していない
場合には（ステップＳ３０１；Ｎ）、すなわち第２の画
像バッファ３３５を指示している場合には、この第２の
画像バッファ３３５から画像データ３３８の読み出しを
行う（ステップＳ３０３）。

【００４８】以上のステップＳ３０２またはステップＳ
３０３の処理が行われたら、カメラ切替指示がないかぎ
り（ステップＳ３０４、Ｓ３０５；Ｎ）、画像データ選
択手段３３６によって選択された画像データ３３９に対
して画像符号化手段３４１が画像データの符号化を行う
（ステップＳ３０６、Ｓ３０７）。ユーザによるカメラ
切替指示があった場合には（ステップＳ３０４、Ｓ３０
５；Ｙ）、画像符号化手段３４１に対して画像データ３
３９の符号化を処理優先で行うための指示を与える（ス
テップＳ３０８、Ｓ３０９）。符号化を処理優先で行う
ための指示は、メイン制御手段３２８が指示状態を示す
フラグを持つことによって行われ、フラグの状態によっ
て交互に切り替える動作としてのトグル動作をする。カ
メラ切替指示がない場合には、このような符号化を処理
優先で行うための指示は与えられない。

【００４９】画像符号化手段３４１に符号化を処理優先
で行う指示が与えられた場合には、符号化に要する時間
を長くする符号化を、この処理をアクセスしている第１
または第２の画像バッファ３３４、３３５の画像データ
が無くなるまで行う（ステップＳ３１０、Ｓ３１１）。
対応する第１または第２の画像バッファ３３４、３３５
の画像データが無くなると、メイン制御手段３２８がカ
メラの切替指示を画像データ切替手段３３１に供給する
（ステップＳ３１２）。これによって、画像データ３３
３を格納する画像バッファ３３４、３３５が切り替わる
ことになる。

【００５０】図５は、この実施例におけるカメラの切り
替えに伴う画像データの処理の様子をフレーム単位で表
わしたものである。同図Ａは、図１に示した表示制御手
段３２７から画像データ処理手段３２６に入力される画
像データ３３３（図２参照）をフレーム単位で表わした
ものである。この図で矢印ｔは、時間の経過する方向を
示している。また、この図で各フレームは、時間的に古
いものから順に数字“１”、“２”、…を順に付してい
る。更に図Ａでハッチングを付したフレーム（第５フレ
ーム）は、カメラの切り替えが指示された後の最初のフ
レームであることを示している。

【００５１】同図Ｂは第１の画像バッファ３３４に格納
される画像データ３３３を示しており、同図Ｃは第２の
画像バッファ３３５に格納される画像データ３３３を示
している。カメラの切替指示が行われた時点で画像デー
タ３３３の格納場所が第２の画像バッファ３３５から第
１の画像バッファ３３４に切り替えられていることがわ
かる。同図Ｄは、図２に示す画像符号化手段３４１で符
号化されてこれから出力される画像データ３４２を示し
ている。図５におけるＢ〜Ｄも同様に画像データをフレ
ーム単位で示し、それぞれ数字“１”、“２”、…を同
図Ａに対応させて記している。

【００５２】この図５を基にしてビデオ会議装置の動作
を説明する。同図Ａに示すように、ユーザが第４フレー
ムと第５フレームの間の点線で示すタイミングでカメラ
の切替指示３５１を行ったとする。この指示が行われる
まで、図２に示す画像データ３３は図５Ｃに示すように
第１の画像バッファ３３４に格納される。これら第１〜
第４フレームの画像データはまだ画像符号化手段３４１
で符号化されておらず、第１の画像バッファ３３４に格
納されたままとなっている。

【００５３】カメラの切替指示３５１が行われてカメラ
切替信号（画像メモリフラグ）３３２が発生すると、画
像入力装置３１３から入力される画像データは画像デー
タ切替手段３３１の切替動作によって、第２の画像バッ
ファ３３５に格納を開始される。図５Ｂはカメラ切替信
号３３２が発生した後のこの画像データを示している。

【００５４】画像データ選択手段３３６は、カメラ切替
信号３３２が発生するまでの間、第１の画像バッファ３
３４から読み出した画像データ３３７を画像データ３３
９として選択し、画像符号化手段３４１に入力し、符号
化を行わせる。図５Ｄはこの状態を表わしている。画像
データ３３９の入力される速度よりも画像の符号化に要
する処理時間が長いので、カメラ切替指示３５１よりも
時間的に手前の段階に相当する期間ａでは、それ以前の
フレーム（−（マイナス）記号で示している。）につい
て、例えば２フレームに１フレームの割合で、“コマ落
ち”が発生している。

【００５５】カメラ切替信号３３２が画像符号化手段３
４１に入力されると、処理優先の符号化処理に切り替わ
る。この結果、処理速度を犠牲にして、コマ落ちが発生
しないように各フレームの符号化が順次行われるように
なる（図５Ｄ）。このようにして、第１の画像バッファ
３３４に格納されていた４フレーム分（第１〜第４フレ
ーム）についての符号化処理が終了すると、画像符号化
手段３４１が画像データ切替手段３３１に対してカメラ
切り替えの指示を行う。これにより、画像データ切替手
段３３１はこれ以後に入力される画像データ３３３の格
納先を第１の画像バッファ３３４に再び切り替える。画
像符号化手段３４１は、これにより入力された、例えば
第１６フレームの画像データ３３３から第１の画像バッ
ファ３３４に格納された画像データ３３７の符号化を行
うことになる（期間ｂ）。

【００５６】図６は、第１の画像バッファから画像デー
タの読み出しが終了する前にカメラの切り替えの指示を
出した場合の画像データのフレーム単位の処理の様子を
表わしたものである。図５と同一部分には同一の符号を
付しており、これらの説明を適宜省略する。

【００５７】第１の画像バッファ３３４内の画像データ
がすべて符号化処理される前にユーザが次のカメラ切替
指示３５２を与えると、画像データ切替手段３３１は入
力される画像データ３３３の格納先を第１の画像バッフ
ァ３３４に切り替える。また、画像符号化手段３４１
は、その符号化方式を速度優先に切り替える。この結
果、期間ｃとして示したような画像データの符号化が行
われることになる。

【００５８】以上説明したように図５Ｂおよび図６Ｂに
示した第２の画像バッファ３３５に格納された画像デー
タは、符号化されることがない。この結果として、ユー
ザは第２の画像バッファ３３５に格納された画像データ
を自由に処理することが可能になり、ビデオ会議でカメ
ラを使用中であっても、他の用途にカメラを使用するこ
とが可能になる。

【００５９】変形例

【００６０】以上説明した実施例では、カメラをビデオ
会議の参加者の撮影とそれ以外の用途（ビデオキャプチ
ャ）に使用する場合について説明したが、同一地点に複
数の参加者が集まっているような場合にはビデオ会議の
参加者を１つのカメラが切り替えて撮影すると言うよう
な場合がある。このような場合に、カメラが例えば一人
の参加者から他の参加者に撮影を切り替える切り替え時
の画像を、直前の画像に置き換えて切り替えを自然なも
のとするような場合にも、本発明を適用することができ
る。

【００６１】図７は、同一地点に配置されたカメラが２
人の被写体を切り替えて行く様子を表わしたものであ
る。等間隔に経過する時刻ｔ₁ 、ｔ₂ 、ｔ₃ の間はビデ
オ会議の第１の参加者４０１が被写体として撮影されて
おり、時刻ｔ₄ には次の被写体としての第２の参加者４
０２が第１の参加者４０１と共に１フレーム分の画像と
して撮影されている。次の時刻ｔ₅ 以降は第２の参加者
４０２のみが撮影されている。このうちの時刻ｔ₄ のフ
レームを除去すると共に、それぞれ以前のフレームの画
像を解像度を落とすことなくフレーム周期を長くする。

【００６２】図８は、このようにして他のビデオ会議端
末に出力される一連の画像を表わしたものである。この
ようにカメラの切り替え時の画像を直前の画像に置き換
えることで、例えば発言者の画像のスムーズな切り替え
が可能になる。なお、以上説明した実施例では、画像デ
ータを格納するメモリとして、予め第１の画像バッファ
と第２の画像バッファの２種類用意することにしたが、
１つの画像バッファを用意しておき、実施例で第１の画
像バッファと第２の画像バッファの２種類使用する場合
には、この１つの画像バッファを２種類の画像バッファ
となるように分割して使用するようにすればよい。この
ときには、動画像を格納するバッファメモリの容量が少
なくなるので、解像度を落とさないで画像の読み出しを
行う場合、フレーム周期をこれに伴って長くするような
工夫が必要となる。

【００６３】

【発明の効果】以上説明したように請求項１記載の発明
によれば、本来ビデオ会議に使用されるために用意され
たビデオバッファを他の用途にも使用するときビデオ会
議用の画像データを圧縮して格納することにしたので、
既存のビデオ会議装置のビデオバッファをそのまま使用
することができ、経済的なビデオ会議装置を構成するこ
とができる。

【００６４】また請求項２記載の発明では、請求項１記
載のビデオ会議装置におけるキャプチャ領域確保手段
は、ビデオカメラ用途切替手段がビデオカメラをビデオ
会議用に設定しているときビデオバッファの全域をビデ
オ会議用とし、このビデオカメラをビデオ会議用以外の
用途に切り替えている間はこの用途に必要とされる領域
をキャプチャ領域として割り込ませることにしたので、
通常の用途では、動画像を十分なメモリ領域を確保して
格納することができるという利点がある。

【００６５】更に請求項３記載の発明では、請求項１記
載のビデオ会議装置におけるビデオカメラ用途切替手段
がビデオカメラをビデオ会議以外の用途に設定している
ときには、画像圧縮手段は解像度をビデオ会議用の場合
と同一にし、画像のフレームの周期をキャプチャ領域の
割合に応じて長くして画像データの圧縮を行うことを特
徴としたので、解像度を落とさずに画像データを会議用
に使用することができ、資料等の提示に際して画像を十
分な品質で伝送することができる。

【００６６】また請求項４記載の発明では、同一の会議
参加場所に出席した複数の会議参加者の動画像を１台の
ビデオカメラで切り替える場合にその経過的な画像を消
去するだけでなく、その区間に直前の参加者の画像を動
画像として挿入することにしたので、静止画を挿入する
場合に比べて参加者の画像の自然な切り替えが可能にな
る。

【図面の簡単な説明】

【図１】図１は本発明の一実施例におけるビデオ会議装
置の構成を表わしたブロック図である。

【図２】図２は図１に示した画像データ処理手段の具体
的な構成を表わしたブロック図である。

【図３】図３は本実施例のビデオ会議装置におけるカメ
ラによって入力される画像データの処理の流れを表わし
た流れ図である。

【図４】図４はカメラ等の画像入力装置から入力される
画像データの符号化処理の流れを表わした流れ図であ
る。

【図５】図５はこの実施例におけるカメラの切り替えに
伴う画像データの処理の様子をフレーム単位で表わした
説明図である。

【図６】第１の画像バッファから画像データの読み出し
が終了する前にカメラの切り替えの指示を出した場合の
画像データのフレーム単位の処理の様子を表わした流れ
図である。

【図７】本発明の変形例におけるカメラによる被写体の
切り替えの様子を示す説明図である。

【図８】本発明の変形例にビデオ会議端末の送信する画
像の流れを示す説明図である。

【図９】従来提案された第1のビデオ会議装置の構成の
概要を示したブロック図である。

【図１０】図９に示したビデオ会議装置における画像音
声圧縮伸長装置と多重分離化装置を具体的に表わしたブ
ロック図である。

【図１１】図９に示した表示装置の構成を具体的に表わ
したブロック図である。

【図１２】図９に示したビデオ会議装置における発言者
の切り替えが行われる際の制御の様子を示す流れ図であ
る。

【図１３】図９に示したビオ会議装置の機能的な構成の
概略を示したブロック図である。

【図１４】従来提案された第1のビデオ会議装置の構成
を示したブロック図である。

【符号の説明】

１０１ ＣＰＵ（中央処理装置） １０２ 入力装置 １０３ メモリ １０４ 表示装置 １０５ 画像音声圧縮伸長装置 １０７ 通信回線 １０９ 画像入力装置 １１３ 画像メモリ １１４ 書込領域切替手段 １２３ スイッチ １３１ 表示手段

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ビデオカメラと、 このビデオカメラから入力される画像データの格納を行
   うビデオバッファと、 このビデオバッファから読み出された画像データの圧縮
   を行う画像圧縮手段と、 前記ビデオカメラをビデオ会議用とそれ以外の用途のい
   ずれかに切り替えるビデオカメラ用途切替手段と、 このビデオカメラ用途切替手段が前記ビデオカメラをビ
   デオ会議用からそれ以外の用途に切り替えている間は前
   記ビデオバッファ内にこのビデオ会議以外の用途での画
   像データを新たに格納するためのキャプチャ領域を割り
   込んで確保するキャプチャ領域確保手段と、 このキャプチャ領域確保手段が前記ビデオバッファ内の
   領域を割り込んで使用しているときビデオバッファの残
   りの領域を使用してビデオ会議用に画像データを圧縮し
   てビデオ会議の相手方と接続された通信回線に送出し、
   これ以外の場合には動画の伝送にビデオバッファ内の本
   来的に必要なメモリ領域の全域を使用して画像データを
   圧縮して前記通信回線に送出するビデオ会議用画像デー
   タ送出手段とを具備することを特徴とするビデオ会議装
   置。
2. 【請求項２】 前記キャプチャ領域確保手段は、前記ビ
   デオカメラ用途切替手段が前記ビデオカメラをビデオ会
   議用に設定しているとき前記ビデオバッファの全域をビ
   デオ会議用とし、このビデオカメラをビデオ会議用以外
   の用途に切り替えている間はこの用途に必要とされる領
   域をキャプチャ領域として割り込ませることを特徴とす
   る請求項1記載のビデオ会議装置。
3. 【請求項３】 前記ビデオカメラ用途切替手段が前記ビ
   デオカメラをビデオ会議以外の用途に設定していると
   き、前記画像圧縮手段は解像度をビデオ会議用の場合と
   同一にし、画像のフレームの周期を前記キャプチャ領域
   の割合に応じて長くして画像データの圧縮を行うことを
   特徴とする請求項2記載のビデオ会議装置。
4. 【請求項４】 ビデオカメラと、 同一の会議参加場所に出席した複数の会議参加者の動画
   像をこのビデオカメラで切り替える被写体切替手段と、 このビデオカメラから入力される動画像の画像データを
   複数フレームにわたって連続して格納するビデオバッフ
   ァと、 このビデオバッファから読み出された画像データの圧縮
   を行う画像圧縮手段と、 前記ビデオカメラ切替手段が被写体の画像の切り替えを
   行うのに伴って切替途中の動画像をビデオ会議参加者に
   送出するのをカットする動画像カット手段と、 この動画像カット手段によって動画像の送出がカットさ
   れる時間を、前記ビデオバッファに格納されたこのカッ
   トされる動画像の手前の複数フレーム分の動画像を前記
   画像圧縮手段による画像のフレームで埋め合わせる画像
   圧縮手段フレーム周期制御手段とを具備することを特徴
   とするビデオ会議装置。
5. 【請求項５】 前記動画像カット手段は、動画像のフレ
   ームに新たな会議参加者の画像の一部が登場する時点か
   ら、直前に撮影されていた会議参加者の画像の全部が撮
   影されなくなった時点までをカバーする時間を最小時間
   として、動画像のカットを行うことを特徴とする請求項
   4記載のビデオ会議装置。
6. 【請求項６】 動画像の送出がカットされる時間を埋め
   合わせる画像は、それ以外の画像と解像度を等しくして
   フレーム周期を長くしたものであることを特徴とする請
   求項４記載のビデオ会議装置。