JPH1066044A

JPH1066044A - テレビ会議システム

Info

Publication number: JPH1066044A
Application number: JP8213772A
Authority: JP
Inventors: Kiyoshi Kitamura; 清北村
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1996-08-13
Filing date: 1996-08-13
Publication date: 1998-03-06

Abstract

(57)【要約】【課題】この発明は、テレビ会議システムに関し、新
しい話者の音声と表示される人物の時間的ずれをほぼな
くし、スムーズな会議進行を行うことのできるテレビ会
議システムの提供を課題とする。【解決手段】カメラを移動させて話者の画像を撮影す
るテレビ会議システムにおいて、話者検出部と、カメラ
移動部と、表示部と、画像制御部と、参加者の静止画像
を記憶する画像記憶部とを備え、話者検出部が話者を検
出した後、その検出された話者の方向にカメラ移動部が
カメラを移動させるまでの間、前記画像制御部が、前記
画像記憶部に記憶されたその話者の静止画像を表示部に
表示させ、その話者の方向にカメラの移動が完了したと
きカメラによって撮影された画像を表示部に表示させる
こと特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、テレビ会議シス
テムに関し、特に発言者を検出したときの画像の切替え
をスムーズに行うテレビ会議システムに関する。

【０００２】

【従来の技術】近年、高速の通信網の整備により、テレ
ビ会議システムの需要が高まってきており、それに伴っ
て様々な要望がユーザーから挙げられ、システムの改善
がされている。従来のテレビ会議システムでは、一台の
カメラで数人の出席者を撮影するようなシステムがあ
る。このようなシステムでは、カメラを回転させて常に
発言者にカメラが向くように制御している。

【０００３】この場合、発言者の音声をマイクで検出し
た後に、その話者の方向にカメラを回転させるようにし
ているので、カメラの回転に時間がかかる場合には、モ
ニター画面を見ている者には、発言者の音声が聞こえ始
めてから数秒間経過した後にようやく発言者の画像が表
示されることになる。すなわち、しばらくの間、モニタ
ー画面の画像と音声とが一致しない状態が生じることに
なる。

【０００４】従来は、カメラが回転中もそのまま撮影さ
れる画像を取り込む方法が主流であったが、この場合
は、符号化器の特性のために表示される画像の解像度が
低下していた。また、この解像度の低下を押さえるため
に、カメラを回転させる直前の画像を記憶し、カメラの
回転中はその記憶された画像を静止画像として表示して
おき、新しい発言者の方向にカメラの回転が完了したと
きに、カメラからの動画像に切り換えるようにしてい
た。

【０００５】

【発明が解決しようとする課題】しかし、カメラからの
画像をそのまま表示しつづける場合も、カメラの回転中
に静止画像を表示する場合も、どちらも新しい発言者の
音声と表示される画像との時間的ずれが発生し、テレビ
会議のスムーズさに欠けるという問題点があった。

【０００６】全員が同一室内で参加して行う会議では、
誰かが発言すると、他の者は、発言者の方に顔を向けて
話を聞くのが通常であり、従来のテレビ会議システムの
ように発言者の音声と表示される画像が異なるという点
に違和感を感じる者が多い。

【０００７】そこで、この発明は以上のような点を考慮
してなされたものであり、発言者とモニタ画面に表示さ
れる画像との時間のずれをできるだけ少なくして、会議
をよりスムーズに進行させることのできるテレビ会議シ
ステムを提供しようとするものである。

【０００８】

【課題を解決するための手段】この発明は、カメラを移
動させて話者の画像を撮影するテレビ会議システムにお
いて、話者検出部と、カメラ移動部と、表示部と、画像
制御部と、参加者の静止画像を記憶する画像記憶部とを
備え、話者検出部が話者を検出した後、その検出された
話者の方向にカメラ移動部がカメラを移動させるまでの
間、前記画像制御部が、前記画像記憶部に記憶されたそ
の話者の静止画像を表示部に表示させ、その話者の方向
にカメラの移動が完了したときカメラによって撮影され
た画像を表示部に表示させること特徴とするテレビ会議
システムを提供するものである。

【０００９】ここで、前記画像制御部が、テレビ会議開
始前に、参加者の静止画像を画像記憶部に記憶するよう
にしてもよい。また、これに加えて、前記話者検出部が
話者を検出したとき、前記画像制御部がそれまで撮影し
ていた参加者の静止画像を取り込み、前記画像記憶部に
記憶されたその参加者の静止画像を更新するようにして
もよい。

【００１０】さらに、複数の遠隔地におけるカメラ映像
を相互に伝送する多地点会議装置を備え、前記多地点会
議装置が参加者の静止画像を記憶する画像記憶部を有し
て、一の地点の話者が変化したことを検出した場合に、
一の地点のカメラが変化後の話者の方向に移動が完了す
るまで、多地点会議装置が、前記画像記憶部に記憶され
ていた前記変化後の話者についての静止画像を他の地点
へ伝送するようにしてもよい。

【００１１】また、この発明は、カメラの移動方向を検
出する方向検出部と、前記話者検出部から得られる話者
情報と、前記方向検出部から得られるカメラ方向情報と
から、カメラからの映像もしくは、前記話者検出部によ
って検出された話者の静止画像のどちらか一方を選択す
る画像選択部と、前記画像選択部によって選択された画
像及び音声を送信する送信部をさらに備え、前記表示部
が前記画像選択部によって選択された画像を表示すると
ともに、前記話者検出部が話者を検出したとき、前記画
像選択部が前記静止画像記憶部に記憶されたその話者の
静止画像を選択し、カメラ移動部がカメラを前記話者の
方向まで移動させた後、前記画像選択部がカメラからの
映像を選択することを特徴とするテレビ会議システムを
提供するものである。

【００１２】さらに、この発明は、画像、音声等の情報
を受信する受信部と、画像及び音声を送信すると共に、
前記話者検出部が話者を検出したとき、この話者の情報
を送信し、カメラ移動部がカメラを前記話者の方向まで
移動させたとき、カメラの移動が完了したことを示す情
報を送信する送信部と、カメラからの映像もしくは画像
記憶部に記憶された静止画像のどちらか一方を選択する
画像選択部とをさらに備え、前記受信部が話者の情報を
受信したとき、前記画像選択部が前記画像記憶部に記憶
されたその話者の静止画像を選択し、前記受信部がカメ
ラの移動が完了したことを示す情報を受信したとき、前
記画像選択部がカメラからの映像を選択し、前記表示部
が選択された画像を表示することを特徴とするテレビ会
議システムを提供するものである。

【００１３】ここで、話者検出部は、マイク等から入力
された音声の有無及びその大小を検出するものであり、
マイク，コンパレータ及び論理回路により構成できる。

【００１４】表示部は、ＣＲＴ，ＬＣＤ，ＰＤＰなど種
々のものを用いることができ、多地点間を通したテレビ
会議システムなどでは、複数のカメラによる映像が一画
面上に表示できるように分割表示してもよい。また、最
新の話者のみを一画面上に表示するようにしてもよい。

【００１５】画像記憶部は、ＲＡＭ等の書き替え可能な
メモリが用いられ、テレビ会議に参加する人数分の静止
画像を記憶できる容量を備える。カメラ移動部は、たと
えば、モータ等によって回転可能なテーブルであって、
基準方向から任意の角度で停止制御できる機構を備え
る。カメラは、そのテーブルの上に固定され、会議に参
加した全員を撮影できるように回転制御されることが好
ましい。

【００１６】方向検出部は、現在カメラが基準方向から
何度回転したかを検出し、その回転角度をカメラ方向情
報として出力するものであり、コンパレータ等の論理回
路を用いて構成される。画像選択部は、２入力のうち、
どちらか一方を制御信号に基づいて出力する回路、すな
わちセレクタを用いることができる。

【００１７】カメラの移動、静止画像の記憶及び表示部
への画像の表示等の処理については、ＣＰＵ，ＲＯＭ，
ＲＡＭ，タイマー，Ｉ／Ｏコントローラ等からなる、い
わゆるマイクロコンピュータによって実現できる。

【００１８】なお、通常のテレビ会議システムと同様
に、この発明においても、音声と画像を通信することに
よって遠隔地の会議室どおしを接続するものであり、会
議出席者の座席位置にそれぞれマイクが設置され、音声
を出力するスピーカ、出席者の画像を撮影するカメラ及
びカメラで撮影した画像を表示するモニタテレビがそれ
ぞれの会議室内に設置される。マイク、スピーカ、カメ
ラ及びモニタテレビを含み、音声、画像、各種制御信号
を伝送するための装置をテレビ会議端末と呼ぶ。テレビ
会議端末は、各会議室に設置される。

【００１９】また、テレビ会議システムは、別室、別建
物又は遠隔地の２つの会議室間で実施されるものでも、
あるいは、３つ以上の会議室間で実施されるものであっ
てもよい。

【００２０】３つ以上の会議室間で実施される場合に
は、通常、多地点テレビ会議装置（ＭＣＬ）を備えて、
システム構成上、このＭＣＵを経由して各会議室内のテ
レビ会議端末を接続する構成をとることが望ましい。

【００２１】

【発明の実施の形態】以下、図面に示す実施の形態に基
づいてこの発明を詳述する。なお、これによってこの発
明が限定されるものではない。

【００２２】図１に、この発明の基本的概念の説明図を
示す。図１（ａ）はテレビ会議システムにおける会議の
配置図の一例を示す。一般のテレビ会議システムでは、
人物を撮影する一台のカメラと、モニタテレビ及びスピ
ーカからなるテレビ会議端末が複数の会議出席者（Ａ〜
Ｆ）の前に配置され、各会議出席者の座席にはマイクが
配置される。一台のカメラは、旋回台の上に置かれ、全
出席者の映像を撮影できるようにするために水平方向に
回転させられる。

【００２３】このカメラの回転は手動でも可能である
が、通常マイクから拾った話者の音声を検出して、その
話者の方向にカメラを回転し、常に話者の映像をモニタ
テレビに表示するように制御される。このような会議の
配置図については、前記した従来におけるテレビ会議シ
ステムでも同様である。

【００２４】図１（ｂ）に、カメラが人物Ａから人物Ｅ
に移動する場合に、モニタテレビに表示される画像の説
明図を示す。図１（ｂ）の（ｉ）は前記した従来におけ
る表示画面例を示しており、（ｉｉ）は本発明の表示画
面の一例を示している。ここで、従来の場合、話者Ｅを
認識した後カメラが話者Ｅの方向へ移動完了するまで
は、人物Ａの静止画像Ａ’が表示され、移動完了後に話
者Ｅの動画像を表示する。したがってカメラの移動中
は、数秒間ではあるが現在の発言者（話者Ｅ）とは異な
る人物Ａがモニタテレビに表示されることになり、テレ
ビ会議に参加している者にとっては違和感がある。

【００２５】これに対して、この発明では、テレビ会議
端末内に備えられたメモリに会議出席者の静止画像を記
憶しておき、図１（ｂ）の（ｉｉ）に示すように、カメ
ラの移動中は、予め記憶された話者Ｅの静止画像Ｅ’を
表示するようにし、カメラの移動完了後は、カメラによ
る話者Ｅの動画像を表示するようにする。これによっ
て、この発明は、スピーカから聞こえてくる音声を発し
た人物と、モニタテレビに表示される人物とを一致させ
ることができるので、より自然な会議進行が可能とな
る。

【００２６】ところで、テレビ会議システムは、図１
（ａ）に示された配置の会議室が複数設けられ各会議室
に配置されたテレビ会議端末どおしが通信回線で接続さ
れた構成となっている。そして、複数の会議室は、別の
建物又は遠隔地等、担当距離が離れた位置にある場合が
多く、ある会議室の出席者は、モニタテレビを通して他
の会議室の出席者、特に話者を見ることになる。

【００２７】図２に、この発明のテレビ会議システムに
おける一実施例の構成ブロック図を示す。この実施例
は、２つの会議室を利用して行われるテレビ会議システ
ムの構成を示したものであり、一つの会議室内に設置さ
れるテレビ会議端末の送信側の構成と、もう一方の会議
室内に設置されるテレビ会議端末の受信側の構成を示し
たものである。

【００２８】この図２の実施例では、「静止画像記憶
部」を送信側のテレビ会議端末に設けたことを特徴とす
る。図２において、送信側と受信側とは専用のあるいは
公衆の通信回線を通して接続され、送信側のカメラで撮
影された映像が、通信回線を通して受信側のモニタテレ
ビ上に表示される。なお、３つ以上の会議室を接続した
形態のテレビ会議システムも考えられるが、図２のシス
テム構成を複数個用いることによって容易に構成でき
る。

【００２９】図２の送信側において、Ａ／Ｄ変換部２２
は、１台のカメラ２１によって取り込まれた映像信号を
アナログ／デジタル変換するものであり、静止画像記憶
部２３は、Ａ／Ｄ変換後の映像データを静止画像として
記憶するメモリであり、セレクタ２４は、出力を切り替
えるロジック回路であり、符号化・多重化部２５は、映
像データを符号化及び多重化することによって所定の伝
送フォーマットに変換するロジック回路である。通信回
線３３を通して伝送されるデータには、映像、マイクか
ら入力された音声、さらに各種制御信号が多重化され
る。

【００３０】図２の受信側において、分離化・復合化部
３０は、通信回線３３を通して伝送されたデータを分離
化及び復合化することによって映像信号のみを取り出す
ものであり、Ｄ／Ａ変換部３１は、デジタル／アナログ
変換によってアナログの映像信号を生成するものであ
り、表示部３２は、伝送されてきた映像を表示するモニ
タテレビである。

【００３１】また、旋回台制御部２７は、カメラを任意
の方向に回転させるものであり、話者検出部２９は、マ
イク２８から入力される音声信号を検知するものであ
る。システム制御部２６は、ＣＰＵ，ＲＯＭ，ＲＡＭ，
タイマー等からなるいわゆるマイクロコンピュータから
なり、静止画像記憶部２３、セレクタ２４、旋回台制御
部２７及び話者検出部２９の動作を監視・制御するもの
である。マイク２８は、各出席者の座席の位置に出席者
分用意されるが、それぞれのマイクから入力された音声
信号１は話者検出部２９に入力される。話者検出部２９
では、入力された音声信号のうち最大の大きさをもつ音
声信号はどのマイク２８からのものかを常時比較し、最
大の音声信号が入力されたマイク２８を識別するための
信号、すなわち最大話者検出信号２をシステム制御部２
６へ出力する。

【００３２】旋回台制御部２７は、システム制御部２６
から出力されるカメラ方向制御信号６を受けて、その制
御信号６で示される方向にカメラを向けるために所定量
だけカメラ旋回台を回転させる。ここで、カメラ方向制
御信号６は、たとえば、所定の基準位置からの回転角度
に対応する信号である。また、旋回台制御部２７から
は、現在のカメラの回転角度情報７がシステム制御部２
６に出力される。

【００３３】静止画像記憶部２３において、各マイク２
８の位置と対応づけられた画像、すなわち、各マイク２
８の前に座った出席者の静止画像がそれぞれ所定のメモ
リ領域に記憶される。

【００３４】静止画像を記憶する場合には、システム制
御部２６から最大話者バンク指示信号３及びメモリライ
ト信号４が静止画像記憶部２３に出力され、そのときに
Ａ／Ｄ変換部２２から出力されている映像データが最大
話者バンク指示信号３によって指示されるメモリの領域
に記憶される。

【００３５】記憶された静止画像を読み出す場合には、
システム制御部２６から最大話者バンク指示信号３及び
メモリリード信号４が静止画像記憶部２３に出力され、
最大話者バンク指示信号３によって指示されたメモリ領
域内の映像データが読み出される。

【００３６】セレクタ２４は、システム制御部２６から
の動画像−静止画像切替信号５によって制御され、Ａ／
Ｄ変換部２２からの映像データか又は、静止画像記憶部
２３からの静止画像のデータかどちらか一方を符号化・
多重化部２５に送る。静止画像記憶部２３に記憶される
出席者全員の静止画像は、たとえば会議の始まる前に、
予めカメラを移動させて撮影しておけばよい。

【００３７】図３に、この図２における実施例の送信側
の動作のフローチャートを示す。たとえば、現在、図１
に示した“Ａ”の位置の方向にカメラが向いていて
“Ａ”の位置の人物の画像が取り込まれ、取り込まれた
映像信号がＡ／Ｄ変換された後、符号化・多重化部２５
を経て通信回線３３に伝送されているものとする。

【００３８】以下では、“Ｅ”の位置の出席者が発言し
たものとして図３の動作フローを説明するが、これに限
定されるものではなく、話者及びカメラの回転方向等に
ついては任意の出席者でよい。

【００３９】ステップＳ１において、“Ｅ”の位置の出
席者が発言すると“Ｅ”の位置のマイクから音声が入力
される。入力された音声信号は話者検出部２９に送ら
れ、話者検出部２９は、入力されている音声信号の大き
さを比較して現在の最大話者は誰であるかを検出する
（ステップ２）。そして話者検出部２９は、最大話者に
相当する「最大話者検出信号２」をシステム制御部２６
に送出する。

【００４０】ステップＳ３において、システム制御部２
６は、最大話者が変化したかどうかを判断し、変化して
いない場合はステップＳ２へ戻り、そうでない場合は、
ステップＳ４へ進む。

【００４１】ステップＳ４において、表示する画像を静
止画像に切り替えるために、システム制御部２６は、静
止画像記憶部２３へ最大話者バンク指示信号３を送り、
さらにメモリリード信号４を出力して変化後の最大話者
の静止画像を読み出す（ステップＳ５）。すなわち、
“Ｅ”の出席者が発言した場合であって“Ｅ”が最大話
者と認識されたときは、静止画像記憶部２３に記憶され
た“Ｅ”の出席者の静止画像が読み出される。

【００４２】そして、システム制御部２６は、読み出さ
れた静止画像を出力するために、セレクタ２４へ「動画
像−静止画像切替信号５」を与える。この信号５を受け
たセレクタ２４は、静止画像記憶部２３と符号化・多重
化部２５とが接続されるように経路を切り替える（ステ
ップＳ６）。これによって、静止画像記憶部２３から読
み出された“Ｅ”の静止画像が通信回線３３を通して受
信側へ伝送され、受信側のモニタテレビ３２に表示され
る。

【００４３】ところで、ステップＳ１における話者の音
声入力から、ステップＳ６における静止画像への切替え
は、数十ｍｓｅｃ程度の時間内に処理される。したがっ
て、受信側でモニタテレビを見ている人にとっては、新
しい話者“Ｅ”の音声が聞こえてからその話者“Ｅ”の
静止画像を見るまでの時間遅れはせいぜい数百ｍｓｅｃ
程度であるため、違和感なく会議を進行させることがで
きる。

【００４４】次にステップＳ７において、カメラを新し
い最大話者“Ｅ”の方向に向けるために、システム制御
部２６は、旋回台制御部２７へ「カメラ方向制御信号
６」を与える。この信号を受けて、旋回台制御部２７
は、カメラを座席“Ａ”の方向から座席“Ｅ”の方向へ
回転させる。そして回転中における基準方向からのカメ
ラの角度と、「カメラ方向制御信号６」によって与えら
れた最大話者“Ｅ”の角度情報とが一致すると（ステッ
プＳ８）、旋回台制御部２７はカメラの回転を停止さ
せ、「カメラの角度情報７」をシステム制御部２６に転
送する。

【００４５】カメラが新しい最大話者“Ｅ”の方向に向
いたので、この後、システム制御部２６は、セレクタ２
４に対し「動画像−静止画像切替信号５」を送り、セレ
クタ２４はＡ／Ｄ変換部２２と符号化・多重化部２５と
が接続されるように経路を切り替える（ステップＳ
９）。これにより、カメラ２１によって撮影された映像
をＡ／Ｄ変換した後の動画像が、符号化・多重化部２５
を通して受信側に伝送され、受信側の出席者は新しい話
者“Ｅ”の動画像を見ることができるようになる。

【００４６】一方、図示していないが、新しい話者
“Ｅ”の音声信号も符号化・多重化部２５を通して受信
側に伝送され、受信側のスピーカから出力される。この
話者“Ｅ”の音声の出力と話者“Ｅ”の静止画像の出力
の時間的ずれは、数百ｍｓｅｃ程度である。以上が、こ
の発明の画像切替え動作の一実施例であるが、新しい別
の話者の音声信号を検出した後、すぐにその話者の静止
画像を受信側に転送しているので、話者の音声とモニタ
テレビに表示される人物の画像をほぼ一致させることが
できる。したがって、違和感なくより自然な形で会議を
進行することができる。

【００４７】なお、図２における実施例の構成では、送
信側のテレビ会議端末に、静止画像を記憶する静止画像
記憶部２３及びセレクタ２４を設けていることを特徴と
するが、受信側のテレビ会議端末は、従来用いられてい
るものを利用することが可能である。

【００４８】図４に、この発明のテレビ会議システムに
おいて、図２とは別の構成からなる実施例の構成ブロッ
ク図を示す。ここで図２と主として異なる点は、静止画
像記憶部２３及びセレクタ２４を送信側でなく、受信側
に配置した点である。

【００４９】図２に示した構成では、動画像から静止画
像、又は静止画像から動画像へ切り替える際に、急な変
化を伴った画像が符号化されて転送されるため、符号化
の特性上、受信側で復号した画像の解像度が多少落ちて
しまう。

【００５０】これに対して、図４のように受信側に静止
画記憶部２３及びセレクタ２４を設ける構成では符号
化，復号化の後に画像を切り替えるため、画像の解像度
は落ちることがないという特徴がある。

【００５１】図４において、図２と同じ構成要素は同じ
番号で示している。送信側のシステム制御部２６は、図
２と異なり、符号化・多重化部２５に対して、「最大話
者バンク指示信号」と「動画像−静止画像切替信号」を
与える。そしてこれらの信号は、Ａ／Ｄ変換後の映像信
号と共に符号化・多重化部２５で多重化されて、受信側
へ伝送される。したがって、送信側において、話者検出
及びカメラの回転中であるか否かにかかわらず常にカメ
ラ２１によって撮影された映像信号が受信側へ送られる
ことになる。

【００５２】受信側では、分離・復号化部３０におい
て、伝送されてきた信号から、「動画像−静止画像切替
信号」と「最大話者バンク指示信号」とが分離され、受
信側のシステム制御部３４へ送出される。

【００５３】また、受信側では、「動画像−静止画像切
替信号」によって、静止画像への切替が指示された場合
には、「最大話者バンク指示信号」及びメモリリード又
はライト信号が静止画像記憶部２３に与えられ、分離・
復号化部３０で分離された映像信号の記憶又は読み出し
が行われる。

【００５４】さらに、「動画像−静止画像切替信号」が
セレクタ２４に与えられ、分離・復号化部３０からの動
画像又は静止画像記憶部２３から読み出された静止画像
のどちから一方がＤ／Ａ変換部３１へ出力される。

【００５５】また、図２と同様に、受信側の静止画像記
憶部２３には、会議の出席者全員の静止画像が記憶され
るが、たとえば、送信側で会議が始まる前にカメラ２１
で全員の映像を撮影し、その映像を受信側に伝送して静
止画像記憶部２３に記憶しておけばよい。

【００５６】以下に、図４の構成を持つ一実施例の処理
を説明する。まずカメラ２１から取込まれた映像信号は
Ａ／Ｄ変換器２２でＡ／Ｄ変換後、符号化・多重化部２
５へ送られ、さらに通信回線３３を通して受信側へ伝送
される。このとき話者の音声入力があった場合、前記実
施例と同様に、話者検出部２９によって最大話者が検出
され、システム制御部２６において最大話者が変化した
かどうかが判断される。

【００５７】システム制御部２６は、最大話者が変化し
たと判断した場合には、「最大話者バンク指示信号」及
び「動画像−静止画像切替信号」を符号化・多重化部２
５へ送信する。ここで、「動画像−静止画像切替信号」
には、静止画像に切替えることを示す情報が含まれる。
符号化・多重化部２５は、「最大話者バンク指示信号」
及び「動画像−静止画像切替信号」をＡ／Ｄ変換部２２
からの映像信号と多重化して受信側へ伝送する。

【００５８】受信側では、分離・復号化３０において、
伝送されてきた多重化信号から「最大話者バンク指示信
号」及び「動画像−静止画像切替信号」を分離する。そ
して、「最大話者バンク指示信号」は静止画像記憶部２
３に与えられ、送信側で検出された最大話者に対応する
静止画像が記憶されているアドレスが指定される。

【００５９】また、「最大話者バンク指示信号」及び
「動画像−静止画像切替信号」は、受信側のシステム制
御部３４にも与えられる。この後、システム制御部３４
が、メモリリード信号を静止画像記憶部２３に対して出
力すると、指定されたアドレスの静止画像が静止画像記
憶部２３から読み出される。

【００６０】一方、「動画像−静止画像切替信号」はセ
レクタ２４に与えられ、静止画像記憶部２３とＤ／Ａ変
換部３１との経路が接続される。したがって静止画像記
憶部２３から読み出された最大話者の静止画像がＤ／Ａ
変換部３１を通して表示部３２に表示される。このと
き、図示していないが話者の音声も符号化・多重化部２
５及び分離・復号化部３０を通して受信側へ送られ、受
信側のスピーカから出力される。

【００６１】すなわち、受信側では、スピーカから出力
される音声と表示部３２に表示される話者の静止画像と
が、ほとんど時間遅れなしで出力されるため、会議の進
行に違和感がない。

【００６２】また、送信側において、システム制御部２
６は、旋回台制御部２７に対してカメラ方向制御信号を
与え、旋回台制御部２７は、最大話者の方向へカメラ２
１を回転させる。そして旋回台制御部２７は、その最大
話者に対する所定の位置までカメラ２１を回転させた
後、システム制御部２６へカメラの角度情報を送る。

【００６３】システム制御部２６は、この角度情報を監
視することによってカメラの回転が完了したことを知る
と、符号化・多重化部２５に動画像へ切替えるための
「動画像−静止画像切替信号」を与える。符号化・多重
化部２５は、この「動画像−静止画像切替信号」を通信
回線３３を通して受信側に伝送すると、分離・復号化部
３０はこの「動画像−静止画像切替信号」を分離してセ
レクタ２４に与える。この後、セレクタ２４が、分離・
復号化部３０とＤ／Ａ変換部３１との経路を接続し、伝
送されてきた最大話者の動画像が表示部３２のモニタテ
レビに表示される。

【００６４】すなわち、カメラの移動が完了したとき
に、受信側のモニタテレビに表示される画像が静止画像
から動画像へ切り替えられる。以上が図４における実施
例の動作であるが、図２に示した実施例と同様に、受信
側で話者の音声と画像の表示との不一致時間をほとんど
なくすことができるので、会議の進行がスムーズにでき
る。さらに、図４における実施例では、前記したように
画像切替時における画像の解像度の低下が防止できる。

【００６５】なお、図４に示した「動画像−静止画像切
替信号」及び「最大話者バンク指示信号」は、テレビ会
議システムに関する勧告Ｈ．２２１フレームフォーマッ
トの中の低速データ（ＬＳＤ）の領域に多重することが
できる。

【００６６】次に図５に、送信側のテレビ会議端末に、
静止画像記憶部２３がある場合の静止画像記憶方式の実
施例について示す。図５（ａ）において、会議出席者の
座席位置“Ａ”から“Ｆ”は固定され、カメラの可動限
界である左端を基準として各座席に設置されたマイクの
方向までの回転角度ａ，ｂ等が予め設定されているもの
とする。すなわち、送信側のシステム制御部２６の中の
メモリに、予め各座席位置に対するカメラの角度情報が
記憶される。

【００６７】図５（ｂ）に、静止画像の記憶手順を示
す。会議開始前あるいは開始直後に、出席者全員の静止
画像を撮影するために、カメラを可動限界である左端か
ら右端までパーニングする。パーニングは、システム制
御部２６が旋回台制御部２７にカメラ方向制御信号を与
えることによって行われる。

【００６８】パーニング中、システム制御部２６は、旋
回台制御部２７から送られてくるカメラの角度情報を監
視し、この情報と記憶された座席位置の角度情報とを比
較し、一致した瞬間に、カメラから入力しＡ／Ｄ変換さ
れた映像データを静止画像記憶部２３に書き込む。この
ようにすれば、自動的に出席者全員の静止画像を得るこ
とができる。

【００６９】図６に、受信側のテレビ会議端末に、静止
画像記憶部２３がある場合の静止画像記憶方式の実施例
について示す。この場合、図５に示したものと異なり、
図６（ａ）のように各座席の位置で一旦カメラを停止さ
せることが特徴である。図５に示したのと同様に、カメ
ラを停止させることなくパーニングした場合、送信側か
ら送られる画像データは符号化されているため、移動中
の画像を静止画像として受信側の静止画像記憶部２３に
記憶すると、符号化器の特性上解像度の低い画像しか再
生できない。

【００７０】図６（ｂ）に静止画像の記憶手順を示す。
図５の実施例と同様に、送信側のシステム制御部２６の
中のメモリに、予め各座席位置に対するカメラの角度情
報を記憶しておく。送信側において、カメラをパーニン
グしているとき、システム制御部２６は、旋回台制御部
２７から送られてくるカメラの角度情報を監視し、この
情報と記憶された座席位置の角度情報とを比較する。一
致した場合には、旋回台制御部２７に対してカメラの回
転を停止させる制御信号を送り、カメラを各座席位置の
方向で一時停止させる。

【００７１】たとえば２秒程度停止させて画像の解像度
が高くなったときのカメラ画像を静止画像として取り込
む指示を、送信側から受信側へ転送する。この指示は、
「最大話者バンク指示信号」及び「動画像−静止画像切
替信号」を利用して行うことができる。受信側では、上
記のような指示が転送されたときに、通信回線を通して
伝送されてきている映像データを静止画像記憶部２３の
所定の位置に記憶すればよい。このようにすれば、図５
の実施例の場合に比べて、解像度の高い静止画像を得る
ことができる。

【００７２】図７に、図５で示した静止画像記憶方式を
実現する一実施例の具体的構成を示す。ここで、その構
成の主要部は、出席者の座席数すなわちマイクの個数分
だけの比較回路５２（Ａ，Ｂ，……Ｎ）と、比較回路５
２の出力の論理和をとるＯＲ回路５３と、書き込み又は
読み出しの制御をするためのＡＮＤ回路５４と反転回路
５５とからなる。静止画像記憶部２３は、出席者数分だ
けのバンクを持つフレームメモリを利用することができ
る。そして、ＡＮＤ回路５４の出力はフレームメモリの
ライトイネーブルとして与えられ、反転回路５５の出力
はフレームメモリのリードイネーブルとして与えられ
る。

【００７３】また、フレームメモリの記憶信号位置を示
すために、たとえば、図に示すようにアドレス発生回路
５１から下位アドレスが与えられ、システム制御部２６
から出力されるバンク切り替え用アドレスによって上位
アドレスが与えられる。

【００７４】以下、フレームメモリへの静止画像の書き
込み動作について説明する。システム制御部２６は、カ
メラの可動限界範囲内でカメラを左端から右端まで回転
させるように、旋回台制御部２７へ「カメラ方向制御信
号」を与える。このとき、旋回台制御部２７からは、現
在の「カメラの角度情報」が出力されるが、このカメラ
の角度情報と、システム制御部２６から出力される各出
席者の座席位置に対する角度情報とが各比較回路５２に
与えられる。

【００７５】たとえば、比較回路Ａ５２ａには、システ
ム制御部２６から可動限界の左端から座席位置Ａまでの
角度情報が与えられて、カメラの角度情報と比較され
る。そして比較回路のうち角度情報が一致するものが一
つでもあれば、ＯＲ回路５３及びＡＮＤ回路５４を通っ
てライトイネーブル信号がフレームメモリ２３に入力さ
れ、Ａ／Ｄ変換器２２を経由した映像データがフレーム
メモリ２３に記憶される。以上のようにして、カメラを
左端から右端までパーニングすることによって、順次座
席ＡからＮまでの静止画像がフレームメモリ２３に記憶
される。

【００７６】図８に、異なる話者が検出されるごとに、
静止画像を更新する場合の実施例を示す。

【００７７】上記に示した実施例では、出席者の静止画
像は、会議の始まる前あるいは始まった直後に予め記憶
しておくものとしていた。通常、テレビ会議では、固定
された座席で出席者の上体もほとんど移動することがな
いため、一度静止画像として取り込んだものを常時使っ
ても特に問題はないが、都合により出席者が交代したと
きなどより現実に近い静止画像を利用した方がよい場合
もある。そこで、異なる話者がしゃべり始めたとき、そ
れまで撮影していた出席者の静止画像を新たに静止画像
記憶部に記憶するようにする。

【００７８】たとえば、図８に示すように、現在の話者
が“Ａ”であり、“Ａ”の動画像を撮影していたとす
る。この状態で、話者が“Ｅ”に変化したとすると
“Ｅ”の音声信号が話者検出部２９で検出され、“Ｅ”
に対する最大話者検出信号がシステム制御部２６に入力
される。このとき、システム制御部２６は、“Ａ”に対
する「最大話者バンク指示信号」と、メモリライト信号
（Ｈレベル信号）を出力し、Ａ／Ｄ変換部２２から出力
されている“Ａ”の静止画像を静止画像記憶部２３へ書
き込ませる。すなわち“Ａ”の静止画像を更新する。

【００７９】そして、“Ａ”の静止画像の書き込み終了
後、システム制御部２６は、“Ｅ”に対する「最大話者
バンク指示信号」を出力すると共にメモリリード信号
（Ｌレベル信号）を出力し、さらにセレクタ２４に、静
止画像に切り替えるための「動画像−静止画像切替信
号」を与える。これによって新しい話者“Ｅ”の静止画
像を表示させる。この後、図３のステップＳ７以降と同
様にカメラを移動させ、“Ｅ”の位置までカメラが回転
したときに“Ｅ”の動画像の表示に切り替える。このよ
うに、話者が変化するごとに、変化直前の話者について
記憶されていた静止画像が更新されるので、出席者に変
化のあった場合でも、容易に違和感のない静止画像の表
示が可能である。

【００８０】図９に、多地点テレビ会議装置（ＭＣＵ）
を用いたテレビ会議システムの場合の実施例を示す。図
９（ａ）は、システムの構成ブロック図を示し、図９
（ｂ）は、話者が変化した場合の表示画面の遷移例を示
している。ＭＣＵは、複数の地点のテレビ会議端末と接
続され、各地点から送られてくる画像データを他の地点
へ伝送する、いわゆる多重化通信制御装置である。

【００８１】この実施例では、ＭＣＵに、静止画像記憶
部を備えることを特徴とする。また、各地点のテレビ会
議端末からの「動画像−静止画像切替信号」と「最大話
者バンク指示信号」を利用して、ＭＣＵは、各地点から
送られてくる画像の書き込み又は読み出しと、伝送制御
を行う。図９の実施例では、４つの地点のテレビ会議端
末がＭＣＵによって接続されている場合を示すが、接続
されるテレビ会議端末の数はこれに限るものではなく一
般に複数個であればよい。

【００８２】以下に、話者が変化した場合の表示画面の
遷移について説明する。まず、図９（ｂ）に示すよう
に、現在の話者が地点２の出席者Ａであったとする。こ
のとき、地点２のテレビ会議端末からは、地点２の出席
者Ａの動画像がＭＣＵへ伝送され、ＭＣＵから他の地点
１，３，４のテレビ会議端末へ伝送される。そして、各
地点のモニタテレビが分割表示ができるものである場合
には、図９（ｂ）に示すように地点２の表示部分には出
席者Ａの動画像が表示される。あるいは、一画面表示の
場合は、画面全体に出席者Ａの動画像が表示される。

【００８３】この状態のとき、話者が地点２の出席者Ｃ
に変化したとする。地点２のテレビ会議端末は、異なる
話者を検出したことにより、「動画像−静止画像切替信
号」と「最大話者バンク指示信号」を、ＭＣＵに伝送す
る。すなわち、ＭＣＵに対して、地点２における話者が
変化したので、地点２の表示を新しい話者Ｃの静止画像
に切替えるよう指示を与える。ＭＣＵでは、これらの信
号を受けて、内部の静止画像記憶部から予め記憶されて
いる地点２の出席者Ｃの静止画像を読み出して、各地点
のテレビ会議端末に伝送する。これにより、すべての地
点のテレビモニタには、地点２の新しい話者Ｃの静止画
像が表示される。

【００８４】また、地点２のテレビ会議端末において
は、直前の話者Ａから新しい話者Ｃの方向にカメラを移
動させる。カメラの移動が完了した場合、地点２のテレ
ビ会議端末から「動画像−静止画像切替信号」と出席者
Ｃの動画像がＭＣＵに伝送される。

【００８５】ＭＣＵでは、この信号等を受けて、各地点
へ伝送する画像を地点２の出席者Ｃの静止画像から動画
像へ切り替える。したがって、この後は、図９（ｂ）に
示すようにすべての地点のモニタテレビには地点２の出
席者Ｃの動画像が表示されることになる。

【００８６】さらに、この状態から地点４の話者が出席
者Ｂに変化したとすると、同様の処理によって、地点４
の表示は出席者Ｂの静止画像に変化し、地点４のカメラ
が出席者Ｂの方向に移動完了した後に出席者Ｂの動画像
に切り替えられる。４分割表示の場合は、地点２の表示
は、地点２の話者Ｃの動画像のままであるが、一画面表
示の場合は、最新の話者である地点４の話者Ｂが最終的
に表示されることになる。

【００８７】図１０に、この発明において、ＭＣＵを含
むテレビ会議システムの一実施例の詳細な構成ブロック
図を示す。ここでは、図９に示したように、４つの地点
を接続したテレビ会議システムの構成例を示す。

【００８８】図１０における各地点１〜４のテレビ会議
端末の送信例の構成は図４に示したものと同様であり、
各地点１〜４の受信側の構成は図２に示したものと同様
である。すなわち、各地点のテレビ会議端末には、静止
画像を記憶するメモリ及びそのメモリへの読み書きを行
う処理は必要ない。ＭＣＵ４０において、分離・復号化
部４１は、図２と図４と同様に、送信側から伝送されて
きた多重化信号及び映像データを分離及び復号化するも
のである。

【００８９】また、ＭＣＵ４０は、静止画像記憶部４２
及びセレクタ４３を備え、システム制御部４４からのメ
モリハード又はメモリライト信号と、最大話者バンク指
示信号とによって、静止画像記憶部４２へ静止画像の書
込みと読出しの制御が行われる。また、セレクタ４３に
対して「動画像−静止画像切替信号」が与えられ、動画
像又は静止画像の出力切替を行うが、この処理は図４で
示したものと同様である。

【００９０】この実施例では、４つの地点を結んだテレ
ビ会議が行われるので、分離・復号化部４１，静止画像
記憶部４２，セレクタ４３については、各地点ごとに必
要となり、静止画像記憶部４２への静止画像の書き込み
又は読出しは、各地点ごとに別々の最大話者バンク指示
信号、動画像−静止画像切替信号及びメモリリード・ラ
イト信号によって制御される。また、多重化・符号化部
４５は、図２，図４と同様の処理を行うものであるが、
マトリックススイッチ（ＳＷ）を備えて、４つの地点か
ら伝送される映像データ（動画像又は静止画像）を合成
して各地点に伝送するように制御を行う。

【００９１】なお、静止画像記憶部４２へ、各地点の出
席者全員の静止画像を予め記憶しておくのは図４で示し
た実施例と同様の処理で行うことができる。すなわち、
会議開始時に、各地点ごとに、カメラを各マイクの位置
に移動させながら、それぞれの位置の静止画像を、ＭＣ
Ｕ内の各地点ごとの静止画像記憶部４２に記憶する。

【００９２】図９に示したように、地点２において話者
が“Ａ”から“Ｃ”に変化した場合の処理について、以
下に説明する。まず、地点２の送信側のマイクからの音
声信号を検出する話者検出部２９は、マイクＣの位置に
いる出席者を最大話者として検出し、最大話者検出信号
を地点２のシステム制御部２６に送出する。

【００９３】これを受けた地点２のシステム制御部２６
は、話者Ｃを示す「最大話者バンク指示信号」と、静止
画像への切替えを要求する「動画像−静止画像切替信
号」とを、ＭＣＵ４０へ符号化・多重化部２５を通して
伝送する。ＭＣＵ４０では、この２つの信号は分離・復
号化部４１で分離された後、システム制御部４４へ送ら
れる。また、話者Ｃを示す「最大話者バンク指示信号」
は、ＭＣＵ内の地点２に対する静止画像記憶部４２へも
送られる。次に、システム制御部４４は、メモリリード
信号を地点２の静止画像記憶部４２へ与え、地点２の最
大話者Ｃの静止画像を読み出す。

【００９４】また、「動画像−静止画像切替信号」は、
静止画像への切替を要求する信号としてセレクタ４３へ
与えられ、静止画像記憶部４２から読み出された地点２
の最大話者Ｃの静止画像が、多重化・符号化部４５のマ
トリックススイッチに送られる。さらに、マトリックス
スイッチによる合成、及び画像の多重化・符号化が行わ
れて、各地点のテレビ会議端末へ伝送される。そして、
各地点のテレビ会議端末では、地点２の表示として、話
者Ｃの静止画像が表示される。また、このとき、地点２
の話者Ｃの音声は、多重化されて各地点に伝送され、静
止画像の表示と共にスピーカから出力される。

【００９５】一方、地点２では、出席者Ａから話者Ｃの
方向にカメラを移動させるために、地点２のシステム制
御部２６は、旋回台制御部２７にカメラ方向制御信号を
与える。さらに、旋回台制御部２７によってカメラが話
者Ｃの方向に移動させられたことを、地点２のシステム
制御部２６がカメラ角度情報によって確認する。その
後、システム制御部２６は、動画像に切り替えることを
示す「動画像−静止画像切替信号」を、地点２の符号化
・多重化部２５へ送る。この「動画像−静止画像切替信
号」は、さらに通信回線を経由してＭＣＵ４０へ伝送さ
れる。

【００９６】ＭＣＵ４０では、地点２用の分離・復号化
部によって「動画像−静止画像切替信号」が分離され
て、地点２用のセレクタ４３に与えられ、セレクタ４３
は動画像を出力するように経路を切り替える。そして、
地点２用の分離・復号化部４１から出力される地点２の
話者Ｃの動画像が、ＭＣＵの多重化・符号化部４５へ与
えられる。

【００９７】図９に示す分割表示をする場合には、地点
２の表示領域に話者Ｃの動画像が他の地点の画像と合成
されて、各地点へ伝送される。すなわち、各地点のモニ
タテレビにおいて、地点２の表示領域に表示される画像
が話者Ｃの静止画像から動画像に切り替えられる。ＭＣ
Ｕ内部に各地点ごとに静止画像記憶部を設けているの
で、以上の処理は、各地点ごとに個別に実行できる。

【００９８】たとえば、地点２と地点４で同時に話者が
変化した場合でも、それぞれの地点ごとにまず静止画像
を表示し、それぞれの地点ごとにカメラの移動が完了し
た後に、動画像に切り替えることができる。

【００９９】以上のように、ＭＣＵを利用した多地点型
のテレビ会議システムでも、話者が変化したときに、新
しい話者の音声の出力とその話者の静止画像の表示をほ
ぼ同時に実行できるので、違和感なくスムーズに会議を
進行することができる。

【０１００】また、前記したように、ＭＣＵのみに会議
参加者全員の静止画像を記憶する静止画像記憶部を設け
るようにすれば、各地点のテレビ会議端末には静止画像
を記憶するためのメモリを搭載する必要はなく、従来用
いられているテレビ会議端末のハードウェア構成を利用
することが可能である。

【０１０１】

【発明の効果】この発明によれば、異なる話者が検出さ
れた後、ただちにその話者の静止画像を表示させるよう
にするので、音声と表示される人物の画像をほぼ一致さ
せることができ、違和感なく自然な会議進行が可能であ
る。

【図面の簡単な説明】

【図１】この発明の基本的概念の説明図である。

【図２】この発明のテレビ会議システムの一実施例の構
成ブロック図である。

【図３】この発明の一実施例における送信側の動作フロ
ーチャートである。

【図４】この発明のテレビ会議システムの他の実施例の
構成ブロック図である。

【図５】この発明において、送信側のテレビ会議端末に
静止画像記憶部がある場合の静止画像記憶方式の説明図
である。

【図６】この発明において、受信側のテレビ会議端末に
静止画像記憶部がある場合の静止画像記憶方式の説明図
である。

【図７】この発明において、図５に示した静止画像記憶
方式を実現する一実施例の具体的構成ブロック図であ
る。

【図８】この発明において、静止画像を更新する場合の
静止画記憶方式の説明図である。

【図９】この発明のＭＣＵを利用した多地点テレビ会議
システムの構成例の説明図である。

【図１０】この発明においてＭＣＵに静止画像記憶部を
備えた場合の構成ブロック図である。

【符号の説明】

２１カメラ２２Ａ／Ｄ変換部２３静止画像記憶部２４セレクタ２５符号化・多重化部２６システム制御部２７旋回台制御部２８マイク２９話者検出部３０分離・復号化部３１Ｄ／Ａ変換部３２表示部３３通信回線３４受信側システム制御部

Claims

【特許請求の範囲】

【請求項１】カメラを移動させて話者の画像を撮影す
るテレビ会議システムにおいて、話者検出部と、カメラ移動部と、表示部と、画像制御部
と、参加者の静止画像を記憶する画像記憶部とを備え、話者検出部が話者を検出した後、その検出された話者の
方向にカメラ移動部がカメラを移動させるまでの間、前
記画像制御部が、前記画像記憶部に記憶されたその話者
の静止画像を表示部に表示させ、その話者の方向にカメ
ラの移動が完了したときカメラによって撮影された画像
を表示部に表示させること特徴とするテレビ会議システ
ム。
【請求項２】前記画像制御部が、テレビ会議開始前
に、参加者の静止画像を画像記憶部に記憶することを特
徴とする請求項１記載のテレビ会議システム。
【請求項３】前記話者検出部が話者を検出したとき、
前記画像制御部がそれまで撮影していた参加者の静止画
像を取り込み、前記画像記憶部に記憶されたその参加者の静止画像を更
新することを特徴とする請求項１又は２記載のテレビ会
議システム。
【請求項４】複数の遠隔地におけるカメラ映像を相互
に伝送する多地点会議装置を備え、前記多地点会議装置が参加者の静止画像を記憶する画像
記憶部を有して、一の地点の話者が変化したことを検出
した場合に、一の地点のカメラが変化後の話者の方向に
移動が完了するまで、多地点会議装置が、前記画像記憶
部に記憶されていた前記変化後の話者についての静止画
像を他の地点へ伝送することを特徴とする請求項１記載
のテレビ会議システム。
【請求項５】カメラの移動方向を検出する方向検出部
と、前記話者検出部から得られる話者情報と、前記方向検出
部から得られるカメラ方向情報とから、カメラからの映
像もしくは、前記話者検出部によって検出された話者の
静止画像のどちらか一方を選択する画像選択部と、前記画像選択部によって選択された画像及び音声を送信
する送信部をさらに備え、前記表示部が前記画像選択部によって選択された画像を
表示するとともに、前記話者検出部が話者を検出したとき、前記画像選択部
が前記静止画像記憶部に記憶されたその話者の静止画像
を選択し、カメラ移動部がカメラを前記話者の方向まで
移動させた後、前記画像選択部がカメラからの映像を選
択することを特徴とする請求項１記載のテレビ会議シス
テム。
【請求項６】画像、音声等の情報を受信する受信部
と、画像及び音声を送信すると共に、前記話者検出部が話者
を検出したとき、この話者の情報を送信し、カメラ移動
部がカメラを前記話者の方向まで移動させたとき、カメ
ラの移動が完了したことを示す情報を送信する送信部
と、カメラからの映像もしくは画像記憶部に記憶された静止
画像のどちらか一方を選択する画像選択部とをさらに備
え、前記受信部が話者の情報を受信したとき、前記画像選択
部が前記画像記憶部に記憶されたその話者の静止画像を
選択し、前記受信部がカメラの移動が完了したことを示
す情報を受信したとき、前記画像選択部がカメラからの
映像を選択し、前記表示部が選択された画像を表示する
ことを特徴とする請求項１記載のテレビ会議システム。