JP2005020520A - テレビ会議システム - Google Patents
テレビ会議システム Download PDFInfo
- Publication number
- JP2005020520A JP2005020520A JP2003184323A JP2003184323A JP2005020520A JP 2005020520 A JP2005020520 A JP 2005020520A JP 2003184323 A JP2003184323 A JP 2003184323A JP 2003184323 A JP2003184323 A JP 2003184323A JP 2005020520 A JP2005020520 A JP 2005020520A
- Authority
- JP
- Japan
- Prior art keywords
- switching
- switching method
- video
- terminal device
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 221
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000005259 measurement Methods 0.000 claims description 54
- 239000000284 extract Substances 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000005236 sound signal Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 abstract description 209
- 230000008921 facial expression Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 74
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 3
- 238000005562 fading Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】頻繁な映像の切り換えを防止するとともに、話者が変更した場合においても、即座に発言中の話者の表情を参加者が確認できるテレビ会議システムを提供する。
【解決手段】切換方法抽出プログラム記憶エリア422は、切換方法抽出プログラムを記憶するメモリエリアである。CPU411は、切換方法抽出プログラムを実行し、差演算機能により演算された差に基づいて後述するRAM413の切換方法記憶エリア458から切換方法を抽出する機能を実現する。CPU411により切換方法抽出プログラムが実行されて実現される機能が、切換方法抽出機能である。差演算機能により演算された差が、閾値記憶エリア452に記憶された第2の閾値以上の場合に、切換方法抽出機能によって切換方法記憶エリア458から瞬時映像切換プログラムが抽出される。一方、演算された差が、第2の閾値よりも小さい場合に、切換方法抽出機能によって切換方法記憶エリア458からフェードイン・フェードアウト映像切換プログラムが抽出される。
【選択図】 図4
【解決手段】切換方法抽出プログラム記憶エリア422は、切換方法抽出プログラムを記憶するメモリエリアである。CPU411は、切換方法抽出プログラムを実行し、差演算機能により演算された差に基づいて後述するRAM413の切換方法記憶エリア458から切換方法を抽出する機能を実現する。CPU411により切換方法抽出プログラムが実行されて実現される機能が、切換方法抽出機能である。差演算機能により演算された差が、閾値記憶エリア452に記憶された第2の閾値以上の場合に、切換方法抽出機能によって切換方法記憶エリア458から瞬時映像切換プログラムが抽出される。一方、演算された差が、第2の閾値よりも小さい場合に、切換方法抽出機能によって切換方法記憶エリア458からフェードイン・フェードアウト映像切換プログラムが抽出される。
【選択図】 図4
Description
【0001】
【発明の属する技術分野】
本発明は、多地点に設置された端末装置を用いて会議を行うことができるテレビ会議システムに関し、特に、話者(発言中の参加者)を特定して映像切換を行う際の映像切換制御に関するものである。
【0002】
【従来の技術】
従来のテレビ会議システムにおいては、多地点に配置された各端末装置に設けられたマイクからの音声によって話者を特定し、発言中の話者に映像を切り換える技術があった(例えば、特許文献1)。一般に、会議参加者が多人数となると、各参加者は、音声だけでは発言中の話者を把握することが困難となる。このため、前記切り換える技術は、発言に合わせた映像の切換によって話者を容易に把握できるため、非常に有用なものとなっている。
【0003】
また、特許文献1のテレビ会議システムは、映像切換を行う際に、一定時間、切換前の状態を保持し、頻繁な映像切換を防ぐことを可能としている。
【0004】
前記テレビ会議システムにおいては、画面(映像)切換のタイミングを設定する時間設定部が備えられており、画面が切り換えられる際、時間設定部で設定された時間だけ、画面が切り換えられる前の状態を保持する構成となっている。
【0005】
【特許文献1】
特開平5−111020号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1に開示された技術においては、頻繁な画面切換は防止できるが、画面が切り換わる際に、一定時間、切換前の状態が保持されるため、その間は、画面が切り換わらない。よって、参加者は、現在発言中の話者の表情を即座に確認できないという問題があった。
【0007】
現在発言中の話者が画面に映し出されないとすると、発言中の話者の声と表示されている画面とが一致せず、テレビ会議の進行において違和感を生じるという不都合があった。
【0008】
本発明は、頻繁な映像の切り換えを防止するとともに、話者が変更した場合においても、即座に発言中の話者の表情を参加者が確認できるテレビ会議システムを提供することを目的とする。
【0009】
【発明を解決するための手段、及び発明の効果】
上記目的を解決するために、請求項1の発明は、情報伝達手段を介してコントローラに接続された複数の端末装置の間で、参加者がコミュニケーションを行うことができるテレビ会議システムにおいて、前記コントローラは、前記端末装置に表示される映像の切換方法であって、複数種類の切換方法を記憶する切換方法記憶手段と、前記複数の端末装置から送信される音声信号を比較して、最も大きい音声信号を有する端末装置を特定する第1の特定手段と、前記第1の特定手段によって特定された端末装置の参加者の発言頻度に基づいて、前記切換方法記憶手段に記憶された前記切換方法の中から1つの切換方法を抽出する切換方法抽出手段と、前記切換方法抽出手段で抽出された切換方法に従い、前記端末装置に表示されている映像を前記特定された端末装置の参加者に切り換える映像切換手段と、を有することを特徴としている。
【0010】
請求項1の発明によれば、切換方法抽出手段は、第1の特定手段によって特定された端末装置の参加者の発言頻度に適した切換方法を、切換方法記憶手段から抽出する。よって、頻繁な映像の切り換えが防止されると共に、発言している参加者が変更した場合においても即座にその表情を確認することが可能となる。
【0011】
請求項2の発明は、切換方法記憶手段が、映像の切換に要する時間の異なる複数種類の切換方法を記憶していることを特徴とする。
【0012】
請求項2の発明によれば、切換方法抽出手段は、第1の特定手段によって特定された端末装置の参加者の発言頻度に適した切換時間の切換方法を、切換方法記憶手段から抽出する。よって、頻繁な映像の切り換えが防止されると共に、発言している参加者が変更した場合においても即座にその表情を確認することが可能となる。
【0013】
請求項3の発明は、前記コントローラは、前記各端末装置から送信される音声信号が、予め設定された第1の閾値を超えたかどうかを単位時間ごとに判断する判断手段を有し、前記単位時間を1フレームとし、前記判断手段によって前記第1の閾値を超えたと判断されたフレーム数をカウントして、参加者の発言時間をカウント値に変換する発言時間計測手段と、前記発言時間計測手段によってカウントされたカウント値を前記各端末装置ごとに格納するカウント格納手段とを有し、前記切換方法抽出手段は、前記カウント格納手段に格納されたカウント値に基づいて、切換方法を抽出することを特徴としている。
【0014】
請求項3の発明によれば、切換方法抽出手段は、カウント格納手段に格納されたカウント値を基に切換方法を抽出するため、簡単な構成で、参加者の発言頻度に応じた映像の切換を行うことができる。
【0015】
請求項4の発明は、前記発言時間計測手段は、カウントの開始点の異なる複数の計測手段を有し、前記カウント格納手段は、前記計測手段によってカウントされたカウント値を、各計測手段に対応して格納する複数の格納手段と、を有していることを特徴としている。
【0016】
請求項4の発明によれば、発言時間計測手段は、カウントの開始点の異なる複数の計測手段を有する。よって、切換方法抽出手段は、異なった観点で参加者の発言頻度を参照でき、映像切換手段は、参加者のより現実的な発言頻度に基づいて映像を切り換えることができる。
【0017】
請求項5の発明は、前記コントローラは、前記各格納手段に格納されたカウント値に、重み付けを設定する重み付け設定手段をさらに有し、前記切換方法抽出手段は、前記各格納手段に格納されたカウント値と、前記重み付け設定手段により設定された重み付けとに基づいて、切換方法を抽出することを特徴としている。
【0018】
請求項5の発明によれば、会議運用者の要望に応じて大きく重み付けされた格納手段のカウント値が、映像の切換に大きく反映されるため、会議運用者の意図する映像の切換が行われ得る。
【0019】
請求項6の発明は、前記重み付け設定手段は、重み付けとして係数を設定し、前記コントローラは、前記格納手段のカウント値と前記係数とによって表される関数に従って、前記端末装置ごとに切換制御値fを演算する関数演算手段をさらに有し、前記切換方法抽出手段は、前記関数演算手段によって演算された切換制御値fに基づいて、切換方法を抽出することを特徴としている。
【0020】
請求項7の発明は、前記発言時間計測手段は、会議開始からの発言時間を累積してカウントする第1の計測手段と、直近の発言開始からの時間をカウントする第2の計測手段と、を有し、前記カウント格納手段は、第1の計測手段によってカウントされたカウント値(Aa)を各端末装置に対応して格納する第1の格納手段と、第2の計測手段によってカウントされたカウント値(At)を各端末装置に対応して格納する第2の格納手段と、を有し、前記コントローラは、前記複数の端末装置の中から、前記第1の格納手段及び第2の格納手段に格納された最大のカウント値を有する端末装置を、前記格納手段ごとに特定する第2の特定手段をさらに有し、前記関数は、f=αAa/Aamax+βAt/Atmax、α+β=1(α、β≧0)で表され、α、βは、前記重み付け設定手段により設定された係数であり、Aamaxは、前記第2の特定手段によって特定された、前記第1の格納手段に格納された最大値を有する端末装置のカウント値を表しており、Atmaxは、前記第2の特定手段によって特定された、前記第2の格納手段に格納された最大値を有する端末装置のカウント値を表している、ことを特徴としている。
【0021】
請求項7の発明によれば、切換制御値fがこのような関数で表されることによって、各格納手段に格納されたカウント値に相対的な重み付け持たせて、参加者の発言頻度が算出され得る。また、Aa、Atは、それぞれ最大値Aamax、Atmaxで割られているため、各格納手段に格納されたカウント値を0〜1の値で表すことができる。よって、Aa及びAtが切換制御値fに及ぼす影響を平等に扱うことができる。
【0022】
請求項8の発明は、前記コントローラは、記第1の特定手段によって特定された端末装置の前記切換制御値fと、現在表示されている参加者の端末装置の前記切換制御値fとの差を演算する差演算手段をさらに有し、前記切換方法抽出手段は、前記差演算手段によって演算された差に基づいて、切換方法を抽出することを特徴としている。
【0023】
請求項8の発明によれば、映像切換手段は、第1の特定手段によって特定された端末装置の参加者だけでなく、現在表示されている端末装置の参加者の発言頻度も考慮に入れて映像切換を行うことができる。
【0024】
請求項9の発明は、前記切換方法記憶手段は、映像切換方法として、フェードイン・フェードアウト映像切換制御プログラムと、瞬時映像切換プログラムと、を記憶しており、前記切換方法抽出手段は、前記差演算手段によって演算された差が、予め設定された第2の閾値以上の場合に、瞬時映像切換プログラムを抽出し、前記差演算手段によって演算された差が、前記第2の閾値より小さい場合に、フェードイン・フェードアウト映像切換プログラムを抽出することを特徴としている。
【0025】
請求項9の発明によれば、映像切換手段は、特定された端末装置の参加者と現在表示されている端末装置の参加者の発言頻度に顕著な差がある場合には、瞬時に画像の切換を行い、反対に差が小さい場合には、フェードイン・フェードアウトで画像の切換を行う。よって、映像切換手段が、差の小さい場合であっても、フェードイン・フェードアウトで切換を行うことで、切換前後の各参加者の映像が重ね合わされて表示され、各参加者は、常に、発言している参加者の表情を確認することができる。
【0026】
請求項10の発明は、前記コントローラは、前記各端末装置の参加者の優先順位を設定する優先順位設定手段をさらに有し、前記切換方法抽出手段は、前記発言時間計測手段によってカウントされたカウント値と前記優先順位設定手段によって設定された優先順位とに基づいて、切換方法を抽出する。
【0027】
請求項10の発明によれば、会議運用者は、例えば、会議参加者の役職等に応じて、各参加者の優先順位を設定することにより、切換方法抽出手段は、その優先順位も考慮に入れて切換方法を抽出することができる。よって、映像切換手段は、参加者の発言頻度だけでなく、優先順位も考慮にいれて画面の切換を行うことができる。
請求項11の発明は、前記コントローラは、前記発言時間計測手段によってカウントされたカウント値と前記優先順位設定手段によって設定された優先順位とに重み付けを設定する重み付け設定手段をさらに有し、前記切換方法抽出手段は、前記カウント格納手段に格納されたカウント値、前記優先順位設定手段によって設定された優先順位、及び前記重み付け設定手段により設定された重み付けに基づいて、切換方法を抽出することを特徴としている。
【0028】
請求項11の発明によれば、会議運用者の要望に応じて大きく重み付けされたカウント格納手段のカウント値、或は優先順位設定手段によって設定された優先順位が、映像の切換に大きく反映されるため、会議運用者の意図する映像の切換が行われ得る。
【0029】
請求項12の発明は、前記発言時間計測手段は、カウントの開始点の異なる複数の計測手段を有し、前記カウント格納手段は、前記計測手段によってカウントされたカウント値を、各計測手段に対応して格納する複数の格納手段を有し、前記重み付け設定手段は、前記各格納手段に格納されたカウント値と前記優先順位設定手段によって設定された優先順位とに重み付けを設定し、前記切換方法抽出手段は、前記各格納手段に格納されたカウント値、前記優先順位設定手段により設定された優先順位、及び前記重み付け設定手段により設定された重み付けに基づいて、切換方法を抽出することを特徴としている。
【0030】
請求項12の発明によれば、切換方法抽出手段は、異なった観点で参加者の発言頻度を参照でき、映像切換手段は、参加者のより現実的な発言頻度を参考にして映像を切り換えることができる。
【0031】
請求項13の発明は、前記重み付け設定手段は、重み付けとして、係数を設定し、前記コントローラは、前記カウント値、前記優先順位、及び前記係数とによって表される関数に従って、前記端末装置ごとに切換制御値fを演算する関数演算手段をさらに有し、前記切換方法抽出手段は、前記関数演算手段によって演算された切換制御値fに基づいて、切換方法を抽出することを特徴としている。
【0032】
請求項14の発明は、前記発言時間計測手段は、会議開始からの発言時間を累積してカウントする第1の計測手段と、直近の発言開始からの時間をカウントする第2の計測手段と、を有し、前記カウント格納手段は、第1の計測手段によってカウントされたカウント値(Aa)を各端末装置に対応して格納する第1の格納手段と、第2の計測手段によってカウントされたカウント値(At)を各端末装置に対応して格納する第2の格納手段と、を有し、前記優先順位設定手段により設定された優先順位(Ap)は、優先順位が高いほど、大きい値を有しており、前記コントローラは、前記複数の端末装置の中から、前記第1の格納手段及び第2の格納手段に格納された最大のカウント値を有する端末装置を前記格納手段ごとに特定する第2の特定手段をさらに有し、前記関数は、f=αAa/Aamax+βAt/Atmax+γAp/Apmax 、α+β+γ=1(α、β、γ≧0)で表され、α、β、γは、前記重み付け設定手段により設定された係数であり、Aamaxは、前記第2の特定手段によって特定された、第1の格納手段に格納された最大値を有する端末装置のカウント値を表しており、Atmaxは、前記第2の特定手段によって特定された、第2の格納手段に格納された最大値を有する端末装置のカウント値を表しており、Apmaxは、最大の優先順位を有する端末装置の当該優先順位を表している、ことを特徴としている。
【0033】
請求項14の発明によれば、切換方法抽出手段は、関数演算手段によって演算された切換制御値fを基に切換方法を抽出する。切換制御値fがこのような関数で表されることによって、各格納手段に格納されたカウント値、及び優先順位設定手段により設定された優先順位に相対的な重み付けを持たせることができる。また、Aa、At、Apは、それぞれ最大値Aamax、Atmax、Apmaxで割られているため、各格納手段に格納されたカウント値、及び優先順位を0〜1の値で表すことができる。よって、Aa、At、Apが切換制御値fに及ぼす影響を平等に扱うことができる。
【0034】
請求項15の発明は、前記コントローラは、前記第1の特定手段によって特定された端末装置の前記切換制御値fと、現在表示されている参加者の端末装置の前記切換制御値fとの差を演算する差演算手段をさらに有し、前記切換方法抽出手段は、前記差演算手段によって演算された差に基づいて、切換方法を抽出することを特徴とする。
【0035】
請求項15の発明によれば、映像切換手段は、第1の特定手段によって特定された端末装置の参加者だけでなく、現在表示されている端末装置の参加者の発言頻度及び優先順位も考慮に入れて映像切換を行うことができる。
【0036】
請求項16の発明は、前記切換方法記憶手段は、映像切換方法として、フェードイン・フェードアウト映像切換制御プログラムと、瞬時映像切換プログラムと、
を記憶しており、前記切換方法抽出手段は、前記差演算手段によって演算された差が、予め設定された第2の閾値以上の場合に、瞬時映像切換プログラムを抽出し、前記差演算手段によって演算された差が、前記第2の閾値より小さい場合に、フェードイン・フェードアウト映像切換プログラムを抽出することを特徴としている。
【0037】
請求項16の発明によれば、映像切換手段は、特定された端末装置の参加者と現在表示されている端末装置の参加者の発言頻度及び優先順位に顕著な差がある場合には、瞬時に映像の切換を行い、反対に差が小さい場合には、フェードイン・フェードアウトで映像の切換を行う。よって、映像切換手段が、差が小さい場合であっても、フェードイン・フェードアウトで切換を行うことで、切換前後の各参加者の映像が重ね合わされて表示され、常に、発言している参加者の表情を確認することができる。
【0038】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照にして説明する。
【0039】
図1は、本実施形態のテレビ会議システム1の全体の構成を示すブロック図である。テレビ会議システム1は、複数の端末装置2a〜2eと、各端末装置間2a〜2eでコミュニケーションを行うために、各端末装置2a〜2eから出力される音声の合成、及び各端末装置2a〜2eに表示される映像の合成を行う1つのコントローラ4とを備えている。各端末装置2a〜2eは、ネットワーク3(情報伝達手段)を介してコントローラ4に接続されている。
【0040】
会議の参加者は、各端末装置2a〜2eを介して、相互にコミュニケーションをとることができる。
【0041】
(端末装置の構成)
次に、各地点に配置された端末装置2a〜2eの構成について説明する。図1には、ネットワーク3を介して、5台の端末装置2a〜2eが配置されている。本実施形態においては、端末装置2a〜2eは、各々同一の構成を有している。よって、各端末装置2a〜2eのうちの一台の端末装置2aについて以下に説明する。
【0042】
図2は、端末装置2aの構成を示すブロック図である。
【0043】
図2に示すように、端末装置2aは、カメラ201と、マイク204と、スピーカ207と、ディスプレイ210と、中央演算部221と、モデム216とから構成され、その各々が、データバス213を介して電気的に接続されている。
【0044】
カメラ201は、A/D変換器202及びエンコーダ203を介して、データバス213に接続されている。カメラ201は、端末装置2aを利用している参加者の映像を入力する機能を有している。
【0045】
マイク204は、A/D変換器205及びエンコーダ206を介して、データバス213に接続されている。マイク204は、端末装置2aを利用している参加者の音声を入力する機能を有している。
【0046】
ここで、A/D変換器202、205は、それぞれ、カメラ201からの映像データ及びマイク204からの音声データをデジタル化する機能を有する。また、エンコーダ203、206は、A/D変換器202、205でデジタル化された映像データ、或は音声データをMPEG等の公知の方法により圧縮する機能を有する。
【0047】
スピーカ207は、D/A変換器208及びデコーダ209を介して、データバス213に接続されている。スピーカ207は、コントローラ4で合成された会議参加者の音声を出力する機能を有する。
【0048】
ディスプレイ210は、D/A変換器211及びデコーダ212を介してデータバス213に接続されている。ディスプレイ210は、コントローラ4から受信される発言中の参加者の映像を出力する機能を有する。
【0049】
ここで、デコーダ209、212は、コントローラ4から受信した映像データ、或は音声データの圧縮を解除するためのものである。D/A変換器208、211は、デジタル化された映像データ及び音声データをアナログ化する機能を有する。
【0050】
モデム216は、マルチプレクサ214、或はデマルチプレクサ215を介してデータバス213に接続されている。モデム216は、カメラ201及びマイク204からの映像データ及び音声データをネットワーク3を介してコントローラ4に送信したり、コントローラ4からの映像データ及び音声データを受信する機能を有する。
【0051】
ここで、マルチプレクサ214は、エンコーダ203、206で圧縮された映像データと音声データとを同期・多重化する機能を有する。デマルチプレクサ215は、コントローラ4から受信した多重・圧縮状態のデータを映像データと音声データとに分離する機能を有する。以下、映像データと音声データとが多重化されたデータを、映像・音声データという。
【0052】
中央演算部221は、CPU217と、ROM218と、RAM219とから構成されている。中央演算部221は、端末装置2aの一連の動作制御を行うものである。CPU217は、RAM219をワークエリアとして、ROM218に格納された所定のプログラムに基づき一連の制御を行う。
【0053】
ここで、ROM218は、内部に音声補正プログラム記憶エリア220を有している。音声補正プログラム記憶エリア220は、音声補正プログラムを記憶している。CPU217は、音声補正プログラムを実行し、マイク204により入力された音声の音量を各端末装置2a〜2eの間で補正する機能を実現する。CPU217により、音声補正プログラムが実行されて実現される機能を音声補正機能という。一方、本実施形態では、コントローラ4のROM412は、第1の特定プログラム記憶エリア414に第1の特定プログラムを記憶している。コントローラ4のCPU411は、後述するように第1の特定プログラムを実行し、各端末装置2a〜2eから入力された音声データの中で最大の音量を有する端末装置を特定する。音声補正機能は、端末装置2a〜2eを利用する各参加者の生まれつきの声の大小を補正し、コントローラ4のCPU411が、第1の特定プログラムを実行した際、もともと声の大きな参加者を優先的に特定してしまうことを防止するための機能である。各端末装置2a〜2eを利用する参加者が発する音声は、音声補正機能により、各端末装置2a〜2e間で平等に扱われる。
【0054】
本実施形態においては、会議開始前に、会議運用者は、各参加者に端末装置に設けられたマイクを用いて一定時間発言するように促す。参加者が発言を開始すると、CPU217は、ROM218に記憶された関連する各種プログラムを実行し、マイク204から入力される参加者の発言音量を一定時間加重平均する。CPU217は、一定時間経過後、加重平均によって計算された平均音量を、RAM219に保存する。RAM219に保存された平均音量は、各端末装置2a〜2eを利用する参加者の声の大きさを示す基準値となる。
【0055】
会議が開始したら、前述した音声補正機能により、マイク204から順次入力される音量は、RAM219に記憶された基準値だけマイナスされる。基準値だけマイナスされた音量は、音量データとして音声データに付加されてコントローラ4に送信される。これにより、コントローラ4のCPU411が、第1の特定プログラムを実行した際、もともと声の大きな参加者を優先的に特定してしまうことを防止でき、各端末装置2a〜2eを利用する参加者が発する音声は、各端末装置2a〜2e間で平等に扱われる。
【0056】
(コントローラの構成)
次に、本実施形態におけるコントローラ4の構成について説明する。
【0057】
図3は、コントローラ4の構成を示すブロック図である。
【0058】
図3に示すように、コントローラ4は、前述した各端末装置2a〜2eに対応して設けられた受信用モデム401a〜401e及び送信用モデム405a〜405eと、中央制御部410とを備えており、その各々が、データバス409を介して電気的に接続されている。
【0059】
本実施形態におけるコントローラ4は、図1に示すネットワーク3を経由して、各端末装置2a〜2eを監視し、テレビ会議システム1を行う上での一連の動作制御を行う。
【0060】
ここで、コントローラ4のうち各端末装置2a〜2eとの送受信を行うためのインターフェース部分については、各々同一の構成を有しているため、端末装置2aに対応するもののみ説明を行う。
【0061】
図3に示すように、受信用モデム401aは、デマルチプレクサ402aと、デコーダ403aと、バスI/F404aとを介してデータバス409に接続されている。
【0062】
ここで、端末装置2aから受信された映像・音声データは、デマルチプレクサ402aによって多重化が解除され、その後デコーダ403aによって圧縮状態が解除される。これによって、映像・音声データは、映像データと音声データとに分離され、バスI/F404aに入力される。
【0063】
送信用モデム405aは、マルチプレクサ406aと、エンコーダ407aと、バスI/F408aとを介してデータバス409に接続されている。
【0064】
コントローラ4から端末装置2aに送信する映像データ及び音声データは、エンコーダ407aによって圧縮された後、マルチプレクサ408aによって、多重化され、モデム405aから出力される。
【0065】
次に、コントローラ4の制御部分について説明する。
【0066】
中央制御部410は、各端末装置2a〜2eにより表示される映像の作成、及び各端末装置2a〜2eにより出力される音声の合成を行うものであって、CPU411と、ROM412と、RAM413とを、内部に備えている。
【0067】
CPU411は、ROM412に記憶されたプログラムを起動させ、各端末装置2a〜2eに表示される映像の切換、及び音声の出力に関する制御を行うものである。
【0068】
ROM412は、本実施形態における図6〜図10に示すフローチャートを実行するためのプログラムを含め、テレビ会議システム1の全ての動作を制御するプログラムを記憶している。
【0069】
以下、本実施形態のROM412について、図4を用いて説明する。
【0070】
図4は、ROM412の記憶内容の構成を示す説明図である。
【0071】
ROM412は、第1の特定プログラム記憶エリア414と、閾値設定プログラム記憶エリア415と、発言時間計測プログラム記憶エリア416と、優先順位設定プログラム記憶エリア417と、重み付け設定プログラム記憶エリア418と、第2の特定プログラム記憶エリア419と、関数演算プログラム記憶エリア420と、差演算プログラム記憶エリア421と、切換方法抽出プログラム記憶エリア422と、映像切換決定プログラム記憶エリア424と、映像切換プログラム記憶エリア425と、音声合成プログラム記憶エリア426と、音声出力プログラム記憶エリア427とを有している。
【0072】
第1の特定プログラム記憶エリア414は、第1の特定プログラムを記憶するメモリエリアである。第1の特定プログラムは、CPU411により実行される。CPU411は、第1の特定プログラムを実行し、各端末装置2a〜2eから受信用モデム401a〜401eを介して受信される音声データの音量をそれぞれ比較して、その中から最大の音量を有する端末装置の参加者を特定する機能を実現する。CPU411により、第1の特定プログラムが実行されて実現される機能が、第1の特定機能(第1の特定手段)である。
【0073】
閾値設定プログラム記憶エリア415は、閾値設定プログラムを記憶するメモリエリアである。閾値設定プログラムは、CPU411により実行される。CPU411は、会議運用者の閾値設定操作により、閾値設定プログラムを実行し、後述する第1の閾値と第2の閾値とを設定する機能を実現する。CPU411により閾値設定プログラムが実行されて実現される機能が閾値設定機能である。閾値設定操作は、会議運用者が、コントローラ4に設けられた閾値設定ボタンを押下することで行われる。閾値設定機能により設定された第1の閾値及び第2の閾値は、後述するRAM413の閾値記憶エリア452に格納される。
【0074】
発言時間計測プログラム記憶エリア416は、発言時間計測プログラムを記憶するメモリエリアである。発言時間計測プログラムは、CPU411により実行されるプログラムである。発言時間計測プログラムは、計測プロセスと判断プロセスと時分割制御プロセスとから構成されている。CPU411は、発言時間計測プログラムを実行し、各端末装置2a〜2eを利用している参加者の発言頻度を計測する機能を実現する。CPU411が発言時間計測プログラムを実行して実現される機能が、発言時間計測機能(発言時間計測手段)である。
【0075】
本実施形態においては、発言時間計測プログラムは第1の計測プロセスと第2の計測プロセスとを有している。CPU411は、発言時間計測プログラム中の第1の計測プロセスを実行し、テレビ会議開始からの各参加者の発言時間を累積して計測する機能を実現する。CPU411により発言時間計測プログラム中の第1の計測プロセスが実行されて実現される機能が、第1の計測機能(第1の計測手段)である。一方、CPU411は、発言時間計測プログラム中の第2の計測プロセスを実行し、各参加者の発言開始からの時間を計測する機能を実現する。CPU411により発言時間計測プログラム中の第2の計測プロセスが実行されて実現される機能が、第2の計測機能(第2の計測手段)である。第2の計測機能によると、参加者の発言時間が途中で途切れると、次に発言を再開した時点からの時間が計測される。第1の計測機能と第2の計測機能とは、参加者の発言頻度を計測するための計測開始点が異なっている。
【0076】
また、発言時間計測プログラムは、第1の判断プロセスと第2の判断プロセスとを有している。CPU411は、第1の計測機能によりカウント値が計測される際に第1の判断プロセスを実行し、各端末装置2a〜2eから受信される音声データの音量が後述するRAM413の閾値記憶エリア452に記憶された第1の閾値を超えたか否かを判断する機能を実現する。一方、CPU411は、第2の計測機能によりカウント値が計測される際に第2の判断プロセスを実行し、各端末装置2a〜2eから受信される音声データの音量が後述するRAM413の閾値記憶エリア452に記憶された第1の閾値を越えたか否かを判断する機能を実現する。CPU411により第1の判断プロセスが実行されて実現される機能が第1の判断機能(第1の判断手段)である。CPU411により第2の判断プロセスが実行されて実現される機能が第2の判断機能(第2の判断手段)である。
【0077】
さらに、発言時間計測プログラムは、時分割制御プロセスを有している。CPU411は、発言時間計測プログラム中の時分割計測プロセスを実行し、第1の計測機能及び第2の計測機能を各端末装置2a〜2eの全てに対して時分割で実現させる。CPU411により時分割制御プロセスが実行されて実現される機能が時分割制御機能である。
【0078】
第1の計測機能及び第2の計測機能により計測されたカウント値は、後述するRAM413のカウント格納エリア453に記憶される。この際、第1の計測機能により計測されたカウント値は第1の格納エリア461a〜461eに格納され、一方、第2の計測機能により計測されたカウント値は第2の格納エリア462a〜462eに各端末装置2a〜2eごとに格納される。
【0079】
優先順位設定プログラム記憶エリア417は、優先順位設定プログラムを記憶するメモリエリアである。優先順位設定プログラムは、CPU411により実行されるプログラムである。CPU411は、会議運用者の優先順位設定操作により優先順位設定プログラムを実行し、各端末装置2a〜2eの優先順位を設定する機能を実現する。CPU411により、優先順位設定プログラムが実行されて実現される機能が、優先順位設定機能(優先順位設定手段)である。優先順位設定操作は、会議運用者がコントローラ4に設けられた優先順位設定ボタンを押下することで行われる。優先順位設定機能により設定される優先順位は、1〜5の自然数で表され、優先順位が最も高い端末装置から順に、5、4、3、2、1というように設定される。優先順位設定機能により設定された優先順位は、後述するRAM413の優先順位記憶エリア454に各端末装置2a〜2eごとに記憶される。
【0080】
重み付け設定プログラム記憶エリア418は、重み付け設定プログラムを記憶するメモリエリアである。重み付け設定プログラムは、CPU411により実行される。CPU411は、会議運用者による重み付け設定操作により重み付け設定プログラムを実行し、第1の格納エリア461a〜461eに格納されたカウント値と、第2の格納エリア462a〜462eに格納されたカウント値と、優先順位記憶エリア454に記憶された優先順位とに区分けして、この3つの要素に相対的な重み付けを設定する機能を実現する。重み付け設定操作は、会議運用者がコントローラ4に設けられた重み付け設定操作によって行われる。CPU411により重み付け設定プログラムが実行されて実現される機能が重み付け設定機能(重み付け設定手段)である。重み付けは、重み付け設定機能により係数α、β、γとして設定される。係数αは、第1の格納エリア461a〜461eに格納されたカウント値に対応する重み付けを示す。係数βは、第2の格納エリア462a〜462eに格納されたカウント値に対応する重み付けを示す。係数γは、優先順位記憶エリア454に記憶された優先順位に対応する重み付けを示す。重み付け設定機能によって設定された重み付けは、各係数α、β、γごとに後述するRAM413の重み付け記憶エリア455に記憶される。
【0081】
第2の特定プログラム記憶エリア419は、第2の特定プログラムを記憶するメモリエリアである。第2の特定プログラムは、CPU411により実行される。CPU411は、第2の特定プログラムを実行し、第1の格納エリア461a〜461e、及び第2の格納エリア462a〜462eに格納されたカウント値に基づいて、それらの中で最大のカウント値を有する端末装置を、第1の格納エリア461a〜461e及び第2の格納エリア462a〜462eごとに特定する機能を実現する。CPU411により第2の特定プログラムが実行されて実現される機能が、第2の特定機能(第2の特定手段)である。
【0082】
関数演算プログラム記憶エリア420は、関数演算プログラムを記憶するメモリエリアである。関数演算プログラムは、CPU411により実行されるプログラムである。CPU411は、関数演算プログラムを実行し、後述するRAM413の関数記憶エリア456に記憶されている関数を演算する機能を実現する。関数は、後述するように切換制御値fとして演算される。CPU411により関数演算プログラムが実行されて実現される機能が、関数演算機能(関数演算手段)である。切換制御値fは、関数演算機能により各端末装置2a〜2eごとに演算される。
【0083】
差演算プログラム記憶エリア421は、差演算プログラムを記憶するメモリエリアである。差演算プログラムは、CPU411により実行されるプログラムである。CPU411は、差演算プログラムを実行して、第1の特定機能によって特定された端末装置の切換制御値fと、それまで各端末装置2a〜2eに表示されている参加者が利用する端末装置の切換制御値fとの差を演算する機能を実現する。具体的には、第1の特定機能により特定された端末装置の切換制御値fから、それまで各端末装置2a〜2eに表示されている参加者が利用する端末装置の切換制御値fを差し引くことで差が求められる。CPU411により差演算プログラムが実行されて実現される機能が差演算機能(差演算手段)である。
【0084】
切換方法抽出プログラム記憶エリア422は、切換方法抽出プログラムを記憶するメモリエリアである。切換方法抽出プログラムは、CPU411により実行される。CPU411は、切換方法抽出プログラムを実行し、差演算機能により演算された差に基づいて後述するRAM413の切換方法記憶エリア458から切換方法を抽出する機能を実現する。CPU411により切換方法抽出プログラムが実行されて実現される機能が、切換方法抽出機能(切換方法抽出手段)である。差演算機能により演算された差が、閾値記憶エリア452に記憶された第2の閾値以上の場合に、切換方法抽出機能によって切換方法記憶エリア458から後述する瞬時映像切換プログラムが抽出される。一方、演算された差が、第2の閾値よりも小さい場合に、切換方法抽出機能によって切換方法記憶エリア458からフェードイン・フェードアウト映像切換プログラムが抽出される。
【0085】
映像切換決定プログラム記憶エリア424は、映像切換決定プログラムを記憶するメモリエリアである。映像切換決定プログラムは、CPU411により実行される。CPU411は、映像切換決定プログラムを実行して、第1の特定機能により特定された端末装置の参加者とそれまで各端末装置2a〜2eに表示されている端末装置の参加者とが異なる場合に、各端末装置2a〜2eの映像を切り換えることを決定する機能を実現する。CPU411により映像切換プログラムが実行されて実現される機能が、映像切換決定機能である。
【0086】
映像切換プログラム記憶エリア425は、映像切換プログラムを記憶するメモリエリアである。映像切換プログラムは、CPU411により実行されるプログラムである。CPU411が、映像切換プログラムを実行して実現される機能が、映像切換機能(映像切換手段)である。
【0087】
映像切換プログラムは、映像抽出プロセスと映像作成プロセスと映像出力プロセスとから構成されている。CPU411は、映像切換決定機能により各端末装置2a〜2eの映像を切り換えることが決定された場合に、映像抽出プロセスを実行し、第1の特定機能により特定された端末装置の映像を、後述するRAM413の映像記憶エリア451から抽出する機能を実現する。CPU411により映像抽出プロセスが実行されて実現される機能が、映像抽出機能である。また、CPU411は、映像作成プロセスを実行し、映像抽出機能によって抽出された映像、及び現在表示されている端末装置の参加者の映像を基にして、切換方法抽出機能により抽出された切換方法に従って、映像を切り換える際の新たな映像を作成する機能を実現する。CPU411により映像作成プロセスが実行されて実現される機能が、映像作成機能である。さらに、CPU411は、映像出力プロセスを実行し、送信用モデム405a〜405eを介して映像作成機能により作成された新たな映像を各端末装置2a〜2eに送信する機能を実現する。CPU411により映像出力プロセスが実行されて実現される機能が、映像出力機能である。
【0088】
音声合成プログラム記憶エリア426は、音声合成プログラムを記憶するメモリエリアである。音声合成プログラムは、CPU411により実行される。CPU411は、音声合成プログラムを実行し各端末装置2a〜2eのマイクから入力された各音声データを1つに合成する機能を実現する。CPU411により音声合成プログラムが合成されて実現される機能が、音声合成機能である。
【0089】
音声出力プログラム記憶エリア427は、音声出力プログラムを記憶するメモリエリアである。音声出力プログラムは、CPU411により実行される。CPU411は、音声出力プログラムを実行し、音声合成機能によって合成された音声を各端末装置2a〜2eに対応する送信用モデム405a〜405eを介して端末装置2a〜2eの全てに出力する機能を実現する。CPU411により音声出力プログラムが実行されて実現される機能が音声出力機能である。
【0090】
なお、映像出力機能によって出力される画像データ及び音声出力機能によって出力される音声データは、エンコーダ407a〜407e、及びマルチプレクサ406a〜406eを介して同期・多重化され、各端末装置2a〜2eへ送信される。
【0091】
RAM413は、揮発性のメモリであり、CPU411がプログラムを実行する際にワークエリアとして使用する一時記憶エリアを有する。
【0092】
以下、本実施形態のRAM413について図5を用いて説明する。
【0093】
図5は、RAM413の記憶内容の構成を示す説明図である。
【0094】
RAM413は、映像記憶エリア451と、切換方法記憶エリア458と、閾値記憶エリア452と、カウント格納エリア453と、優先順位記憶エリア454と、重み付け記憶エリア455と、関数記憶エリア456と、映像加工エリア457とから構成されている。
【0095】
映像記憶エリア451は、各端末装置2a〜2eごとにメモリエリア451a〜451eを有し、各端末装置2a〜2eのカメラから入力された映像データを記憶する。図3のデマルチプレクサ402a〜402e及びデコーダ403a〜403eによって、多重・圧縮状態から解除された映像データは、端末装置2a〜2eごとに、対応するメモリエリア451a〜451eに記憶される。メモリエリア451a〜451eの符号のアルファベットは、端末装置2a〜2eの符号中のアルファベットに対応している。
【0096】
切換方法記憶エリア(切換方法記憶手段)458は、各端末装置2a〜2eに表示されている映像を前述した映像切換機能により切り換える際に、CPU411により実行されるプログラムを記憶している。本実施形態においては、切換方法記憶エリア414は、フェードイン・フェードアウト映像切換プログラムと、瞬時映像切換プログラムとを記憶している。フェードイン・フェードアウト映像切換プログラムは、CPU411により実行され、それまで端末装置2a〜2eに表示されている参加者の映像と、発言中の参加者の映像とを徐々に重ね合わせて映像を切り換えるプログラムである。具体的には、端末装置2a〜2eに表示されている参加者の映像が徐々に消されていき(フェードアウト)、それと共に発言中の参加者の映像が徐々に強調されていく(フェードイン)。瞬時画面切換プログラムは、CPU411により実行されて、それまで端末装置2a〜2eに表示されている参加者の映像と、発言中の参加者の映像とを瞬間的に切り換えるプログラムである。すなわち、切換方法記憶エリア458は、各端末装置2a〜2eに表示されている映像を切り換える際のタイミングを規定するプログラムを記憶している。切換方法記憶エリア458に記憶されているプログラムは、会議運用者により書き換え可能である。
【0097】
閾値記憶エリア452は、前述の閾値設定機能により設定された第1及び第2の閾値を記憶する。
【0098】
カウント格納エリア453は、各端末装置2a〜2eごとに対応するメモリエリア453a〜453eを有し、各メモリエリア453a〜453eは、それぞれ第1の格納エリア(第1の格納手段)461a〜461e及び第2の格納エリア(第2の格納手段)462a〜462eを有する。第1の格納エリア461a〜461eは各々、第1の計測機能により計測された対応する端末装置2a〜2eのカウント値を記憶する。第2の格納エリア462a〜462eは各々、第2の計測機能により計測された対応する端末装置2a〜2eのカウント値を記憶する。符号のアルファベットは、各々、端末装置2a〜2eに付された符号のアルファベットに対応している。
【0099】
優先順位記憶エリア454は、各端末装置2a〜2eごとにメモリエリア454a〜454eをし、優先順位設定機能により設定された各端末装置2a〜2eの優先順位を、それぞれ記憶する。符号のアルファベットは、各々端末装置2a〜2eに付された符号のアルファベットに対応している。
【0100】
重み付け記憶エリア455は、各係数α、β、γごとにメモリエリア471〜473を有し、重み付け設定機能によって設定された重み付けをそれぞれ記憶する。
【0101】
関数記憶エリアは、第1の格納エリア461a〜461eに格納されているカウント値と、第2の格納エリア462a〜462eに格納されているカウント値と、優先順位記憶エリア454によって記憶されている優先順位と、重み付け記憶エリア455に記憶されている重み付けとによって表された関数を記憶する。本実施形態においては、この関数は、
f=αAa/Aamax+βAt/Atmax+γAp/Apmax
で表され、
α+β+γ=1、α≧0、β≧0、γ≧0
の関係が成り立っている。
【0102】
ここで、α、β、γは、前述した重み付け設定機能により設定された重み付けを表す係数である。Aaは、第1の格納エリア461a〜461eによって格納されているカウント値を表す。Atは、第2の格納エリア462a〜462eに格納されているカウント値を表す。Apは、優先順位記憶エリア454に記憶されている優先順位を表している。さらに、Aamaxは、第2の特定機能により特定された端末装置のカウント値であって、第1の格納エリア461a〜461eに格納されたカウント値のうちで最大値を有する端末装置のカウント値を表している。Atmaxは、第2の特定機能により特定された端末装置のカウント値であって、第2の格納エリア462a〜462eに格納されたカウント値のうちで最大値を有する端末装置のカウント値を有している。Apmaxは、優先順位記憶エリア454に記憶されている優先順位のうちで、最大の優先順位を有する端末装置の当該優先順位を表している。fは、テレビ会議システム1において、各端末装置2a〜2eに表示される映像を切り換える際のタイミングを制御する値であり、本実施形態においては、切換制御値と呼ぶ。
【0103】
切換制御値fをこのような関数で表すことで、Aa、At、Apに相対的な重み付けを付することができる。また、Aa、At、Apは、それぞれの最大値Aamax、Atmax、Apmaxで割られているため、切換制御値fに及ぼすAa、At、Apの値を平等に扱うことができる。
【0104】
映像加工エリア457は、前述した映像作成機能により、新たな映像を作成するための作業エリアを構成している。
【0105】
次に、本テレビ会議システム1の動作について、フローチャートを用いて説明する。図6は、第1の計測機能によるカウント処理の流れを示すフローチャートである。図7は、第2の計測機能によるカウント処理の流れを示すフローチャートである。図8は、テレビ会議システム1の全体の処理手順を表したフローチャートである。図9は、テレビ会議システム1の切換方法抽出処理の流れを示したフローチャートである。図10は、テレビ会議システム1の映像切換処理の流れを示したフローチャートである。
【0106】
本実施形態においては、図6に示す第1の計測機能によるカウント処理、図7に示す第2の計測機能によるカウント処理、及び図8に示す処理手順は、マルチタスクOSによって同時進行で行われる。
【0107】
まず、図6を用いて第1の計測機能によるカウント処理について示す。
【0108】
テレビ会議システム1の会議が開始した後、第1の計測機能により、会議が終了するまで、各端末装置2a〜2eを利用する参加者の発言状態が監視される。より具体的には、第1の計測機能により、会議開始からの各参加者の発言時間が累積して計測される。
【0109】
第1の計測機能により、端末装置2a〜2eの受信用モデム401a〜401eから入力された各音声データの音量が、予め設定された単位時間ごとにサンプリングされる。本実施形態においては、単位時間は、1秒間に設定されている。以下、この単位時間をフレームという。
【0110】
まず、処理は、ステップS601(以下、S601と略す。以下のステップについても同様とする。)に移行し、フレームが開始したかどうかを判断する。処理は、フレームが開始していなければ(S601:NO)、再びS601に戻り、フレームが開始するまで待つ。S601でフレームが開始していれば(S601:YES)、処理は、S602に移行する。S602では、S601で開始していると判断されたフレームが終了したかどうかを判断する。フレームが終了していれば(S602:YES)、処理は、そのままS601に戻り、再びフレームが開始するかどうかが判断される。フレームが終了していないと判断されれば(S602:NO)、処理は、S603に移行し、受信用モデム401a〜401eからの音声データを入力してS604に移行する。S604では、第1の判断機能により、入力された音声データの音量が閾値記憶エリア452に記憶された第1の閾値を超えているかどうかが判断される。S604で、音量が第1の閾値を越えていないと判断されれば(S604:NO)、処理は、S602に移行し、フレームが終了したかどうかが判断される。S604で、第1の閾値を越えたと判断されれば、第1の格納エリア461a〜461eにポイントを1加算し、S601に戻る。
【0111】
図11(a)は、図6のフローチャートを時系列で示した図である。図11によれば、第1の計測機能により、フレームごとに受信された音声データの音量が監視され、第1の格納エリア461a〜461eにポイントが加算されていく。各フレームにおいて、受信された音声データの音量が、第1の閾値を一度でも越えれば、1ポイント加算される。加算されるポイントは、1つのフレーム間で複数回第1の閾値を越えたとしても1となる。
【0112】
次に第2の計測機能によるカウント処理について図7を用いて説明する。
【0113】
テレビ会議システム1の会議が開始した後、第2の計測手段により、会議が終了するまで、各端末装置2a〜2eを利用する参加者の発言状態が監視される。より具体的には、第2の計測機能により、各参加者の直近の発言開始時点からの時間が計測される。言い換えれば、参加者の発言時間が途中で途切れた場合に、発言を再開した時点からの時間が計測される。
【0114】
第2の計測機能により、端末装置2a〜2eの受信用モデム401a〜401eから入力された各音声データの音量が、予め設定された単位時間ごとにサンプリングされる。
【0115】
まず、処理は、S701に移行し、フレームが開始したかどうかを判断する。処理は、フレームが開始していなければ(S701:NO)、再びS701に戻り、フレームが開始するまで待つ。S701でフレームが開始していれば(S701:YES)、処理は、S702に移行する。S702では、S701で開始していると判断されたフレームが終了したかどうかを判断する。フレームが終了していれば(S702:YES)、処理は、そのままS706に移行する。S706に移行した後、処理は、第2の格納エリア462a〜462eのカウント値を0に戻し(リセットし)、S701に戻り、再びフレームが開始するかどうかが判断される。この構成によれば、第1の閾値を1度も越えずにフレームが終了した場合に、第2の格納エリア462a〜462eに記憶された対応する端末装置のカウント値がリセットされるため、常に参加者の直近の発言開始点からの計測を行うことができる。S702において、フレームが終了していないと判断されれば(S702:NO)、処理はS703に移行し、受信用モデム405a〜405eからの音声データを入力し、S704に移行する。S704では、入力された音声データの音量が閾値記憶エリア452に記憶された第1の閾値を超えたかどうかが第2の判断機能により判断される。S704で、音量が第1の閾値を越えていないと判断されれば(S704:NO)、処理はS702に移行し、フレームが終了したかどうかが判断される。S704で、第1の閾値を越えたと判断されれば、第2の格納エリア462a〜462eにポイントを1加算し、S701に戻る。
【0116】
図11(b)は、図7のフローチャートに従う動作を時系列で示した説明図である。図11(b)によれば、第2の計測機能により、1フレームおきに受信された音声データの音量が監視され、第2の格納エリア462a〜462eにポイントが加算されていく。各フレームにおいて、第1の閾値を一度でも越えれば、第2の格納エリア462a〜462eのうち、その端末装置に対応するエリアに1ポイント加算される。反対に、第1の閾値を一度も越えないフレームが存在していれば、第2の格納エリア462a〜462eの対応する端末装置のカウント値は0にリセットされる。ここで加算されるポイントは、1つのフレーム間で複数回第1の閾値を越えても1である。
【0117】
次に、テレビ会議システム1全体の処理手順について図8を用いて説明する。
【0118】
テレビ会議システム1は、会議運用者による電源投入と同時に開始される。まず、処理はステップS801に移行し、テレビ会議システム1全体が初期化される。具体的には、CPU411、RAM413及びインターフェースの動作チェックや初期化が行われ、各構成ユニットの動作チェックやハードウェアの初期化が行われる。異常がなければ、RAM413に記憶されているデータをクリアする。これらが完了すれば、処理はS803に移行する。
【0119】
S803では、会議運用者は、閾値設定機能により第1の閾値を設定し、閾値記憶エリア452に記憶させる。その後、処理はS804に移行する。
【0120】
S804では、会議運用者は、閾値設定機能により第2の閾値を設定し、閾値記憶エリア452に記憶させる。その後、処理はS805に移行する。
【0121】
S805では、会議運用者は、優先順位設定機能により各端末装置2a〜2eの優先順位(Ap)を各々設定し、優先順位記憶エリア454に記憶させる。優先順位設定機能により設定された優先順位は、各端末装置2a〜2eごとに設けられたメモリエリア454a〜454eに記憶される。その後、処理は、S806に移行する。
【0122】
S806では、会議運用者は、第1の格納エリア461a〜461eに格納されるカウント値(Aa)、第2の格納エリア462a〜462eに格納されるカウント値(At)、及び優先順位記憶エリア454に記憶される優先順位(Ap)のそれぞれに重み付けを設定する。重み付けは、重み付け設定機能により係数α、β、γとして設定され、重み付け記憶エリア455内の各係数α、β、γに対応したメモリエリア471〜473に記憶される。
【0123】
S807〜S806の一連の処理が終了したら、テレビ会議が開始するための準備が整い、その後、処理は、S807に移行する。
【0124】
S807では、第2の特定機能により、第1の格納エリア461a〜461e及び第2の格納エリア462a〜462eに記憶されているカウント値の中から、最大のカウント値を有している端末装置が特定される。最大のカウント値を有している端末装置は、第1の格納エリア461a〜461e、及び第2の格納エリア462a〜462eごとに特定される。その後、処理は、S808に移行する。
【0125】
S808では、S805で設定された優先順位(Ap)、S806で設定された重み付けα、β、γ、図6で計測されたされたカウント値(Aa)、図7で計測されたカウント値(At)、S807で特定された端末装置のカウント値(Aamax及びAtmax)、最も高い優先順位を有する端末装置の優先順位(Apmax)に基づいて、関数演算機能により各端末装置2a〜2eの切換制御値fが演算される。切換制御値fは、具体的には、関数記憶エリア456に記憶されている関数に、Aamax、Atmax、Apmax、α、β、γ、各々の端末装置の有するAa、At、Apを代入することで、算出される。その後、処理は、S809に移行する。
【0126】
S809では、第1の特定機能により、各受信用モデム401a〜401eから入力された音声データを基にして、最大の音量を有する端末装置が特定される。その後、処理は、S809に移行する。
【0127】
S810では、S809で特定された端末装置と、現在各端末装置2a〜2eに表示されている端末装置とが同一かどうかが判断される。S810で同じでないと判断された場合は、S807に戻り、再び、第2の特定機能により、第1の格納エリア461a〜461e及び第2の格納エリア462a〜462eに格納されたカウント値の中から、最大のカウント値を有する端末装置が特定される。S810で同一でないと判断された場合は(S810:NO)、処理は、S811に移行する。S810で行われる処理は、すなわち、各端末装置2a〜2eに表示されている映像を切り換えるかどうかを決定するものであり、前述した映像切換決定機能により行われる。
【0128】
S811では、差演算機能により、S809で特定された端末装置の切換制御値fと、現在各端末装置2a〜2eに表示されている端末装置の切換制御値fとの差が演算される。その後、処理は、S812に移行する。
【0129】
S812では、切換方法抽出処理が行われ、その後、処理はS813に移行する。切換方法抽出処理の詳細は、後述する。
【0130】
S813では、映像切換処理が行われ、その後、処理はS814に移行する。映像切換処理の詳細は、後述する。
【0131】
S814では、テレビ会議が終了したかどうかが判断される。テレビ会議の終了は、会議運用者がコントローラ4に設けられた終了ボタンを押下することで行われる。S814で、テレビ会議が終了していると判断されなければ、S807に戻り、再び、第2の特定機能による処理を行う。S814でテレビ会議が終了していると判断されたら、全ての処理を終了し、テレビ会議システム1の電源を落とす。
【0132】
次に、図8における切換方法抽出処理について、図9を用いて説明する。
【0133】
切換方法抽出処理は、切換方法抽出機能により行われる。まず、処理は、S901に移行し、S811で演算された差が、第2の閾値以上かどうかが判断される。S901で、第2の閾値より小さいと判断されたら、処理は、S902に移行し、切換方法記憶エリア458からフェードイン・フェードアウト映像切換プログラムを抽出する。S901で、第2の閾値以上であると判断されたら、処理は、S903に移行し、切換方法記憶エリア458から瞬時映像切換プログラムが抽出される。
【0134】
本実施形態では、第2の閾値は、0に設定されている。すなわち、差がプラスであれば、瞬時映像切換プログラムが抽出され、差がマイナスとなればフェードイン・フェードアウト映像切換プログラムが抽出される。第2の閾値を0とすることによって、瞬時映像切換プログラムが抽出される確率と、フェードイン・フェードアウト映像切換プログラムとが抽出される確率を等価とすることができる。
【0135】
次に、図8における映像切換処理について、図10を用いて説明する。
【0136】
映像切換処理は、前述した映像切換機能により行われ、具体的には、映像抽出機能と、映像作成機能と、映像出力機能とによって行われる。まず、処理はS1001に移行して、映像抽出機能により、第1の特定機能により特定された端末装置の映像が映像記憶エリア451から抽出される。次に、処理はS1002に移行して、映像作成機能により、切換方法抽出機能により抽出された切換方法をもとにして、現在各端末装置2a〜2eに表示されている端末装置の映像と、第1の特定機能により特定された端末装置の映像とから新たな映像が作成される。次に処理は、S1003に移行して、映像出力機能により、S1002で作成された新たな映像が各端末装置2a〜2eに出力される。
【0137】
本実施形態においては、以上の構成により、参加者の発言頻度及び優先順位を考慮した映像切換が実現される。
【0138】
(テレビ会議システム1の使用方法)
次に、本実施形態におけるテレビ会議システムの使用方法を簡単に説明する。まず、会議運用者は、各端末装置2a〜2eとコントローラ4とをネットワーク3を介して接続する。会議運用者は、会議開始前に、第1の閾値及び第2の閾値をコントローラ4の閾値設定ボタンを押下して、RAM413の閾値記憶エリア452に記憶させる。その後、会議運用者は、コントローラ4の優先順位設定ボタンを押下して、各端末装置2a〜2eごとに優先順位Apを設定する。優先順位Apは、優先度の高い端末装置から、5、4、3、2、1となるように設定される。続いて、会議運用者は、RAM413の第1の格納エリア461a〜461eに格納されるカウント値Aa、第2の格納エリア462a〜462eに格納されるカウント値At、及び重み付け記憶エリア454に記憶される優先順位Apの3つの要素に、重み付け設定ボタンを押下して重み付けを設定する。重み付けは、例えばαを0.2、βを0.3、γを0.5というように、係数のそれぞれを0以上とし、かつ、係数の合計が1となるように設定される。この重み付けにおいては、会議運用者が重要と思う要素に対して、相対的に大きな値が設定される。
【0139】
以上により準備が完了し、その後テレビ会議が前述したフローチャートに従って進行する。テレビ会議終了後、会議運用者は、テレビ会議システム1の電源をOFFする。
【0140】
(変形例)
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
【0141】
前記実施形態においては、関数記憶機能により、第1の格納エリア461a〜461eに格納されたカウント値Aaと第2の格納エリア462a〜462eに格納されたカウント値Atと優先順位記憶エリア454a〜454eに記憶された優先順位Apとに基づいて、切換制御値fが演算されているが、これに限ることなく、他の要素(ファクター)に基づいて切換制御値fを演算するものであってもよい。例えば、AaとAtのみに基づいて切換制御値fを演算するものであってもよい。この場合の関数としてf=αAa/Aamax+βAt/Atmax、α+β=1(α、β≧0)が考えられる。
【0142】
また、切換方法抽出機能により、それまで各端末装置2a〜2eに表示されていた端末装置の切換制御値fと、第1の特定機能により特定された端末装置の参加者の切換制御値fとの差に基づいて切換方法が抽出されているが、差を演算することなく、第1の特定機能により特定された端末装置の切換制御値fのみに基づいて、切換方法を抽出するものであってもよい。この場合の第2の閾値は、0.5に設定するのがより好ましい。切換制御値fは、0〜1の値をとり得るため、第2の閾値を0.5に設定することで、切換抽出機能により瞬時映像切換プログラムとフェードイン・フェードアウト映像切換プログラムが抽出される確率を等価とすることができる。
【0143】
また、切換方法抽機能により、関数を演算することで算出された値を基にして切換方法を抽出するものに限られない。
【0144】
さらに、切換方法記憶エリア458は、フェードイン・フェードアウト映像切換プログラムと瞬時映像切換プログラムとを記憶しているが、これに限る必要はない。また、映像の切換方法が、切換時間を異にするものでなくともよい。すなわち、切換方法記憶エリア458は、映像を保持するプログラムと瞬時切換のプログラムとを記憶するものとしてもよい。
【図面の簡単な説明】
【図1】テレビ会議システム1の全体の構成を示すブロック図である。
【図2】端末装置2aの構成を示すブロック図である。
【図3】コントローラ4の構成を示すブロック図である。
【図4】ROM412の記憶内容を示す説明図である。
【図5】RAM413の記憶内容を示す説明図である。
【図6】第1の計測機能によるカウント処理の流れを示すフローチャートである。
【図7】第2の計測機能によるカウント処理の流れを示すフローチャートである。
【図8】テレビ会議システム1の全体の処理手順を表したフローチャートである。
【図9】テレビ会議システム1の切換方法抽出処理の流れを示したフローチャートである。
【図10】テレビ会議システム1の映像切換処理の流れを示したフローチャートである。
【図11】第1の計測機能及び第2の計測機能によるカウント処理を時系列で表した図である。
【符号の説明】
1 テレビ会議システム
2a〜2e 端末装置
3 ネットワーク(情報伝達手段)
4 コントローラ
411 CPU
414 第1の特定プログラム記憶エリア
416 発言時間計測プログラム記憶エリア
417 優先順位設定プログラム記憶エリア
418 重み付け設定プログラム記憶エリア
419 第2の特定プログラム記憶エリア
420 関数演算プログラム記憶エリア
421 差演算プログラム記憶エリア
422 切換方法抽出プログラム記憶エリア
425 映像切換プログラム記憶エリア
458 切換方法記憶エリア
453 カウント格納エリア
461a〜461e 第1の格納エリア
462a〜462e 第2の格納エリア
【発明の属する技術分野】
本発明は、多地点に設置された端末装置を用いて会議を行うことができるテレビ会議システムに関し、特に、話者(発言中の参加者)を特定して映像切換を行う際の映像切換制御に関するものである。
【0002】
【従来の技術】
従来のテレビ会議システムにおいては、多地点に配置された各端末装置に設けられたマイクからの音声によって話者を特定し、発言中の話者に映像を切り換える技術があった(例えば、特許文献1)。一般に、会議参加者が多人数となると、各参加者は、音声だけでは発言中の話者を把握することが困難となる。このため、前記切り換える技術は、発言に合わせた映像の切換によって話者を容易に把握できるため、非常に有用なものとなっている。
【0003】
また、特許文献1のテレビ会議システムは、映像切換を行う際に、一定時間、切換前の状態を保持し、頻繁な映像切換を防ぐことを可能としている。
【0004】
前記テレビ会議システムにおいては、画面(映像)切換のタイミングを設定する時間設定部が備えられており、画面が切り換えられる際、時間設定部で設定された時間だけ、画面が切り換えられる前の状態を保持する構成となっている。
【0005】
【特許文献1】
特開平5−111020号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1に開示された技術においては、頻繁な画面切換は防止できるが、画面が切り換わる際に、一定時間、切換前の状態が保持されるため、その間は、画面が切り換わらない。よって、参加者は、現在発言中の話者の表情を即座に確認できないという問題があった。
【0007】
現在発言中の話者が画面に映し出されないとすると、発言中の話者の声と表示されている画面とが一致せず、テレビ会議の進行において違和感を生じるという不都合があった。
【0008】
本発明は、頻繁な映像の切り換えを防止するとともに、話者が変更した場合においても、即座に発言中の話者の表情を参加者が確認できるテレビ会議システムを提供することを目的とする。
【0009】
【発明を解決するための手段、及び発明の効果】
上記目的を解決するために、請求項1の発明は、情報伝達手段を介してコントローラに接続された複数の端末装置の間で、参加者がコミュニケーションを行うことができるテレビ会議システムにおいて、前記コントローラは、前記端末装置に表示される映像の切換方法であって、複数種類の切換方法を記憶する切換方法記憶手段と、前記複数の端末装置から送信される音声信号を比較して、最も大きい音声信号を有する端末装置を特定する第1の特定手段と、前記第1の特定手段によって特定された端末装置の参加者の発言頻度に基づいて、前記切換方法記憶手段に記憶された前記切換方法の中から1つの切換方法を抽出する切換方法抽出手段と、前記切換方法抽出手段で抽出された切換方法に従い、前記端末装置に表示されている映像を前記特定された端末装置の参加者に切り換える映像切換手段と、を有することを特徴としている。
【0010】
請求項1の発明によれば、切換方法抽出手段は、第1の特定手段によって特定された端末装置の参加者の発言頻度に適した切換方法を、切換方法記憶手段から抽出する。よって、頻繁な映像の切り換えが防止されると共に、発言している参加者が変更した場合においても即座にその表情を確認することが可能となる。
【0011】
請求項2の発明は、切換方法記憶手段が、映像の切換に要する時間の異なる複数種類の切換方法を記憶していることを特徴とする。
【0012】
請求項2の発明によれば、切換方法抽出手段は、第1の特定手段によって特定された端末装置の参加者の発言頻度に適した切換時間の切換方法を、切換方法記憶手段から抽出する。よって、頻繁な映像の切り換えが防止されると共に、発言している参加者が変更した場合においても即座にその表情を確認することが可能となる。
【0013】
請求項3の発明は、前記コントローラは、前記各端末装置から送信される音声信号が、予め設定された第1の閾値を超えたかどうかを単位時間ごとに判断する判断手段を有し、前記単位時間を1フレームとし、前記判断手段によって前記第1の閾値を超えたと判断されたフレーム数をカウントして、参加者の発言時間をカウント値に変換する発言時間計測手段と、前記発言時間計測手段によってカウントされたカウント値を前記各端末装置ごとに格納するカウント格納手段とを有し、前記切換方法抽出手段は、前記カウント格納手段に格納されたカウント値に基づいて、切換方法を抽出することを特徴としている。
【0014】
請求項3の発明によれば、切換方法抽出手段は、カウント格納手段に格納されたカウント値を基に切換方法を抽出するため、簡単な構成で、参加者の発言頻度に応じた映像の切換を行うことができる。
【0015】
請求項4の発明は、前記発言時間計測手段は、カウントの開始点の異なる複数の計測手段を有し、前記カウント格納手段は、前記計測手段によってカウントされたカウント値を、各計測手段に対応して格納する複数の格納手段と、を有していることを特徴としている。
【0016】
請求項4の発明によれば、発言時間計測手段は、カウントの開始点の異なる複数の計測手段を有する。よって、切換方法抽出手段は、異なった観点で参加者の発言頻度を参照でき、映像切換手段は、参加者のより現実的な発言頻度に基づいて映像を切り換えることができる。
【0017】
請求項5の発明は、前記コントローラは、前記各格納手段に格納されたカウント値に、重み付けを設定する重み付け設定手段をさらに有し、前記切換方法抽出手段は、前記各格納手段に格納されたカウント値と、前記重み付け設定手段により設定された重み付けとに基づいて、切換方法を抽出することを特徴としている。
【0018】
請求項5の発明によれば、会議運用者の要望に応じて大きく重み付けされた格納手段のカウント値が、映像の切換に大きく反映されるため、会議運用者の意図する映像の切換が行われ得る。
【0019】
請求項6の発明は、前記重み付け設定手段は、重み付けとして係数を設定し、前記コントローラは、前記格納手段のカウント値と前記係数とによって表される関数に従って、前記端末装置ごとに切換制御値fを演算する関数演算手段をさらに有し、前記切換方法抽出手段は、前記関数演算手段によって演算された切換制御値fに基づいて、切換方法を抽出することを特徴としている。
【0020】
請求項7の発明は、前記発言時間計測手段は、会議開始からの発言時間を累積してカウントする第1の計測手段と、直近の発言開始からの時間をカウントする第2の計測手段と、を有し、前記カウント格納手段は、第1の計測手段によってカウントされたカウント値(Aa)を各端末装置に対応して格納する第1の格納手段と、第2の計測手段によってカウントされたカウント値(At)を各端末装置に対応して格納する第2の格納手段と、を有し、前記コントローラは、前記複数の端末装置の中から、前記第1の格納手段及び第2の格納手段に格納された最大のカウント値を有する端末装置を、前記格納手段ごとに特定する第2の特定手段をさらに有し、前記関数は、f=αAa/Aamax+βAt/Atmax、α+β=1(α、β≧0)で表され、α、βは、前記重み付け設定手段により設定された係数であり、Aamaxは、前記第2の特定手段によって特定された、前記第1の格納手段に格納された最大値を有する端末装置のカウント値を表しており、Atmaxは、前記第2の特定手段によって特定された、前記第2の格納手段に格納された最大値を有する端末装置のカウント値を表している、ことを特徴としている。
【0021】
請求項7の発明によれば、切換制御値fがこのような関数で表されることによって、各格納手段に格納されたカウント値に相対的な重み付け持たせて、参加者の発言頻度が算出され得る。また、Aa、Atは、それぞれ最大値Aamax、Atmaxで割られているため、各格納手段に格納されたカウント値を0〜1の値で表すことができる。よって、Aa及びAtが切換制御値fに及ぼす影響を平等に扱うことができる。
【0022】
請求項8の発明は、前記コントローラは、記第1の特定手段によって特定された端末装置の前記切換制御値fと、現在表示されている参加者の端末装置の前記切換制御値fとの差を演算する差演算手段をさらに有し、前記切換方法抽出手段は、前記差演算手段によって演算された差に基づいて、切換方法を抽出することを特徴としている。
【0023】
請求項8の発明によれば、映像切換手段は、第1の特定手段によって特定された端末装置の参加者だけでなく、現在表示されている端末装置の参加者の発言頻度も考慮に入れて映像切換を行うことができる。
【0024】
請求項9の発明は、前記切換方法記憶手段は、映像切換方法として、フェードイン・フェードアウト映像切換制御プログラムと、瞬時映像切換プログラムと、を記憶しており、前記切換方法抽出手段は、前記差演算手段によって演算された差が、予め設定された第2の閾値以上の場合に、瞬時映像切換プログラムを抽出し、前記差演算手段によって演算された差が、前記第2の閾値より小さい場合に、フェードイン・フェードアウト映像切換プログラムを抽出することを特徴としている。
【0025】
請求項9の発明によれば、映像切換手段は、特定された端末装置の参加者と現在表示されている端末装置の参加者の発言頻度に顕著な差がある場合には、瞬時に画像の切換を行い、反対に差が小さい場合には、フェードイン・フェードアウトで画像の切換を行う。よって、映像切換手段が、差の小さい場合であっても、フェードイン・フェードアウトで切換を行うことで、切換前後の各参加者の映像が重ね合わされて表示され、各参加者は、常に、発言している参加者の表情を確認することができる。
【0026】
請求項10の発明は、前記コントローラは、前記各端末装置の参加者の優先順位を設定する優先順位設定手段をさらに有し、前記切換方法抽出手段は、前記発言時間計測手段によってカウントされたカウント値と前記優先順位設定手段によって設定された優先順位とに基づいて、切換方法を抽出する。
【0027】
請求項10の発明によれば、会議運用者は、例えば、会議参加者の役職等に応じて、各参加者の優先順位を設定することにより、切換方法抽出手段は、その優先順位も考慮に入れて切換方法を抽出することができる。よって、映像切換手段は、参加者の発言頻度だけでなく、優先順位も考慮にいれて画面の切換を行うことができる。
請求項11の発明は、前記コントローラは、前記発言時間計測手段によってカウントされたカウント値と前記優先順位設定手段によって設定された優先順位とに重み付けを設定する重み付け設定手段をさらに有し、前記切換方法抽出手段は、前記カウント格納手段に格納されたカウント値、前記優先順位設定手段によって設定された優先順位、及び前記重み付け設定手段により設定された重み付けに基づいて、切換方法を抽出することを特徴としている。
【0028】
請求項11の発明によれば、会議運用者の要望に応じて大きく重み付けされたカウント格納手段のカウント値、或は優先順位設定手段によって設定された優先順位が、映像の切換に大きく反映されるため、会議運用者の意図する映像の切換が行われ得る。
【0029】
請求項12の発明は、前記発言時間計測手段は、カウントの開始点の異なる複数の計測手段を有し、前記カウント格納手段は、前記計測手段によってカウントされたカウント値を、各計測手段に対応して格納する複数の格納手段を有し、前記重み付け設定手段は、前記各格納手段に格納されたカウント値と前記優先順位設定手段によって設定された優先順位とに重み付けを設定し、前記切換方法抽出手段は、前記各格納手段に格納されたカウント値、前記優先順位設定手段により設定された優先順位、及び前記重み付け設定手段により設定された重み付けに基づいて、切換方法を抽出することを特徴としている。
【0030】
請求項12の発明によれば、切換方法抽出手段は、異なった観点で参加者の発言頻度を参照でき、映像切換手段は、参加者のより現実的な発言頻度を参考にして映像を切り換えることができる。
【0031】
請求項13の発明は、前記重み付け設定手段は、重み付けとして、係数を設定し、前記コントローラは、前記カウント値、前記優先順位、及び前記係数とによって表される関数に従って、前記端末装置ごとに切換制御値fを演算する関数演算手段をさらに有し、前記切換方法抽出手段は、前記関数演算手段によって演算された切換制御値fに基づいて、切換方法を抽出することを特徴としている。
【0032】
請求項14の発明は、前記発言時間計測手段は、会議開始からの発言時間を累積してカウントする第1の計測手段と、直近の発言開始からの時間をカウントする第2の計測手段と、を有し、前記カウント格納手段は、第1の計測手段によってカウントされたカウント値(Aa)を各端末装置に対応して格納する第1の格納手段と、第2の計測手段によってカウントされたカウント値(At)を各端末装置に対応して格納する第2の格納手段と、を有し、前記優先順位設定手段により設定された優先順位(Ap)は、優先順位が高いほど、大きい値を有しており、前記コントローラは、前記複数の端末装置の中から、前記第1の格納手段及び第2の格納手段に格納された最大のカウント値を有する端末装置を前記格納手段ごとに特定する第2の特定手段をさらに有し、前記関数は、f=αAa/Aamax+βAt/Atmax+γAp/Apmax 、α+β+γ=1(α、β、γ≧0)で表され、α、β、γは、前記重み付け設定手段により設定された係数であり、Aamaxは、前記第2の特定手段によって特定された、第1の格納手段に格納された最大値を有する端末装置のカウント値を表しており、Atmaxは、前記第2の特定手段によって特定された、第2の格納手段に格納された最大値を有する端末装置のカウント値を表しており、Apmaxは、最大の優先順位を有する端末装置の当該優先順位を表している、ことを特徴としている。
【0033】
請求項14の発明によれば、切換方法抽出手段は、関数演算手段によって演算された切換制御値fを基に切換方法を抽出する。切換制御値fがこのような関数で表されることによって、各格納手段に格納されたカウント値、及び優先順位設定手段により設定された優先順位に相対的な重み付けを持たせることができる。また、Aa、At、Apは、それぞれ最大値Aamax、Atmax、Apmaxで割られているため、各格納手段に格納されたカウント値、及び優先順位を0〜1の値で表すことができる。よって、Aa、At、Apが切換制御値fに及ぼす影響を平等に扱うことができる。
【0034】
請求項15の発明は、前記コントローラは、前記第1の特定手段によって特定された端末装置の前記切換制御値fと、現在表示されている参加者の端末装置の前記切換制御値fとの差を演算する差演算手段をさらに有し、前記切換方法抽出手段は、前記差演算手段によって演算された差に基づいて、切換方法を抽出することを特徴とする。
【0035】
請求項15の発明によれば、映像切換手段は、第1の特定手段によって特定された端末装置の参加者だけでなく、現在表示されている端末装置の参加者の発言頻度及び優先順位も考慮に入れて映像切換を行うことができる。
【0036】
請求項16の発明は、前記切換方法記憶手段は、映像切換方法として、フェードイン・フェードアウト映像切換制御プログラムと、瞬時映像切換プログラムと、
を記憶しており、前記切換方法抽出手段は、前記差演算手段によって演算された差が、予め設定された第2の閾値以上の場合に、瞬時映像切換プログラムを抽出し、前記差演算手段によって演算された差が、前記第2の閾値より小さい場合に、フェードイン・フェードアウト映像切換プログラムを抽出することを特徴としている。
【0037】
請求項16の発明によれば、映像切換手段は、特定された端末装置の参加者と現在表示されている端末装置の参加者の発言頻度及び優先順位に顕著な差がある場合には、瞬時に映像の切換を行い、反対に差が小さい場合には、フェードイン・フェードアウトで映像の切換を行う。よって、映像切換手段が、差が小さい場合であっても、フェードイン・フェードアウトで切換を行うことで、切換前後の各参加者の映像が重ね合わされて表示され、常に、発言している参加者の表情を確認することができる。
【0038】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照にして説明する。
【0039】
図1は、本実施形態のテレビ会議システム1の全体の構成を示すブロック図である。テレビ会議システム1は、複数の端末装置2a〜2eと、各端末装置間2a〜2eでコミュニケーションを行うために、各端末装置2a〜2eから出力される音声の合成、及び各端末装置2a〜2eに表示される映像の合成を行う1つのコントローラ4とを備えている。各端末装置2a〜2eは、ネットワーク3(情報伝達手段)を介してコントローラ4に接続されている。
【0040】
会議の参加者は、各端末装置2a〜2eを介して、相互にコミュニケーションをとることができる。
【0041】
(端末装置の構成)
次に、各地点に配置された端末装置2a〜2eの構成について説明する。図1には、ネットワーク3を介して、5台の端末装置2a〜2eが配置されている。本実施形態においては、端末装置2a〜2eは、各々同一の構成を有している。よって、各端末装置2a〜2eのうちの一台の端末装置2aについて以下に説明する。
【0042】
図2は、端末装置2aの構成を示すブロック図である。
【0043】
図2に示すように、端末装置2aは、カメラ201と、マイク204と、スピーカ207と、ディスプレイ210と、中央演算部221と、モデム216とから構成され、その各々が、データバス213を介して電気的に接続されている。
【0044】
カメラ201は、A/D変換器202及びエンコーダ203を介して、データバス213に接続されている。カメラ201は、端末装置2aを利用している参加者の映像を入力する機能を有している。
【0045】
マイク204は、A/D変換器205及びエンコーダ206を介して、データバス213に接続されている。マイク204は、端末装置2aを利用している参加者の音声を入力する機能を有している。
【0046】
ここで、A/D変換器202、205は、それぞれ、カメラ201からの映像データ及びマイク204からの音声データをデジタル化する機能を有する。また、エンコーダ203、206は、A/D変換器202、205でデジタル化された映像データ、或は音声データをMPEG等の公知の方法により圧縮する機能を有する。
【0047】
スピーカ207は、D/A変換器208及びデコーダ209を介して、データバス213に接続されている。スピーカ207は、コントローラ4で合成された会議参加者の音声を出力する機能を有する。
【0048】
ディスプレイ210は、D/A変換器211及びデコーダ212を介してデータバス213に接続されている。ディスプレイ210は、コントローラ4から受信される発言中の参加者の映像を出力する機能を有する。
【0049】
ここで、デコーダ209、212は、コントローラ4から受信した映像データ、或は音声データの圧縮を解除するためのものである。D/A変換器208、211は、デジタル化された映像データ及び音声データをアナログ化する機能を有する。
【0050】
モデム216は、マルチプレクサ214、或はデマルチプレクサ215を介してデータバス213に接続されている。モデム216は、カメラ201及びマイク204からの映像データ及び音声データをネットワーク3を介してコントローラ4に送信したり、コントローラ4からの映像データ及び音声データを受信する機能を有する。
【0051】
ここで、マルチプレクサ214は、エンコーダ203、206で圧縮された映像データと音声データとを同期・多重化する機能を有する。デマルチプレクサ215は、コントローラ4から受信した多重・圧縮状態のデータを映像データと音声データとに分離する機能を有する。以下、映像データと音声データとが多重化されたデータを、映像・音声データという。
【0052】
中央演算部221は、CPU217と、ROM218と、RAM219とから構成されている。中央演算部221は、端末装置2aの一連の動作制御を行うものである。CPU217は、RAM219をワークエリアとして、ROM218に格納された所定のプログラムに基づき一連の制御を行う。
【0053】
ここで、ROM218は、内部に音声補正プログラム記憶エリア220を有している。音声補正プログラム記憶エリア220は、音声補正プログラムを記憶している。CPU217は、音声補正プログラムを実行し、マイク204により入力された音声の音量を各端末装置2a〜2eの間で補正する機能を実現する。CPU217により、音声補正プログラムが実行されて実現される機能を音声補正機能という。一方、本実施形態では、コントローラ4のROM412は、第1の特定プログラム記憶エリア414に第1の特定プログラムを記憶している。コントローラ4のCPU411は、後述するように第1の特定プログラムを実行し、各端末装置2a〜2eから入力された音声データの中で最大の音量を有する端末装置を特定する。音声補正機能は、端末装置2a〜2eを利用する各参加者の生まれつきの声の大小を補正し、コントローラ4のCPU411が、第1の特定プログラムを実行した際、もともと声の大きな参加者を優先的に特定してしまうことを防止するための機能である。各端末装置2a〜2eを利用する参加者が発する音声は、音声補正機能により、各端末装置2a〜2e間で平等に扱われる。
【0054】
本実施形態においては、会議開始前に、会議運用者は、各参加者に端末装置に設けられたマイクを用いて一定時間発言するように促す。参加者が発言を開始すると、CPU217は、ROM218に記憶された関連する各種プログラムを実行し、マイク204から入力される参加者の発言音量を一定時間加重平均する。CPU217は、一定時間経過後、加重平均によって計算された平均音量を、RAM219に保存する。RAM219に保存された平均音量は、各端末装置2a〜2eを利用する参加者の声の大きさを示す基準値となる。
【0055】
会議が開始したら、前述した音声補正機能により、マイク204から順次入力される音量は、RAM219に記憶された基準値だけマイナスされる。基準値だけマイナスされた音量は、音量データとして音声データに付加されてコントローラ4に送信される。これにより、コントローラ4のCPU411が、第1の特定プログラムを実行した際、もともと声の大きな参加者を優先的に特定してしまうことを防止でき、各端末装置2a〜2eを利用する参加者が発する音声は、各端末装置2a〜2e間で平等に扱われる。
【0056】
(コントローラの構成)
次に、本実施形態におけるコントローラ4の構成について説明する。
【0057】
図3は、コントローラ4の構成を示すブロック図である。
【0058】
図3に示すように、コントローラ4は、前述した各端末装置2a〜2eに対応して設けられた受信用モデム401a〜401e及び送信用モデム405a〜405eと、中央制御部410とを備えており、その各々が、データバス409を介して電気的に接続されている。
【0059】
本実施形態におけるコントローラ4は、図1に示すネットワーク3を経由して、各端末装置2a〜2eを監視し、テレビ会議システム1を行う上での一連の動作制御を行う。
【0060】
ここで、コントローラ4のうち各端末装置2a〜2eとの送受信を行うためのインターフェース部分については、各々同一の構成を有しているため、端末装置2aに対応するもののみ説明を行う。
【0061】
図3に示すように、受信用モデム401aは、デマルチプレクサ402aと、デコーダ403aと、バスI/F404aとを介してデータバス409に接続されている。
【0062】
ここで、端末装置2aから受信された映像・音声データは、デマルチプレクサ402aによって多重化が解除され、その後デコーダ403aによって圧縮状態が解除される。これによって、映像・音声データは、映像データと音声データとに分離され、バスI/F404aに入力される。
【0063】
送信用モデム405aは、マルチプレクサ406aと、エンコーダ407aと、バスI/F408aとを介してデータバス409に接続されている。
【0064】
コントローラ4から端末装置2aに送信する映像データ及び音声データは、エンコーダ407aによって圧縮された後、マルチプレクサ408aによって、多重化され、モデム405aから出力される。
【0065】
次に、コントローラ4の制御部分について説明する。
【0066】
中央制御部410は、各端末装置2a〜2eにより表示される映像の作成、及び各端末装置2a〜2eにより出力される音声の合成を行うものであって、CPU411と、ROM412と、RAM413とを、内部に備えている。
【0067】
CPU411は、ROM412に記憶されたプログラムを起動させ、各端末装置2a〜2eに表示される映像の切換、及び音声の出力に関する制御を行うものである。
【0068】
ROM412は、本実施形態における図6〜図10に示すフローチャートを実行するためのプログラムを含め、テレビ会議システム1の全ての動作を制御するプログラムを記憶している。
【0069】
以下、本実施形態のROM412について、図4を用いて説明する。
【0070】
図4は、ROM412の記憶内容の構成を示す説明図である。
【0071】
ROM412は、第1の特定プログラム記憶エリア414と、閾値設定プログラム記憶エリア415と、発言時間計測プログラム記憶エリア416と、優先順位設定プログラム記憶エリア417と、重み付け設定プログラム記憶エリア418と、第2の特定プログラム記憶エリア419と、関数演算プログラム記憶エリア420と、差演算プログラム記憶エリア421と、切換方法抽出プログラム記憶エリア422と、映像切換決定プログラム記憶エリア424と、映像切換プログラム記憶エリア425と、音声合成プログラム記憶エリア426と、音声出力プログラム記憶エリア427とを有している。
【0072】
第1の特定プログラム記憶エリア414は、第1の特定プログラムを記憶するメモリエリアである。第1の特定プログラムは、CPU411により実行される。CPU411は、第1の特定プログラムを実行し、各端末装置2a〜2eから受信用モデム401a〜401eを介して受信される音声データの音量をそれぞれ比較して、その中から最大の音量を有する端末装置の参加者を特定する機能を実現する。CPU411により、第1の特定プログラムが実行されて実現される機能が、第1の特定機能(第1の特定手段)である。
【0073】
閾値設定プログラム記憶エリア415は、閾値設定プログラムを記憶するメモリエリアである。閾値設定プログラムは、CPU411により実行される。CPU411は、会議運用者の閾値設定操作により、閾値設定プログラムを実行し、後述する第1の閾値と第2の閾値とを設定する機能を実現する。CPU411により閾値設定プログラムが実行されて実現される機能が閾値設定機能である。閾値設定操作は、会議運用者が、コントローラ4に設けられた閾値設定ボタンを押下することで行われる。閾値設定機能により設定された第1の閾値及び第2の閾値は、後述するRAM413の閾値記憶エリア452に格納される。
【0074】
発言時間計測プログラム記憶エリア416は、発言時間計測プログラムを記憶するメモリエリアである。発言時間計測プログラムは、CPU411により実行されるプログラムである。発言時間計測プログラムは、計測プロセスと判断プロセスと時分割制御プロセスとから構成されている。CPU411は、発言時間計測プログラムを実行し、各端末装置2a〜2eを利用している参加者の発言頻度を計測する機能を実現する。CPU411が発言時間計測プログラムを実行して実現される機能が、発言時間計測機能(発言時間計測手段)である。
【0075】
本実施形態においては、発言時間計測プログラムは第1の計測プロセスと第2の計測プロセスとを有している。CPU411は、発言時間計測プログラム中の第1の計測プロセスを実行し、テレビ会議開始からの各参加者の発言時間を累積して計測する機能を実現する。CPU411により発言時間計測プログラム中の第1の計測プロセスが実行されて実現される機能が、第1の計測機能(第1の計測手段)である。一方、CPU411は、発言時間計測プログラム中の第2の計測プロセスを実行し、各参加者の発言開始からの時間を計測する機能を実現する。CPU411により発言時間計測プログラム中の第2の計測プロセスが実行されて実現される機能が、第2の計測機能(第2の計測手段)である。第2の計測機能によると、参加者の発言時間が途中で途切れると、次に発言を再開した時点からの時間が計測される。第1の計測機能と第2の計測機能とは、参加者の発言頻度を計測するための計測開始点が異なっている。
【0076】
また、発言時間計測プログラムは、第1の判断プロセスと第2の判断プロセスとを有している。CPU411は、第1の計測機能によりカウント値が計測される際に第1の判断プロセスを実行し、各端末装置2a〜2eから受信される音声データの音量が後述するRAM413の閾値記憶エリア452に記憶された第1の閾値を超えたか否かを判断する機能を実現する。一方、CPU411は、第2の計測機能によりカウント値が計測される際に第2の判断プロセスを実行し、各端末装置2a〜2eから受信される音声データの音量が後述するRAM413の閾値記憶エリア452に記憶された第1の閾値を越えたか否かを判断する機能を実現する。CPU411により第1の判断プロセスが実行されて実現される機能が第1の判断機能(第1の判断手段)である。CPU411により第2の判断プロセスが実行されて実現される機能が第2の判断機能(第2の判断手段)である。
【0077】
さらに、発言時間計測プログラムは、時分割制御プロセスを有している。CPU411は、発言時間計測プログラム中の時分割計測プロセスを実行し、第1の計測機能及び第2の計測機能を各端末装置2a〜2eの全てに対して時分割で実現させる。CPU411により時分割制御プロセスが実行されて実現される機能が時分割制御機能である。
【0078】
第1の計測機能及び第2の計測機能により計測されたカウント値は、後述するRAM413のカウント格納エリア453に記憶される。この際、第1の計測機能により計測されたカウント値は第1の格納エリア461a〜461eに格納され、一方、第2の計測機能により計測されたカウント値は第2の格納エリア462a〜462eに各端末装置2a〜2eごとに格納される。
【0079】
優先順位設定プログラム記憶エリア417は、優先順位設定プログラムを記憶するメモリエリアである。優先順位設定プログラムは、CPU411により実行されるプログラムである。CPU411は、会議運用者の優先順位設定操作により優先順位設定プログラムを実行し、各端末装置2a〜2eの優先順位を設定する機能を実現する。CPU411により、優先順位設定プログラムが実行されて実現される機能が、優先順位設定機能(優先順位設定手段)である。優先順位設定操作は、会議運用者がコントローラ4に設けられた優先順位設定ボタンを押下することで行われる。優先順位設定機能により設定される優先順位は、1〜5の自然数で表され、優先順位が最も高い端末装置から順に、5、4、3、2、1というように設定される。優先順位設定機能により設定された優先順位は、後述するRAM413の優先順位記憶エリア454に各端末装置2a〜2eごとに記憶される。
【0080】
重み付け設定プログラム記憶エリア418は、重み付け設定プログラムを記憶するメモリエリアである。重み付け設定プログラムは、CPU411により実行される。CPU411は、会議運用者による重み付け設定操作により重み付け設定プログラムを実行し、第1の格納エリア461a〜461eに格納されたカウント値と、第2の格納エリア462a〜462eに格納されたカウント値と、優先順位記憶エリア454に記憶された優先順位とに区分けして、この3つの要素に相対的な重み付けを設定する機能を実現する。重み付け設定操作は、会議運用者がコントローラ4に設けられた重み付け設定操作によって行われる。CPU411により重み付け設定プログラムが実行されて実現される機能が重み付け設定機能(重み付け設定手段)である。重み付けは、重み付け設定機能により係数α、β、γとして設定される。係数αは、第1の格納エリア461a〜461eに格納されたカウント値に対応する重み付けを示す。係数βは、第2の格納エリア462a〜462eに格納されたカウント値に対応する重み付けを示す。係数γは、優先順位記憶エリア454に記憶された優先順位に対応する重み付けを示す。重み付け設定機能によって設定された重み付けは、各係数α、β、γごとに後述するRAM413の重み付け記憶エリア455に記憶される。
【0081】
第2の特定プログラム記憶エリア419は、第2の特定プログラムを記憶するメモリエリアである。第2の特定プログラムは、CPU411により実行される。CPU411は、第2の特定プログラムを実行し、第1の格納エリア461a〜461e、及び第2の格納エリア462a〜462eに格納されたカウント値に基づいて、それらの中で最大のカウント値を有する端末装置を、第1の格納エリア461a〜461e及び第2の格納エリア462a〜462eごとに特定する機能を実現する。CPU411により第2の特定プログラムが実行されて実現される機能が、第2の特定機能(第2の特定手段)である。
【0082】
関数演算プログラム記憶エリア420は、関数演算プログラムを記憶するメモリエリアである。関数演算プログラムは、CPU411により実行されるプログラムである。CPU411は、関数演算プログラムを実行し、後述するRAM413の関数記憶エリア456に記憶されている関数を演算する機能を実現する。関数は、後述するように切換制御値fとして演算される。CPU411により関数演算プログラムが実行されて実現される機能が、関数演算機能(関数演算手段)である。切換制御値fは、関数演算機能により各端末装置2a〜2eごとに演算される。
【0083】
差演算プログラム記憶エリア421は、差演算プログラムを記憶するメモリエリアである。差演算プログラムは、CPU411により実行されるプログラムである。CPU411は、差演算プログラムを実行して、第1の特定機能によって特定された端末装置の切換制御値fと、それまで各端末装置2a〜2eに表示されている参加者が利用する端末装置の切換制御値fとの差を演算する機能を実現する。具体的には、第1の特定機能により特定された端末装置の切換制御値fから、それまで各端末装置2a〜2eに表示されている参加者が利用する端末装置の切換制御値fを差し引くことで差が求められる。CPU411により差演算プログラムが実行されて実現される機能が差演算機能(差演算手段)である。
【0084】
切換方法抽出プログラム記憶エリア422は、切換方法抽出プログラムを記憶するメモリエリアである。切換方法抽出プログラムは、CPU411により実行される。CPU411は、切換方法抽出プログラムを実行し、差演算機能により演算された差に基づいて後述するRAM413の切換方法記憶エリア458から切換方法を抽出する機能を実現する。CPU411により切換方法抽出プログラムが実行されて実現される機能が、切換方法抽出機能(切換方法抽出手段)である。差演算機能により演算された差が、閾値記憶エリア452に記憶された第2の閾値以上の場合に、切換方法抽出機能によって切換方法記憶エリア458から後述する瞬時映像切換プログラムが抽出される。一方、演算された差が、第2の閾値よりも小さい場合に、切換方法抽出機能によって切換方法記憶エリア458からフェードイン・フェードアウト映像切換プログラムが抽出される。
【0085】
映像切換決定プログラム記憶エリア424は、映像切換決定プログラムを記憶するメモリエリアである。映像切換決定プログラムは、CPU411により実行される。CPU411は、映像切換決定プログラムを実行して、第1の特定機能により特定された端末装置の参加者とそれまで各端末装置2a〜2eに表示されている端末装置の参加者とが異なる場合に、各端末装置2a〜2eの映像を切り換えることを決定する機能を実現する。CPU411により映像切換プログラムが実行されて実現される機能が、映像切換決定機能である。
【0086】
映像切換プログラム記憶エリア425は、映像切換プログラムを記憶するメモリエリアである。映像切換プログラムは、CPU411により実行されるプログラムである。CPU411が、映像切換プログラムを実行して実現される機能が、映像切換機能(映像切換手段)である。
【0087】
映像切換プログラムは、映像抽出プロセスと映像作成プロセスと映像出力プロセスとから構成されている。CPU411は、映像切換決定機能により各端末装置2a〜2eの映像を切り換えることが決定された場合に、映像抽出プロセスを実行し、第1の特定機能により特定された端末装置の映像を、後述するRAM413の映像記憶エリア451から抽出する機能を実現する。CPU411により映像抽出プロセスが実行されて実現される機能が、映像抽出機能である。また、CPU411は、映像作成プロセスを実行し、映像抽出機能によって抽出された映像、及び現在表示されている端末装置の参加者の映像を基にして、切換方法抽出機能により抽出された切換方法に従って、映像を切り換える際の新たな映像を作成する機能を実現する。CPU411により映像作成プロセスが実行されて実現される機能が、映像作成機能である。さらに、CPU411は、映像出力プロセスを実行し、送信用モデム405a〜405eを介して映像作成機能により作成された新たな映像を各端末装置2a〜2eに送信する機能を実現する。CPU411により映像出力プロセスが実行されて実現される機能が、映像出力機能である。
【0088】
音声合成プログラム記憶エリア426は、音声合成プログラムを記憶するメモリエリアである。音声合成プログラムは、CPU411により実行される。CPU411は、音声合成プログラムを実行し各端末装置2a〜2eのマイクから入力された各音声データを1つに合成する機能を実現する。CPU411により音声合成プログラムが合成されて実現される機能が、音声合成機能である。
【0089】
音声出力プログラム記憶エリア427は、音声出力プログラムを記憶するメモリエリアである。音声出力プログラムは、CPU411により実行される。CPU411は、音声出力プログラムを実行し、音声合成機能によって合成された音声を各端末装置2a〜2eに対応する送信用モデム405a〜405eを介して端末装置2a〜2eの全てに出力する機能を実現する。CPU411により音声出力プログラムが実行されて実現される機能が音声出力機能である。
【0090】
なお、映像出力機能によって出力される画像データ及び音声出力機能によって出力される音声データは、エンコーダ407a〜407e、及びマルチプレクサ406a〜406eを介して同期・多重化され、各端末装置2a〜2eへ送信される。
【0091】
RAM413は、揮発性のメモリであり、CPU411がプログラムを実行する際にワークエリアとして使用する一時記憶エリアを有する。
【0092】
以下、本実施形態のRAM413について図5を用いて説明する。
【0093】
図5は、RAM413の記憶内容の構成を示す説明図である。
【0094】
RAM413は、映像記憶エリア451と、切換方法記憶エリア458と、閾値記憶エリア452と、カウント格納エリア453と、優先順位記憶エリア454と、重み付け記憶エリア455と、関数記憶エリア456と、映像加工エリア457とから構成されている。
【0095】
映像記憶エリア451は、各端末装置2a〜2eごとにメモリエリア451a〜451eを有し、各端末装置2a〜2eのカメラから入力された映像データを記憶する。図3のデマルチプレクサ402a〜402e及びデコーダ403a〜403eによって、多重・圧縮状態から解除された映像データは、端末装置2a〜2eごとに、対応するメモリエリア451a〜451eに記憶される。メモリエリア451a〜451eの符号のアルファベットは、端末装置2a〜2eの符号中のアルファベットに対応している。
【0096】
切換方法記憶エリア(切換方法記憶手段)458は、各端末装置2a〜2eに表示されている映像を前述した映像切換機能により切り換える際に、CPU411により実行されるプログラムを記憶している。本実施形態においては、切換方法記憶エリア414は、フェードイン・フェードアウト映像切換プログラムと、瞬時映像切換プログラムとを記憶している。フェードイン・フェードアウト映像切換プログラムは、CPU411により実行され、それまで端末装置2a〜2eに表示されている参加者の映像と、発言中の参加者の映像とを徐々に重ね合わせて映像を切り換えるプログラムである。具体的には、端末装置2a〜2eに表示されている参加者の映像が徐々に消されていき(フェードアウト)、それと共に発言中の参加者の映像が徐々に強調されていく(フェードイン)。瞬時画面切換プログラムは、CPU411により実行されて、それまで端末装置2a〜2eに表示されている参加者の映像と、発言中の参加者の映像とを瞬間的に切り換えるプログラムである。すなわち、切換方法記憶エリア458は、各端末装置2a〜2eに表示されている映像を切り換える際のタイミングを規定するプログラムを記憶している。切換方法記憶エリア458に記憶されているプログラムは、会議運用者により書き換え可能である。
【0097】
閾値記憶エリア452は、前述の閾値設定機能により設定された第1及び第2の閾値を記憶する。
【0098】
カウント格納エリア453は、各端末装置2a〜2eごとに対応するメモリエリア453a〜453eを有し、各メモリエリア453a〜453eは、それぞれ第1の格納エリア(第1の格納手段)461a〜461e及び第2の格納エリア(第2の格納手段)462a〜462eを有する。第1の格納エリア461a〜461eは各々、第1の計測機能により計測された対応する端末装置2a〜2eのカウント値を記憶する。第2の格納エリア462a〜462eは各々、第2の計測機能により計測された対応する端末装置2a〜2eのカウント値を記憶する。符号のアルファベットは、各々、端末装置2a〜2eに付された符号のアルファベットに対応している。
【0099】
優先順位記憶エリア454は、各端末装置2a〜2eごとにメモリエリア454a〜454eをし、優先順位設定機能により設定された各端末装置2a〜2eの優先順位を、それぞれ記憶する。符号のアルファベットは、各々端末装置2a〜2eに付された符号のアルファベットに対応している。
【0100】
重み付け記憶エリア455は、各係数α、β、γごとにメモリエリア471〜473を有し、重み付け設定機能によって設定された重み付けをそれぞれ記憶する。
【0101】
関数記憶エリアは、第1の格納エリア461a〜461eに格納されているカウント値と、第2の格納エリア462a〜462eに格納されているカウント値と、優先順位記憶エリア454によって記憶されている優先順位と、重み付け記憶エリア455に記憶されている重み付けとによって表された関数を記憶する。本実施形態においては、この関数は、
f=αAa/Aamax+βAt/Atmax+γAp/Apmax
で表され、
α+β+γ=1、α≧0、β≧0、γ≧0
の関係が成り立っている。
【0102】
ここで、α、β、γは、前述した重み付け設定機能により設定された重み付けを表す係数である。Aaは、第1の格納エリア461a〜461eによって格納されているカウント値を表す。Atは、第2の格納エリア462a〜462eに格納されているカウント値を表す。Apは、優先順位記憶エリア454に記憶されている優先順位を表している。さらに、Aamaxは、第2の特定機能により特定された端末装置のカウント値であって、第1の格納エリア461a〜461eに格納されたカウント値のうちで最大値を有する端末装置のカウント値を表している。Atmaxは、第2の特定機能により特定された端末装置のカウント値であって、第2の格納エリア462a〜462eに格納されたカウント値のうちで最大値を有する端末装置のカウント値を有している。Apmaxは、優先順位記憶エリア454に記憶されている優先順位のうちで、最大の優先順位を有する端末装置の当該優先順位を表している。fは、テレビ会議システム1において、各端末装置2a〜2eに表示される映像を切り換える際のタイミングを制御する値であり、本実施形態においては、切換制御値と呼ぶ。
【0103】
切換制御値fをこのような関数で表すことで、Aa、At、Apに相対的な重み付けを付することができる。また、Aa、At、Apは、それぞれの最大値Aamax、Atmax、Apmaxで割られているため、切換制御値fに及ぼすAa、At、Apの値を平等に扱うことができる。
【0104】
映像加工エリア457は、前述した映像作成機能により、新たな映像を作成するための作業エリアを構成している。
【0105】
次に、本テレビ会議システム1の動作について、フローチャートを用いて説明する。図6は、第1の計測機能によるカウント処理の流れを示すフローチャートである。図7は、第2の計測機能によるカウント処理の流れを示すフローチャートである。図8は、テレビ会議システム1の全体の処理手順を表したフローチャートである。図9は、テレビ会議システム1の切換方法抽出処理の流れを示したフローチャートである。図10は、テレビ会議システム1の映像切換処理の流れを示したフローチャートである。
【0106】
本実施形態においては、図6に示す第1の計測機能によるカウント処理、図7に示す第2の計測機能によるカウント処理、及び図8に示す処理手順は、マルチタスクOSによって同時進行で行われる。
【0107】
まず、図6を用いて第1の計測機能によるカウント処理について示す。
【0108】
テレビ会議システム1の会議が開始した後、第1の計測機能により、会議が終了するまで、各端末装置2a〜2eを利用する参加者の発言状態が監視される。より具体的には、第1の計測機能により、会議開始からの各参加者の発言時間が累積して計測される。
【0109】
第1の計測機能により、端末装置2a〜2eの受信用モデム401a〜401eから入力された各音声データの音量が、予め設定された単位時間ごとにサンプリングされる。本実施形態においては、単位時間は、1秒間に設定されている。以下、この単位時間をフレームという。
【0110】
まず、処理は、ステップS601(以下、S601と略す。以下のステップについても同様とする。)に移行し、フレームが開始したかどうかを判断する。処理は、フレームが開始していなければ(S601:NO)、再びS601に戻り、フレームが開始するまで待つ。S601でフレームが開始していれば(S601:YES)、処理は、S602に移行する。S602では、S601で開始していると判断されたフレームが終了したかどうかを判断する。フレームが終了していれば(S602:YES)、処理は、そのままS601に戻り、再びフレームが開始するかどうかが判断される。フレームが終了していないと判断されれば(S602:NO)、処理は、S603に移行し、受信用モデム401a〜401eからの音声データを入力してS604に移行する。S604では、第1の判断機能により、入力された音声データの音量が閾値記憶エリア452に記憶された第1の閾値を超えているかどうかが判断される。S604で、音量が第1の閾値を越えていないと判断されれば(S604:NO)、処理は、S602に移行し、フレームが終了したかどうかが判断される。S604で、第1の閾値を越えたと判断されれば、第1の格納エリア461a〜461eにポイントを1加算し、S601に戻る。
【0111】
図11(a)は、図6のフローチャートを時系列で示した図である。図11によれば、第1の計測機能により、フレームごとに受信された音声データの音量が監視され、第1の格納エリア461a〜461eにポイントが加算されていく。各フレームにおいて、受信された音声データの音量が、第1の閾値を一度でも越えれば、1ポイント加算される。加算されるポイントは、1つのフレーム間で複数回第1の閾値を越えたとしても1となる。
【0112】
次に第2の計測機能によるカウント処理について図7を用いて説明する。
【0113】
テレビ会議システム1の会議が開始した後、第2の計測手段により、会議が終了するまで、各端末装置2a〜2eを利用する参加者の発言状態が監視される。より具体的には、第2の計測機能により、各参加者の直近の発言開始時点からの時間が計測される。言い換えれば、参加者の発言時間が途中で途切れた場合に、発言を再開した時点からの時間が計測される。
【0114】
第2の計測機能により、端末装置2a〜2eの受信用モデム401a〜401eから入力された各音声データの音量が、予め設定された単位時間ごとにサンプリングされる。
【0115】
まず、処理は、S701に移行し、フレームが開始したかどうかを判断する。処理は、フレームが開始していなければ(S701:NO)、再びS701に戻り、フレームが開始するまで待つ。S701でフレームが開始していれば(S701:YES)、処理は、S702に移行する。S702では、S701で開始していると判断されたフレームが終了したかどうかを判断する。フレームが終了していれば(S702:YES)、処理は、そのままS706に移行する。S706に移行した後、処理は、第2の格納エリア462a〜462eのカウント値を0に戻し(リセットし)、S701に戻り、再びフレームが開始するかどうかが判断される。この構成によれば、第1の閾値を1度も越えずにフレームが終了した場合に、第2の格納エリア462a〜462eに記憶された対応する端末装置のカウント値がリセットされるため、常に参加者の直近の発言開始点からの計測を行うことができる。S702において、フレームが終了していないと判断されれば(S702:NO)、処理はS703に移行し、受信用モデム405a〜405eからの音声データを入力し、S704に移行する。S704では、入力された音声データの音量が閾値記憶エリア452に記憶された第1の閾値を超えたかどうかが第2の判断機能により判断される。S704で、音量が第1の閾値を越えていないと判断されれば(S704:NO)、処理はS702に移行し、フレームが終了したかどうかが判断される。S704で、第1の閾値を越えたと判断されれば、第2の格納エリア462a〜462eにポイントを1加算し、S701に戻る。
【0116】
図11(b)は、図7のフローチャートに従う動作を時系列で示した説明図である。図11(b)によれば、第2の計測機能により、1フレームおきに受信された音声データの音量が監視され、第2の格納エリア462a〜462eにポイントが加算されていく。各フレームにおいて、第1の閾値を一度でも越えれば、第2の格納エリア462a〜462eのうち、その端末装置に対応するエリアに1ポイント加算される。反対に、第1の閾値を一度も越えないフレームが存在していれば、第2の格納エリア462a〜462eの対応する端末装置のカウント値は0にリセットされる。ここで加算されるポイントは、1つのフレーム間で複数回第1の閾値を越えても1である。
【0117】
次に、テレビ会議システム1全体の処理手順について図8を用いて説明する。
【0118】
テレビ会議システム1は、会議運用者による電源投入と同時に開始される。まず、処理はステップS801に移行し、テレビ会議システム1全体が初期化される。具体的には、CPU411、RAM413及びインターフェースの動作チェックや初期化が行われ、各構成ユニットの動作チェックやハードウェアの初期化が行われる。異常がなければ、RAM413に記憶されているデータをクリアする。これらが完了すれば、処理はS803に移行する。
【0119】
S803では、会議運用者は、閾値設定機能により第1の閾値を設定し、閾値記憶エリア452に記憶させる。その後、処理はS804に移行する。
【0120】
S804では、会議運用者は、閾値設定機能により第2の閾値を設定し、閾値記憶エリア452に記憶させる。その後、処理はS805に移行する。
【0121】
S805では、会議運用者は、優先順位設定機能により各端末装置2a〜2eの優先順位(Ap)を各々設定し、優先順位記憶エリア454に記憶させる。優先順位設定機能により設定された優先順位は、各端末装置2a〜2eごとに設けられたメモリエリア454a〜454eに記憶される。その後、処理は、S806に移行する。
【0122】
S806では、会議運用者は、第1の格納エリア461a〜461eに格納されるカウント値(Aa)、第2の格納エリア462a〜462eに格納されるカウント値(At)、及び優先順位記憶エリア454に記憶される優先順位(Ap)のそれぞれに重み付けを設定する。重み付けは、重み付け設定機能により係数α、β、γとして設定され、重み付け記憶エリア455内の各係数α、β、γに対応したメモリエリア471〜473に記憶される。
【0123】
S807〜S806の一連の処理が終了したら、テレビ会議が開始するための準備が整い、その後、処理は、S807に移行する。
【0124】
S807では、第2の特定機能により、第1の格納エリア461a〜461e及び第2の格納エリア462a〜462eに記憶されているカウント値の中から、最大のカウント値を有している端末装置が特定される。最大のカウント値を有している端末装置は、第1の格納エリア461a〜461e、及び第2の格納エリア462a〜462eごとに特定される。その後、処理は、S808に移行する。
【0125】
S808では、S805で設定された優先順位(Ap)、S806で設定された重み付けα、β、γ、図6で計測されたされたカウント値(Aa)、図7で計測されたカウント値(At)、S807で特定された端末装置のカウント値(Aamax及びAtmax)、最も高い優先順位を有する端末装置の優先順位(Apmax)に基づいて、関数演算機能により各端末装置2a〜2eの切換制御値fが演算される。切換制御値fは、具体的には、関数記憶エリア456に記憶されている関数に、Aamax、Atmax、Apmax、α、β、γ、各々の端末装置の有するAa、At、Apを代入することで、算出される。その後、処理は、S809に移行する。
【0126】
S809では、第1の特定機能により、各受信用モデム401a〜401eから入力された音声データを基にして、最大の音量を有する端末装置が特定される。その後、処理は、S809に移行する。
【0127】
S810では、S809で特定された端末装置と、現在各端末装置2a〜2eに表示されている端末装置とが同一かどうかが判断される。S810で同じでないと判断された場合は、S807に戻り、再び、第2の特定機能により、第1の格納エリア461a〜461e及び第2の格納エリア462a〜462eに格納されたカウント値の中から、最大のカウント値を有する端末装置が特定される。S810で同一でないと判断された場合は(S810:NO)、処理は、S811に移行する。S810で行われる処理は、すなわち、各端末装置2a〜2eに表示されている映像を切り換えるかどうかを決定するものであり、前述した映像切換決定機能により行われる。
【0128】
S811では、差演算機能により、S809で特定された端末装置の切換制御値fと、現在各端末装置2a〜2eに表示されている端末装置の切換制御値fとの差が演算される。その後、処理は、S812に移行する。
【0129】
S812では、切換方法抽出処理が行われ、その後、処理はS813に移行する。切換方法抽出処理の詳細は、後述する。
【0130】
S813では、映像切換処理が行われ、その後、処理はS814に移行する。映像切換処理の詳細は、後述する。
【0131】
S814では、テレビ会議が終了したかどうかが判断される。テレビ会議の終了は、会議運用者がコントローラ4に設けられた終了ボタンを押下することで行われる。S814で、テレビ会議が終了していると判断されなければ、S807に戻り、再び、第2の特定機能による処理を行う。S814でテレビ会議が終了していると判断されたら、全ての処理を終了し、テレビ会議システム1の電源を落とす。
【0132】
次に、図8における切換方法抽出処理について、図9を用いて説明する。
【0133】
切換方法抽出処理は、切換方法抽出機能により行われる。まず、処理は、S901に移行し、S811で演算された差が、第2の閾値以上かどうかが判断される。S901で、第2の閾値より小さいと判断されたら、処理は、S902に移行し、切換方法記憶エリア458からフェードイン・フェードアウト映像切換プログラムを抽出する。S901で、第2の閾値以上であると判断されたら、処理は、S903に移行し、切換方法記憶エリア458から瞬時映像切換プログラムが抽出される。
【0134】
本実施形態では、第2の閾値は、0に設定されている。すなわち、差がプラスであれば、瞬時映像切換プログラムが抽出され、差がマイナスとなればフェードイン・フェードアウト映像切換プログラムが抽出される。第2の閾値を0とすることによって、瞬時映像切換プログラムが抽出される確率と、フェードイン・フェードアウト映像切換プログラムとが抽出される確率を等価とすることができる。
【0135】
次に、図8における映像切換処理について、図10を用いて説明する。
【0136】
映像切換処理は、前述した映像切換機能により行われ、具体的には、映像抽出機能と、映像作成機能と、映像出力機能とによって行われる。まず、処理はS1001に移行して、映像抽出機能により、第1の特定機能により特定された端末装置の映像が映像記憶エリア451から抽出される。次に、処理はS1002に移行して、映像作成機能により、切換方法抽出機能により抽出された切換方法をもとにして、現在各端末装置2a〜2eに表示されている端末装置の映像と、第1の特定機能により特定された端末装置の映像とから新たな映像が作成される。次に処理は、S1003に移行して、映像出力機能により、S1002で作成された新たな映像が各端末装置2a〜2eに出力される。
【0137】
本実施形態においては、以上の構成により、参加者の発言頻度及び優先順位を考慮した映像切換が実現される。
【0138】
(テレビ会議システム1の使用方法)
次に、本実施形態におけるテレビ会議システムの使用方法を簡単に説明する。まず、会議運用者は、各端末装置2a〜2eとコントローラ4とをネットワーク3を介して接続する。会議運用者は、会議開始前に、第1の閾値及び第2の閾値をコントローラ4の閾値設定ボタンを押下して、RAM413の閾値記憶エリア452に記憶させる。その後、会議運用者は、コントローラ4の優先順位設定ボタンを押下して、各端末装置2a〜2eごとに優先順位Apを設定する。優先順位Apは、優先度の高い端末装置から、5、4、3、2、1となるように設定される。続いて、会議運用者は、RAM413の第1の格納エリア461a〜461eに格納されるカウント値Aa、第2の格納エリア462a〜462eに格納されるカウント値At、及び重み付け記憶エリア454に記憶される優先順位Apの3つの要素に、重み付け設定ボタンを押下して重み付けを設定する。重み付けは、例えばαを0.2、βを0.3、γを0.5というように、係数のそれぞれを0以上とし、かつ、係数の合計が1となるように設定される。この重み付けにおいては、会議運用者が重要と思う要素に対して、相対的に大きな値が設定される。
【0139】
以上により準備が完了し、その後テレビ会議が前述したフローチャートに従って進行する。テレビ会議終了後、会議運用者は、テレビ会議システム1の電源をOFFする。
【0140】
(変形例)
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
【0141】
前記実施形態においては、関数記憶機能により、第1の格納エリア461a〜461eに格納されたカウント値Aaと第2の格納エリア462a〜462eに格納されたカウント値Atと優先順位記憶エリア454a〜454eに記憶された優先順位Apとに基づいて、切換制御値fが演算されているが、これに限ることなく、他の要素(ファクター)に基づいて切換制御値fを演算するものであってもよい。例えば、AaとAtのみに基づいて切換制御値fを演算するものであってもよい。この場合の関数としてf=αAa/Aamax+βAt/Atmax、α+β=1(α、β≧0)が考えられる。
【0142】
また、切換方法抽出機能により、それまで各端末装置2a〜2eに表示されていた端末装置の切換制御値fと、第1の特定機能により特定された端末装置の参加者の切換制御値fとの差に基づいて切換方法が抽出されているが、差を演算することなく、第1の特定機能により特定された端末装置の切換制御値fのみに基づいて、切換方法を抽出するものであってもよい。この場合の第2の閾値は、0.5に設定するのがより好ましい。切換制御値fは、0〜1の値をとり得るため、第2の閾値を0.5に設定することで、切換抽出機能により瞬時映像切換プログラムとフェードイン・フェードアウト映像切換プログラムが抽出される確率を等価とすることができる。
【0143】
また、切換方法抽機能により、関数を演算することで算出された値を基にして切換方法を抽出するものに限られない。
【0144】
さらに、切換方法記憶エリア458は、フェードイン・フェードアウト映像切換プログラムと瞬時映像切換プログラムとを記憶しているが、これに限る必要はない。また、映像の切換方法が、切換時間を異にするものでなくともよい。すなわち、切換方法記憶エリア458は、映像を保持するプログラムと瞬時切換のプログラムとを記憶するものとしてもよい。
【図面の簡単な説明】
【図1】テレビ会議システム1の全体の構成を示すブロック図である。
【図2】端末装置2aの構成を示すブロック図である。
【図3】コントローラ4の構成を示すブロック図である。
【図4】ROM412の記憶内容を示す説明図である。
【図5】RAM413の記憶内容を示す説明図である。
【図6】第1の計測機能によるカウント処理の流れを示すフローチャートである。
【図7】第2の計測機能によるカウント処理の流れを示すフローチャートである。
【図8】テレビ会議システム1の全体の処理手順を表したフローチャートである。
【図9】テレビ会議システム1の切換方法抽出処理の流れを示したフローチャートである。
【図10】テレビ会議システム1の映像切換処理の流れを示したフローチャートである。
【図11】第1の計測機能及び第2の計測機能によるカウント処理を時系列で表した図である。
【符号の説明】
1 テレビ会議システム
2a〜2e 端末装置
3 ネットワーク(情報伝達手段)
4 コントローラ
411 CPU
414 第1の特定プログラム記憶エリア
416 発言時間計測プログラム記憶エリア
417 優先順位設定プログラム記憶エリア
418 重み付け設定プログラム記憶エリア
419 第2の特定プログラム記憶エリア
420 関数演算プログラム記憶エリア
421 差演算プログラム記憶エリア
422 切換方法抽出プログラム記憶エリア
425 映像切換プログラム記憶エリア
458 切換方法記憶エリア
453 カウント格納エリア
461a〜461e 第1の格納エリア
462a〜462e 第2の格納エリア
Claims (16)
- 情報伝達手段を介してコントローラに接続された複数の端末装置の間で、参加者がコミュニケーションを行うことができるテレビ会議システムにおいて、
前記コントローラは、
前記端末装置に表示される映像の切換方法であって、複数種類の切換方法を記憶する切換方法記憶手段と、
前記複数の端末装置から送信される音声信号を比較して、最も大きい音声信号を有する端末装置を特定する第1の特定手段と、
前記第1の特定手段によって特定された端末装置の参加者の発言頻度に基づいて、前記切換方法記憶手段に記憶された前記切換方法の中から1つの切換方法を抽出する切換方法抽出手段と、
前記切換方法抽出手段で抽出された切換方法に従い、前記端末装置に表示されている映像を前記特定された端末装置の参加者に切り換える映像切換手段と、
を有することを特徴とするテレビ会議システム。 - 前記切換方法記憶手段は、映像の切換に要する時間の異なる複数種類の切換方法を記憶していることを特徴とする請求項1に記載のテレビ会議システム。
- 前記コントローラは、
前記各端末装置から送信される音声信号が、予め設定された第1の閾値を超えたかどうかを単位時間ごとに判断する判断手段を有し、前記単位時間を1フレームとし、前記判断手段によって前記第1の閾値を超えたと判断されたフレーム数をカウントして、参加者の発言時間をカウント値に変換する発言時間計測手段と、
前記発言時間計測手段によってカウントされたカウント値を前記各端末装置ごとに格納するカウント格納手段とを有し、
前記切換方法抽出手段は、前記カウント格納手段に格納されたカウント値に基づいて、切換方法を抽出することを特徴とする請求項1又は2に記載のテレビ会議システム。 - 前記発言時間計測手段は、カウントの開始点の異なる複数の計測手段を有し、
前記カウント格納手段は、前記計測手段によってカウントされたカウント値を、各計測手段に対応して格納する複数の格納手段を有していることを特徴とする請求項3に記載のテレビ会議システム。 - 前記コントローラは、
前記各格納手段に格納されたカウント値に、重み付けを設定する重み付け設定手段をさらに有し、
前記切換方法抽出手段は、前記各格納手段に格納されたカウント値と、前記重み付け設定手段により設定された重み付けとに基づいて、切換方法を抽出することを特徴とする請求項4に記載のテレビ会議システム。 - 前記重み付け設定手段は、重み付けとして係数を設定し、
前記コントローラは、
前記格納手段のカウント値と前記係数とによって表される関数に従って、前記端末装置ごとに切換制御値fを演算する関数演算手段をさらに有し、
前記切換方法抽出手段は、前記関数演算手段によって演算された切換制御値fに基づいて、切換方法を抽出することを特徴とする請求項5に記載のテレビ会議システム。 - 前記発言時間計測手段は、
会議開始からの発言時間を累積してカウントする第1の計測手段と、
直近の発言開始からの時間をカウントする第2の計測手段と、
を有し、
前記カウント格納手段は、
第1の計測手段によってカウントされたカウント値(Aa)を各端末装置に対応して格納する第1の格納手段と、
第2の計測手段によってカウントされたカウント値(At)を各端末装置に対応して格納する第2の格納手段と、
を有し、
前記コントローラは、
前記複数の端末装置の中から、前記第1の格納手段及び第2の格納手段に格納された最大のカウント値を有する端末装置を、前記格納手段ごとに特定する第2の特定手段をさらに有し、
前記関数は、
f=αAa/Aamax+βAt/Atmax α+β=1(α、β≧0)
で表され、
α、βは、前記重み付け設定手段により設定された係数であり、
Aamaxは、前記第2の特定手段によって特定された、前記第1の格納手段に格納された最大値を有する端末装置のカウント値を表しており、
Atmaxは、前記第2の特定手段によって特定された、前記第2の格納手段に格納された最大値を有する端末装置のカウント値を表している、
ことを特徴とする請求項6に記載のテレビ会議システム。 - 前記コントローラは、
前記第1の特定手段によって特定された端末装置の前記切換制御値fと、現在表示されている参加者の端末装置の前記切換制御値fとの差を演算する差演算手段をさらに有し、
前記切換方法抽出手段は、前記差演算手段によって演算された差に基づいて、切換方法を抽出することを特徴とする請求項6又は7に記載のテレビ会議システム。 - 前記切換方法記憶手段は、映像切換方法として、
フェードイン・フェードアウト映像切換制御プログラムと、
瞬時映像切換プログラムと、
を記憶しており、
前記切換方法抽出手段は、
前記差演算手段によって演算された差が、予め設定された第2の閾値以上の場合に、瞬時映像切換プログラムを抽出し、
前記差演算手段によって演算された差が、前記第2の閾値より小さい場合に、フェードイン・フェードアウト映像切換プログラムを抽出することを特徴とする請求項8に記載のテレビ会議システム。 - 前記コントローラは、前記各端末装置の参加者の優先順位を設定する優先順位設定手段をさらに有し、
前記切換方法抽出手段は、前記発言時間計測手段によってカウントされたカウント値と前記優先順位設定手段によって設定された優先順位とに基づいて、切換方法を抽出することを特徴とする請求項3に記載のテレビ会議システム。 - 前記コントローラは、
前記発言時間計測手段によってカウントされたカウント値と前記優先順位設定手段によって設定された優先順位とに重み付けを設定する重み付け設定手段をさらに有し、
前記切換方法抽出手段は、前記カウント格納手段に格納されたカウント値、前記優先順位設定手段によって設定された優先順位、及び前記重み付け設定手段により設定された重み付けに基づいて、切換方法を抽出することを特徴とする請求項10に記載のテレビ会議システム。 - 前記発言時間計測手段は、
カウントの開始点の異なる複数の計測手段を有し、
前記カウント格納手段は、前記計測手段によってカウントされたカウント値を、各計測手段に対応して格納する複数の格納手段を有し、
前記重み付け設定手段は、
前記各格納手段に格納されたカウント値と前記優先順位設定手段によって設定された優先順位とに重み付けを設定し、
前記切換方法抽出手段は、前記各格納手段に格納されたカウント値、前記優先順位設定手段により設定された優先順位、及び前記重み付け設定手段により設定された重み付けに基づいて、切換方法を抽出することを特徴とする請求項11に記載のテレビ会議システム。 - 前記重み付け設定手段は、重み付けとして、係数を設定し、
前記コントローラは、
前記カウント値、前記優先順位、及び前記係数によって表される関数に従って、前記端末装置ごとに切換制御値fを演算する関数演算手段をさらに有し、
前記切換方法抽出手段は、前記関数演算手段によって演算された切換制御値fに基づいて、切換方法を抽出することを特徴とする請求項11又は12に記載のテレビ会議システム。 - 前記発言時間計測手段は、
会議開始からの発言時間を累積してカウントする第1の計測手段と、
直近の発言開始からの時間をカウントする第2の計測手段と、
を有し、
前記カウント格納手段は、
第1の計測手段によってカウントされたカウント値(Aa)を各端末装置に対応して格納する第1の格納手段と、
第2の計測手段によってカウントされたカウント値(At)を各端末装置に対応して格納する第2の格納手段と、
を有し、
前記優先順位設定手段により設定された優先順位(Ap)は、優先順位が高いほど、大きい値を有しており、
前記コントローラは、
前記複数の端末装置の中から、前記第1の格納手段及び第2の格納手段に格納された最大のカウント値を有する端末装置を前記格納手段ごとに特定する第2の特定手段をさらに有し、
前記関数は、
f=αAa/Aamax+βAt/Atmax+γAp/Apmax α+β+γ=1(α、β、γ≧0)
で表され、
α、β、γは、前記重み付け設定手段により設定された係数であり、
Aamaxは、前記第2の特定手段によって特定された、第1の格納手段に格納された最大値を有する端末装置のカウント値を表しており、
Atmaxは、前記第2の特定手段によって特定された、第2の格納手段に格納された最大値を有する端末装置のカウント値を表しており、
Apmaxは、最大の優先順位を有する端末装置の当該優先順位を表している、
ことを特徴とする請求項13に記載のテレビ会議システム。 - 前記コントローラは、
前記第1の特定手段によって特定された端末装置の前記切換制御値fと、現在表示されている参加者の端末装置の前記切換制御値fとの差を演算する差演算手段をさらに有し、
前記切換方法抽出手段は、前記差演算手段によって演算された差に基づいて、切換方法を抽出することを特徴とする請求項13又は14に記載のテレビ会議システム。 - 前記切換方法記憶手段は、映像切換方法として、
フェードイン・フェードアウト映像切換制御プログラムと、
瞬時映像切換プログラムと、
を記憶しており、
前記切換方法抽出手段は、
前記差演算手段によって演算された差が、予め設定された第2の閾値以上の場合に、瞬時映像切換プログラムを抽出し、
前記差演算手段によって演算された差が、前記第2の閾値より小さい場合に、フェードイン・フェードアウト映像切換プログラムを抽出することを特徴とする請求項15に記載のテレビ会議システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003184323A JP2005020520A (ja) | 2003-06-27 | 2003-06-27 | テレビ会議システム |
US10/875,580 US7006122B2 (en) | 2003-06-27 | 2004-06-25 | Television conference system |
EP04253806A EP1492345A3 (en) | 2003-06-27 | 2004-06-25 | Television conference system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003184323A JP2005020520A (ja) | 2003-06-27 | 2003-06-27 | テレビ会議システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005020520A true JP2005020520A (ja) | 2005-01-20 |
Family
ID=33411135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003184323A Pending JP2005020520A (ja) | 2003-06-27 | 2003-06-27 | テレビ会議システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7006122B2 (ja) |
EP (1) | EP1492345A3 (ja) |
JP (1) | JP2005020520A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121123A1 (ja) * | 2005-05-12 | 2006-11-16 | Keio University | 画像切替システム |
US8553066B2 (en) | 2009-01-15 | 2013-10-08 | Brother Kogyo Kabushiki Kaisha | Conference control device, conference terminal device, and teleconference system |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200522293A (en) * | 2003-10-01 | 2005-07-01 | Koninkl Philips Electronics Nv | Electrical shielding in stacked dies by using conductive die attach adhesive |
US7688344B2 (en) * | 2004-12-17 | 2010-03-30 | Fuji Xerox Co., Ltd. | Systems and methods for mediating teleconferences |
GB201017382D0 (en) * | 2010-10-14 | 2010-11-24 | Skype Ltd | Auto focus |
US8553064B2 (en) | 2010-12-08 | 2013-10-08 | Cisco Technology, Inc. | System and method for controlling video data to be rendered in a video conference environment |
US8446455B2 (en) * | 2010-12-08 | 2013-05-21 | Cisco Technology, Inc. | System and method for exchanging information in a video conference environment |
US8947495B2 (en) * | 2011-12-06 | 2015-02-03 | Alcatel Lucent | Telepresence apparatus for immersion of a human image in a physical environment |
DE102014018205A1 (de) | 2014-12-09 | 2016-06-09 | Unify Gmbh & Co. Kg | Konferenzsystem und Verfahren zum Steuern des Konferenzsystems |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3519744A (en) * | 1967-06-16 | 1970-07-07 | Bell Telephone Labor Inc | Apparatus for connecting visual telephone sets in a conference arrangement |
FR2312904A1 (fr) * | 1975-05-27 | 1976-12-24 | Poirier Alain | Perfectionnements aux systemes et aux dispositifs de teleconference par visiophonie |
CA1279393C (en) * | 1987-01-23 | 1991-01-22 | A. David Milton | Digital signal processing system |
JP2000175170A (ja) * | 1998-12-04 | 2000-06-23 | Nec Corp | 多地点テレビ会議システム及びその通信方法 |
JP2000270304A (ja) * | 1999-03-17 | 2000-09-29 | Nec Corp | 多地点テレビ会議システム |
US6473114B1 (en) * | 2000-04-14 | 2002-10-29 | Koninklijke Philips Electronics N.V. | Method and system for indicating change of speaker in a videoconference application |
-
2003
- 2003-06-27 JP JP2003184323A patent/JP2005020520A/ja active Pending
-
2004
- 2004-06-25 EP EP04253806A patent/EP1492345A3/en not_active Withdrawn
- 2004-06-25 US US10/875,580 patent/US7006122B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121123A1 (ja) * | 2005-05-12 | 2006-11-16 | Keio University | 画像切替システム |
US8553066B2 (en) | 2009-01-15 | 2013-10-08 | Brother Kogyo Kabushiki Kaisha | Conference control device, conference terminal device, and teleconference system |
Also Published As
Publication number | Publication date |
---|---|
EP1492345A3 (en) | 2006-08-09 |
EP1492345A2 (en) | 2004-12-29 |
US20040264390A1 (en) | 2004-12-30 |
US7006122B2 (en) | 2006-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110944143B (zh) | 视频会议装置以及视频会议方法 | |
KR100511226B1 (ko) | 자동 멀티-카메라 비디오 컴포지션 | |
JP4208315B2 (ja) | データ通信制御装置及びその制御方法、データ通信システム、記録媒体 | |
US5907351A (en) | Method and apparatus for cross-modal predictive coding for talking head sequences | |
US6037970A (en) | Videoconference system and method therefor | |
NO317600B1 (no) | Taleomvandling for a gi bedret forstaelighet og basert pa deteksjon av taleintervaller | |
JPH0823530A (ja) | 音声信号及び映像信号のストリームの処理方法及び装置 | |
WO2008046967A1 (en) | Time scaling of multi-channel audio signals | |
TWI513320B (zh) | 視訊會議裝置及其唇形同步的方法 | |
JP2006262484A (ja) | 画像通信中の画像合成方法及び装置 | |
JP2001514826A (ja) | 静止画像の送信と表示の方法と装置 | |
JP2005020520A (ja) | テレビ会議システム | |
JP3818054B2 (ja) | 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体 | |
JPH1169330A (ja) | 留守録機能を備えた画像通信装置 | |
JP2020092301A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
CN114979783B (zh) | 一种音视频播放方法、装置和电子设备 | |
JPH08163526A (ja) | 映像選択装置 | |
JP3774521B2 (ja) | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 | |
JP2001357414A (ja) | アニメーション通信方法およびシステム並びにそれに用いる端末装置 | |
JPH10126757A (ja) | ビデオ会議システム | |
JP2011055234A (ja) | 電子会議システム、多地点接続装置、データ通信方法、プログラム、及び記録媒体 | |
JPS6284689A (ja) | 画像伝送表示方式 | |
JP7420078B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2013126103A (ja) | 通信装置および通信制御方法 | |
JP7196066B2 (ja) | データ処理装置、データ処理方法、プログラム、及び、データ処理システム |