JP2022098825A - Web conference system - Google Patents
Web conference system Download PDFInfo
- Publication number
- JP2022098825A JP2022098825A JP2020212442A JP2020212442A JP2022098825A JP 2022098825 A JP2022098825 A JP 2022098825A JP 2020212442 A JP2020212442 A JP 2020212442A JP 2020212442 A JP2020212442 A JP 2020212442A JP 2022098825 A JP2022098825 A JP 2022098825A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- concentration
- viewer
- presenter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、ウェブ会議システムに関する。 The present invention relates to a web conferencing system.
複数人で行う会議として、いわゆるウェブ会議が知られている。ウェブ会議は、対面型の会議とは異なり、参加者同士が離れた場所から端末及びネットワークを介して行うものである。ウェブ会議では、対面型の会議に比べて、他の参加者の反応や表情を把握することが難しい。これに対して、例えば、ウェブ会議の参加者のしぐさを検出して発言要求レベルをカウントし、一定以上カウントされたら挙手マークを表示することで、発言要求の高い参加者を容易に把握することが可能な技術が提案されている（例えば、特許文献１参照）。 A so-called web conference is known as a conference held by multiple people. Unlike a face-to-face conference, a web conference is held by participants from a remote location via a terminal and a network. In a web conference, it is more difficult to grasp the reactions and facial expressions of other participants than in a face-to-face conference. On the other hand, for example, by detecting the gestures of the participants in the web conference, counting the speech request level, and displaying the raised hand mark when the count exceeds a certain level, it is possible to easily grasp the participants with high speech requests. (For example, see Patent Document 1).
しかしながら、特許文献１に記載の技術では、参加者の集中度を把握することが難しく、参加者の集中度に応じて臨機応変に対応することが困難である。
However, with the technique described in
本発明は、上記に鑑みてなされたものであり、ウェブ会議において参加者が雰囲気に応じて臨機応変に対応することが可能なウェブ会議システムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a web conferencing system in which participants can respond flexibly according to the atmosphere in a web conferencing.
本発明に係るウェブ会議システムは、ネットワークを介して互いに情報を通信可能であり、ウェブ会議に参加する参加者が使用する複数の参加者端末を備え、前記参加者端末ごとに設けられ、前記ウェブ会議の内容を表示可能な表示部と、前記参加者の視線情報を取得する視線情報取得部と、所定のタイミングで前記表示部に目標領域を設定し、取得された前記視線情報に基づいて前記表示部における前記参加者の視線が前記目標領域に合致するか否かを判定する判定部と、判定結果に基づいて前記参加者の集中度を算出する集中度算出部と、前記参加者の前記集中度を少なくとも１つの前記表示部に表示させる表示制御部とを備える。 The web conferencing system according to the present invention is capable of communicating information with each other via a network, includes a plurality of participant terminals used by participants participating in the web conference, and is provided for each of the participant terminals. A display unit that can display the contents of the conference, a line-of-sight information acquisition unit that acquires the line-of-sight information of the participants, and a target area are set in the display unit at a predetermined timing, and the target area is set in the display unit, and the target area is set based on the acquired line-of-sight information. A determination unit that determines whether or not the line of sight of the participant matches the target area on the display unit, a concentration degree calculation unit that calculates the concentration degree of the participant based on the determination result, and the participant's above. A display control unit for displaying the degree of concentration on at least one display unit is provided.
本発明によれば、ウェブ会議において参加者が雰囲気に応じて臨機応変に対応することが可能となる。 According to the present invention, it is possible for a participant to respond flexibly according to the atmosphere in a web conference.
以下、本発明に係るウェブ会議システムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 Hereinafter, embodiments of the web conferencing system according to the present invention will be described with reference to the drawings. The present invention is not limited to this embodiment. In addition, the components in the following embodiments include those that can be easily replaced by those skilled in the art, or those that are substantially the same.
図１は、本実施形態に係るウェブ会議システム１００の一例を模式的示す図である。図２は、ウェブ会議システム１００の一例を示すブロック図である。図１及び図２に示すように、本実施形態において、ウェブ会議システム１００は、視聴者端末１０と、発表者端末２０とを備える。視聴者端末１０及び発表者端末２０は、ネットワークＮＷを介して互いに情報を通信可能であり、ウェブ会議に参加する参加者が使用する参加者端末である。本実施形態では、ウェブ会議の参加者として、所定の会議内容を発表する発表者と、発表者の発表内容を視聴する視聴者とが存在する場合を例に挙げて説明する。
FIG. 1 is a diagram schematically showing an example of the web conferencing system 100 according to the present embodiment. FIG. 2 is a block diagram showing an example of the web conferencing system 100. As shown in FIGS. 1 and 2, in the present embodiment, the web conferencing system 100 includes a
視聴者端末１０は、ウェブ会議の視聴者が使用する端末である。発表者端末２０は、ウェブ会議の発表者が使用する端末である。本実施形態では、発表者の発言内容を発表者端末２０から視聴者端末１０に送信し、視聴者端末１０で受信した発言内容を視聴者が視聴する態様でウェブ会議が行われる。
The
視聴者端末１０は、入力部１１と、表示部１２と、通信部１３と、記憶部１４と、制御部１５とを有する。入力部１１、表示部１２、通信部１３、記憶部１４及び制御部１５は、例えばバスライン等を介して接続されている。視聴者端末１０としては、例えば携帯電話、スマートフォン、タブレット、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ等の情報端末が挙げられる。
The
入力部１１は、情報を入力するための所定の入力操作が可能である。入力部１１は、入力操作に応じて、制御部１５に対する指示信号を出力する。入力部１１としては、例えばタッチパネル等の入力装置が用いられる。なお、入力部１１として、タッチパネルに加えて又はタッチパネルに代えて、ボタン、レバー、ダイヤル、スイッチ又は他の入力装置が用いられてもよい。入力部１１は、所定の入力操作に応じた指示信号を出力する。
The
表示部１２は、文字及び画像を含む各種情報を表示する。表示部１２は、液晶パネル等の表示パネルを有する。表示部１２は、視聴者端末１０ごとに設けられる。表示部１２は、ウェブ会議の内容等の情報を表示可能である。表示部１２の動作は、不図示の表示制御部により行われる。
The
通信部１３は、有線又は無線によりネットワークＮＷを介して発表者端末２０等の外部機器との間で情報の通信を行う。
The
記憶部１４は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部１４として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部１４は、視聴者端末１０のオペレーティングシステムや、入力部１１、表示部１２及び通信部１３の動作を制御するための各種プログラム及びデータ等を記憶する。
The
制御部１５は、入力部１１、表示部１２及び通信部１３の各部の制御を行う。また、制御部１５は、入力部１１による指示信号に応じた演算、処理等を行う。制御部１５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶装置を有している。
The
制御部１５は、図２に示すように、視線情報取得部１６と、判定部１７と、集中度算出部１８と、通信制御部１９とを有する。
As shown in FIG. 2, the
視線情報取得部１６は、視聴者の視線情報を取得する。視線情報取得部１６は、例えばカメラＣ１で撮影される視聴者の眼の映像に基づいて画像解析を行うことで、視聴者の視線情報を取得可能である。視線情報取得部１６は、例えば視聴者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出すること、又は視聴者の目頭の位置と虹彩の位置とに基づいて視線を検出すること等、各種の手法により視聴者の視線を検出することができる。視線情報取得部１６は、所定期間ごと、例えばカメラＣ１から出力されるフレーム同期信号の周期ごとに視線情報を取得することができる。
The line-of-sight
判定部１７は、所定のタイミングで表示部１２に目標領域を設定し、取得された視線情報に基づいて表示部１２における視聴者の視線が目標領域に合致するか否かを判定する。判定部１７は、表示部１２において例えば所定の画像が表示される位置に目標領域を設定することができる。判定部１７は、目標領域が設定される期間に、視聴者の視線が目標領域に存在するか否かをそれぞれ判定する。判定部３４は、所定期間ごと、例えばカメラＣ１から出力されるフレーム同期信号の周期と同一の周期とすることができる。
The
所定のタイミングとしては、例えば、表示部１２の表示が変化するタイミング、他の視聴者端末１０のマイクＭ１又は後述する発表者端末２０のマイクＭ２等の音声入力部により取得される他の視聴者又は発表者の音声から所定のキーワードが検出されるタイミング、及びスピーカＳ１等の音声出力部から他の視聴者又は発表者の音声が出力されなくなってから一定期間が経過したタイミング、の少なくとも１つを含む。また、所定のタイミングとしては、「ところで」「話は変わりますが」等の話題の切り替えを示すキーワードが検出されたタイミング、「ところが」「しかし」などの逆接の接続詞が検出されたタイミング、発表者の資料に含まれるワードと発表者の音声に含まれるワードが一致したタイミング、一定時間ごとのタイミング、視聴者をカメラＣ１で撮影している場合には当該視聴者の動きの程度が所定値よりも低くなったタイミング、等が挙げられる。
The predetermined timing is, for example, a timing at which the display of the
集中度算出部１８は、判定部１７の判定結果に基づいて、視聴者の集中度を算出する。集中度算出部１８は、視聴者端末１０ごと、つまり視聴者ごとの視線情報の特性を算出し、判定部１７の判定結果と特性情報の算出結果とに基づいて集中度を算出してもよい。視聴者ごとの視線情報の特性については、例えばウェブ会議が開始された直後等に行うことができる。集中度算出部１８は、例えば判定部１７において判定された回数と、視線が目標領域に存在すると判定された回数との割合に基づいて、集中度を算出することができる。
The concentration
通信制御部１９は、通信部１３を介してネットワークＮＷにアクセスし、発表者端末２０との間で情報の送受信を行う。通信制御部１９は、例えば発表者端末２０から発表者の発言内容を含む映像及び音声の少なくとも一方を通信部１３に受信させる。通信制御部１９は、視線情報、判定部の判定結果、視聴者の特性、集中度等の各情報を通信部１３から発表者端末２０に送信させる。
The
発表者端末２０は、入力部２１と、表示部２２と、通信部２３と、記憶部２４と、制御部２５とを有する。入力部２１、表示部２２、通信部２３、記憶部２４及び制御部２５は、例えばバスライン等を介して接続されている。発表者端末２０としては、視聴者端末１０と同様、例えば携帯電話、スマートフォン、タブレット、ノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータ等の情報端末が挙げられる。
The
入力部２１は、情報を入力するための所定の入力操作が可能である。入力部２１は、入力操作に応じて、制御部２５に対する指示信号を出力する。入力部２１としては、例えばタッチパネル等の入力装置が用いられる。なお、入力部２１として、タッチパネルに加えて又はタッチパネルに代えて、ボタン、レバー、ダイヤル、スイッチ又は他の入力装置が用いられてもよい。入力部２１は、所定の入力操作に応じた指示信号を出力する。
The
表示部２２は、文字及び画像を含む各種情報を表示する。表示部２２は、液晶パネル等の表示パネルを有する。表示部２２は、映像を含む情報を表示可能である。
The
通信部２３は、有線又は無線によりネットワークＮＷを介して視聴者端末１０等の外部機器との間で情報の通信を行う。通信部２３は、視聴者端末１０から送信された視線情報、判定部の判定結果、視聴者の特性、集中度等の各情報を受信する。
The
記憶部２４は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部２４として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部２４は、発表者端末２０のオペレーティングシステムや、入力部２１、表示部２２及び通信部２３の動作を制御するための各種プログラム及びデータ等を記憶する。
The
制御部２５は、入力部２１、表示部２２及び通信部２３の各部の制御を行う。また、制御部２５は、入力部２１による指示信号に応じた演算、処理等を行う。制御部２５は、ＣＰＵ等の処理装置や、ＲＡＭ、ＲＯＭ等の記憶装置を有している。制御部２５は、集中度取得部２６と、表示制御部２７と、通信制御部２８とを有する。
The
集中度取得部２６は、視聴者端末１０から送信され、通信部２３で受信された集中度を取得する。
The concentration
表示制御部２７は、例えばカメラＣ２で撮影された発表者の映像及びカメラＣ１で撮影された視聴者の映像を表示部２２に表示することができる。表示制御部２７は、取得した集中度を表示部２２に表示する。この場合、表示制御部２７は、例えば集中度を視聴者の映像に重畳させる等、視聴者の映像と対応付けた状態で表示することができる。
The
通信制御部２８は、通信部２３を介してネットワークＮＷにアクセスし、視聴者端末１０との間で情報の送受信を行う。通信制御部２８は、発表者の発表内容を含む映像及び音声の少なくとも一方を取得して通信部２３から視聴者端末１０に送信させる。通信制御部２８は、例えばカメラＣ２により発表者を撮影した発表者の映像を取得することができる。通信制御部２８は、例えばマイクＭ２に入力された発表者の音声を取得することができる。
The
次に、上記のように構成されたウェブ会議システム１００の動作の一例を説明する。以下、発表者端末２０において発表者が所定の内容を発表し、発表内容をカメラＣ２及びマイクＭ２で撮影及び録音により取得し、取得した発表内容を通信部２３から視聴者端末１０に送信し、視聴者が視聴者端末１０において発表内容を視聴する場合を例に挙げて説明する。
Next, an example of the operation of the web conferencing system 100 configured as described above will be described. Hereinafter, the presenter announces a predetermined content on the
発表者が発表者端末２０を用いて所定の内容を発表する場合、発表内容をカメラＣ２及びマイクＭ２で撮影及び録音により取得し、取得した発表内容を通信部２３から視聴者端末１０に送信する。発表者は、発表開始の際、視聴者端末１０において視聴者の特性を算出させるため、キャリブレーションを行わせるようにする。
When the presenter announces a predetermined content using the
図３は、キャリブレーション処理の一例を示す図である。図３に示すように、発表者は、視聴者端末１０の表示部１２の画面共有領域１２ｍにターゲットＴ１からＴ４が順に表示されるように発表を開始する。ターゲットＴ１～Ｔ４は、視聴者に視認可能な形状、文字、模様等の表示態様とすることができる。ここでは円形のターゲットを例に挙げているが、これに限定されず、他の表示態様であってもよい。このとき、発表者は、「ターゲットを見てください」というように視聴者にターゲットを見るように案内する旨の発言を行うようにしてもよい。また、視聴者にターゲットを見るように案内する文字情報を画面共有領域１２ｍに表示させるようにしてもよい。
FIG. 3 is a diagram showing an example of the calibration process. As shown in FIG. 3, the presenter starts the presentation so that the targets T1 to T4 are sequentially displayed in the
判定部１７は、ターゲットＴ１からＴ４が表示される期間、当該ターゲットＴ１からＴ４のそれぞれ位置に対応する目標領域ＡＲを設定する。視線情報取得部１６は、視聴者の視線情報を取得する。判定部１７は、視聴者の視線が目標領域ＡＲに存在するか否かを判定する。
The
例えば、最初のターゲットＴ１が表示されてから視聴者の視線がターゲットＴ１に対応する目標領域ＡＲに存在すると判定されるまでの時間は、視聴者によって異なる場合がある。同様に、ターゲットＴ１からターゲットＴ２に表示が切り替わる場合、表示が切り替わってから視聴者の視線がターゲットＴ２に対応する目標領域ＡＲに存在すると判定されるまでの時間は、視聴者によって異なる場合がある。このように、表示開始又は表示内容の変更から、視聴者が反応するまでの反応時間には、個人差が含まれる。 For example, the time from when the first target T1 is displayed until it is determined that the line of sight of the viewer exists in the target region AR corresponding to the target T1 may differ depending on the viewer. Similarly, when the display is switched from the target T1 to the target T2, the time from the switching of the display until it is determined that the line of sight of the viewer exists in the target area AR corresponding to the target T2 may differ depending on the viewer. .. As described above, the reaction time from the start of display or the change of the display content to the reaction of the viewer includes individual differences.
本実施形態では、このような反応時間の個人差を発表開始直後に行うことで、以降の視聴期間において、視聴者の視線情報から集中度を算出する場合に、反応時間の個人差を反映させることができる。例えば、集中度算出部１８は、判定部１７において判定された回数と、視線が目標領域に存在すると判定された回数との割合を算出した場合、反応時間が相対的に遅い視聴者については、反応時間が相対的に速い視聴者に比べて、当該割合が低くても同程度の集中度とすることができる。このように、視聴者ごとの特性を反映させることで、集中度を精度よく算出できる。
In the present embodiment, by performing such an individual difference in reaction time immediately after the start of presentation, the individual difference in reaction time is reflected when the degree of concentration is calculated from the line-of-sight information of the viewer in the subsequent viewing period. be able to. For example, when the concentration
キャリブレーション処理の後、視線情報取得部１６は、予め設定された所定のタイミング（トリガー）が発生したか否かを検出する。所定のタイミングとしては、例えば、表示部１２の表示が変化するタイミングが挙げられる。図４は、表示部１２の表示が変化する場合の一例を示す図である。図４の上側に示すように、表示部１２の画面共有領域１２ｍには、「資料１」を示すページ１２ａが表示されている。この状態から、図４の下側に示すように、画面共有領域１２ｍの表示が、「資料２」を示すページ１２ｂに切り替わる場合、判定部１７は、所定のタイミングが発生したと判定することができる。この場合、判定部１７は、ページ１２ｂの上部に目標領域ＡＲ１を設定する。
After the calibration process, the line-of-sight
図５は、表示部１２の表示が変化する場合の他の例を示す図である。表示部１２の表示が変化するタイミングの他の例として、表示部１２に表示されるポインタ等の指示指標が移動した場合が挙げられる。図５の上側に示すように、表示部１２の画面共有領域１２ｍには、指示指標であるポインタ１２ｐが資料を示すページ１２ｃの上部に配置されている。この状態から、図５の下側に示すように、ポインタ１２ｐがページ１２ｃの下部に移動した場合、判定部１７は、所定のタイミングが発生したと判定することができる。この場合、判定部１７は、表示部１２のうちポインタ１２ｐの移動先及びその周囲に目標領域ＡＲ２を設定する。
FIG. 5 is a diagram showing another example when the display of the
所定のタイミングとしては、上記の他に、例えば発表者がマイクＭ２を介して入力した音声のうち、所定のキーワードが検出されるタイミングが挙げられる。例えば、発表者は、マイクＭ２を介して「○○の位置を見てください」というように、視聴者にどこを見てほしいかを指示する旨の発言を行う場合がある。この発言により、視聴者が発表者の指示通りの位置を見ているかどうかを検出することで、視聴者の集中の度合いを求めることができる。 In addition to the above, the predetermined timing includes, for example, the timing at which a predetermined keyword is detected in the voice input by the presenter via the microphone M2. For example, the presenter may make a statement via the microphone M2 to instruct the viewer where to look, such as "Please look at the position of XX". From this statement, it is possible to determine the degree of concentration of the viewer by detecting whether or not the viewer is looking at the position as instructed by the presenter.
具体的には、発表者が表示部１２における特定の位置を見るように案内する内容のキーワードを、予め記憶部１４に記憶させておく。このようなキーワードとしては、例えば上下左右、真ん中、端等の方向又は位置を示すワード、文章、図面、写真等、表示対象を示すワード等が挙げられる。判定部１７は、発表者の発言内容と記憶部１４に記憶されたキーワードとを対比して、一致するワードを検出した場合に、トリガーが発生したと判定することができる。
Specifically, a keyword having a content that guides the presenter to look at a specific position on the
図６は、所定のタイミングが発生する他の例を示す図である。図６に示すように、発表者は、例えば「左下の図面を見てください」という旨の発言を行ったとする。この場合、発表者の音声は、視聴者端末１０のスピーカＳ１から出力される。図６に示す例では、左下の画面を見るように発表者が案内する発言に基づいて、判定部１７は、「左下」「図面」というワードを検出し、トリガーが発生したと判定できる。この場合、判定部１７は、検出したキーワードに基づいて、「左下」「図面」に対応する領域に目標領域ＡＲ３を設定する。図６に示す例では、図面Ｆ１、Ｆ２、Ｆ３が示されている。このうち、図面Ｆ１はページ１２ｄの左上に配置されている。図面Ｆ２は、ページ１２ｄの真ん中（やや右より）に配置されている。図面Ｆ３は、ページ１２ｄの左下に配置されている。また、ページ１２ｄの右上、右下は、文章が表示されている。このため、判定部１７は、左下の図面Ｆ３を含む領域に目標領域ＡＲ３を設定することができる。
FIG. 6 is a diagram showing another example in which a predetermined timing occurs. As shown in FIG. 6, it is assumed that the presenter makes a statement saying, for example, "Please see the drawing on the lower left". In this case, the sound of the presenter is output from the speaker S1 of the
所定のキーワードが検出されるタイミングの他の例として、発表者がマイクＭ２を介して「画面を共有します」という旨の発言を行う場合が挙げられる。画面が共有される場合、画面共有領域が表示部１２に表示される。したがって、発表者の「画面を共有します」の発言により、視聴者が画面共有領域を見ているかどうかを検出することで、視聴者の集中の度合いを求めることができる。
Another example of the timing at which a predetermined keyword is detected is the case where the presenter makes a statement to the effect that "the screen is shared" via the microphone M2. When the screen is shared, the screen sharing area is displayed on the
具体的には、発表者が画面を共有する旨を示すキーワードを、予め記憶部１４に記憶させておく。このようなキーワードとしては、例えば画面、共有等のワードが挙げられる。判定部１７は、発表者の発言内容と記憶部１４に記憶されたキーワードとを対比して、一致するワードを検出した場合に、トリガーが発生したと判定することができる。
Specifically, a keyword indicating that the presenter shares the screen is stored in the
図７は、所定のキーワードが検出されるタイミングの他の例を示す図である。図７の上側に示すように、画面が共有されていない場合、視聴者の表示部１２には、例えば発表者を示す画面１２ｅと、他の視聴者を示す画面１２ｆとが並んだ状態で表示される。この状態から、発表者が画面を共有する旨の発言を行ったとする。
FIG. 7 is a diagram showing another example of the timing at which a predetermined keyword is detected. As shown in the upper part of FIG. 7, when the screen is not shared, for example, the
この場合、発表者の音声は、視聴者端末１０のスピーカＳ１から出力される。発表者の「画面を共有します」という発言から、判定部１７は、「画面」「共有」というワードを検出し、トリガーが発生したと判定できる。発表者によって画面を共有する旨の操作が行われた場合、図７の下側に示すように、発表者の画面が拡大され、画面共有領域１２ｍが表示される。判定部１７は、検出したキーワードに基づいて、画面共有領域１２ｍに目標領域ＡＲ４を設定することができる。図７に示す例では、画面共有領域１２ｍにページ１２ｇが示されている。判定部１７は、画面共有領域１２ｍに表示されるページ１２ｇ内に目標領域ＡＲ４を設定することができる。
In this case, the sound of the presenter is output from the speaker S1 of the
また、図７の上側に示すように表示部１２において発表者を示す画面１２ｅと他の視聴者を示す画面１２ｆとが並んだ状態から、図７の下側に示すように発表者を示す画面１２ｅを画面共有領域１２ｍに移動させる場合、上記のキーワードをトリガーとする態様に限定されない。例えば、発表者を示す画面１２ｅが画面共有領域１２ｍに移動したことをトリガーとしてもよい。この場合、判定部１７は、画面共有領域１２ｍの全体又は一部に目標領域を設定することができる。なお、この構成では、例えば視聴者端末１０が、ステレオスピーカー又はステレオヘッドフォンと、音場定位が可能な処理部とを有する構成とすることができる。この場合、視聴者端末１０の表示部１２上のうち発表者を示す画面１２ｅ（移動後は画面共有領域１２ｍ）の位置から発表者の音声が聞こえるようにすることで、視聴者の視線誘導を活発化させることができる。このように、表示部１２の一部に画面１２ｅ等の対象物が表示された状態から、当該対象物が表示部１２の他の場所に移動した場合、判定部１７は、この対象物の移動をトリガーとすることができる。この場合、判定部１７は、移動先の対象物に対応する領域に目標領域を設定することができる。対象物は、発表者を示す画面１２ｅに限定されず、他の表示物（任意の画像）であってもよい。
Further, from the state where the
例えば、図４の下側において、「資料２」を示すページ１２ｂに切り替わる場合、発表者の画像を「資料２」の左上付近（図４の目標領域ＡＲ１の近く）に表示する。同時に、発表者の画像とページ１２ｂの上部を含む領域を目標領域ＡＲ１に設定する。このとき、発表者の画像のみを目標領域ＡＲ１に設定してもよい。また、発表者の画像ではなく任意の画像を表示し、その画像を含む領域を目標領域ＡＲ１に設定してもよい。
For example, when switching to
また、例えば、図５の上側において、ポインタ１２ｐの近くに発表者の画像を表示すると共に、ポインタ１２ｐと発表者の画像を含む領域を目標領域ＡＲ２に設定する。この状態から、図５の下側において、ポインタ１２ｐが下へ移動するにつれて発表者の画像も移動すると共に、ポインタ１２ｐと発表者の画像を含む領域を目標領域ＡＲ２に設定するようにしてもよい。このとき、ポインタ１２ｐが下へ移動するのと、発表者の画像が下へ移動するのは同時でなくてもよい。あるいは、ポインタ１２ｐは表示せず、発表者の画像のみを表示するようにして、発表者の画像を含む領域を目標領域ＡＲ２に設定してもよい。また、発表者の画像ではなく任意の画像を表示し、その画像を含む領域を目標領域ＡＲ２に設定してもよい。さらに、ポインタ１２ｐ、発表者の画像、任意の画像のいずれかの移動をもって、トリガーとしてもよい。
Further, for example, on the upper side of FIG. 5, the image of the presenter is displayed near the
上記した例の他、トリガーの発生として、例えばスピーカＳ１等の音声出力部から他の視聴者又は発表者の音声が出力されなくなってから一定期間が経過したタイミングとすることができる。音声が出力されなくなってから一定期間が経過した場合、集中している視聴者は、例えば視聴者端末１０に異常が生じたか否かを確認する操作を行おうとする場合がある。この場合、例えば表示部１２に表示されるツールバー等を見ようとして、表示部１２の上下左右の辺側に視線を移動させる。したがって、判定部１７は、スピーカＳ１等の音声出力部から他の視聴者又は発表者の音声が出力されなくなってから一定期間が経過した場合に、トリガーが発生したと判定することができる。この場合、判定部１７は、例えば表示部１２の上下左右の辺に沿った領域に目標領域を設定することができる。
In addition to the above example, the trigger can be generated at a timing when a certain period of time has elapsed since the audio of another viewer or presenter is no longer output from the audio output unit such as the speaker S1. When a certain period of time has passed since the sound is no longer output, the concentrated viewer may try to perform an operation for confirming whether or not an abnormality has occurred in the
判定部１７により目標領域が設定された場合、視線情報取得部１６は、視聴者の視線情報を取得する。判定部１７は、視聴者の視線が目標領域に合致するか否かを判定する。集中度算出部１８は、視聴者ごとの特性と、判定結果とに基づいて、集中度を算出することができる。集中度算出部１８は、例えば集中度が、低い（０）及び高い（１）の２段階、又は集中度が、低い（０）、やや低い（１）、普通（２）、やや高い（３）、高い（４）等の段階の値として、集中度を算出することができる。
When the target area is set by the
通信制御部１９は、参照情報及び集中度の情報を、例えばリアルタイムで通信部１３から発表者端末２０に送信させる。
The
発表者端末２０において、通信部２３は、視聴者端末１０から送信された上記各情報を受信する。集中度取得部２６は、それぞれの視聴者端末１０から送信され、通信部２３で受信された集中度を取得する。集中度取得部２６は、取得した集中度を視聴者と対応付けて記憶部２４に記憶させる。図８は、記憶部２４に記憶される集中度の一例を模式的に示す図である。図８に示すように、記憶部２４には、例えば視聴者１～視聴者５と、判定結果１～判定結果５と、視聴者ごとの特性１～特性５と、集中度（やや低い、普通、やや高い、高い、やや高い）とが対応して記憶される。
In the
表示制御部２７は、取得した集中度を表示部２２に表示する。図９は、表示部２２に表示される集中度の一例を示す図である。図９に示すように、表示制御部２７は、発表者の発表内容をカメラＣ２で撮影した映像を表示する発表者表示画面２２ａと、視聴者の様子をカメラＣ１で撮影した映像を表示する視聴者表示画面２２ｂとを表示部２２に表示する。表示制御部２７は、記憶部２４に記憶された集中度を、例えば視聴者表示画面２２ｂに重畳して表示することができる。この場合、表示制御部２７は、集中度の大きさを示す数値、アイコン、インジケータ等の各種の表示態様により集中度を表示することができる。図９では、顔のアイコン２２ｃが集中度として表示されている。この例では、アイコン２２ｃの表情について、表情に笑顔の度合いが強く含まれるほど集中度が高く、怒った顔の度合いが強く含まれるほど集中度が低いことを示している。なお、集中度の表示例としては、これに限定されず、数値又はインジケータ等の他の表示態様であってもよい。
The
発表者は、表示部２２に表示される集中度を見て、集中度が向上するように発表の内容や発表の仕方等に反映させることができる。
図１０は、本実施形態に係るウェブ会議システム１００の動作の流れの一例を示すフローチャートである。図１０では、視聴者端末１０での処理と、発表者端末２０での処理とを分けた状態でフローチャートを記載している。発表者が発表者端末２０を用いて所定の内容を発表する場合、発表内容をカメラＣ２及びマイクＭ２で撮影及び録音により取得し、取得した発表内容を通信部２３から視聴者端末１０に送信する（ステップＳ１０１）。
視聴者端末１０では、発表者端末２０から送信された発表内容を受信して出力する（ステップＳ１０２）。視聴者は、出力された発表内容を視聴する。視聴者端末１０において、集中度算出部１８は、発表内容の出力が開始された場合、視聴者ごとの特性を算出するキャリブレーション処理を行う（ステップＳ１０３）。キャリブレーション処理の後、判定部１７は、予め設定された所定のタイミング（トリガー）が発生したか否かを検出する（ステップＳ１０４）。判定部１７は、トリガーを検出しない場合（ステップＳ１０４のＮｏ）、ステップＳ１０４の処理を繰り返し行う。ステップＳ１０４においてトリガーを検出した場合（ステップＳ１０４のＹｅｓ）、判定部１７は、表示部１２に目標領域を設定する（ステップＳ１０５）。目標領域が設定された場合、視線情報取得部１６は、視聴者の視線情報を取得する（ステップＳ１０６）。判定部１７は、視線情報に基づいて、視聴者の視線が目標領域に合致するか否かを判定する（ステップＳ１０７）。集中度算出部１８は、当該判定結果と、視聴者ごとの特性とに基づいて、集中度を算出する（ステップＳ１０８）。通信制御部１９は、算出された集中度を通信部１３から発表者端末２０に送信する（ステップＳ１０９）。
The presenter can see the degree of concentration displayed on the
FIG. 10 is a flowchart showing an example of the operation flow of the web conferencing system 100 according to the present embodiment. In FIG. 10, a flowchart is described in a state where the processing on the
The
その後、視聴者端末１０では、制御部１５において、発表者の発表が終了したか否かの判定を行う（ステップＳ１１０）。発表者の発表が終了したと判定された場合（ステップＳ１１０のＹｅｓ）、処理を終了する。また、発表者の発表が終了していないと判定された場合（ステップＳ１１０のＮｏ）、ステップＳ１０６以降の処理を繰り返し行う。
After that, in the
発表者端末２０では、ステップＳ１０９で送信される集中度を通信部２３において受信し、受信された集中度を集中度取得部２６において取得する（ステップＳ１１１）。集中度取得部２６は、取得した集中度を記憶部２４に記憶させる。表示制御部２７は、記憶部２４に記憶された集中度を表示部２２に表示する（ステップＳ１１２）。
In the
その後、発表者端末２０では、制御部２５において、発表者の発表が終了したか否かの判定を行う（ステップＳ１１３）。発表者の発表が終了したと判定された場合（ステップＳ１１３のＹｅｓ）、処理を終了する。また、発表者の発表が終了していないと判定された場合（ステップＳ１１３のＮｏ）、ステップＳ１１１以降の処理を繰り返し行う。
After that, in the
以上のように、本実施形態に係るウェブ会議システム１００は、ネットワークＮＷを介して互いに情報を通信可能であり、視聴者端末１０及び発表者端末２０ごとに設けられ、ウェブ会議の内容を表示可能な表示部１２と、視聴者の視線情報を取得する視線情報取得部１６と、所定のタイミングで表示部１２に目標領域を設定し、取得された視線情報に基づいて表示部１２における視聴者の視線が目標領域に合致するか否かを判定する判定部１７と、判定結果に基づいて視聴者の集中度を算出する集中度算出部１８と、視聴者の集中度を表示部２２に表示させる表示制御部２７とを備える。
As described above, the web conferencing system 100 according to the present embodiment can communicate information with each other via the network NW, and is provided for each of the
本実施形態によれば、ウェブ会議において、視聴者の視線が目標領域に合致するか否かに基づいて視聴者の集中度が算出され、算出された集中度が表示部２２に表示されるため、発表者は表示部２２を見ることで視聴者の集中度を把握することができる。したがって、発表者がウェブ会議の雰囲気を容易に把握することができる。この結果、例えば発表者が雰囲気に応じてウェブ会議を臨機応変に進行することが可能となる。このように、参加者が雰囲気に応じてウェブ会議に臨機応変に対応することが可能となる。
According to the present embodiment, in the web conference, the concentration of the viewer is calculated based on whether or not the line of sight of the viewer matches the target area, and the calculated concentration is displayed on the
本実施形態に係るウェブ会議システム１００において、表示部１２は、所定の画像を表示可能であり、判定部１７は、所定の画像が表示される位置に目標領域を設定する。この構成では、表示部１２に表示される所定の画像を見ているか否かに基づいて視聴者の集中度を適切に求めることができる。
In the web conferencing system 100 according to the present embodiment, the
本実施形態に係るウェブ会議システム１００において、所定のタイミングは、表示部１２の表示が変化するタイミング、音声入力部により取得される参加者の音声から所定のキーワードが検出されるタイミング、及び音声出力部から参加者の音声が出力されなくなってから一定期間が経過したタイミングの少なくとも１つを含む。この構成では、視聴者の視線を判定開始するタイミングを設定することで、集中度を適切に求めることができる。
In the web conferencing system 100 according to the present embodiment, the predetermined timings are the timing when the display of the
本実施形態に係るウェブ会議システム１００において、集中度算出部１８は、参加者端末ごとの視線情報の特性を算出し、判定結果と特性とに基づいて、集中度を算出する。この構成では、視聴者の特性を反映させることで集中度を適切に算出できる。
In the web conferencing system 100 according to the present embodiment, the
本実施形態に係るウェブ会議システム１００において、集中度算出部１８は、ウェブ会議の開始時に特性の算出を行う。この構成では、ウェブ会議の開始時に特性の算出を行うことで、以降のウェブ会議において特性が集中度に反映されることになる。
In the web conferencing system 100 according to the present embodiment, the
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記した実施形態では、参加者のうち視聴者の集中度を算出する場合を例に挙げて説明したが、これに限定されない。例えば、発表者の集中度を算出可能な構成であってもよい。この場合、発表者端末２０の制御部２５には、視線情報取得部１６、判定部１７及び集中度算出部１８と同様の構成が設けられ、制御部２５において発表者の集中度が算出される。表示制御部２７は、算出された発表者の集中度を、例えば図９に示すように、発表者端末２０の表示部２２の発表者表示画面２２ａにアイコン２２ｄ等として表示することができる。なお、算出された発表者の集中度が視聴者端末１０に送信され、視聴者端末１０の表示部１２に表示される構成であってもよい。
The technical scope of the present invention is not limited to the above-described embodiment, and changes can be made as appropriate without departing from the spirit of the present invention. For example, in the above-described embodiment, the case of calculating the concentration ratio of the viewers among the participants has been described as an example, but the present invention is not limited to this. For example, the configuration may be such that the concentration of presenters can be calculated. In this case, the
また、上記実施形態では、視聴者の集中度が発表者端末２０の表示部２２に表示される場合を例に挙げて説明したが、これに限定されない。例えば、視聴者の集中度が視聴者端末１０の表示部１２に表示される構成であってもよい。この構成により、視聴者が自身の集中度を把握しながら発表者の発表内容を視聴することができる。
Further, in the above embodiment, the case where the concentration level of the viewer is displayed on the
また、上記実施形態では、視線情報取得部１６、判定部１７及び集中度算出部１８が視聴者端末１０に設けられる構成を例に挙げて説明したが、これに限定されない。例えば、ウェブ会議システム１００が、視聴者端末１０及び発表者端末２０に加えて、ネットワークＮＷを介して視聴者端末１０及び発表者端末２０と通信可能な不図示のサーバ装置を備える構成である場合、当該サーバ装置に判定部１７及び集中度算出部１８の少なくとも一方が設けられる構成であってもよい。この場合、視聴者端末１０及び発表者端末２０では、サーバ装置で判定された判定結果を通信部１３、２３が受信し、受信した判定結果に基づいて集中度を算出することができる。また、視聴者端末１０及び発表者端末２０では、サーバ装置で算出された集中度を受信し、受信した集中度を表示部１２、２２に表示することができる。
Further, in the above embodiment, the configuration in which the line-of-sight
また、上記実施形態では、集中度算出部１８がスコアの累積結果に基づいて集中度を算出する構成を例に挙げて説明したが、これに限定されない。集中度算出部１８は、例えば端末（視聴者端末１０、参加者端末２０）の使用期間（例えば、視聴期間、発表期間）のうちの一部におけるスコアを算出し、当該スコアに基づいて集中度を算出してもよい。
Further, in the above embodiment, the configuration in which the concentration
Ｃ１，Ｃ２…カメラ、Ｍ１，Ｍ２…マイク、Ｓ１…スピーカ、Ｔ１，Ｔ２…ターゲット、ＡＲ，ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４…目標領域、ＮＷ…ネットワーク、１，５…視聴者，特性、１０…視聴者端末、１１，２１…入力部、１２，２２…表示部、１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｇ…ページ、１２ｅ，１２ｆ…画面、１２ｍ…画面共有領域、１２ｐ…ポインタ、１３，２３…通信部、１４，２４…記憶部、１５，２５…制御部、１６…視線情報取得部、１７，３４…判定部、１８…集中度算出部、１９，２８…通信制御部、２０…発表者端末、２２ａ…発表者表示画面、２２ｂ…視聴者表示画面、２２ｃ，２２ｄ…アイコン、２６…集中度取得部、２７…表示制御部、１００…ウェブ会議システム
C1, C2 ... camera, M1, M2 ... microphone, S1 ... speaker, T1, T2 ... target, AR, AR1, AR2, AR3, AR4 ... target area, NW ... network, 1,5 ... viewer, characteristics, 10 ...
Claims (5)
前記参加者端末ごとに設けられ、前記ウェブ会議の内容を表示可能な表示部と、
前記参加者の視線情報を取得する視線情報取得部と、
所定のタイミングで前記表示部に目標領域を設定し、取得された前記視線情報に基づいて前記表示部における前記参加者の視線が前記目標領域に合致するか否かを判定する判定部と、
判定結果に基づいて前記参加者の集中度を算出する集中度算出部と、
前記参加者の前記集中度を少なくとも１つの前記表示部に表示させる表示制御部と
を備えるウェブ会議システム。 It is capable of communicating information with each other over a network and has multiple participant terminals used by participants attending a web conference.
A display unit provided for each participant terminal and capable of displaying the contents of the web conference,
The line-of-sight information acquisition unit that acquires the line-of-sight information of the participants,
A determination unit that sets a target area on the display unit at a predetermined timing and determines whether or not the line of sight of the participant in the display unit matches the target area based on the acquired line-of-sight information.
The concentration calculation unit that calculates the concentration of the participants based on the judgment result,
A web conferencing system including a display control unit that displays the concentration level of the participants on at least one display unit.
前記判定部は、前記所定の画像が表示される位置に前記目標領域を設定する
請求項１に記載のウェブ会議システム。 The display unit can display a predetermined image and can display a predetermined image.
The web conferencing system according to claim 1, wherein the determination unit sets the target area at a position where the predetermined image is displayed.
請求項１又は請求項２に記載のウェブ会議システム。 The predetermined timing is the timing at which the display of the display unit changes, the timing at which the predetermined keyword is detected from the voice of the participant acquired by the voice input unit, and the voice of the participant is output from the voice output unit. The web conferencing system according to claim 1 or 2, which includes at least one of the timings at which a certain period of time has elapsed since the computer is no longer used.
請求項１から請求項３のいずれか一項に記載のウェブ会議ステム。 The concentration calculation unit calculates the characteristics of the line-of-sight information for each participant terminal, and calculates the concentration based on the determination result and the characteristics. Any one of claims 1 to 3. Web conferencing system described in section.
請求項４に記載のウェブ会議システム。 The web conferencing system according to claim 4, wherein the concentration calculation unit calculates the characteristics at the start of the web conferencing.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020212442A JP2022098825A (en) | 2020-12-22 | 2020-12-22 | Web conference system |
| PCT/JP2021/045706 WO2022131178A1 (en) | 2020-12-15 | 2021-12-10 | Web conferencing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020212442A JP2022098825A (en) | 2020-12-22 | 2020-12-22 | Web conference system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022098825A true JP2022098825A (en) | 2022-07-04 |
Family
ID=82261778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020212442A Pending JP2022098825A (en) | 2020-12-15 | 2020-12-22 | Web conference system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022098825A (en) |
-
2020
- 2020-12-22 JP JP2020212442A patent/JP2022098825A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3047356B1 (en) | Configuration of a touch screen display for conferencing | |
| JP6798484B2 (en) | Information processing systems, control methods, and programs | |
| EP3937154A1 (en) | Method for video interaction and electronic device | |
| CN109407822B (en) | Nausea and video streaming prevention techniques for collaborative virtual reality | |
| US12015874B2 (en) | System and methods to determine readiness in video collaboration | |
| US20220224735A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and method | |
| CN111601064B (en) | Information interaction method and information interaction device | |
| JP2014225801A (en) | Conference system, conference method and program | |
| US11836282B2 (en) | Method and device for surfacing physical environment interactions during simulated reality sessions | |
| US20170279898A1 (en) | Method for Accessing Virtual Desktop and Mobile Terminal | |
| US20220232191A1 (en) | Content distribution device, content distribution program, content distribution method, content display device, content display program, and content display method | |
| KR20190121758A (en) | Information processing apparatus, information processing method, and program | |
| US20170208022A1 (en) | Chat system | |
| WO2018061173A1 (en) | Tv conference system, tv conference method, and program | |
| KR20170124758A (en) | Method for providing conference service and apparatus thereof | |
| US20230093298A1 (en) | Voice conference apparatus, voice conference system and voice conference method | |
| JP2022098825A (en) | Web conference system | |
| WO2022131178A1 (en) | Web conferencing system | |
| WO2015079865A1 (en) | Input device, communication information identification method, processing device, display device, program, and recording medium | |
| US20240171418A1 (en) | Information processing device and information processing method | |
| JP7152453B2 (en) | Information processing device, information processing method, information processing program, and information processing system | |
| JP7257986B2 (en) | Content distribution device, content distribution program, content distribution method, content display device, content display program, and content display method | |
| JP2021121913A (en) | Information processing device and information processing method | |
| JP2022094736A (en) | Web conference system | |
| JP7150114B1 (en) | COMMUNICATION SUPPORT SYSTEM, COMMUNICATION SUPPORT METHOD, AND COMMUNICATION SUPPORT PROGRAM |