JP7464853B2 - Information processing device, information processing method, and program - Google Patents
Information processing device, information processing method, and program Download PDFInfo
- Publication number
- JP7464853B2 JP7464853B2 JP2021213734A JP2021213734A JP7464853B2 JP 7464853 B2 JP7464853 B2 JP 7464853B2 JP 2021213734 A JP2021213734 A JP 2021213734A JP 2021213734 A JP2021213734 A JP 2021213734A JP 7464853 B2 JP7464853 B2 JP 7464853B2
- Authority
- JP
- Japan
- Prior art keywords
- participants
- display
- information processing
- processing system
- control means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 26
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000008921 facial expression Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 19
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、情報処理装置、情報処理方法、プログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
昨今のリモートワーク推進の流れにより、リモートでセミナーや研修が行われる機会が増加している。Web上だと画面を表示していても、発話者が参加者の顔を一度に見渡すことができず参加者の反応があるのか認識しづらく、参加者が内容を理解できないまま進行してしまう可能性がある The recent trend towards promoting remote work has led to an increase in remote seminars and training sessions. Even if the screen is displayed online, the speaker cannot see the participants' faces at once, making it difficult to recognize whether the participants are responding, and there is a risk that the content will not be understood by the participants.
特許文献1には、ユーザの頭部が所定方向に振れて頷く頷き状態を反応状態として検出することが記載されている。しかし頷きだけでは相手の反応が分かりづらいので、発話者にとっては相手の表情等の他の要素も見ながら発表できるほうが良い。相手の反応が分かりづらい環境だと、発話者にとって発表しづらく、満足のいくようなウェビナーを開催することができない可能性がある。 Patent Document 1 describes detecting a nodding state, in which the user nods their head in a specific direction, as a reaction state. However, it is difficult to understand the other person's reaction from nodding alone, so it is better for the speaker to be able to make a presentation while also seeing other elements such as the other person's facial expression. In an environment where it is difficult to understand the other person's reaction, it is difficult for the speaker to make a presentation, and there is a possibility that the webinar will not be able to be held to a satisfactory extent.
そこで、本発明は、反応の良いユーザを優先的に表示することを目的とする。 Therefore, the present invention aims to give priority to displaying users who respond well.
上記目的を達成するために、本発明の情報処理システムは、
ウェブ会議の参加者 の反応を検出する検出手段と、
前記検出手段によって検出された反応に基づき、会議画面における参加者の表示を 制御する表示制御手段と、
を備えることを特徴とする。
In order to achieve the above object, the information processing system of the present invention comprises:
A detection means for detecting responses of participants in the web conference;
A display control means for controlling the display of the participants on the conference screen based on the reaction detected by the detection means;
The present invention is characterized by comprising:
本発明によれば、反応の良いユーザを優先的に表示することが可能となる。 According to the present invention, it is possible to give priority to users who respond well.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 The following describes an embodiment of the present invention in detail with reference to the drawings.
図1は、本発明における情報処理システムの構成の一例を示す図である。 Figure 1 shows an example of the configuration of an information processing system according to the present invention.
本発明における情報処理システムは、サーバ装置100とクライアント端末101とがネットワーク102を通じて通信可能に接続されたシステムとなっている。サーバ装置100はクライアント端末101同士のコミュニケーションを確立する機能を提供しており、クライアント端末101はWeb会議に参加しているクライアント端末の映像を表示する機能を持つ。
The information processing system of the present invention is a system in which a server device 100 and a
クライアント端末101は、例えば、デスクトップPC、ノートPC、またはタブレットPCなど種々のパーソナルコンピューターを採用しうるし、スマートフォン等の携帯端末を利用してもよい。クライアント端末101は、ディスプレイを備え、サーバ装置100から提供される会議画面をディスプレイに表示する。クライアント端末101は、カメラ機能、マイク機能及びスピーカー機能を有している。カメラ、マイク、スピーカー等の各デバイスは、別々の筐体であってもいいし、同じ筐体のハードディスクに備えられていてもよい。図1においては、クライアント端末102は2台しか図示していないが、複数台であっても良い。
The
図2は、本発明の情報処理装置(サーバ装置100、クライアント端末101)のハードウェア構成の一例を示すブロック図である。 Figure 2 is a block diagram showing an example of the hardware configuration of an information processing device (server device 100, client terminal 101) of the present invention.
図2に示すように、情報処理装置は、システムバス200を介してCPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、記憶装置204、入力コントローラ205、音声コントローラ206、ビデオコントローラ207、メモリコントローラ208、よび通信I/Fコントローラ209が接続される。
As shown in FIG. 2, the information processing device is connected to a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, a
CPU201は、システムバス200に接続される各デバイスやコントローラを統括的に制御する。
The
ROM202あるいは外部メモリ213は、CPU201が実行する制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ(データテーブルを含む)を保持している。
The
RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ213からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。
入力コントローラ205は、キーボード210や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができることとする。
The
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 The touch panel may also be a touch panel capable of detecting positions touched by multiple fingers, such as a multi-touch screen.
ビデオコントローラ207は、ディスプレイ212などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。
The
なおビデオコントローラ207は、表示制御を行うためのビデオメモリ(VRAM)を制御することが可能で、ビデオメモリ領域としてRAM203の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
The
メモリコントローラ208は、外部メモリ213へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置(ハードディスク)、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等を利用可能である。
The
通信I/Fコントローラ209は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信やISDNなどの電話回線、および携帯電話の4G回線、5G回線等を用いた通信が可能である。
The communication I/
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ212上での表示を可能としている。また、CPU201は、ディスプレイ212上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
次に、本発明の適用対象の一例である読み取られた表情に応じた表示画面の並び替えについて、全体像を説明する。 Next, we will provide an overview of rearrangement of the display screen according to the facial expression that has been read, which is one example of an application of the present invention.
まず、図12に示すポジション選択画面を介して、参加者のポジションに当てはまるものの選択を受け付ける。その後は会議中の表示映像からユーザの表情が検知され、頷き、首振り又は表情の変化などが検知されると表示優先度が加算されていく。5分毎に表示優先度を集計して、その集計結果(図15)から点数の高い順にユーザが並べられ、図10のようにユーザが並び替えられた状態の画面がディスプレイに表示される。 First, the selection of the appropriate position for the participant is accepted via the position selection screen shown in Figure 12. Thereafter, the user's facial expression is detected from the video displayed during the conference, and the display priority is incremented whenever a nod, head shake, or change in facial expression is detected. The display priority is tallied every five minutes, and the users are sorted in descending order of points based on the tally (Figure 15). A screen with the users sorted as shown in Figure 10 is displayed on the display.
表示優先度とは、ユーザが画面に表示される際の順番を決定するための重みであり、点数が高いユーザほど、画面上に表示される可能性が高くなる。本実施例では、重み付けにより表示優先度が決定されるが、ユーザの動作や表情変化などのリアクションに基づき表示順を制御するものであれば、重みや点数を用いる方法でなくても良い。 Display priority is a weighting that determines the order in which users are displayed on the screen, and the higher the score of a user, the more likely they are to be displayed on the screen. In this embodiment, the display priority is determined by weighting, but the method does not have to use weighting or scores as long as the display order is controlled based on the user's actions, reactions such as changes in facial expression, etc.
次に図3のフローチャートを用いて、本実施例における全体の流れを表す基本ワークフローの一例を説明する。 Next, an example of a basic workflow that shows the overall flow in this embodiment will be explained using the flowchart in Figure 3.
図3のフローチャートで示す処理は、サーバ装置100のCPU201が所定の制御プログラムを読み出して実行する処理である。
The process shown in the flowchart in FIG. 3 is a process in which the
ステップS201では、サーバ装置100はクライアント端末101からポジション選択リクエストを受信したか否かを判定する。
In step S201, the server device 100 determines whether or not a position selection request has been received from the
ポジション選択リクエストを受信している場合には、ステップS207へ進む。そうでない場合は、ステップS203へ進む。 If a position selection request has been received, proceed to step S207. If not, proceed to step S203.
ステップS202では、サーバ装置100はクライアント端末101からポジション選択リクエストを受信すると、図3に示すポジション選択ワークフローを実行する。
In step S202, when the server device 100 receives a position selection request from the
ステップS203では、サーバ装置100はWeb会議が終了するまでループを行う。 In step S203, the server device 100 loops until the Web conference ends.
ステップS204では、サーバ装置100は図4に示す表情読み取りワークフローを実行する。 In step S204, the server device 100 executes the facial expression reading workflow shown in FIG. 4.
ステップS205では、サーバ装置100は図5に示す参加者表示ワークフローを実行する。 In step S205, the server device 100 executes the participant display workflow shown in FIG. 5.
ステップS206では、サーバ装置100はクライアント端末101から会話ローテーションリクエストを受信したか否かを判定する。
In step S206, the server device 100 determines whether or not a conversation rotation request has been received from the
会話ローテーションリクエストを受信している場合には、ステップS207へ進む。そうでない場合は、ステップS203へ戻る。 If a conversation rotation request has been received, proceed to step S207. If not, return to step S203.
ステップS207は、サーバ装置100はクライアント端末101から会話ローテーションリクエストを受信すると、図6に示す会話ローテーションワークフローを実行する。
In step S207, when the server device 100 receives a conversation rotation request from the
以上の処理を会議が終了するまで繰り返すことにより、参加者の表情に応じて表示優先度を変更することが可能となる。 By repeating the above process until the end of the meeting, it becomes possible to change the display priority according to the facial expressions of the participants.
次に、図4を用いて本実施例におけるポジション選択ワークフローを説明する。図4はステップS202で実行されるワークフローである。 Next, the position selection workflow in this embodiment will be described with reference to FIG. 4. FIG. 4 shows the workflow executed in step S202.
ステップS301では、サーバ装置100はクライアント端末101から参加者のポジション情報を受信する。なおここで受信するポジション情報は、クライアント端末101が図12に示すポジション選択画面において参加者からの選択を受け付け、受け付けたポジションに係るポジション情報をサーバ装置100に送信したものである。
In step S301, the server device 100 receives the position information of the participants from the
ステップS302では、サーバ装置100はステップS301で受信したポジション情報が会議主催者であるかを判定する。すなわち、クライアント端末101において図12で主催者1201の選択を受け付けたか否かを判定する。
In step S302, the server device 100 determines whether the position information received in step S301 is the conference organizer. In other words, it determines whether the selection of the
会議主催者であると判定される場合は、ステップS303に進む。そうでない場合は、ステップS304に進む。 If it is determined that the person is the conference organizer, proceed to step S303. If not, proceed to step S304.
ステップS303では、サーバ装置100は主催者であると選択した参加者の表示優先度の値を10加算し、重みづけを行う。 In step S303, the server device 100 adds 10 to the display priority value of the participant selected as the organizer to perform weighting.
ステップS304では、サーバ装置100はS301で受信したポジション情報が管理職であるか否かを判定する。すなわち、クライアント端末101において図12で管理職1202の選択を受け付けたか否かを判定する。
In step S304, the server device 100 determines whether the position information received in S301 is a managerial position. That is, it determines whether the selection of
管理職であると判定される場合は、ステップS305へ進む。そうでない場合はステップS306へ進む。 If it is determined that the person is a manager, proceed to step S305. If not, proceed to step S306.
ステップS305では、サーバ装置100は管理職であると選択した参加者の表示優先度の値を5加算し、重みづけを行う。 In step S305, the server device 100 adds 5 to the display priority value of the participant selected as being in a managerial position to perform weighting.
ステップ306では、S303、S305で重みづけを行った結果を取得し、サーバ装置100は表示優先度の値を降順にソートする。
In
以上の処理を行うことにより、主催者や管理職といった主要人物は優先的に画面上に表示しておくことが可能となる。主催者や管理職といったポジションは一例であり、優先的に画面上に表示しておきたいポジション(属性)があれば、そのポジションの選択を受け付けるようにしても良い。 By carrying out the above process, it becomes possible to display key people such as organizers and managers on the screen with priority. Positions such as organizers and managers are just examples, and if there is a position (attribute) that you would like to display on the screen with priority, you can accept the selection of that position.
次に、図5を用いて本実施例における表情読み取りワークフローを説明する。図5はステップS204で実行されるワークフローである。 Next, the facial expression reading workflow in this embodiment will be described with reference to FIG. 5. FIG. 5 shows the workflow executed in step S204.
ステップS401では、サーバ装置100はクライアント端末101からWeb会議参加者のビデオカメラ映像を受信する。
In step S401, the server device 100 receives video camera images of the Web conference participants from the
ステップS402では、サーバ装置100はS401で取得した参加者のビデオカメラ映像から参加者の動きおよび表情の検知を行う。 In step S402, the server device 100 detects the movements and facial expressions of the participants from the video camera images of the participants acquired in S401.
ステップS403では、サーバ装置100はS402で検知した動きおよび表情が頷きであるか否かを判定する。 In step S403, the server device 100 determines whether the movement and facial expression detected in S402 are a nod.
頷きであると判定された場合、ステップS404へ進む。そうでない場合、ステップS405へ進む。 If it is determined to be a nod, proceed to step S404. If not, proceed to step S405.
ステップS404では、サーバ装置100は頷きを検知した参加者の表示優先度の値を3加算し、重みづけを行う。 In step S404, the server device 100 adds 3 to the display priority value of the participant who detected the nod, and performs weighting.
ステップS405では、サーバ装置100はS402で検知した動きおよび表情が首振りであるかを判定する。 In step S405, the server device 100 determines whether the movement and facial expression detected in S402 is a head shake.
首振りがあると判定された場合、ステップS406へ進む。そうでない場合、ステップS407へ進む。 If it is determined that there is head shaking, proceed to step S406. If not, proceed to step S407.
ステップS406では、サーバ装置100は首振りを検知した参加者の表示優先度の値を2加算し、重みづけを行う。 In step S406, the server device 100 adds 2 to the display priority value of the participant who detected the head shake, and performs weighting.
ステップS407では、サーバ装置100はS403で検知した表情に変化があるかを判定する。 In step S407, the server device 100 determines whether there has been a change in the facial expression detected in S403.
表情に変化があると判定された場合、ステップS408へ進む。そうでない場合、ステップS409へ進む。 If it is determined that there is a change in facial expression, proceed to step S408. If not, proceed to step S409.
ステップS408では、サーバ装置100は表情に変化があると判定された参加者の表示優先度の値を1加算し、重みづけを行う。 In step S408, the server device 100 adds 1 to the display priority value of the participant whose facial expression is determined to have changed, thereby weighting the participant.
ステップS409では、サーバ装置100は参加者ごとにS404、S406、S408で重みづけが行われた過去5分間の表示優先度の値を集計する。 In step S409, the server device 100 tallies the display priority values for the past 5 minutes that were weighted in steps S404, S406, and S408 for each participant.
ステップS410では、サーバ装置100は、図2のS202でポジション選択ワークフローが実行されているか否かを判定する。 In step S410, the server device 100 determines whether the position selection workflow is being executed in step S202 of FIG. 2.
実行していると判定された場合、ステップS411へ進む。そうでない場合、ステップS412へ進む。 If it is determined that it is being executed, proceed to step S411. If not, proceed to step S412.
ステップS411では、サーバ装置100は、参加者ごとに図3のS303、S305で重みづけを行った表示優先度とS409で集計した表示優先度を取得し、集計を行う。具体的には両者の値を足し合わせる。 In step S411, the server device 100 obtains the display priority weighted in steps S303 and S305 in FIG. 3 for each participant and the display priority counted in step S409, and performs counting. Specifically, the two values are added together.
ステップS412では、サーバ装置100は、S409またはS411で集計した表示優先度を取得し、表示優先度の値が降順になるように参加者をソートする(例えば、図15のような結果になる)。 In step S412, the server device 100 obtains the display priority values collected in step S409 or S411, and sorts the participants in descending order of display priority values (for example, the result is as shown in FIG. 15).
以上の処理を実行することにより、参加者の中で反応が大きい人物を特定することができ、ポジション選択の結果も加味した表示優先度を決定することが可能となる。本実施例では、頷き、首振り又は表情の変化を例に挙げているが、参加者のリアクションを特定できるものであれば何れでも構わない。 By executing the above process, it is possible to identify participants who are more responsive and to determine display priorities that also take into account the results of position selection. In this embodiment, nodding, head shaking, and changes in facial expression are given as examples, but anything that can identify the participant's reaction will do.
また、頷き、首振り又は表情の変化などの参加者の反応が検知された場合、該当する参加者に自身の反応が検知された旨の通知を行うようにしても良い。 In addition, if a participant's reaction such as a nod, a head shake, or a change in facial expression is detected, the participant may be notified that their reaction has been detected.
次に、図6を用いて本実施例における参加者表示ワークフローを説明する。図6はステップS205で実行されるワークフローである。 Next, the participant display workflow in this embodiment will be described with reference to FIG. 6. FIG. 6 shows the workflow executed in step S205.
ステップS501では、サーバ装置100はクライアント端末101から画面共有が行われているか否かを判定する。
In step S501, the server device 100 determines whether screen sharing is being performed from the
画面共有が行われていると判定された場合は、ステップS502へ進む。そうでない場合は、ステップS505へ進む。 If it is determined that screen sharing is occurring, proceed to step S502. If not, proceed to step S505.
ステップS502では、サーバ装置100はWeb会議参加者が発話を行っているか否かを判定する。 In step S502, the server device 100 determines whether a Web conference participant is speaking.
発話を行っていると判定された場合は、ステップS503へ進む。そうでない場合は、ステップS504へ進む。 If it is determined that speech is occurring, proceed to step S503. If not, proceed to step S504.
ステップS503では、サーバ装置100は発話を行っているWeb会議参加者の映像とS412において降順でソートした表示優先度の上位8人の参加者の映像をクライアント端末101に表示させる。
In step S503, the server device 100 causes the
ステップS504では、サーバ装置100はS412において降順でソートした表示優先度の上位9人の参加者の映像をクライアント端末101に表示させる。例えば、図8はソートする前の表示画面である。図8の表示画面から、図15の表示優先度の集計結果に応じて上位9名が表示されるようにソートされ、図10のような表示画面になる。
In step S504, the server device 100 causes the
図8及び図10では、参加者が10人以上いる場合は画面を切り替えることで他の参加者の映像を表示することが可能である。 In Figures 8 and 10, if there are 10 or more participants, it is possible to display the images of other participants by switching the screen.
ステップS505では、サーバ装置100はWeb会議参加者が発話を行っているか否かを判定する。 In step S505, the server device 100 determines whether a Web conference participant is speaking.
発話を行っていると判定された場合は、ステップS506へ進む。そうでない場合は、ステップS507へ進む。 If it is determined that speech is occurring, proceed to step S506. If not, proceed to step S507.
ステップS506では、サーバ装置100は発話を行っているWeb会議参加者の映像とS412において降順でソートした表示優先度の上位4人の参加者の映像をクライアント端末101に表示させる。
In step S506, the server device 100 causes the
ステップS507では、サーバ装置100はS412において降順でソートした表示優先度の上位5人の参加者の映像をクライアント端末101に表示させる。例えば、図9はソートする前の表示画面である。図9の表示画面から、図15の表示優先度の集計結果に応じて上位5名が表示されるようにソートされ、図11のような表示画面になる。
In step S507, the server device 100 causes the
図9及び図11では、参加者が6人以上いる場合は画面を切り替えることで他の参加者の映像を表示することが可能である。 In Figures 9 and 11, if there are six or more participants, it is possible to display the images of other participants by switching the screen.
以上の処理を実行することにより、画面共有が行われている場合とそうでない場合では表示できる参加者の数は異なるので、それぞれの場合に応じた表示が可能となる。また、表示優先度とは関係なく、発話者は常に画面に表示されるようになる。
なお、不図示であるが、会議主催者や管理職については、映像が表示される枠の表示形態(色や太さなど)を変えることで、会議主催者や管理職といった参加者の属性を識別可能に表示するよう制御しても良い。
By executing the above process, the number of participants that can be displayed differs depending on whether the screen is shared or not, so it is possible to display them according to the respective cases. Also, the speaker will always be displayed on the screen regardless of the display priority.
Although not shown in the figure, the display format (color, thickness, etc.) of the frame in which the video is displayed may be changed to control the display of the attributes of participants such as the conference organizer or managers so that they can be identified.
次に、図7を用いて本実施例における会話ローテーションワークフローを説明する。図7はステップS207で実行されるワークフローである。 Next, the conversation rotation workflow in this embodiment will be described with reference to FIG. 7. FIG. 7 shows the workflow executed in step S207.
ステップS601では、サーバ装置100はS412において降順でソートした表示優先度を取得する。 In step S601, the server device 100 obtains the display priorities sorted in descending order in S412.
ステップS602では、サーバ装置100はクライアント端末101から会話ローテーションを行う人数のリクエストを受信する。具体的には、クライアント端末101は、図13で示すリクエスト画面により人数の選択1301を受け付ける。そして送信ボタン1302の押下を受け付けると、リクエストをサーバ装置100へ送信する。
In step S602, the server device 100 receives a request for the number of people to perform conversation rotation from the
ステップS603では、サーバ装置100はS602で取得した会話ローテーションの人数ループを行う。発話者として指名された参加者は、図14に示すように表示画面内に「発話者1」などの表示1401がなされる。なお、会話ローテーション機能を利用して発話者が発話をしている場合は、他の参加者はミュートになる。 In step S603, the server device 100 loops the number of participants for the conversation rotation acquired in S602. The participant designated as the speaker is displayed as "Speaker 1" or the like 1401 on the display screen as shown in FIG. 14. Note that when a speaker is speaking using the conversation rotation function, the other participants are muted.
ステップS604では、サーバ装置100はS601で取得したソートした表示優先度の順に、上位からWeb会議参加者に会話を促すリクエストをクライアント端末101に送信する。
In step S604, the server device 100 sends a request to the
ステップS605では、サーバ装置100はクライアント端末101からWeb会議参加者の会話終了リクエストを受信する。
In step S605, the server device 100 receives a request from the
以上の処理により、反応がいい人ほど話を聞いている可能性も高いので、そのような人物を中心に指名することが可能となり、活発な議論の場が期待できるようになる。また、ローテーション機能を採用することにより、複数の音声が被ってしまうという課題を避けることができる。 By processing the above, people who are more responsive are more likely to be listening, so it is possible to nominate such people, which will lead to lively discussions. In addition, by adopting a rotation function, the issue of multiple voices overlapping can be avoided.
本実施例のような処理を実行することで、反応の良い参加者が常に画面上に表示されることになり、発話者にとっても発言しやすいような環境を提供することが可能となる。 By executing the process of this embodiment, participants who are most responsive will always be displayed on the screen, providing an environment in which it is easy for speakers to speak.
また、本実施例では、反応が良い順で参加者が表示されるような仕組みを提供しているが、表情が豊かな人物(キーマン)を一人特定して、そのキーマンが常に画面上に表示されるような方法であっても良い。 In addition, this embodiment provides a mechanism for displaying participants in order of best reactions, but it is also possible to use a method in which one person with expressive faces (a key person) is identified and that key person is always displayed on the screen.
本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 The present invention can be embodied, for example, as a system, device, method, program, or recording medium. Specifically, it may be applied to a system made up of multiple devices, or to an apparatus made up of a single device.
また、本発明におけるプログラムは、図3、4、5、6、7に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図3、4、5、6、7の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図3、4、5、6、7の各装置の処理方法ごとのプログラムであってもよい。 The program of the present invention is a program that enables a computer to execute the processing methods of the flowcharts shown in Figures 3, 4, 5, 6, and 7, and the storage medium of the present invention stores a program that enables a computer to execute the processing methods of Figures 3, 4, 5, 6, and 7. The program of the present invention may be a program for each processing method of each device of Figures 3, 4, 5, 6, and 7.
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, it goes without saying that the object of the present invention can be achieved by supplying a recording medium on which a program that realizes the functions of the above-mentioned embodiments is recorded to a system or device, and having the computer (or CPU or MPU) of that system or device read and execute the program stored on the recording medium.
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program read from the recording medium itself realizes the novel functions of the present invention, and the recording medium on which the program is recorded constitutes the present invention.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、DVD-ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることが出来る。 Recording media for supplying the program may include, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a DVD-ROM, a magnetic tape, a non-volatile memory card, a ROM, an EEPROM, a silicon disk, etc.
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, it goes without saying that not only are the functions of the above-mentioned embodiments realized by the computer executing a program it has read, but also that the functions of the above-mentioned embodiments can be realized by an operating system (OS) or the like running on the computer carrying out some or all of the actual processing based on the instructions of the program.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, it goes without saying that this also includes cases where a program read from a recording medium is written into a memory provided on a function expansion board inserted into a computer or a function expansion unit connected to a computer, and then a CPU or the like provided on the function expansion board or function expansion unit performs some or all of the actual processing based on the instructions of the program code, thereby realizing the functions of the above-mentioned embodiments.
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 The present invention may be applied to a system made up of multiple devices, or to a device made up of a single device. Needless to say, the present invention can also be applied to cases where the effects of the present invention are achieved by supplying a program to a system or device. In this case, the effects of the present invention can be enjoyed by reading a recording medium that stores a program for achieving the present invention into the system or device.
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or device can enjoy the effects of the present invention. Note that the present invention also includes configurations that combine the above-mentioned embodiments and their modified examples.
100 サーバ装置
101 クライアント端末
102 ネットワーク
100
Claims (12)
前記検出手段によって検出された反応に基づき決定される表示優先度に従い、会議画面における参加者の表示を制御する表示制御手段と、
前記表示優先度の順番で参加者に対して発話を許可する制御手段と、
を備えることを特徴とする情報処理システム。 A detection means for detecting responses of participants in the web conference;
a display control means for controlling display of the participants on the conference screen in accordance with a display priority determined based on the reaction detected by the detection means;
A control means for allowing the participants to speak in the order of the display priority;
An information processing system comprising:
前記制御手段は、前記受付手段で受け付けた人数の参加者に対して発話を許可することを特徴とする請求項1乃至4の何れか1項に記載の情報処理システム。 A reception means is provided for receiving the number of participants who are permitted to speak,
5. The information processing system according to claim 1, wherein the control means permits speech from a number of participants accepted by the acceptance means.
前記表示制御手段は、前記特定手段により特定された参加者の映像を会議画面に表示するよう制御することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理システム。 a specifying means for specifying a participant to be displayed on a conference screen based on the reaction detected by the detecting means;
10. The information processing system according to claim 1, wherein the display control means controls so that an image of the participant specified by the specifying means is displayed on a conference screen.
情報処理システムの表示制御手段が、前記検出工程によって検出された反応に基づき決定される表示優先度に従い、会議画面における参加者の表示を制御する表示制御工程と、
情報処理システムの制御手段が、前記表示優先度の順番で参加者に対して発話を許可する制御工程と、
を備えることを特徴とする情報処理方法。 A detection step in which a detection means of the information processing system detects responses of participants in the web conference;
a display control step in which a display control means of the information processing system controls display of the participants on the conference screen in accordance with a display priority determined based on the reaction detected by the detection step;
a control step of allowing the participants to speak in the order of the display priority by a control means of the information processing system;
An information processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021213734A JP7464853B2 (en) | 2021-12-28 | 2021-12-28 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021213734A JP7464853B2 (en) | 2021-12-28 | 2021-12-28 | Information processing device, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023097551A JP2023097551A (en) | 2023-07-10 |
JP7464853B2 true JP7464853B2 (en) | 2024-04-10 |
Family
ID=87071620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021213734A Active JP7464853B2 (en) | 2021-12-28 | 2021-12-28 | Information processing device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7464853B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003304337A (en) | 2002-04-08 | 2003-10-24 | Nec Corp | Speech control system in remote conference system |
JP2013110508A (en) | 2011-11-18 | 2013-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Conference apparatus, conference method, and conference program |
JP2013183183A (en) | 2012-02-29 | 2013-09-12 | Nippon Telegr & Teleph Corp <Ntt> | Conference device, conference method and conference program |
JP2017111643A (en) | 2015-12-17 | 2017-06-22 | キヤノンマーケティングジャパン株式会社 | Web conference system, information processing method, and program |
US20170244930A1 (en) | 2016-02-19 | 2017-08-24 | Microsoft Technology Licensing, Llc | Communication Event |
JP2018174479A (en) | 2017-03-31 | 2018-11-08 | キヤノンマーケティングジャパン株式会社 | Image display system, control method therefor, information processor, control method therefor and program |
JP2021022909A (en) | 2019-07-30 | 2021-02-18 | 株式会社リコー | Information processing apparatus, information processing program, information processing system, and information processing method |
JP2021034900A (en) | 2019-08-26 | 2021-03-01 | 沖電気工業株式会社 | Processing device, processing program, and processing method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07336660A (en) * | 1994-06-14 | 1995-12-22 | Matsushita Electric Ind Co Ltd | Video conference system |
-
2021
- 2021-12-28 JP JP2021213734A patent/JP7464853B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003304337A (en) | 2002-04-08 | 2003-10-24 | Nec Corp | Speech control system in remote conference system |
JP2013110508A (en) | 2011-11-18 | 2013-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Conference apparatus, conference method, and conference program |
JP2013183183A (en) | 2012-02-29 | 2013-09-12 | Nippon Telegr & Teleph Corp <Ntt> | Conference device, conference method and conference program |
JP2017111643A (en) | 2015-12-17 | 2017-06-22 | キヤノンマーケティングジャパン株式会社 | Web conference system, information processing method, and program |
US20170244930A1 (en) | 2016-02-19 | 2017-08-24 | Microsoft Technology Licensing, Llc | Communication Event |
JP2018174479A (en) | 2017-03-31 | 2018-11-08 | キヤノンマーケティングジャパン株式会社 | Image display system, control method therefor, information processor, control method therefor and program |
JP2021022909A (en) | 2019-07-30 | 2021-02-18 | 株式会社リコー | Information processing apparatus, information processing program, information processing system, and information processing method |
JP2021034900A (en) | 2019-08-26 | 2021-03-01 | 沖電気工業株式会社 | Processing device, processing program, and processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2023097551A (en) | 2023-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3430802B1 (en) | Selectable interaction elements in a 360-degree video stream | |
JP2017111643A (en) | Web conference system, information processing method, and program | |
JP7464853B2 (en) | Information processing device, information processing method, and program | |
JP2017112601A (en) | Information processing apparatus, information processing method, and program | |
JP2023127541A (en) | Electronic comic distribution system, electronic comic distribution program, and application program | |
JP2019117997A (en) | Web conference system, control method of web conference system, and program | |
KR102178924B1 (en) | Method and apparatus for providing performance of contents using virtual reality | |
JP7206481B2 (en) | Information processing device, control method and program for information processing device | |
TWI729323B (en) | Interactive gamimg system | |
JP2020126438A (en) | Shared information processing device and control program | |
JP7292765B1 (en) | Communication controller and computer program | |
JP2016163111A (en) | Information processing device, information processing method, and program | |
JP7421134B2 (en) | Information processing system, information processing method, program | |
JP7525801B2 (en) | Information processing system, control program, and information processing device | |
US20240203075A1 (en) | Collaborative system | |
KR102528522B1 (en) | Application processing method for providing group video call | |
JP7347725B1 (en) | Display program, display method and display system | |
JP7212255B2 (en) | Information processing system, control program and information processing device | |
WO2024029135A1 (en) | Display rpogram, display method, and display system | |
JP2022107186A (en) | Web conference system | |
WO2024058157A1 (en) | Propagation system, propagation method, and propagation program | |
JP2015222567A (en) | Information processor, control method for information processor, and program | |
Rantala et al. | User experiences of mobile audio conferencing with spatial audio, haptics and gestures | |
JP2023146047A (en) | Information processing system, information processing method, and program | |
JP2020127126A (en) | Information processing system and control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7464853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |