JP7464853B2 - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP7464853B2
JP7464853B2 JP2021213734A JP2021213734A JP7464853B2 JP 7464853 B2 JP7464853 B2 JP 7464853B2 JP 2021213734 A JP2021213734 A JP 2021213734A JP 2021213734 A JP2021213734 A JP 2021213734A JP 7464853 B2 JP7464853 B2 JP 7464853B2
Authority
JP
Japan
Prior art keywords
participants
display
information processing
processing system
control means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021213734A
Other languages
Japanese (ja)
Other versions
JP2023097551A (en
Inventor
亮賢 福永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2021213734A priority Critical patent/JP7464853B2/en
Publication of JP2023097551A publication Critical patent/JP2023097551A/en
Application granted granted Critical
Publication of JP7464853B2 publication Critical patent/JP7464853B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

昨今のリモートワーク推進の流れにより、リモートでセミナーや研修が行われる機会が増加している。Ｗｅｂ上だと画面を表示していても、発話者が参加者の顔を一度に見渡すことができず参加者の反応があるのか認識しづらく、参加者が内容を理解できないまま進行してしまう可能性がある The recent trend towards promoting remote work has led to an increase in remote seminars and training sessions. Even if the screen is displayed online, the speaker cannot see the participants' faces at once, making it difficult to recognize whether the participants are responding, and there is a risk that the content will not be understood by the participants.

特開２０１０－１５４３８７号公報JP 2010-154387 A

特許文献１には、ユーザの頭部が所定方向に振れて頷く頷き状態を反応状態として検出することが記載されている。しかし頷きだけでは相手の反応が分かりづらいので、発話者にとっては相手の表情等の他の要素も見ながら発表できるほうが良い。相手の反応が分かりづらい環境だと、発話者にとって発表しづらく、満足のいくようなウェビナーを開催することができない可能性がある。 Patent Document 1 describes detecting a nodding state, in which the user nods their head in a specific direction, as a reaction state. However, it is difficult to understand the other person's reaction from nodding alone, so it is better for the speaker to be able to make a presentation while also seeing other elements such as the other person's facial expression. In an environment where it is difficult to understand the other person's reaction, it is difficult for the speaker to make a presentation, and there is a possibility that the webinar will not be able to be held to a satisfactory extent.

そこで、本発明は、反応の良いユーザを優先的に表示することを目的とする。 Therefore, the present invention aims to give priority to displaying users who respond well.

上記目的を達成するために、本発明の情報処理システムは、
ウェブ会議の参加者 の反応を検出する検出手段と、
前記検出手段によって検出された反応に基づき、会議画面における参加者の表示を 制御する表示制御手段と、
を備えることを特徴とする。
 In order to achieve the above object, the information processing system of the present invention comprises:
A detection means for detecting responses of participants in the web conference;
A display control means for controlling the display of the participants on the conference screen based on the reaction detected by the detection means;
The present invention is characterized by comprising:

本発明によれば、反応の良いユーザを優先的に表示することが可能となる。 According to the present invention, it is possible to give priority to users who respond well.

本発明の実施形態におけるシステム全体構成の一例を示す図である。1 is a diagram illustrating an example of an overall system configuration according to an embodiment of the present invention. 本発明の実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。1 is a block diagram showing an example of a hardware configuration of an information processing device according to an embodiment of the present invention. 本発明の実施形態における、基本ワークフローの一例を示すフローチャートである。1 is a flowchart showing an example of a basic workflow in an embodiment of the present invention. 本発明の実施形態における、ポジション選択ワークフローの一例を示すフローチャートである。11 is a flowchart illustrating an example of a position selection workflow in the embodiment of the present invention. 本発明の実施形態における、表情読み取りワークフローの一例を示すフローチャートである。1 is a flowchart showing an example of a facial expression reading workflow in an embodiment of the present invention. 本発明の実施形態における、参加者表示ワークフローの一例を示すフローチャートである。11 is a flowchart illustrating an example of a participant display workflow in an embodiment of the present invention. 本発明の実施形態における、会話ローテーションワークフローの一例を示すフローチャートである。1 is a flowchart illustrating an example of a conversation rotation workflow in accordance with an embodiment of the present invention. 本発明の実施形態における、クライアント端末で表示される参加者の映像の一例を示す図である。FIG. 11 is a diagram showing an example of an image of participants displayed on a client terminal in the embodiment of the present invention. 本発明の実施形態における、クライアント端末で画面共有時に表示される参加者の映像の一例を示す図である。11A and 11B are diagrams illustrating an example of an image of a participant displayed on a client terminal during screen sharing in an embodiment of the present invention. 本発明の実施形態における、表示優先機能を使用した際のクライアント端末で表示される参加者の映像の一例を示す図である。FIG. 13 is a diagram showing an example of an image of participants displayed on a client terminal when a display priority function is used in an embodiment of the present invention. 本発明の実施形態における、表示優先機能を使用した際のクライアント端末で画面共有時に表示される参加者の映像の一例を示す図である。11A and 11B are diagrams illustrating an example of video of participants displayed on a client terminal during screen sharing when a display priority function is used in an embodiment of the present invention. 本発明の実施形態における、クライアント端末でポジション選択リクエストを送信する際の一例を示す図である。FIG. 13 is a diagram showing an example of sending a position selection request from a client terminal in an embodiment of the present invention. 本発明の実施形態における、クライアント端末で会話ローテーションリクエストを送信する際の一例を示す図である。FIG. 11 is a diagram showing an example of sending a conversation rotation request from a client terminal in an embodiment of the present invention. 本発明の実施形態における、クライアント端末で会話ローテーションを行う発話者の表示の一例を示す図である。11A and 11B are diagrams illustrating an example of a display of speakers performing conversation rotation on a client terminal in an embodiment of the present invention. 本発明の実施形態における、サーバで参加者を表示優先度順にソートした一例を示すデータテーブルである。11 is a data table showing an example in which participants are sorted in order of display priority on the server in the embodiment of the present invention.

以下、図面を参照して、本発明の実施形態を詳細に説明する。 The following describes an embodiment of the present invention in detail with reference to the drawings.

図１は、本発明における情報処理システムの構成の一例を示す図である。 Figure 1 shows an example of the configuration of an information processing system according to the present invention.

本発明における情報処理システムは、サーバ装置１００とクライアント端末１０１とがネットワーク１０２を通じて通信可能に接続されたシステムとなっている。サーバ装置１００はクライアント端末１０１同士のコミュニケーションを確立する機能を提供しており、クライアント端末１０１はＷｅｂ会議に参加しているクライアント端末の映像を表示する機能を持つ。 The information processing system of the present invention is a system in which a server device 100 and a client terminal 101 are connected to each other so that they can communicate with each other via a network 102. The server device 100 provides a function for establishing communication between the client terminals 101, and the client terminals 101 have a function for displaying images of client terminals participating in a Web conference.

クライアント端末１０１は、例えば、デスクトップＰＣ、ノートＰＣ、またはタブレットＰＣなど種々のパーソナルコンピューターを採用しうるし、スマートフォン等の携帯端末を利用してもよい。クライアント端末１０１は、ディスプレイを備え、サーバ装置１００から提供される会議画面をディスプレイに表示する。クライアント端末１０１は、カメラ機能、マイク機能及びスピーカー機能を有している。カメラ、マイク、スピーカー等の各デバイスは、別々の筐体であってもいいし、同じ筐体のハードディスクに備えられていてもよい。図１においては、クライアント端末１０２は２台しか図示していないが、複数台であっても良い。 The client terminal 101 may be, for example, a variety of personal computers such as a desktop PC, notebook PC, or tablet PC, or may be a mobile terminal such as a smartphone. The client terminal 101 has a display and displays the conference screen provided by the server device 100 on the display. The client terminal 101 has a camera function, a microphone function, and a speaker function. Each device such as the camera, microphone, and speaker may be in a separate housing, or may be provided on a hard disk in the same housing. Although only two client terminals 102 are shown in FIG. 1, there may be multiple client terminals.

図２は、本発明の情報処理装置（サーバ装置１００、クライアント端末１０１）のハードウェア構成の一例を示すブロック図である。 Figure 2 is a block diagram showing an example of the hardware configuration of an information processing device (server device 100, client terminal 101) of the present invention.

図２に示すように、情報処理装置は、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。 As shown in FIG. 2, the information processing device is connected to a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, a storage device 204, an input controller 205, an audio controller 206, a video controller 207, a memory controller 208, and a communication I/F controller 209 via a system bus 200.

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。 The CPU 201 provides overall control over each device and controller connected to the system bus 200.

ＲＯＭ２０２あるいは外部メモリ２１３は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。 The ROM 202 or external memory 213 holds the BIOS (Basic Input/Output System) and OS (Operating System), which are control programs executed by the CPU 201, computer-readable and executable programs for implementing this information processing method, and various necessary data (including data tables).

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１３からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。 RAM 203 functions as the main memory, work area, etc. of CPU 201. CPU 201 loads programs and the like required for executing processing from ROM 202 or external memory 213 into RAM 203, and executes the loaded programs to realize various operations.

入力コントローラ２０５は、キーボード２１０や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。 The input controller 205 controls input from input devices such as a keyboard 210 and a pointing device such as a mouse (not shown). If the input device is a touch panel, the user can give various instructions by pressing (touching with a finger, etc.) icons, cursors, or buttons displayed on the touch panel.

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。 The touch panel may also be a touch panel capable of detecting positions touched by multiple fingers, such as a multi-touch screen.

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。 The video controller 207 controls the display on an external output device such as a display 212. The display also includes the display of a notebook computer that is integrated with the main body. Note that the external output device is not limited to a display, and may be, for example, a projector. In addition, for devices that can accept the aforementioned touch operations, an input device is also provided.

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。 The video controller 207 can control a video memory (VRAM) for display control, and can use part of the RAM 203 as a video memory area, or can provide a separate dedicated video memory.

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。 The memory controller 208 controls access to the external memory 213. The external memory can be an external storage device (hard disk) that stores the boot program, various applications, font data, user files, edit files, and various data, a flexible disk (FD), or a compact flash (registered trademark) memory connected to a PCMCIA card slot via an adapter.

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の４Ｇ回線、５Ｇ回線等を用いた通信が可能である。 The communication I/F controller 209 connects and communicates with external devices via a network, and executes communication control processing on the network. For example, communication using TCP/IP, telephone lines such as ISDN, and 4G and 5G lines for mobile phones are possible.

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。 The CPU 201 can display the outline font on the display 212 by, for example, executing a process of expanding (rasterizing) the outline font in a display information area in the RAM 203. The CPU 201 can also allow the user to give instructions using a mouse cursor (not shown) on the display 212.

次に、本発明の適用対象の一例である読み取られた表情に応じた表示画面の並び替えについて、全体像を説明する。 Next, we will provide an overview of rearrangement of the display screen according to the facial expression that has been read, which is one example of an application of the present invention.

まず、図１２に示すポジション選択画面を介して、参加者のポジションに当てはまるものの選択を受け付ける。その後は会議中の表示映像からユーザの表情が検知され、頷き、首振り又は表情の変化などが検知されると表示優先度が加算されていく。５分毎に表示優先度を集計して、その集計結果（図１５）から点数の高い順にユーザが並べられ、図１０のようにユーザが並び替えられた状態の画面がディスプレイに表示される。 First, the selection of the appropriate position for the participant is accepted via the position selection screen shown in Figure 12. Thereafter, the user's facial expression is detected from the video displayed during the conference, and the display priority is incremented whenever a nod, head shake, or change in facial expression is detected. The display priority is tallied every five minutes, and the users are sorted in descending order of points based on the tally (Figure 15). A screen with the users sorted as shown in Figure 10 is displayed on the display.

表示優先度とは、ユーザが画面に表示される際の順番を決定するための重みであり、点数が高いユーザほど、画面上に表示される可能性が高くなる。本実施例では、重み付けにより表示優先度が決定されるが、ユーザの動作や表情変化などのリアクションに基づき表示順を制御するものであれば、重みや点数を用いる方法でなくても良い。 Display priority is a weighting that determines the order in which users are displayed on the screen, and the higher the score of a user, the more likely they are to be displayed on the screen. In this embodiment, the display priority is determined by weighting, but the method does not have to use weighting or scores as long as the display order is controlled based on the user's actions, reactions such as changes in facial expression, etc.

次に図３のフローチャートを用いて、本実施例における全体の流れを表す基本ワークフローの一例を説明する。 Next, an example of a basic workflow that shows the overall flow in this embodiment will be explained using the flowchart in Figure 3.

図３のフローチャートで示す処理は、サーバ装置１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。 The process shown in the flowchart in FIG. 3 is a process in which the CPU 201 of the server device 100 reads and executes a specific control program.

ステップＳ２０１では、サーバ装置１００はクライアント端末１０１からポジション選択リクエストを受信したか否かを判定する。 In step S201, the server device 100 determines whether or not a position selection request has been received from the client terminal 101.

ポジション選択リクエストを受信している場合には、ステップＳ２０７へ進む。そうでない場合は、ステップＳ２０３へ進む。 If a position selection request has been received, proceed to step S207. If not, proceed to step S203.

ステップＳ２０２では、サーバ装置１００はクライアント端末１０１からポジション選択リクエストを受信すると、図３に示すポジション選択ワークフローを実行する。 In step S202, when the server device 100 receives a position selection request from the client terminal 101, it executes the position selection workflow shown in FIG. 3.

ステップＳ２０３では、サーバ装置１００はＷｅｂ会議が終了するまでループを行う。 In step S203, the server device 100 loops until the Web conference ends.

ステップＳ２０４では、サーバ装置１００は図４に示す表情読み取りワークフローを実行する。 In step S204, the server device 100 executes the facial expression reading workflow shown in FIG. 4.

ステップＳ２０５では、サーバ装置１００は図５に示す参加者表示ワークフローを実行する。 In step S205, the server device 100 executes the participant display workflow shown in FIG. 5.

ステップＳ２０６では、サーバ装置１００はクライアント端末１０１から会話ローテーションリクエストを受信したか否かを判定する。 In step S206, the server device 100 determines whether or not a conversation rotation request has been received from the client terminal 101.

会話ローテーションリクエストを受信している場合には、ステップＳ２０７へ進む。そうでない場合は、ステップＳ２０３へ戻る。 If a conversation rotation request has been received, proceed to step S207. If not, return to step S203.

ステップＳ２０７は、サーバ装置１００はクライアント端末１０１から会話ローテーションリクエストを受信すると、図６に示す会話ローテーションワークフローを実行する。 In step S207, when the server device 100 receives a conversation rotation request from the client terminal 101, it executes the conversation rotation workflow shown in FIG. 6.

以上の処理を会議が終了するまで繰り返すことにより、参加者の表情に応じて表示優先度を変更することが可能となる。 By repeating the above process until the end of the meeting, it becomes possible to change the display priority according to the facial expressions of the participants.

次に、図４を用いて本実施例におけるポジション選択ワークフローを説明する。図４はステップＳ２０２で実行されるワークフローである。 Next, the position selection workflow in this embodiment will be described with reference to FIG. 4. FIG. 4 shows the workflow executed in step S202.

ステップＳ３０１では、サーバ装置１００はクライアント端末１０１から参加者のポジション情報を受信する。なおここで受信するポジション情報は、クライアント端末１０１が図１２に示すポジション選択画面において参加者からの選択を受け付け、受け付けたポジションに係るポジション情報をサーバ装置１００に送信したものである。 In step S301, the server device 100 receives the position information of the participants from the client terminal 101. Note that the position information received here is the position information related to the accepted positions that the client terminal 101 accepts from the participants on the position selection screen shown in FIG. 12 and transmits to the server device 100.

ステップＳ３０２では、サーバ装置１００はステップＳ３０１で受信したポジション情報が会議主催者であるかを判定する。すなわち、クライアント端末１０１において図１２で主催者１２０１の選択を受け付けたか否かを判定する。 In step S302, the server device 100 determines whether the position information received in step S301 is the conference organizer. In other words, it determines whether the selection of the organizer 1201 in FIG. 12 has been accepted in the client terminal 101.

会議主催者であると判定される場合は、ステップＳ３０３に進む。そうでない場合は、ステップＳ３０４に進む。 If it is determined that the person is the conference organizer, proceed to step S303. If not, proceed to step S304.

ステップＳ３０３では、サーバ装置１００は主催者であると選択した参加者の表示優先度の値を１０加算し、重みづけを行う。 In step S303, the server device 100 adds 10 to the display priority value of the participant selected as the organizer to perform weighting.

ステップＳ３０４では、サーバ装置１００はＳ３０１で受信したポジション情報が管理職であるか否かを判定する。すなわち、クライアント端末１０１において図１２で管理職１２０２の選択を受け付けたか否かを判定する。 In step S304, the server device 100 determines whether the position information received in S301 is a managerial position. That is, it determines whether the selection of managerial position 1202 in FIG. 12 has been accepted in the client terminal 101.

管理職であると判定される場合は、ステップＳ３０５へ進む。そうでない場合はステップＳ３０６へ進む。 If it is determined that the person is a manager, proceed to step S305. If not, proceed to step S306.

ステップＳ３０５では、サーバ装置１００は管理職であると選択した参加者の表示優先度の値を5加算し、重みづけを行う。 In step S305, the server device 100 adds 5 to the display priority value of the participant selected as being in a managerial position to perform weighting.

ステップ３０６では、Ｓ３０３、Ｓ３０５で重みづけを行った結果を取得し、サーバ装置１００は表示優先度の値を降順にソートする。 In step 306, the server device 100 obtains the results of the weighting performed in steps S303 and S305, and sorts the display priority values in descending order.

以上の処理を行うことにより、主催者や管理職といった主要人物は優先的に画面上に表示しておくことが可能となる。主催者や管理職といったポジションは一例であり、優先的に画面上に表示しておきたいポジション（属性）があれば、そのポジションの選択を受け付けるようにしても良い。 By carrying out the above process, it becomes possible to display key people such as organizers and managers on the screen with priority. Positions such as organizers and managers are just examples, and if there is a position (attribute) that you would like to display on the screen with priority, you can accept the selection of that position.

次に、図５を用いて本実施例における表情読み取りワークフローを説明する。図５はステップＳ２０４で実行されるワークフローである。 Next, the facial expression reading workflow in this embodiment will be described with reference to FIG. 5. FIG. 5 shows the workflow executed in step S204.

ステップＳ４０１では、サーバ装置１００はクライアント端末１０１からＷｅｂ会議参加者のビデオカメラ映像を受信する。 In step S401, the server device 100 receives video camera images of the Web conference participants from the client terminal 101.

ステップＳ４０２では、サーバ装置１００はＳ４０１で取得した参加者のビデオカメラ映像から参加者の動きおよび表情の検知を行う。 In step S402, the server device 100 detects the movements and facial expressions of the participants from the video camera images of the participants acquired in S401.

ステップＳ４０３では、サーバ装置１００はＳ４０２で検知した動きおよび表情が頷きであるか否かを判定する。 In step S403, the server device 100 determines whether the movement and facial expression detected in S402 are a nod.

頷きであると判定された場合、ステップＳ４０４へ進む。そうでない場合、ステップＳ４０５へ進む。 If it is determined to be a nod, proceed to step S404. If not, proceed to step S405.

ステップＳ４０４では、サーバ装置１００は頷きを検知した参加者の表示優先度の値を３加算し、重みづけを行う。 In step S404, the server device 100 adds 3 to the display priority value of the participant who detected the nod, and performs weighting.

ステップＳ４０５では、サーバ装置１００はＳ４０２で検知した動きおよび表情が首振りであるかを判定する。 In step S405, the server device 100 determines whether the movement and facial expression detected in S402 is a head shake.

首振りがあると判定された場合、ステップＳ４０６へ進む。そうでない場合、ステップＳ４０７へ進む。 If it is determined that there is head shaking, proceed to step S406. If not, proceed to step S407.

ステップＳ４０６では、サーバ装置１００は首振りを検知した参加者の表示優先度の値を２加算し、重みづけを行う。 In step S406, the server device 100 adds 2 to the display priority value of the participant who detected the head shake, and performs weighting.

ステップＳ４０７では、サーバ装置１００はＳ４０３で検知した表情に変化があるかを判定する。 In step S407, the server device 100 determines whether there has been a change in the facial expression detected in S403.

表情に変化があると判定された場合、ステップＳ４０８へ進む。そうでない場合、ステップＳ４０９へ進む。 If it is determined that there is a change in facial expression, proceed to step S408. If not, proceed to step S409.

ステップＳ４０８では、サーバ装置１００は表情に変化があると判定された参加者の表示優先度の値を１加算し、重みづけを行う。 In step S408, the server device 100 adds 1 to the display priority value of the participant whose facial expression is determined to have changed, thereby weighting the participant.

ステップＳ４０９では、サーバ装置１００は参加者ごとにＳ４０４、Ｓ４０６、Ｓ４０８で重みづけが行われた過去5分間の表示優先度の値を集計する。 In step S409, the server device 100 tallies the display priority values for the past 5 minutes that were weighted in steps S404, S406, and S408 for each participant.

ステップＳ４１０では、サーバ装置１００は、図２のＳ２０２でポジション選択ワークフローが実行されているか否かを判定する。 In step S410, the server device 100 determines whether the position selection workflow is being executed in step S202 of FIG. 2.

実行していると判定された場合、ステップＳ４１１へ進む。そうでない場合、ステップＳ４１２へ進む。 If it is determined that it is being executed, proceed to step S411. If not, proceed to step S412.

ステップＳ４１１では、サーバ装置１００は、参加者ごとに図３のＳ３０３、Ｓ３０５で重みづけを行った表示優先度とＳ４０９で集計した表示優先度を取得し、集計を行う。具体的には両者の値を足し合わせる。 In step S411, the server device 100 obtains the display priority weighted in steps S303 and S305 in FIG. 3 for each participant and the display priority counted in step S409, and performs counting. Specifically, the two values are added together.

ステップＳ４１２では、サーバ装置１００は、Ｓ４０９またはＳ４１１で集計した表示優先度を取得し、表示優先度の値が降順になるように参加者をソートする（例えば、図１５のような結果になる）。 In step S412, the server device 100 obtains the display priority values collected in step S409 or S411, and sorts the participants in descending order of display priority values (for example, the result is as shown in FIG. 15).

以上の処理を実行することにより、参加者の中で反応が大きい人物を特定することができ、ポジション選択の結果も加味した表示優先度を決定することが可能となる。本実施例では、頷き、首振り又は表情の変化を例に挙げているが、参加者のリアクションを特定できるものであれば何れでも構わない。 By executing the above process, it is possible to identify participants who are more responsive and to determine display priorities that also take into account the results of position selection. In this embodiment, nodding, head shaking, and changes in facial expression are given as examples, but anything that can identify the participant's reaction will do.

また、頷き、首振り又は表情の変化などの参加者の反応が検知された場合、該当する参加者に自身の反応が検知された旨の通知を行うようにしても良い。 In addition, if a participant's reaction such as a nod, a head shake, or a change in facial expression is detected, the participant may be notified that their reaction has been detected.

次に、図６を用いて本実施例における参加者表示ワークフローを説明する。図６はステップＳ２０５で実行されるワークフローである。 Next, the participant display workflow in this embodiment will be described with reference to FIG. 6. FIG. 6 shows the workflow executed in step S205.

ステップＳ５０１では、サーバ装置１００はクライアント端末１０１から画面共有が行われているか否かを判定する。 In step S501, the server device 100 determines whether screen sharing is being performed from the client terminal 101.

画面共有が行われていると判定された場合は、ステップＳ５０２へ進む。そうでない場合は、ステップＳ５０５へ進む。 If it is determined that screen sharing is occurring, proceed to step S502. If not, proceed to step S505.

ステップＳ５０２では、サーバ装置１００はＷｅｂ会議参加者が発話を行っているか否かを判定する。 In step S502, the server device 100 determines whether a Web conference participant is speaking.

発話を行っていると判定された場合は、ステップＳ５０３へ進む。そうでない場合は、ステップＳ５０４へ進む。 If it is determined that speech is occurring, proceed to step S503. If not, proceed to step S504.

ステップＳ５０３では、サーバ装置１００は発話を行っているＷｅｂ会議参加者の映像とＳ４１２において降順でソートした表示優先度の上位８人の参加者の映像をクライアント端末１０１に表示させる。 In step S503, the server device 100 causes the client terminal 101 to display the video of the Web conference participant who is speaking and the video of the top eight participants in terms of display priority sorted in descending order in S412.

ステップＳ５０４では、サーバ装置１００はＳ４１２において降順でソートした表示優先度の上位９人の参加者の映像をクライアント端末１０１に表示させる。例えば、図８はソートする前の表示画面である。図８の表示画面から、図１５の表示優先度の集計結果に応じて上位９名が表示されるようにソートされ、図１０のような表示画面になる。 In step S504, the server device 100 causes the client terminal 101 to display the images of the top nine participants in terms of display priority sorted in descending order in S412. For example, FIG. 8 shows the display screen before sorting. The display screen in FIG. 8 is sorted to display the top nine participants according to the display priority tally results in FIG. 15, and the display screen becomes as shown in FIG. 10.

図８及び図１０では、参加者が１０人以上いる場合は画面を切り替えることで他の参加者の映像を表示することが可能である。 In Figures 8 and 10, if there are 10 or more participants, it is possible to display the images of other participants by switching the screen.

ステップＳ５０５では、サーバ装置１００はＷｅｂ会議参加者が発話を行っているか否かを判定する。 In step S505, the server device 100 determines whether a Web conference participant is speaking.

発話を行っていると判定された場合は、ステップＳ５０６へ進む。そうでない場合は、ステップＳ５０７へ進む。 If it is determined that speech is occurring, proceed to step S506. If not, proceed to step S507.

ステップＳ５０６では、サーバ装置１００は発話を行っているＷｅｂ会議参加者の映像とＳ４１２において降順でソートした表示優先度の上位４人の参加者の映像をクライアント端末１０１に表示させる。 In step S506, the server device 100 causes the client terminal 101 to display the video of the Web conference participant who is speaking and the video of the top four participants in terms of display priority sorted in descending order in S412.

ステップＳ５０７では、サーバ装置１００はＳ４１２において降順でソートした表示優先度の上位５人の参加者の映像をクライアント端末１０１に表示させる。例えば、図９はソートする前の表示画面である。図９の表示画面から、図１５の表示優先度の集計結果に応じて上位５名が表示されるようにソートされ、図１１のような表示画面になる。 In step S507, the server device 100 causes the client terminal 101 to display the images of the top five participants in terms of display priority sorted in descending order in S412. For example, FIG. 9 shows the display screen before sorting. From the display screen in FIG. 9, the images are sorted to display the top five participants according to the display priority tally results in FIG. 15, and the display screen becomes as shown in FIG. 11.

図９及び図１１では、参加者が６人以上いる場合は画面を切り替えることで他の参加者の映像を表示することが可能である。 In Figures 9 and 11, if there are six or more participants, it is possible to display the images of other participants by switching the screen.

以上の処理を実行することにより、画面共有が行われている場合とそうでない場合では表示できる参加者の数は異なるので、それぞれの場合に応じた表示が可能となる。また、表示優先度とは関係なく、発話者は常に画面に表示されるようになる。
なお、不図示であるが、会議主催者や管理職については、映像が表示される枠の表示形態（色や太さなど）を変えることで、会議主催者や管理職といった参加者の属性を識別可能に表示するよう制御しても良い。 By executing the above process, the number of participants that can be displayed differs depending on whether the screen is shared or not, so it is possible to display them according to the respective cases. Also, the speaker will always be displayed on the screen regardless of the display priority.
Although not shown in the figure, the display format (color, thickness, etc.) of the frame in which the video is displayed may be changed to control the display of the attributes of participants such as the conference organizer or managers so that they can be identified.

次に、図７を用いて本実施例における会話ローテーションワークフローを説明する。図７はステップＳ２０７で実行されるワークフローである。 Next, the conversation rotation workflow in this embodiment will be described with reference to FIG. 7. FIG. 7 shows the workflow executed in step S207.

ステップＳ６０１では、サーバ装置１００はＳ４１２において降順でソートした表示優先度を取得する。 In step S601, the server device 100 obtains the display priorities sorted in descending order in S412.

ステップＳ６０２では、サーバ装置１００はクライアント端末１０１から会話ローテーションを行う人数のリクエストを受信する。具体的には、クライアント端末１０１は、図１３で示すリクエスト画面により人数の選択１３０１を受け付ける。そして送信ボタン１３０２の押下を受け付けると、リクエストをサーバ装置１００へ送信する。 In step S602, the server device 100 receives a request for the number of people to perform conversation rotation from the client terminal 101. Specifically, the client terminal 101 accepts the selection 1301 of the number of people on the request screen shown in FIG. 13. Then, upon accepting the press of the send button 1302, the request is sent to the server device 100.

ステップＳ６０３では、サーバ装置１００はＳ６０２で取得した会話ローテーションの人数ループを行う。発話者として指名された参加者は、図１４に示すように表示画面内に「発話者１」などの表示１４０１がなされる。なお、会話ローテーション機能を利用して発話者が発話をしている場合は、他の参加者はミュートになる。 In step S603, the server device 100 loops the number of participants for the conversation rotation acquired in S602. The participant designated as the speaker is displayed as "Speaker 1" or the like 1401 on the display screen as shown in FIG. 14. Note that when a speaker is speaking using the conversation rotation function, the other participants are muted.

ステップＳ６０４では、サーバ装置１００はＳ６０１で取得したソートした表示優先度の順に、上位からＷｅｂ会議参加者に会話を促すリクエストをクライアント端末１０１に送信する。 In step S604, the server device 100 sends a request to the client terminal 101 to prompt the Web conference participants to converse, starting from the top, in the order of the display priorities sorted in step S601.

ステップＳ６０５では、サーバ装置１００はクライアント端末１０１からＷｅｂ会議参加者の会話終了リクエストを受信する。 In step S605, the server device 100 receives a request from the client terminal 101 to end the conversation of the Web conference participant.

以上の処理により、反応がいい人ほど話を聞いている可能性も高いので、そのような人物を中心に指名することが可能となり、活発な議論の場が期待できるようになる。また、ローテーション機能を採用することにより、複数の音声が被ってしまうという課題を避けることができる。 By processing the above, people who are more responsive are more likely to be listening, so it is possible to nominate such people, which will lead to lively discussions. In addition, by adopting a rotation function, the issue of multiple voices overlapping can be avoided.

本実施例のような処理を実行することで、反応の良い参加者が常に画面上に表示されることになり、発話者にとっても発言しやすいような環境を提供することが可能となる。 By executing the process of this embodiment, participants who are most responsive will always be displayed on the screen, providing an environment in which it is easy for speakers to speak.

また、本実施例では、反応が良い順で参加者が表示されるような仕組みを提供しているが、表情が豊かな人物（キーマン）を一人特定して、そのキーマンが常に画面上に表示されるような方法であっても良い。 In addition, this embodiment provides a mechanism for displaying participants in order of best reactions, but it is also possible to use a method in which one person with expressive faces (a key person) is identified and that key person is always displayed on the screen.

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。 The present invention can be embodied, for example, as a system, device, method, program, or recording medium. Specifically, it may be applied to a system made up of multiple devices, or to an apparatus made up of a single device.

また、本発明におけるプログラムは、図３、４、５、６、７に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３、４、５、６、７の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３、４、５、６、７の各装置の処理方法ごとのプログラムであってもよい。 The program of the present invention is a program that enables a computer to execute the processing methods of the flowcharts shown in Figures 3, 4, 5, 6, and 7, and the storage medium of the present invention stores a program that enables a computer to execute the processing methods of Figures 3, 4, 5, 6, and 7. The program of the present invention may be a program for each processing method of each device of Figures 3, 4, 5, 6, and 7.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。 As described above, it goes without saying that the object of the present invention can be achieved by supplying a recording medium on which a program that realizes the functions of the above-mentioned embodiments is recorded to a system or device, and having the computer (or CPU or MPU) of that system or device read and execute the program stored on the recording medium.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。 In this case, the program read from the recording medium itself realizes the novel functions of the present invention, and the recording medium on which the program is recorded constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。 Recording media for supplying the program may include, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a DVD-ROM, a magnetic tape, a non-volatile memory card, a ROM, an EEPROM, a silicon disk, etc.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, it goes without saying that not only are the functions of the above-mentioned embodiments realized by the computer executing a program it has read, but also that the functions of the above-mentioned embodiments can be realized by an operating system (OS) or the like running on the computer carrying out some or all of the actual processing based on the instructions of the program.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, it goes without saying that this also includes cases where a program read from a recording medium is written into a memory provided on a function expansion board inserted into a computer or a function expansion unit connected to a computer, and then a CPU or the like provided on the function expansion board or function expansion unit performs some or all of the actual processing based on the instructions of the program code, thereby realizing the functions of the above-mentioned embodiments.

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 The present invention may be applied to a system made up of multiple devices, or to a device made up of a single device. Needless to say, the present invention can also be applied to cases where the effects of the present invention are achieved by supplying a program to a system or device. In this case, the effects of the present invention can be enjoyed by reading a recording medium that stores a program for achieving the present invention into the system or device.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or device can enjoy the effects of the present invention. Note that the present invention also includes configurations that combine the above-mentioned embodiments and their modified examples.

１００ サーバ装置
１０１ クライアント端末
１０２ ネットワーク
 100 Server device 101 Client terminal 102 Network

Claims (12)

ウェブ会議の参加者の反応を検出する検出手段と、
前記検出手段によって検出された反応に基づき決定される表示優先度に従い、会議画面における参加者の表示を制御する表示制御手段と、
前記表示優先度の順番で参加者に対して発話を許可する制御手段と、
を備えることを特徴とする情報処理システム。 A detection means for detecting responses of participants in the web conference;
a display control means for controlling display of the participants on the conference screen in accordance with a display priority determined based on the reaction detected by the detection means;
A control means for allowing the participants to speak in the order of the display priority;
An information processing system comprising: 前記表示制御手段は、参加者の属性と前記検出手段で検出された反応とに基づき決定される表示優先度に従い、会議画面における参加者の表示を制御することを特徴とする請求項１に記載の情報処理システム。 The information processing system according to claim 1, characterized in that the display control means controls the display of participants on the conference screen according to a display priority determined based on the attributes of the participants and the reactions detected by the detection means. 前記表示制御手段は、所定期間において検出された反応および参加者の属性に基づき、会議画面における参加者の表示を制御することを特徴とする請求項２に記載の情報処理システム。 The information processing system according to claim 2, characterized in that the display control means controls the display of participants on the conference screen based on reactions detected during a predetermined period and attributes of the participants. 前記表示制御手段は、前記表示優先度に基づき前記会議画面に表示する参加者の並び順を制御することを特徴とする請求項２または３に記載の情報処理システム。 The information processing system according to claim 2 or 3, characterized in that the display control means controls the order in which participants are displayed on the conference screen based on the display priority. 発話を許可する参加者の人数を受け付ける受付手段を備え、
前記制御手段は、前記受付手段で受け付けた人数の参加者に対して発話を許可することを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。 A reception means is provided for receiving the number of participants who are permitted to speak,
5. The information processing system according to claim 1, wherein the control means permits speech from a number of participants accepted by the acceptance means. 前記表示制御手段は、前記制御手段により発話を許可された参加者を識別可能に表示することを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。 6. The information processing system according to claim 1, wherein the display control means displays the participants who are permitted to speak by the control means in an identifiable manner. 前記参加者の属性とは、ウェブ会議の主催者または管理職であることを特徴とする請求項２乃至６のいずれか１項に記載の情報処理システム。 The information processing system according to any one of claims 2 to 6, characterized in that the attributes of the participants are the organizer or manager of the web conference. 前記表示制御手段は、発話中の参加者を優先して画面上に表示するよう制御することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 7, characterized in that the display control means controls the display of a participant who is currently speaking on the screen with priority. 前記検出手段は、参加者の頷き、首振り、表情の変化の少なくとも１つを検出することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。 The information processing system according to any one of claims 1 to 8, characterized in that the detection means detects at least one of the participants' nodding, head shaking, and changes in facial expression. 前記検出手段によって検出された反応に基づき、会議画面に表示する参加者を特定する特定手段を備え、
前記表示制御手段は、前記特定手段により特定された参加者の映像を会議画面に表示するよう制御することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理システム。 a specifying means for specifying a participant to be displayed on a conference screen based on the reaction detected by the detecting means;
10. The information processing system according to claim 1, wherein the display control means controls so that an image of the participant specified by the specifying means is displayed on a conference screen. 情報処理システムの検出手段が、ウェブ会議の参加者の反応を検出する検出工程と、
情報処理システムの表示制御手段が、前記検出工程によって検出された反応に基づき決定される表示優先度に従い、会議画面における参加者の表示を制御する表示制御工程と、
情報処理システムの制御手段が、前記表示優先度の順番で参加者に対して発話を許可する制御工程と、
を備えることを特徴とする情報処理方法。 A detection step in which a detection means of the information processing system detects responses of participants in the web conference;
a display control step in which a display control means of the information processing system controls display of the participants on the conference screen in accordance with a display priority determined based on the reaction detected by the detection step;
a control step of allowing the participants to speak in the order of the display priority by a control means of the information processing system;
An information processing method comprising: コンピュータを、請求項１乃至１０のいずれか１項に記載された情報処理システムの各手段として機能させるためのプログラム。 A program for causing a computer to function as each of the means of the information processing system described in any one of claims 1 to 10.
JP2021213734A 2021-12-28 2021-12-28 Information processing device, information processing method, and program Active JP7464853B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021213734A JP7464853B2 (en) 2021-12-28 2021-12-28 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021213734A JP7464853B2 (en) 2021-12-28 2021-12-28 Information processing device, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2023097551A JP2023097551A (en) 2023-07-10
JP7464853B2 true JP7464853B2 (en) 2024-04-10

Family

ID=87071620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021213734A Active JP7464853B2 (en) 2021-12-28 2021-12-28 Information processing device, information processing method, and program

Country Status (1)

Country Link
JP (1) JP7464853B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304337A (en) 2002-04-08 2003-10-24 Nec Corp Speech control system in remote conference system
JP2013110508A (en) 2011-11-18 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> Conference apparatus, conference method, and conference program
JP2013183183A (en) 2012-02-29 2013-09-12 Nippon Telegr & Teleph Corp <Ntt> Conference device, conference method and conference program
JP2017111643A (en) 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 Web conference system, information processing method, and program
US20170244930A1 (en) 2016-02-19 2017-08-24 Microsoft Technology Licensing, Llc Communication Event
JP2018174479A (en) 2017-03-31 2018-11-08 キヤノンマーケティングジャパン株式会社 Image display system, control method therefor, information processor, control method therefor and program
JP2021022909A (en) 2019-07-30 2021-02-18 株式会社リコー Information processing apparatus, information processing program, information processing system, and information processing method
JP2021034900A (en) 2019-08-26 2021-03-01 沖電気工業株式会社 Processing device, processing program, and processing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336660A (en) * 1994-06-14 1995-12-22 Matsushita Electric Ind Co Ltd Video conference system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003304337A (en) 2002-04-08 2003-10-24 Nec Corp Speech control system in remote conference system
JP2013110508A (en) 2011-11-18 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> Conference apparatus, conference method, and conference program
JP2013183183A (en) 2012-02-29 2013-09-12 Nippon Telegr & Teleph Corp <Ntt> Conference device, conference method and conference program
JP2017111643A (en) 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 Web conference system, information processing method, and program
US20170244930A1 (en) 2016-02-19 2017-08-24 Microsoft Technology Licensing, Llc Communication Event
JP2018174479A (en) 2017-03-31 2018-11-08 キヤノンマーケティングジャパン株式会社 Image display system, control method therefor, information processor, control method therefor and program
JP2021022909A (en) 2019-07-30 2021-02-18 株式会社リコー Information processing apparatus, information processing program, information processing system, and information processing method
JP2021034900A (en) 2019-08-26 2021-03-01 沖電気工業株式会社 Processing device, processing program, and processing method

Also Published As

Publication number Publication date
JP2023097551A (en) 2023-07-10

Similar Documents

Publication Publication Date Title
EP3430802B1 (en) Selectable interaction elements in a 360-degree video stream
JP2017111643A (en) Web conference system, information processing method, and program
JP7464853B2 (en) Information processing device, information processing method, and program
JP2017112601A (en) Information processing apparatus, information processing method, and program
JP2023127541A (en) Electronic comic distribution system, electronic comic distribution program, and application program
JP2019117997A (en) Web conference system, control method of web conference system, and program
KR102178924B1 (en) Method and apparatus for providing performance of contents using virtual reality
JP7206481B2 (en) Information processing device, control method and program for information processing device
TWI729323B (en) Interactive gamimg system
JP2020126438A (en) Shared information processing device and control program
JP7292765B1 (en) Communication controller and computer program
JP2016163111A (en) Information processing device, information processing method, and program
JP7421134B2 (en) Information processing system, information processing method, program
JP7525801B2 (en) Information processing system, control program, and information processing device
US20240203075A1 (en) Collaborative system
KR102528522B1 (en) Application processing method for providing group video call
JP7347725B1 (en) Display program, display method and display system
JP7212255B2 (en) Information processing system, control program and information processing device
WO2024029135A1 (en) Display rpogram, display method, and display system
JP2022107186A (en) Web conference system
WO2024058157A1 (en) Propagation system, propagation method, and propagation program
JP2015222567A (en) Information processor, control method for information processor, and program
Rantala et al. User experiences of mobile audio conferencing with spatial audio, haptics and gestures
JP2023146047A (en) Information processing system, information processing method, and program
JP2020127126A (en) Information processing system and control program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7464853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150