JP7292343B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP7292343B2 JP7292343B2 JP2021157164A JP2021157164A JP7292343B2 JP 7292343 B2 JP7292343 B2 JP 7292343B2 JP 2021157164 A JP2021157164 A JP 2021157164A JP 2021157164 A JP2021157164 A JP 2021157164A JP 7292343 B2 JP7292343 B2 JP 7292343B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- speaker
- listening
- listener
- speakers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 183
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 72
- 238000001454 recorded image Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000004807 localization Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 101710156159 50S ribosomal protein L21, chloroplastic Proteins 0.000 description 4
- 101710087140 50S ribosomal protein L22, chloroplastic Proteins 0.000 description 3
- 206010002953 Aphonia Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000631636 Ishige Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Stereophonic System (AREA)
Description
また、前記算出手順は、前記聞き手の視線を検出する検出部によって検出された視線の方向に基づいて、前記傾聴度合を算出する。
また、前記算出手順は、前記検出部によって検出された視線の方向に基づいて、前記聞き手に注視されている発言者を特定し、特定された発言者の前記傾聴度合を他の発言者の前記傾聴度合よりも高く算出する。
また、前記補助制御手順は、前記低傾聴発言者の発言を文字変換した文字情報の中から、事前に設定された文字列と一致する文字列が検出された場合に、前記聞き手に対して前記低傾聴発言者の発言への注意を促す強調処理を行う。
また、前記事前に設定された文字列は、過去のリモート会議において事前に設定された文字列を教師データとして機械学習した結果に基づき、設定された文字列である。
また、前記補助制御手順は、前記強調処理として、前記複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように音声出力部から出力される前記複数の発言者それぞれの音声のうち、前記低傾聴発言者の音声の音量を他の発言者の音声の音量よりも大きくして出力するよう前記音声出力部を制御する。
また、前記補助制御手順は、前記強調処理として、前記複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように音声出力部から出力される前記複数の発言者それぞれの音声のうち、前記低傾聴発言者の音声に対応する音源の位置を元の位置から前記高傾聴発言者の音声に対応する音源の位置へ変更するよう前記音声出力部を制御する。
また、前記補助制御手順は、前記強調処理として、前記複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように音声出力部から出力される前記複数の発言者それぞれの音声のうち、前記低傾聴発言者の音声に対する残響処理を行うことなく前記低傾聴発言者の音声を出力するよう前記音声出力部を制御する。
また、前記補助制御手順は、前記強調処理として、表示部のそれぞれ異なる表示領域に表示される前記複数の参加者それぞれの参加者画像のうち、前記低傾聴発言者の前記参加者画像を他の発言者の前記参加者画像よりも視覚的に強調して表示するよう前記表示部を制御する。
また、前記補助制御手順は、前記強調処理として、前記検出された文字列に関する情報を表示するよう前記表示部を制御する。
また、前記補助制御手順は、前記リモート会議の最中に、表示部のそれぞれ異なる表示領域に表示される前記複数の参加者それぞれの参加者画像をそれぞれ録画した複数の個別録画画像のうち、前記聞き手によって指定された前記低傾聴発言者に対応する個別録画画像を再生して表示するよう前記表示部を制御する。
また、前記補助制御手順は、前記聞き手によって指定された再生時間における前記個別録画画像を再生して表示するよう前記表示部を制御する。
また、前記補助制御手順は、前記聞き手によって指定された再生速度で前記個別録画画像を再生して表示するよう前記表示部を制御する。
また、前記補助制御手順は、前記聞き手によって指定された前記低傾聴発言者に対応する前記表示領域に前記個別録画画像を再生して表示するよう前記表示部を制御する。
また、前記補助制御手順は、前記リモート会議の最中に、表示部のそれぞれ異なる表示領域に表示される前記複数の参加者それぞれの参加者画像を含む全画面画像を録画した全体録画画像を再生して表示するよう前記表示部を制御する。
また、前記リモート会議における発言ごとに、前記発言を文字変換した文字情報と、前記発言の発言時刻と、前記発言の発言者とを対応付けて記録した議事進捗情報を生成する生成手順をさらに備え、前記補助制御手順は、前記リモート会議の最中に、前記表示部に表示された前記議事進捗情報の中から、前記聞き手によって指定された前記発言の前記発言時刻を再生開始時刻として、前記再生開始時刻から前記全体録画画像を再生して表示するよう前記表示部を制御する。
また、前記傾聴度合が所定の閾値を超える超傾聴発言者を複数の前記聞き手それぞれについて特定し、各聞き手を各聞き手について特定された前記超傾聴発言者のクラスタに分類し、分類された各クラスタに関するクラスタ情報を生成する生成手順と、をさらに備え、前記補助制御手順は、前記リモート会議の最中に、前記生成手順によって生成された前記クラスタ情報を表示するよう表示部を制御する。
また、前記リモート会議における参加者の音声データを取得する取得手順と、前記音声データに基づいて、前記音声データの特徴を示す第1音声特徴データを生成する生成手順と、をさらに備え、前記補助制御手順は、他の参加者の他の情報処理装置が受信した前記音声データの特徴を示す第2音声特徴データと前記第1音声特徴データが一致しない場合に、前記参加者に対して通知を行う。
また、実施形態に係る情報処理方法は、コンピュータが実行する情報処理方法であって、複数の参加者が参加するリモート会議において、複数の発言者の発言を聞いている聞き手による前記複数の発言者それぞれの発言に対する傾聴の度合いを示す傾聴度合を前記複数の発言者それぞれについて算出する算出工程と、前記傾聴度合が高い高傾聴発言者と比べて、前記傾聴度合が低い低傾聴発言者の発言を、前記聞き手にとって聞きやすくする補助機能を提供する補助制御工程と、を含む。
また、実施形態に係る情報処理装置は、複数の参加者が参加するリモート会議において、複数の発言者の発言を聞いている聞き手による前記複数の発言者それぞれの発言に対する傾聴の度合いを示す傾聴度合を前記複数の発言者それぞれについて算出する算出部と、前記傾聴度合が高い高傾聴発言者と比べて、前記傾聴度合が低い低傾聴発言者の発言を、前記聞き手にとって聞きやすくする補助機能を提供する補助制御部と、を備える。
〔1.情報処理システムの構成例〕
図1は、実施形態に係る情報処理システム1の構成例を示す図である。情報処理システム1は、リモート会議サービスの利用者によって利用される情報処理装置100と、リモート会議サービスを提供する配信サーバ200とを備える。情報処理装置100と配信サーバ200とは所定のネットワークNを介して、有線または無線により通信可能に接続される。なお、図1に示す情報処理システム1には、任意の数の情報処理装置100と任意の数の配信サーバ200とが含まれてもよい。以下では、リモート会議の一例として、Web会議(オンライン会議ともいう)の場合について説明する。
図2は、実施形態に係る情報処理装置100の構成例を示す図である。図2に示すように、情報処理装置100は、通信部110と、記憶部120と、表示部130と、音声出力部140と、検出部150と、制御部160とを有する。なお、情報処理装置100は、情報処理装置100の利用者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)を有してもよい。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。また、通信部110は、ネットワークN(図示略)と有線又は無線で接続され、例えば、配信サーバ200や他の情報処理装置100との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、各種プログラム(情報処理プログラムの一例に相当)を記憶する。例えば、記憶部120は、Web会議アプリのプログラムを記憶する。
表示部130は、ディスプレイ等の画像出力デバイスによって実現される。表示部130は、会議制御部161または補助制御部165の制御に従って、各種情報を表示する。なお、情報処理装置100にタッチパネルが採用される場合には、入力部と表示部130とは一体化される。また、以下の説明では、表示部130を画面と記載する場合がある。
音声出力部140は、スピーカー等の音声出力デバイスによって実現される。音声出力部140は、例えば、聞き手の左右に配置された2つのスピーカーによって実現される。例えば、音声出力部140は、聞き手の情報処理装置100から見て所定距離だけ左の位置に設置されたスピーカー(以下、左スピーカーともいう)および情報処理装置100本体から見て所定距離だけ右の位置に設置されたスピーカー(以下、右スピーカーともいう)によって実現される。例えば、音声出力部140は、ステレオ方式により、左右2つのスピーカーによって音声を出力する。
検出部150は、各種センサデバイスによって実現される。例えば、検出部150は、音センサであるマイク等の集音デバイスによって実現される。音センサは、参加者の音声などを集音し、集音した音声データを制御部160に出力する。また、以下の説明では、音センサをマイクと記載する場合がある。
制御部160は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、情報処理装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。
会議制御部161は、入力部を介して参加者の操作を受け付けると、Web会議アプリを起動する。また、会議制御部161は、Web会議アプリを起動すると、カメラおよびマイクを起動する。続いて、会議制御部161は、マイクが検出した参加者(本人)の音声に関する音声データおよびカメラが検出した参加者(本人)の画像データを参加者識別情報とともに配信サーバ200に送信する。
算出部162は、複数の参加者が参加するWeb会議において、複数の発言者の発言を聞いている聞き手による複数の発言者それぞれの発言に対する傾聴の度合いを示す傾聴度合を複数の発言者それぞれについて算出する。具体的には、算出部162は、検出部150によって検出された視線の方向に基づいて、傾聴度合を算出する。より具体的には、算出部162は、検出部150によって検出された視線の方向に基づいて、聞き手に注視されている発言者を特定し、特定された発言者の傾聴度合を他の発言者の傾聴度合よりも高く算出する。
生成部163は、Web会議における発言ごとに、発言を文字変換した文字情報と、発言の発言時刻と、発言の発言者とを対応付けて記録した議事進捗情報を生成する。例えば、生成部163は、会議制御部161が取得した他の参加者の音声データおよび検出部150のマイクが検出した参加者の音声データに基づいて、公知の音声認識技術を用いて、各発言に対応する音声データを文字変換した文字情報を生成する。また、生成部163は、会議制御部161が他の参加者の音声データとともに取得した他の参加者の参加者識別情報に基づいて、各発言の発言者を特定する。また、生成部163は、会議制御部161が取得した他の参加者の音声データの取得時刻(発言時刻に相当)および検出部150のマイクが検出した参加者の音声データの取得時刻(発言時刻に相当)に基づいて、各発言の発言時刻を特定する。続いて、生成部163は、各発言を文字変換した文字情報と、各発言の発言時刻と、各発言の発言者とを対応付けて記録した議事進捗情報を生成する。生成部163は、議事進捗情報を生成すると、生成した議事進捗情報を記憶部120に記憶する。
取得部164は、Web会議の前に、事前に設定されたキーワードやフレーズ等である設定キーワードを取得する。例えば、取得部164は、配信サーバ200からキーワードリストを取得する。続いて、取得部164は、キーワードリストを取得すると、取得したキーワードリストに基づいて、参加者の参加者識別情報と対応付けられた設定キーワードを取得する。
補助制御部165は、傾聴度合が高い高傾聴発言者と比べて、傾聴度合が低い低傾聴発言者の発言を、聞き手にとって聞きやすくする補助機能を提供する。具体的には、補助制御部165は、低傾聴発言者の発言を文字変換した文字情報の中から、事前に設定された文字列と一致する文字列が検出された場合に、聞き手に対して低傾聴発言者の発言への注意を促す強調処理を行う。
図8は、実施形態に係る情報処理手順を示す図である。図8に示すように、情報処理装置100の検出部150は、複数の参加者が参加するリモート会議において、複数の発言者の発言を聞いている聞き手の視線を検出する(ステップS101)。
上述した実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
図9は、変形例に係る補助機能の一例を示す図である。図9では、聞き手U11が低傾聴発言者である発言者U22の発言を聞き逃してしまったとする。そこで、聞き手U11は、聞き逃してしまった発言者U22の参加者画像を録画した個別録画画像G22´を巻き戻して高速で再生する操作を行う。例えば、聞き手U11は、図3に示す画面において、低傾聴発言者である発言者U22の画像G22を選択する操作(クリックまたはタップなどの操作)を行ったとする。なお、聞き手U11が発言者U22を指定する操作は、発言者U22の画像G22を選択する操作に限られない。例えば、聞き手U11が発言者U22を指定する操作は、聞き手U11が専用のフィールドに発言者U22を識別可能な情報を入力することによって行われてもよい。
図10は、変形例に係る補助機能の一例を示す図である。一般的に、Web会議では、対面と異なり、相手の視線を感じることが難しい。そこで、生成部163は、傾聴度合が所定の閾値を超える超傾聴発言者を複数の聞き手それぞれについて特定し、各聞き手を各聞き手について特定された超傾聴発言者のクラスタに分類し、分類された各クラスタに関するクラスタ情報を生成する。
図11は、変形例に係る補助機能の一例を示す図である。一般的に、Web会議では、対面と異なり、相手に声が正常に届いているか自分ではわからない。そこで、図11では、本人(音声の出力元)である参加者U1の情報処理装置100-1から出力された第1音声データの特徴を示す第1音声特徴データと、他の会議参加者(音声の出力先)である参加者U2の情報処理装置100-2から出力された第2音声データの特徴を示す第2音声特徴データが一致しない場合に、参加者U1に対して通知を行う。
また、上述した実施形態では、情報処理装置100が、3名の発言者それぞれの音声が聞き手の左右および中央のそれぞれ異なる位置に配置された音源それぞれから聞こえるように3名の発言者それぞれの音声を出力する場合について説明したが、音源の数は3個に限られない。具体的には、情報処理装置100は、2名以下の発言者それぞれの音声が発言者の人数に応じてそれぞれ異なる位置に配置された2個以下の音源それぞれから聞こえるように2名以下の発言者それぞれの音声を出力してもよい。また、情報処理装置100は、4名以上の発言者それぞれの音声が発言者の人数に応じてそれぞれ異なる位置に配置された4個以上の音源それぞれから聞こえるように4名以上の発言者それぞれの音声を出力してもよい。
また、上述した実施形態では、情報処理装置100が、聞き手の左右に配置された2台のスピーカーから複数の発言者それぞれの音声を出力する場合について説明したが、スピーカーの台数は2台に限られない。例えば、情報処理装置100は、聞き手を取り囲むように配置された3個以上(例えば、6個や8個等)のスピーカーを備え、サラウンド方式により、複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように複数の発言者それぞれの音声を3個以上のスピーカーそれぞれから出力してもよい。なお、情報処理装置100は、複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように複数の発言者それぞれの音声を1台のスピーカーから出力してもよい。
上述してきたように、実施形態に係る情報処理装置100は、算出部162と補助制御部165を備える。算出部162は、複数の参加者が参加するリモート会議において、複数の発言者の発言を聞いている聞き手による複数の発言者それぞれの発言に対する傾聴の度合いを示す傾聴度合を複数の発言者それぞれについて算出する。補助制御部165は、傾聴度合が高い高傾聴発言者と比べて、傾聴度合が低い低傾聴発言者の発言を、聞き手にとって聞きやすくする補助機能を提供する。
また、上述してきた実施形態に係る情報処理装置100は、例えば図12に示すような構成のコンピュータ1000によって実現される。図12は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
100 情報処理装置
110 通信部
120 記憶部
130 表示部
140 音声出力部
150 検出部
160 制御部
161 会議制御部
162 算出部
163 生成部
164 取得部
165 補助制御部
Claims (20)
- 複数の参加者が参加するリモート会議において、複数の発言者の発言を聞いている聞き手による前記複数の発言者それぞれの発言に対する傾聴の度合いを示す傾聴度合を前記複数の発言者それぞれについて算出する算出手順と、
前記傾聴度合が高い高傾聴発言者と比べて、前記傾聴度合が低い低傾聴発言者の発言を、前記聞き手にとって聞きやすくする補助機能を提供する補助制御手順と、
をコンピュータに実行させる情報処理プログラム。 - 前記算出手順は、
前記聞き手の視線を検出する検出部によって検出された視線の方向に基づいて、前記傾聴度合を算出する、
請求項1に記載の情報処理プログラム。 - 前記算出手順は、
前記検出部によって検出された視線の方向に基づいて、前記聞き手に注視されている発言者を特定し、特定された発言者の前記傾聴度合を他の発言者の前記傾聴度合よりも高く算出する、
請求項2に記載の情報処理プログラム。 - 前記補助制御手順は、
前記低傾聴発言者の発言を文字変換した文字情報の中から、事前に設定された文字列と一致する文字列が検出された場合に、前記聞き手に対して前記低傾聴発言者の発言への注意を促す強調処理を行う、
請求項1~3のいずれか1つに記載の情報処理プログラム。 - 前記事前に設定された文字列は、
過去のリモート会議において事前に設定された文字列を教師データとして機械学習した結果に基づき、設定された文字列である、
請求項4に記載の情報処理プログラム。 - 前記補助制御手順は、
前記強調処理として、前記複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように音声出力部から出力される前記複数の発言者それぞれの音声のうち、前記低傾聴発言者の音声の音量を他の発言者の音声の音量よりも大きくして出力するよう前記音声出力部を制御する、
請求項4または5に記載の情報処理プログラム。 - 前記補助制御手順は、
前記強調処理として、前記複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように音声出力部から出力される前記複数の発言者それぞれの音声のうち、前記低傾聴発言者の音声に対応する音源の位置を元の位置から前記高傾聴発言者の音声に対応する音源の位置へ変更するよう前記音声出力部を制御する、
請求項4~6のいずれか1つに記載の情報処理プログラム。 - 前記補助制御手順は、
前記強調処理として、前記複数の発言者それぞれの音声がそれぞれ異なる位置に配置された複数の音源それぞれから聞こえるように音声出力部から出力される前記複数の発言者それぞれの音声のうち、前記低傾聴発言者の音声に対する残響処理を行うことなく前記低傾聴発言者の音声を出力するよう前記音声出力部を制御する、
請求項4~7のいずれか1つに記載の情報処理プログラム。 - 前記補助制御手順は、
前記強調処理として、表示部のそれぞれ異なる表示領域に表示される前記複数の参加者それぞれの参加者画像のうち、前記低傾聴発言者の前記参加者画像を他の発言者の前記参加者画像よりも視覚的に強調して表示するよう前記表示部を制御する、
請求項4~8のいずれか1つに記載の情報処理プログラム。 - 前記補助制御手順は、
前記強調処理として、前記検出された文字列に関する情報を表示するよう前記表示部を制御する、
請求項9に記載の情報処理プログラム。 - 前記補助制御手順は、
前記リモート会議の最中に、表示部のそれぞれ異なる表示領域に表示される前記複数の参加者それぞれの参加者画像をそれぞれ録画した複数の個別録画画像のうち、前記聞き手によって指定された前記低傾聴発言者に対応する個別録画画像を再生して表示するよう前記表示部を制御する、
請求項1~10のいずれか1つに記載の情報処理プログラム。 - 前記補助制御手順は、
前記聞き手によって指定された再生時間における前記個別録画画像を再生して表示するよう前記表示部を制御する、
請求項11に記載の情報処理プログラム。 - 前記補助制御手順は、
前記聞き手によって指定された再生速度で前記個別録画画像を再生して表示するよう前記表示部を制御する、
請求項11または12に記載の情報処理プログラム。 - 前記補助制御手順は、
前記聞き手によって指定された前記低傾聴発言者に対応する前記表示領域に前記個別録画画像を再生して表示するよう前記表示部を制御する、
請求項11~13のいずれか1つに記載の情報処理プログラム。 - 前記補助制御手順は、
前記リモート会議の最中に、表示部のそれぞれ異なる表示領域に表示される前記複数の参加者それぞれの参加者画像を含む全画面画像を録画した全体録画画像を再生して表示するよう前記表示部を制御する、
請求項1~14のいずれか1つに記載の情報処理プログラム。 - 前記リモート会議における発言ごとに、前記発言を文字変換した文字情報と、前記発言の発言時刻と、前記発言の発言者とを対応付けて記録した議事進捗情報を生成する生成手順をさらに備え、
前記補助制御手順は、
前記リモート会議の最中に、前記表示部に表示された前記議事進捗情報の中から、前記聞き手によって指定された前記発言の前記発言時刻を再生開始時刻として、前記再生開始時刻から前記全体録画画像を再生して表示するよう前記表示部を制御する、
請求項15に記載の情報処理プログラム。 - 前記傾聴度合が所定の閾値を超える超傾聴発言者を複数の前記聞き手それぞれについて特定し、各聞き手を各聞き手について特定された前記超傾聴発言者のクラスタに分類し、分類された各クラスタに関するクラスタ情報を生成する生成手順と、
をさらに備え、
前記補助制御手順は、
前記リモート会議の最中に、前記生成手順によって生成された前記クラスタ情報を表示するよう表示部を制御する、
請求項1~16のいずれか1つに記載の情報処理プログラム。 - 前記リモート会議における参加者の音声データを取得する取得手順と、
前記音声データに基づいて、前記音声データの特徴を示す第1音声特徴データを生成する生成手順と、
をさらに備え、
前記補助制御手順は、
他の参加者の他の情報処理装置が受信した前記音声データの特徴を示す第2音声特徴データと前記第1音声特徴データが一致しない場合に、前記参加者に対して通知を行う、
請求項1~17のいずれか1つに記載の情報処理プログラム。 - コンピュータが実行する情報処理方法であって、
複数の参加者が参加するリモート会議において、複数の発言者の発言を聞いている聞き手による前記複数の発言者それぞれの発言に対する傾聴の度合いを示す傾聴度合を前記複数の発言者それぞれについて算出する算出工程と、
前記傾聴度合が高い高傾聴発言者と比べて、前記傾聴度合が低い低傾聴発言者の発言を、前記聞き手にとって聞きやすくする補助機能を提供する補助制御工程と、
を含む情報処理方法。 - 複数の参加者が参加するリモート会議において、複数の発言者の発言を聞いている聞き手による前記複数の発言者それぞれの発言に対する傾聴の度合いを示す傾聴度合を前記複数の発言者それぞれについて算出する算出部と、
前記傾聴度合が高い高傾聴発言者と比べて、前記傾聴度合が低い低傾聴発言者の発言を、前記聞き手にとって聞きやすくする補助機能を提供する補助制御部と、
を備える情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021157164A JP7292343B2 (ja) | 2021-09-27 | 2021-09-27 | 情報処理装置、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021157164A JP7292343B2 (ja) | 2021-09-27 | 2021-09-27 | 情報処理装置、情報処理方法及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023047956A JP2023047956A (ja) | 2023-04-06 |
JP7292343B2 true JP7292343B2 (ja) | 2023-06-16 |
Family
ID=85779359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021157164A Active JP7292343B2 (ja) | 2021-09-27 | 2021-09-27 | 情報処理装置、情報処理方法及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7292343B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000022823A1 (fr) | 1998-10-09 | 2000-04-20 | Sony Corporation | Appareil et procede de telecommunication |
JP2007300452A (ja) | 2006-05-01 | 2007-11-15 | Mitsubishi Electric Corp | 画像及び音声通信機能付テレビジョン放送受像機 |
JP2012165170A (ja) | 2011-02-07 | 2012-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 会議装置、会議方法および会議プログラム |
US20140368604A1 (en) | 2011-06-07 | 2014-12-18 | Paul Lalonde | Automated privacy adjustments to video conferencing streams |
JP2015070472A (ja) | 2013-09-30 | 2015-04-13 | 株式会社Jvcケンウッド | 通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4501037B2 (ja) * | 1998-02-17 | 2010-07-14 | ソニー株式会社 | 通信制御システムと通信装置および通信方法 |
-
2021
- 2021-09-27 JP JP2021157164A patent/JP7292343B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000022823A1 (fr) | 1998-10-09 | 2000-04-20 | Sony Corporation | Appareil et procede de telecommunication |
JP2007300452A (ja) | 2006-05-01 | 2007-11-15 | Mitsubishi Electric Corp | 画像及び音声通信機能付テレビジョン放送受像機 |
JP2012165170A (ja) | 2011-02-07 | 2012-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 会議装置、会議方法および会議プログラム |
US20140368604A1 (en) | 2011-06-07 | 2014-12-18 | Paul Lalonde | Automated privacy adjustments to video conferencing streams |
JP2015070472A (ja) | 2013-09-30 | 2015-04-13 | 株式会社Jvcケンウッド | 通信端末、通信端末の出力制御方法、通信端末の出力制御用プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023047956A (ja) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11170782B2 (en) | Real-time audio transcription, video conferencing, and online collaboration system and methods | |
CN110113316B (zh) | 会议接入方法、装置、设备及计算机可读存储介质 | |
US20100253689A1 (en) | Providing descriptions of non-verbal communications to video telephony participants who are not video-enabled | |
US10586131B2 (en) | Multimedia conferencing system for determining participant engagement | |
US20220414349A1 (en) | Systems, methods, and apparatus for determining an official transcription and speaker language from a plurality of transcripts of text in different languages | |
US20220417684A1 (en) | Centrally controlling communication at a venue | |
US12015494B2 (en) | Sidebars for virtual meetings | |
US11909786B2 (en) | Systems and methods for improved group communication sessions | |
US11540078B1 (en) | Spatial audio in video conference calls based on content type or participant role | |
US9749584B2 (en) | Muting a videoconference | |
Chen | Conveying conversational cues through video | |
US20230282224A1 (en) | Systems and methods for improved group communication sessions | |
US20220308825A1 (en) | Automatic toggling of a mute setting during a communication session | |
JP7292343B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US11671472B1 (en) | Voice agent for sidebars during virtual meetings | |
US20230230416A1 (en) | Establishing private communication channels | |
WO2021006303A1 (ja) | 翻訳システム、翻訳装置、翻訳方法、および翻訳プログラム | |
KR20150087017A (ko) | 시선 추적에 기반한 오디오 제어 장치 및 이를 이용한 화상통신 방법 | |
JP2006338493A (ja) | 次発言者検出方法、装置、およびプログラム | |
JP2007251355A (ja) | 対話システム用中継装置、対話システム、対話方法 | |
Deo et al. | Experiments in spatial mobile audio-conferencing | |
TW202341703A (zh) | 用於改進的群通訊通信期的系統和方法 | |
Aguilera et al. | Spatial audio for audioconferencing in mobile devices: Investigating the importance of virtual mobility and private communication and optimizations | |
WO2023286320A1 (ja) | 情報処理装置および方法、並びにプログラム | |
JP7269269B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7292343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |