JP7400886B2 - ビデオ会議システム、ビデオ会議方法、およびプログラム - Google Patents
ビデオ会議システム、ビデオ会議方法、およびプログラム Download PDFInfo
- Publication number
- JP7400886B2 JP7400886B2 JP2022108957A JP2022108957A JP7400886B2 JP 7400886 B2 JP7400886 B2 JP 7400886B2 JP 2022108957 A JP2022108957 A JP 2022108957A JP 2022108957 A JP2022108957 A JP 2022108957A JP 7400886 B2 JP7400886 B2 JP 7400886B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- information
- imaging device
- identifying
- video conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 81
- 238000003384 imaging method Methods 0.000 claims description 87
- 238000001514 detection method Methods 0.000 claims description 24
- 230000001815 facial effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
第1の取得装置により生成された、会議の参加人物を特定するための第1の情報を取得する情報取得手段と、
前記第1の情報を解析して、前記第1の情報に含まれる人物を特定する人物特定処理を実行する人物特定手段と、
前記人物特定処理で特定できなかった場合、解析することで未特定人物を特定することが可能な第2の情報を取得する所定処理を実行する処理実行手段と、
を備える。
コンピュータが、
第1の取得装置により生成された、会議の参加人物を特定するための第1の情報を取得し、
前記第1の情報を解析して、前記第1の情報に含まれる人物を特定する人物特定処理を実行し、
前記人物特定処理で特定できなかった場合、解析することで未特定人物を特定することが可能な第2の情報を取得する所定処理を実行する、
ことを含む。
〔システム構成例〕
図1は、第1実施形態におけるビデオ会議システム1の構成例を示す図である。図1に例示されるビデオ会議システム1では、サーバ装置10と、会議が開催される各地点にそれぞれ設けられた、複数の通信端末20とが互いに通信可能に接続されている。ビデオ会議は、サーバ装置10を経由して、各通信端末20の間で実行される。
ビデオ会議システム1の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、ビデオ会議システム1の各機能構成部が、サーバ装置10においてハードウエアとソフトウエアとの組み合わせによって実現される場合について、さらに説明する。
図3および図4を用いて、第1実施形態のビデオ会議システム1により実行される処理の流れについて説明する。図3および図4は、第1実施形態のビデオ会議システム1により実行される処理の流れを例示するフローチャートである。
本実施形態では、撮像装置35が、自律移動可能なロボットに組み込まれている場合の処理について説明する。本実施形態は、以下で説明する点を除き、第1実施形態と同様である。
図5は、第2実施形態のビデオ会議システム1の構成例を示す図である。図5に示されるように、本実施形態の撮像装置35は、自律移動可能なロボット60に組み込まれている。また、本実施形態において、処理実行部140は、未特定人物の位置に基づいて、撮像装置35の撮影位置を特定するための情報を生成する。また、処理実行部140は、撮像装置35の撮影位置を特定するための情報をロボット60に出力することにより、その情報により特定される位置に当該ロボット60を誘導して撮影を実行させる。
本実施形態では、撮像装置35が、会議の参加人物が所有する携帯型装置(例えば、スマートフォン、タブレット、ノート型パソコンなど)に組み込まれている場合の処理について説明する。本実施形態は、以下の点を除き、第1実施形態と同様である。
本実施形態では、自動的に議事録を作成する機能を更に有する点を除き、上述の各実施形態と同様の構成を有する。
本実施形態のビデオ会議システム1は、第1実施形態と同様のハードウエア構成(例:図2)を有する。本実施形態のストレージデバイス1040は、上述のリスト作成部150、音声取得部160、発言者特定部170および議事録作成部180の機能を実現するためのプログラムモジュールを更に記憶している。プロセッサ1020が、これらのプログラムモジュールをメモリ1030上に読み出して実行することにより、上述の本実施形態の各機能が実現される。
図9を用いて、本実施形態のビデオ会議システム1により実行される処理の流れについて説明する。図9は、第4実施形態のビデオ会議システム1により実行される処理の流れを例示するフローチャートである。
本実施形態は、以下の点で、上述の各実施形態と異なる。
図10は、第5実施形態におけるビデオ会議システム1の構成例を示す図である。図10に例示されるように、本実施形態のビデオ会議システム1は、位置検出部130および撮像装置35を備えていない。その代わりに、本実施形態のビデオ会議システム1は、音声取得部160および発言者特定部170を備えている。音声取得部160および発言者特定部170の動作は、第4実施形態で説明した動作と同様である。本実施形態の処理実行部140は、音声データと同期して取得されたメイン画像Mを解析することによって、未特定人物が音声データに関する発話者か否かを特定する。本実施形態では、メイン画像Mに基づく個人認証処理と、音声データに基づく個人認証処理が並行して実行される。
図11は、第5実施形態におけるビデオ会議システム1のハードウエア構成を例示する図である。図11に例示されるハードウエア構成は、撮像装置35が備えられていない点で、図2に例示されるハードウエア構成と異なる。また、本実施形態のストレージデバイス1040は、位置検出部130の機能を実現するプログラムモジュールを記憶していない。その代わりに、本実施形態のストレージデバイス1040は、音声取得部160および発言者特定部170を実現するためのプログラムモジュールを更に記憶している。また、本実施形態のストレージデバイス1040に記憶される処理実行部140のプログラムモジュールは、上述した本実施形態の処理実行部140の機能を実現する。
図12を用いて、本実施形態のビデオ会議システム1により実行される処理の流れについて説明する。図12は、第5実施形態のビデオ会議システム1により実行される処理の流れを例示するフローチャートである。なお、ここでは、図3のS102からS114までの処理(メイン画像Mに基づく個人認証処理)が並行して実施されている。
1.
第1の撮像装置により生成された、会議の参加人物が写る画像を取得する画像取得手段と、
前記画像を解析して、前記画像に含まれる人物を特定する人物特定処理を実行する人物特定手段と、
前記人物特定処理で特定できなかった未特定人物の位置を検出する位置検出手段と、
検出された前記未特定人物の位置を用いて、前記未特定人物を特定するための所定処理を実行する処理実行手段と、
を備えるビデオ会議システム。
2.
前記処理実行手段は、移動型の撮像装置である第2の撮像装置の撮影位置または被写体を特定するための情報を前記未特定人物の位置に基づいて生成して出力する処理を前記所定処理として実行し、
前記画像取得手段は、前記第2の撮像装置により生成された追加画像を取得し、
前記人物特定手段は、前記第2の撮像装置により生成された追加画像を解析して前記未特定人物を特定する、
1.に記載のビデオ会議システム。
3.
前記第2の撮像装置は、自律移動可能なロボットに組み込まれており、
前記処理実行手段は、
前記未特定人物の位置に基づいて、前記第2の撮像装置の撮影位置を特定するための情報を生成し、
前記撮影位置を特定するための情報を前記ロボットに出力することにより、当該情報により特定される位置に前記ロボットを誘導して撮影を実行させる、
2.に記載のビデオ会議システム。
4.
前記第2の撮像装置は、前記会議の参加人物が所有する携帯型端末に組み込まれており、
前記処理実行手段は、
前記未特定人物の位置に基づいて、前記第2の撮像装置の被写体を特定するための情報を生成し、
前記被写体を特定するための情報を表示装置に出力する、
2.に記載のビデオ会議システム。
5.
前記人物特定手段によって特定された人物のリストを作成するリスト作成手段を更に備える、
1.から4.のいずれか1つに記載のビデオ会議システム。
6.
音声データを取得する音声取得手段と、
前記音声データまたは前記音声データと同期して取得された画像を解析することによって、前記音声データに関する発言者を特定する発言者特定手段と、
前記発言者の特定結果と前記音声データに基づいて生成されたテキストデータとを対応付けることにより、議事録データを生成する議事録作成手段と、を更に備える、
1.から5.のいずれか1つに記載のビデオ会議システム。
7.
コンピュータが、
第1の撮像装置により生成された、会議の参加人物が写る画像を取得し、
前記画像を解析して、前記画像に含まれる人物を特定する人物特定処理を実行し、
前記人物特定処理で特定できなかった未特定人物の位置を検出し、
検出された前記未特定人物の位置を用いて、前記未特定人物を特定するための所定処理を実行する、
ことを含むビデオ会議方法。
8.
前記コンピュータが、
移動型の撮像装置である第2の撮像装置の撮影位置または被写体を特定するための情報を前記未特定人物の位置に基づいて生成して出力する処理を前記所定処理として実行し、
前記第2の撮像装置により生成された追加画像を取得し、
前記第2の撮像装置により生成された追加画像を解析して前記未特定人物を特定する、
ことを含む7.に記載のビデオ会議方法。
9.
前記第2の撮像装置は、自律移動可能なロボットに組み込まれており、
前記コンピュータが、
前記未特定人物の位置に基づいて、前記第2の撮像装置の撮影位置を特定するための情報を生成し、
前記撮影位置を特定するための情報を前記ロボットに出力することにより、当該情報により特定される位置に前記ロボットを誘導して撮影を実行させる、
ことを含む8.に記載のビデオ会議方法。
10.
前記第2の撮像装置は、前記会議の参加人物が所有する携帯型端末に組み込まれており、
前記コンピュータが、
前記未特定人物の位置に基づいて、前記第2の撮像装置の被写体を特定するための情報を生成し、
前記被写体を特定するための情報を表示装置に出力する、
ことを含む8.に記載のビデオ会議方法。
11.
前記コンピュータが、
前記人物特定手段によって特定された人物のリストを作成する、
ことを含む7.から10.のいずれか1つに記載のビデオ会議方法。
12.
前記コンピュータが、
音声データを取得し、
前記音声データまたは前記音声データと同期して取得された画像を解析することによって、前記音声データに関する発言者を特定し、
前記発言者の特定結果と前記音声データに基づいて生成されたテキストデータとを対応付けることにより、議事録データを生成する、
ことを含む7.から11.のいずれか1つに記載のビデオ会議方法。
13.
コンピュータに、7.から12.のいずれか1つに記載のビデオ会議方法を実行させるためのプログラム。
10 サーバ装置
1010 バス
1020 プロセッサ
1030 メモリ
1040 ストレージデバイス
1050 入出力インタフェース
1060 ネットワークインタフェース
110 画像取得部
120 人物特定部
130 位置検出部
140 処理実行部
150 リスト作成部
160 音声取得部
170 発言者特定部
180 議事録作成部
20 通信端末
30 撮像装置
30 第1の撮像装置
35 撮像装置
40 表示装置
50 集音装置
60 ロボット
70 携帯型端末
Claims (11)
- 第1の取得装置により生成された、会議の参加人物を特定するための第1の情報を取得する情報取得手段と、
前記第1の情報を解析して、前記第1の情報に含まれる人物を特定する人物特定処理を実行する人物特定手段と、
前記人物特定処理で特定できなかった場合、解析することで未特定人物を特定することが可能な第2の情報を取得する所定処理を実行する処理実行手段と、
を備えるビデオ会議システム。 - 前記人物特定処理で特定できなかった前記未特定人物の特定情報を検出する特定情報検出手段、をさらに備え、
前記処理実行手段は、検出された前記特定情報を用いて、前記所定処理を実行する、
請求項1に記載のビデオ会議システム。 - 前記人物特定手段は、前記第2の情報を解析して、前記第2の情報に含まれる人物を特定する人物特定処理を実行する
ことを特徴とする請求項1又は2に記載のビデオ会議システム。 - 前記第1の情報と前記第2の情報は、顔情報及び音声の少なくとも一方を含む生体情報を含んでおり、
前記特定情報は、位置及び音声の少なくとも一方を含む
ことを特徴とする請求項2に記載のビデオ会議システム。 - 前記処理実行手段は、移動型の撮像装置の撮影位置または被写体を特定するための情報を前記未特定人物の前記特定情報に基づいて生成して出力する処理を前記所定処理として実行し、
前記情報取得手段は、前記移動型の撮像装置により生成された追加画像を取得し、
前記人物特定手段は、前記移動型の撮像装置により生成された追加画像を解析して前記未特定人物を特定する、
請求項2又は4のいずれか1項に記載のビデオ会議システム。 - 前記移動型の撮像装置は、自律移動可能なロボットに組み込まれており、
前記処理実行手段は、
前記未特定人物の前記特定情報に基づいて、前記移動型の撮像装置の撮影位置を特定するための情報を生成し、
前記撮影位置を特定するための情報を前記ロボットに出力することにより、当該情報により特定される位置に前記ロボットを誘導して撮影を実行させる、
請求項5に記載のビデオ会議システム。 - 前記移動型の撮像装置は、前記会議の参加人物が所有する携帯型端末に組み込まれており、
前記処理実行手段は、
前記未特定人物の前記特定情報に基づいて、前記移動型の撮像装置の被写体を特定するための情報を生成し、
前記被写体を特定するための情報を表示装置に出力する、
請求項5に記載のビデオ会議システム。 - 前記人物特定手段によって特定された人物のリストを作成するリスト作成手段を更に備える、
請求項1から7のいずれか1項に記載のビデオ会議システム。 - 音声データを取得する音声取得手段と、
前記音声データまたは前記音声データと同期して取得された画像を解析することによって、前記音声データに関する発言者を特定する発言者特定手段と、
前記発言者の特定結果と前記音声データに基づいて生成されたテキストデータとを対応付けることにより、議事録データを生成する議事録作成手段と、を更に備える、
請求項1から8のいずれか1項に記載のビデオ会議システム。 - コンピュータが、
第1の取得装置により生成された、会議の参加人物を特定するための第1の情報を取得し、
前記第1の情報を解析して、前記第1の情報に含まれる人物を特定する人物特定処理を実行し、
前記人物特定処理で特定できなかった場合、解析することで未特定人物を特定することが可能な第2の情報を取得する所定処理を実行する、
ことを含むビデオ会議方法。 - コンピュータに、請求項10に記載のビデオ会議方法を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022108957A JP7400886B2 (ja) | 2018-03-29 | 2022-07-06 | ビデオ会議システム、ビデオ会議方法、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018065249A JP7102859B2 (ja) | 2018-03-29 | 2018-03-29 | ビデオ会議システム、ビデオ会議方法、およびプログラム |
JP2022108957A JP7400886B2 (ja) | 2018-03-29 | 2022-07-06 | ビデオ会議システム、ビデオ会議方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018065249A Division JP7102859B2 (ja) | 2018-03-29 | 2018-03-29 | ビデオ会議システム、ビデオ会議方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022136115A JP2022136115A (ja) | 2022-09-15 |
JP7400886B2 true JP7400886B2 (ja) | 2023-12-19 |
Family
ID=68169844
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018065249A Active JP7102859B2 (ja) | 2018-03-29 | 2018-03-29 | ビデオ会議システム、ビデオ会議方法、およびプログラム |
JP2022108957A Active JP7400886B2 (ja) | 2018-03-29 | 2022-07-06 | ビデオ会議システム、ビデオ会議方法、およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018065249A Active JP7102859B2 (ja) | 2018-03-29 | 2018-03-29 | ビデオ会議システム、ビデオ会議方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7102859B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220025458A (ko) * | 2020-08-24 | 2022-03-03 | 주식회사 아모센스 | 전자 장치 및 전자 장치의 작동 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009069172A (ja) | 2007-09-10 | 2009-04-02 | Konica Minolta Business Technologies Inc | 議事録作成装置、議事録作成システム、議事録作成方法および議事録作成プログラム |
JP2011004007A (ja) | 2009-06-16 | 2011-01-06 | Ricoh Co Ltd | テレビ会議装置、テレビ会議方法、そのプログラム |
JP2011244455A (ja) | 2010-05-18 | 2011-12-01 | Polycom Inc | ビデオ会議のための自動カメラフレーミング |
JP2013207356A (ja) | 2012-03-27 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06121310A (ja) * | 1992-10-05 | 1994-04-28 | Ricoh Co Ltd | テレビ会議装置 |
JP3596996B2 (ja) * | 1996-11-15 | 2004-12-02 | 沖電気工業株式会社 | 生体の特徴を用いた個人認識装置およびこの個人認識装置を用いた自動取引システム |
JP4055539B2 (ja) * | 2002-10-04 | 2008-03-05 | ソニー株式会社 | 双方向コミュニケーションシステム |
-
2018
- 2018-03-29 JP JP2018065249A patent/JP7102859B2/ja active Active
-
2022
- 2022-07-06 JP JP2022108957A patent/JP7400886B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009069172A (ja) | 2007-09-10 | 2009-04-02 | Konica Minolta Business Technologies Inc | 議事録作成装置、議事録作成システム、議事録作成方法および議事録作成プログラム |
JP2011004007A (ja) | 2009-06-16 | 2011-01-06 | Ricoh Co Ltd | テレビ会議装置、テレビ会議方法、そのプログラム |
JP2011244455A (ja) | 2010-05-18 | 2011-12-01 | Polycom Inc | ビデオ会議のための自動カメラフレーミング |
JP2013207356A (ja) | 2012-03-27 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019176416A (ja) | 2019-10-10 |
JP7102859B2 (ja) | 2022-07-20 |
JP2022136115A (ja) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9652663B2 (en) | Using facial data for device authentication or subject identification | |
WO2017181769A1 (zh) | 一种人脸识别方法、装置和***、设备、存储介质 | |
JP2006259931A (ja) | 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体 | |
US10142588B2 (en) | Information-processing device, communication system, storage medium, and communication method | |
US20210027080A1 (en) | Spoof detection by generating 3d point clouds from captured image frames | |
CN105554372B (zh) | 一种拍摄方法以及装置 | |
CN107078917A (zh) | 托管电话会议 | |
US11538276B2 (en) | Communication system, distributed processing system, distributed processing method, and recording medium | |
WO2010010736A1 (ja) | 会議画像生成方法、会議システム、サーバ装置及び会議装置等 | |
JP7067604B2 (ja) | イベント監視システム、イベント監視方法、およびプログラム | |
US11303756B2 (en) | System and method for auto-initiating conference calls from a user device | |
CN108363939B (zh) | 特征图像的获取方法及获取装置、用户认证方法 | |
US11244182B2 (en) | Spoof detection by estimating subject motion from captured image frames | |
JP7400886B2 (ja) | ビデオ会議システム、ビデオ会議方法、およびプログラム | |
CN112507798B (zh) | 活体检测方法、电子设备与存储介质 | |
JP6691309B2 (ja) | 情報処理装置、及びその制御方法、プログラム | |
US20230135997A1 (en) | Ai monitoring and processing system | |
US20220377177A1 (en) | Conferencing System, Server, Information Processing Device and Non-Transitory Recording Medium | |
JP2013182450A (ja) | 所在管理プログラム及び所在管理装置 | |
US11216680B2 (en) | Spoof detection via 3D reconstruction | |
JP6684009B1 (ja) | プログラム、映像処理装置及び認証方法 | |
JP7501575B2 (ja) | ビデオ会議システム、ビデオ会議方法、およびプログラム | |
JP5760764B2 (ja) | 撮影装置、画像提供サーバ装置及び画像提供プログラム | |
JP2019175421A (ja) | マルチアングル顔認証システム及びその学習方法と認証方法 | |
JP2019192155A (ja) | 画像処理装置、撮影装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7400886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |