JP2016048855A - 遠隔意思疎通装置及びプログラム - Google Patents
遠隔意思疎通装置及びプログラム Download PDFInfo
- Publication number
- JP2016048855A JP2016048855A JP2014173171A JP2014173171A JP2016048855A JP 2016048855 A JP2016048855 A JP 2016048855A JP 2014173171 A JP2014173171 A JP 2014173171A JP 2014173171 A JP2014173171 A JP 2014173171A JP 2016048855 A JP2016048855 A JP 2016048855A
- Authority
- JP
- Japan
- Prior art keywords
- user
- data
- unit
- remote communication
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】解析部2は、自ユーザより音声及び動作をデータとして取得する。提示部5は、他ユーザの装置より送信された動作のデータに従って他ユーザを動作表示する。予測動作部3は、解析部2で取得したデータに基づき、自ユーザが発言開始したか否かを判定し、発言開始したと判定した場合に、提示部5における他ユーザの動作表示を所定の予測動作に置き換えるよう制御する。反応制御部4は、所定の予測動作に置き換えられた後に、提示部5における他ユーザの動作表示を、他ユーザの装置より送信された動作のデータに従う表示に戻すよう制御する。
【選択図】図4
Description
解析部2はデバイスでユーザの音声とモーションを求める。複数ユーザが存在する場合は、ユーザ毎に当該データを求める。利用できるデバイスはカメラとマイク、またはKinect(登録商標)、またはGoogle Glass(登録商標)などが挙げられる。
[URL] http://msdn.microsoft.com/en-us/library/jj130970.aspx
[URL] http://msdn.microsoft.com/en-us/library/hh973077.aspx
提示部5では、以上の解析部2からのデータを受け取り、自ユーザ及び他ユーザのアバターをそれぞれアニメーション動作させる。ここで、他ユーザのアバターを動作させる際の制御に関しては、図5や図6で説明したように所定条件が満たされた場合に、本発明特有の予測動作部3及び反応制御部4による制御に従うこととなる。しかし、当該制御に従う場合と従わない場合のいずれにおいても、アバターをアニメーション動作させる技術自体には、周知技術を利用することができる。
[URL] http://msdn.microsoft.com/en-us/library/hh973077.aspx
予測動作部3は、図5や図6で説明したように、自ユーザが発言開始したと判定された場合に、提示部5で表示する他ユーザのアバターを、自ユーザの立場で不自然に見えないように、所定の予測動作に従うアニメーション動作へと移行させる。
反応制御部4は、実際の聞き手(他ユーザ)の応答信号が得られたとき、前記予測動作と、実際の応答動作の間を滑らかにつなげるよう、提示部5での他ユーザの動作表示を制御する。なお、反応信号については、図6で説明した矢印AR11における応答のあった旨のフラグ情報として取得することができる。
Claims (10)
- 他ユーザの装置との間で双方向に音声及び動作データを送受することで、他ユーザと自ユーザとの意思疎通を仲介する遠隔意思疎通装置であって、
自ユーザより音声及び動作をデータとして取得する解析部と、
他ユーザの装置より送信された動作のデータに従って他ユーザを動作表示する提示部と、
前記解析部で取得したデータに基づき、自ユーザが発言開始したか否かを判定し、当該発言開始したと判定した場合に、前記提示部における他ユーザの動作表示を所定の予測動作に置き換えるよう制御する予測動作部と、
前記所定の予測動作に置き換えられた後に、前記提示部における他ユーザの動作表示を、他ユーザの装置より送信された動作のデータに従う表示に戻すよう制御する反応制御部と、を備えることを特徴とする遠隔意思疎通装置。 - 前記所定の予測動作は予め複数種類が用意されており、
前記予測動作部は、前記判定した場合に、前記発言開始したと判定された自ユーザの発言内容に応じた所定の予測動作を前記複数種類の中から選択したうえで、前記提示部における他ユーザの動作表示を、当該選択した所定の予測動作に置き換えるよう制御することを特徴とする請求項1に記載の遠隔意思疎通装置。 - 前記所定の予測動作は予め他ユーザごとに用意されており、
前記予測動作部は、前記判定した場合に、前記提示部における他ユーザの動作表示を当該他ユーザに対応する所定の予測動作に置き換えるよう制御することを特徴とする請求項1または2に記載の遠隔意思疎通装置。 - 前記予測動作部は、前記判定した場合に、当該判定した時点において前記提示部が表示している他ユーザの姿勢に最も近いと判定される姿勢にある状態から、前記所定の予測動作を再生開始させるようにすることで、前記提示部における他ユーザの動作表示を所定の予測動作に置き換えるよう制御することを特徴とする請求項1ないし3のいずれかに記載の遠隔意思疎通装置。
- 前記反応制御部は、他ユーザの装置より送信された動作のデータであって、前記自ユーザが発言開始したことに対する他ユーザの応答がある旨を表す応答情報が紐付られているデータを受信した時点以降に、前記提示部における他ユーザの動作表示を、他ユーザの装置より送信された動作のデータに従う表示に戻すことを特徴とする請求項1ないし4のいずれかに記載の遠隔意思疎通装置。
- 前記反応制御部は、前記応答情報を受信した時点以降に前記予測動作部の制御により動作表示されることとなる一定期間の予測動作のデータ内の各フレームと、当該時点以降の一定期間に他ユーザの装置より受信した動作のデータ内の各フレームと、を比較することで、姿勢が最も近いフレーム同士を特定し、当該特定されたフレームを、前記置き換えるよう制御する際の繋がりポイントとすることを特徴とする請求項5に記載の遠隔意思疎通装置。
- 前記反応制御部は、前記繋がりポイントを中心として、前記一定期間の予測動作のデータと前記時点以降の一定期間に他ユーザの装置より受信した動作のデータとをモーションブレンディングすることを特徴とする請求項6に記載の遠隔意思疎通装置。
- 前記反応制御部は、前記応答情報を受信した時点以降に前記予測動作部の制御により動作表示されることとなる予測動作のデータにおいてその姿勢がニュートラルと判定される時点を特定し、当該特定した時点より、前記提示部における他ユーザの動作表示を、他ユーザの装置より送信された動作のデータに従う表示に戻すことを特徴とする請求項5に記載の遠隔意思疎通装置。
- 前記提示部は、他ユーザの装置より送信された動作のデータに従って他ユーザをアバターとして動作表示することを特徴とする請求項1ないし8のいずれかに記載の遠隔意思疎通装置。
- コンピュータを請求項1ないし9のいずれかに記載の遠隔意思疎通装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014173171A JP6410346B2 (ja) | 2014-08-27 | 2014-08-27 | 遠隔意思疎通装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014173171A JP6410346B2 (ja) | 2014-08-27 | 2014-08-27 | 遠隔意思疎通装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016048855A true JP2016048855A (ja) | 2016-04-07 |
JP6410346B2 JP6410346B2 (ja) | 2018-10-24 |
Family
ID=55649544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014173171A Active JP6410346B2 (ja) | 2014-08-27 | 2014-08-27 | 遠隔意思疎通装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6410346B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6298523B1 (ja) * | 2016-12-26 | 2018-03-20 | 株式会社コロプラ | 仮想空間を介して通信するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるためのプログラム、およびコンピュータ装置 |
JP2020509468A (ja) * | 2017-02-13 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーション方法とシステム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001060274A (ja) * | 1999-08-23 | 2001-03-06 | Hideki Araki | アニメーション作成方法及び装置及びその方法を記録した記録媒体及びアニメーションブロックを記録した記録媒体 |
JP2001229392A (ja) * | 1999-11-24 | 2001-08-24 | Fuji Xerox Co Ltd | 少ないメッセージ交信により会話式キャラクタを実施する合理的アーキテクチャ |
JP2009037572A (ja) * | 2007-08-03 | 2009-02-19 | Kyushu Institute Of Technology | 動作合成システム及びその方法 |
JP2010154387A (ja) * | 2008-12-26 | 2010-07-08 | Brother Ind Ltd | 通信端末装置、通信制御方法、通信制御プログラム |
JP2014110558A (ja) * | 2012-12-03 | 2014-06-12 | Ricoh Co Ltd | 情報処理装置、情報処理システム及びプログラム |
-
2014
- 2014-08-27 JP JP2014173171A patent/JP6410346B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001060274A (ja) * | 1999-08-23 | 2001-03-06 | Hideki Araki | アニメーション作成方法及び装置及びその方法を記録した記録媒体及びアニメーションブロックを記録した記録媒体 |
JP2001229392A (ja) * | 1999-11-24 | 2001-08-24 | Fuji Xerox Co Ltd | 少ないメッセージ交信により会話式キャラクタを実施する合理的アーキテクチャ |
JP2009037572A (ja) * | 2007-08-03 | 2009-02-19 | Kyushu Institute Of Technology | 動作合成システム及びその方法 |
JP2010154387A (ja) * | 2008-12-26 | 2010-07-08 | Brother Ind Ltd | 通信端末装置、通信制御方法、通信制御プログラム |
JP2014110558A (ja) * | 2012-12-03 | 2014-06-12 | Ricoh Co Ltd | 情報処理装置、情報処理システム及びプログラム |
Non-Patent Citations (1)
Title |
---|
澁田 義明,藤澤 隆史,長田 典子,北村 泰彦: "仮想空間におけるヒューマンモーションの特徴強調と合成", 情報処理学会研究報告, vol. 2008, no. 26, JPN6018006974, 7 March 2008 (2008-03-07), JP, pages 73 - 80, ISSN: 0003748312 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6298523B1 (ja) * | 2016-12-26 | 2018-03-20 | 株式会社コロプラ | 仮想空間を介して通信するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるためのプログラム、およびコンピュータ装置 |
JP2018106391A (ja) * | 2016-12-26 | 2018-07-05 | 株式会社コロプラ | 仮想空間を介して通信するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるためのプログラム、およびコンピュータ装置 |
JP2020509468A (ja) * | 2017-02-13 | 2020-03-26 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーション方法とシステム |
JP7232765B2 (ja) | 2017-02-13 | 2023-03-03 | 株式会社ソニー・インタラクティブエンタテインメント | シミュレーション方法とシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6410346B2 (ja) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI554317B (zh) | 對於視訊遊戲玩家及旁觀者之管理音訊及視訊通道之系統及方法 | |
US10225608B2 (en) | Generating a representation of a user's reaction to media content | |
JPH07255044A (ja) | アニメーション式電子会議室及びビデオ会議システム及びビデオ会議方法 | |
CN112235530B (zh) | 远程会议的实现方法及装置、电子设备、存储介质 | |
CN110178158B (zh) | 信息处理装置、信息处理方法和记录介质 | |
US20050010637A1 (en) | Intelligent collaborative media | |
JP2010206307A (ja) | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム | |
WO2003058518A2 (en) | Method and apparatus for an avatar user interface system | |
Jansen et al. | Enabling composition-based video-conferencing for the home | |
JP2003162492A (ja) | 仮想現実システムおよびその方法 | |
JP2012054897A (ja) | 会議システム、情報処理装置、及び情報処理方法 | |
CN111064919A (zh) | 一种vr远程会议方法及装置 | |
JP2004128614A (ja) | 画像表示制御装置及び画像表示制御プログラム | |
Steptoe et al. | Acting rehearsal in collaborative multimodal mixed reality environments | |
JP5211001B2 (ja) | 会議通信システム、会議通信方法及びプログラム | |
WO2011027475A1 (ja) | テレビ会議装置 | |
JP6688378B1 (ja) | コンテンツ配信システム、配信装置、受信装置及びプログラム | |
JP6410346B2 (ja) | 遠隔意思疎通装置及びプログラム | |
US20240119731A1 (en) | Video framing based on tracked characteristics of meeting participants | |
JP6727388B1 (ja) | 授業システム、視聴端末、情報処理方法およびプログラム | |
Kegel et al. | Enabling'togetherness' in high-quality domestic video | |
JP2005055846A (ja) | 遠隔教育コミュニケーションシステム | |
JP5143114B2 (ja) | 発話の予備動作検出及び伝達方法及び装置及びプログラム | |
CN112312062B (zh) | 多人会议记录回放的3d展示方法、存储介质及终端设备 | |
US20220174099A1 (en) | Remote audience feedback mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6410346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |