JP2017079385A - 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム - Google Patents
映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム Download PDFInfo
- Publication number
- JP2017079385A JP2017079385A JP2015206054A JP2015206054A JP2017079385A JP 2017079385 A JP2017079385 A JP 2017079385A JP 2015206054 A JP2015206054 A JP 2015206054A JP 2015206054 A JP2015206054 A JP 2015206054A JP 2017079385 A JP2017079385 A JP 2017079385A
- Authority
- JP
- Japan
- Prior art keywords
- communication device
- unit
- information terminal
- processing unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000005540 biological transmission Effects 0.000 title description 4
- 230000006854 communication Effects 0.000 claims abstract description 363
- 238000004891 communication Methods 0.000 claims abstract description 361
- 230000000007 visual effect Effects 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims description 148
- 230000005236 sound signal Effects 0.000 claims description 62
- 230000015572 biosynthetic process Effects 0.000 claims description 36
- 238000003786 synthesis reaction Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 35
- 238000012790 confirmation Methods 0.000 claims description 14
- 239000011521 glass Substances 0.000 claims description 12
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 238000010276 construction Methods 0.000 description 19
- 210000000988 bone and bone Anatomy 0.000 description 15
- 238000012217 deletion Methods 0.000 description 13
- 230000037430 deletion Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
このようなネットショップにおいては、例えば、商品売場にいない顧客が仮想店舗の係員のアドバイスを受け、商品のイメージを確認しながら商品を購入するような販売システムも提案されている。
すなわち、実店舗側より一方的に商品包装画像を送信するものであり、実店舗側とユーザとの間での双方向のコミュニケーションの観点からは十分ではない。例えば、ユーザが実店舗に展示される様々な商品を確認したい場合には、仮想店舗(ネットショップ)に掲載される画像により判断しなければならず、インタラクティブ性については、何ら考慮されていない。
そこで、本発明の目的は、小型の眼鏡型コミュニケーション装置を装着する実店舗の店員(装着者)又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステムを提供することにある。
前記現場情報端末は、特定の装着者に装着され、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力する現場情報入出力手段を備え、
前記リモート情報端末は、前記現場情報端末から送信される情報を出力する現場情報出力手段と、少なくとも当該リモート情報端末利用者の音声を入出力する音声入出力手段を備えており、
前記管理サーバは、前記ネットワークを介して、前記現場情報端末及び前記リモート情報端末とを通信可能に接続しており、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立する機能を有することを特徴とする。
前記リモート情報端末の利用者は、遠隔地から現場の前記現場情報端末にアクセスして当該現場である現実の店舗内でのショッピングをする、あるいは、作業現場とのコミュニケーションをする際に、
前記管理サーバが、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理する予約登録手段と、前記相互通信を可能とする相互通信用の日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする。
前記管理サーバは、前記眼鏡型コミュニケーション装置を特定する前記日時限定パスワードを認証する認証処理手段を備え、認証処理手段による認証結果に応じて、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信を確立することを特徴とする。
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置が予約されることを特徴とする。
前記管理サーバは、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信期間中における前記装着者の前記視野映像信号及び音声信号並びに前記リモート情報端末からの音声信号を格納する実績データのデータベースを有することを特徴とする。
前記予約登録手段により登録される前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約情報を複数格納するスケジュール管理データベースを備えることを特徴とする。
前記現場情報端末は、特定の装着者に装着されており、現場情報入出力手段により、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力し、
前記リモート情報端末は、現場情報入出力手段により前記現場情報端末から送信される情報を出力し、かつ、音声入出力手段により、少なくとも当該リモート情報端末利用者の音声を入出力し、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立することを特徴とする。
前記現場情報端末は現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から現場に配設する前記現場情報端末にアクセスしてコニュニケーションをとるに際して、
前記管理サーバが、予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理しており、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする。
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約することを特徴とする。
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
入力部、表示部、出力部、通信インターフェース部、画像処理部、音声処理部、合成処理部、動作認識部、を含み、
前記画像処理部は、前記入力部のカメラから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、前記合成処理部に供給し、
前記音声処理部は、前記入力部のマイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を前記出力装置のスピーカーに供給し、
前記動作認識部は、前記入力データを受け、当該データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記合成処理部は、前記視野映像信号及び前記音声信号を前記表示部及び前記出力部の通信インターフェース部に供給し、
前記通信インターフェース部は、前記視野映像信号及び前記音声信号を、前記ネットワークを介して対応するユーザ端末へ送信するものであって、
前記コミュニケーション制御部は、さらに
前記表示部のモニターへの表示機能を処理するモニター表示処理部、通信品質表示処理部、ビットレート/フレームレート調整機能処理部、の何れか1つ以上を含み、
前記モニター表示処理部は、
前記合成処理部により生成された前記視野映像信号及び前記音声信号を前記カメラにより撮影した映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記品質表示機能処理部は、前記コミュニケーション装置と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、同様にユーザ端末と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をユーザ端末側の表示部にも表示し、
前記ビットレート/フレームレート調整機能処理部は、前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
ことを特徴とする。
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
前記入力部のカメラから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給し、
前記入力部のマイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給し、
前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記視野映像信号及び前記音声信号を前記出力部のスピーカーと前記通信インターフェース部、ネットワークを介して対応するユーザ端末へ送信し、
さらに
前記合成処理部により生成された前記視野映像信号及び前記音声信号を前記カメラにより撮影した映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示、あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記コミュニケーション装置と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、前記ユーザ端末と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部にも表示し、
前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
ことを特徴とする。
例えば、眼鏡型コミュニケーション装置を介して実店舗の装着者が、遠隔地にいるユーザからの希望に応じて商品を手に取り説明することで、遠隔地にいるユーザは実店舗内に居るかの如きリアル感で行動することができ、より一層現実に近いバーチャル来店を実現できる。
また、眼鏡型コミュニケーション装置を介して建築現場等の作業現場で作業する作業員の視線のままの映像(作業員の視野内の映像)が、遠隔地の建設会社の端末に送信されることから、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、図面を用いて本発明の実施例について説明する。
図1に示すように、相互コミュニケーションシステム1は、実店舗2、管理サーバ3、ユーザAが所有するパーソナルコンピュータ(以下、PCと称する)であるユーザ端末4a、ユーザBが所有するタブレットであるユーザ端末4b、ユーザCが所有するスマートフォン(携帯電話)であるユーザ端末4c、及びこれらを双方向通信可能に接続するネットワーク5から構成される。
実店舗2は、眼鏡型コミュニケーション装置2a、ルーター2b、及びPCである実店舗端末2cを備える。
眼鏡型コミュニケーション装置2a及び実店舗端末2cは、ルーター2bを介してネットワーク5に接続される。
眼鏡型コミュニケーション装置2a及びルーター2bとの間は、例えば、Wi−Fi(ソフトバンクBB株式会社の登録商標)又は、Bluetooth(Bluetooth SIG,Inc.:ブルートゥース エスアイジー,インコーポレイテッドの登録商標)により通信接続されている。
なお、ネットワーク5に接続されるユーザ端末は、図1に示す3台に限られるものではなく複数台接続可能であり、またユーザ端末が全てスマートフォン或はタブレットの場合もあり得る。また、実店舗2内に設置される実店舗端末2cは、PCに代えてスマートフォン又はタブレットであっても良い。
図2は、図1に示す眼鏡型コミュニケーション装置の外観斜視図である。
図2に示すように、装着者に装着され、携帯可能な小型の眼鏡型コミュニケーション装置2aは、眼鏡本体24及びコミュニケーション制御部20から構成される。眼鏡本体24は、主として、左テンプル24a、右テンプル24b、レンズ枠24c、レンズ又はガラス24dとで構成される。コミュニケーション制御部20は、右テンプル24bに着脱自在に取り付けられている。図2では、一般的に右目が効き目の場合が多いことから、右テンプル24bにコミュニケーション制御部20を取り付けた例を示しているが、勿論、コミュニケーション制御部20を左テンプル24aに取り付けても良い。
支持部23は、その長さが調整可能であり、眼鏡型コミュニケーション装置2aを装着する店員毎に、レンズ又はガラス24dと撮像部21との間隙及び、レンズ又はガラス24dと撮像部21との相対的な位置決めが可能となっている。
撮像部21は、前面(レンズ又はガラス24dと反対側の面)にカメラ21aを有すると共に、側面に姿勢センサー21bを有する。
また撮像部21は、後面(レンズ又はガラス24dと対向する側の面)に薄型の小型ディスプレイ21cを備える。
ここで、小型ディスプレイ21cとして、例えば、液晶ディスプレイ(LCD)或は有機EL(Electro−Luminescence)ディスプレイ等が用いられる。また、カメラ21aとして、例えば、CCD又は動画フルHDカメラ等が用いられる。
音声入出力部22は、右テンプル24bと対向する側の面に、マイク22a及びスピーカー22bを有する。また、音声入出力部22は、図示しない、音量調整ボタン、メニュー選択ボタン、及び決定ボタンを備える。
コミュニケーション制御部20は、入力I/F201、出力I/F202、映像取得部203、音声取得部204、画像処理部205、音声処理部206、合成処理部207、動作認識部208、通信I/F209、GPS装置211、及びこれらを相互に接続する内部バス210を備える。
ここで、画像処理部205、音声処理部206、合成処理部207、動作認識部208、及びGPS装置211は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
また、入力I/F201は、姿勢センサー21bから入力される姿勢データ(眼鏡型コミュニケーション装置2aの姿勢を示すデータ)を、内部バス210を介して動作認識部208へ出力する。
また、音声取得部204は、取得された音声信号を、内部バス210を介して音声処理部206へ転送する。
動作認識部208は、入力された姿勢データに基づき、眼鏡型コミュニケーション装置2aを装着する店員の少なくとも視線方向を含むデータを算出し、内部バス210を介して画像処理部205へ出力する。
画像処理部205は、入力される映像信号及び視線方向を含むデータに基づき、眼鏡型コミュニケーション装置2aを装着する店員の視界(視野内)に対応する視野映像信号を求め、内部バス210を介して合成処理部207へ出力する。
音声処理部206は、入力される音声信号からノイズを除去しノイズ除去後の音声信号を、内部バス210を介して合成処理部207へ出力する。合成処理部207は、入力されるノイズ除去後の音声信号と上記視野映像信号を重畳或は同期させ通信用に圧縮等の処理を実行し、内部バス210及び通信I/F209を介してルーター2bへ送信する。
これにより、合成処理部207にて処理された上記音声信号及び視野映像信号は、ルーター2b及びネットワーク5を介して対応するユーザ端末へ送信される。また、音声処理部206は、ユーザ端末から受信されるユーザの音声信号(会話)からノイズを除去しノイズ除去後の音声信号を、内部バス210及び出力I/F202を介して、スピーカー22bへ出力する。
GPS装置211は、4つ以上のGPS衛星からの距離を同時に取得することにより自身の位置情報を取得する。換言すれば、GPS装置211は、眼鏡型コミュニケーション装置2aを測位し、必要に応じて内部バス210及び通信I/F209を介してルーター2bへ出力する。これにより眼鏡型コミュニケーション装置2aを装着する店員の位置情報を知ることが可能となると共に、特に、1つの眼鏡型コミュニケーション装置2aを複数の店員にて共用する場合において、現在、眼鏡型コミュニケーション装置2aがどこで使用されているか、又は、どこに保管されているか容易に把握することが可能となる。
ここで、コミュニケーション制御部20は、さらに、モニター表示処理部、通信品質表示機能制御部、ビットレート/フレームレート調整機能処理部、を設けてもよい。係る構成を含む実施例については後述する。
図4に示すように、眼鏡型コミュニケーション装置2a’は、眼鏡本体24、カメラ21a’、マイク22a’,スピーカー22b’及びコミュニケーション制御部20’から構成される。カメラ21a’は、左右のレンズ枠24cを連結する連結部に設けられている。また、左テンプル24aに設けられるスピーカー22b’は、例えば、骨伝導スピーカーが用いられる。また、右テンプル24bに設けられるマイク22a’は、例えば、骨伝導マイクが用いられる。
コミュニケーション制御部20’は、入力I/F201、出力I/F202、映像取得部203、音声取得部204、画像処理部205、音声処理部206、合成処理部207、通信I/F209、及びこれらを相互に接続する内部バス210を備える。
ここで、画像処理部205、音声処理部206、及び合成処理部207は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
また、音声取得部204は、取得された音声信号を、内部バス210を介して音声処理部206へ転送する。
画像処理部205は、入力される映像信号を、眼鏡型コミュニケーション装置2aを装着する店員の視界(視野内)に対応する視野映像信号として、内部バス210を介して合成処理部207へ出力する。
音声処理部206は、入力される音声信号からノイズを除去しノイズ除去後の音声信号を、内部バス210を介して合成処理部207へ出力する。
合成処理部207は、入力されるノイズ除去後の音声信号と上記視野映像信号を重畳或は同期させ通信用に圧縮等の処理を実行し、内部バス210及び通信I/F209を介してルーター2bへ送信する。
これにより、合成処理部207にて処理された上記音声信号及び視野映像信号は、ルーター2b及びネットワーク5を介して対応するユーザ端末へ送信される。また、音声処理部206は、ユーザ端末から受信されるユーザの音声信号(会話)からノイズを除去しノイズ除去後の音声信号を、内部バス210及び出力I/F202を介して、スピーカー22b’へ出力する。
図6は、骨伝導マイク22a’の構成図である。
図6に示すように、骨伝導マイク22a’は、振動センサー221、増幅器222、及びA/D変換器223から構成される。
振動センサー221は、骨を伝達する声帯の振動を取得し、増幅器222へ出力する。
A/D変換器223は、増幅器222にて増幅された眼鏡型コミュニケーション装置2a’を装着する店員の音声信号を、コミュニケーション制御部20’を構成する入力I/F201へ出力する。
また、図7に骨伝導スピーカー22b’の構成図を示す。
骨伝導スピーカー22b’は、骨導スピーカー224、増幅器225、及びD/A変換器226から構成される。
D/A変換器226は、コミュニケーション制御部20’を構成する出力I/F202から入力されるユーザ端末を所有するユーザの音声信号を、アナログ信号に変換し増幅器225に出力する。増幅器225にて増幅されたユーザの音声信号を骨導スピーカー224へ出力する。
ここで、骨導スピーカー224は、例えば、振動板、マグネット、ヨーク、及びボイスコイルを備え、音声信号に応じて振動板を振動させ、当該振動を骨に伝達する。
図8は、実店舗端末2cの機能ブロック図である。
図8に示すように、実店舗端末2cは、入力部231、表示部232、入力I/F233、出力I/F234、演算部235、ログイン認証部236、通信I/F239、及びこれらを相互に接続する内部バス240を備える。
また、実店舗端末2cは、電源及び電池からなるバッテリー部238を有する。
ここで、演算部235及びログイン認証部236は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
演算部235は、入力部231より入力される入力情報に対し、所望のアプリケーションプログラムをROM(図示せず)より読み出し実行し、演算結果を内部バス240及び出力I/F234を介して表示部232へ出力する機能を有する。
また、演算部235は、後述する管理サーバ3へアクセスする機能も有している。ログイン認証部236は、入力部231より入力されたユーザ名及びパスワードが予め登録されたものか否かを判定し、ログイン認証の結果が「可」の場合には、その後のユーザによる実店舗端末2cの利用を許可する。
一方、ログイン認証の結果が「非」の場合には、ユーザによるその後の実店舗端末2cへのアクセスを禁止する。
通信I/F239は、入力部231から入力された上記入力情報及び演算部235による演算結果をルーター2bへ送信する。
図9は、管理サーバ3の機能ブロック図である。
図9に示すように、管理サーバ3は、入力部31、表示部32、入力I/F33、出力I/F34、予約登録・変更部35、予約検索部36、予約削除部37、パスワード発行部38、認証処理部39、スケジュール管理DB(データベース)40、パスワード管理DB41、実績データDB42、通信I/F43、及びこれらを相互に接続する内部バス44を備える。
ここで、予約登録・変更部35、予約検索部36、予約削除部37、パスワード発行部38、及び認証処理部39は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
パスワード管理DBは、後述する店舗端末2cからの相互コミュニケーションシステム1の利用予約登録可能な場合に発行される相互通信を実行する際の日時限定パスワードを格納する。
ここで、格納される日時限定パスワードは、相互コミュニケーションシステム1を利用する実店舗毎にそれぞれ対応付けて格納される。
また、日時限定パスワードは、例えば、予約登録された日時限定のパスワードであって、当該予約登録日時経過後に、仮に店舗端末2cより日時限定パスワードが送信されたとしても、受け付けることは無い。換言すれば、そのような日時限定パスワードは、予約登録日時を経過した時点で無効化される。また、実績データDB42には、後述する眼鏡型コミュニケーション装置2aから送信される、上述の眼鏡型コミュニケーション装置2aを装着する店員の音声信号と視野映像信号及び、ユーザ端末から受信されるユーザの音声信号音声信号を実績データとして格納する。
予約検索部36は、内部バス44を介してスケジュール管理DB40にアクセスし、指定された予約情報を検索する。
予約削除部37は、内部バス44を介してスケジュール管理DB40にアクセスし、指定された予約情報を削除する。
パスワード発行部38は、相互コミュニケーションシステム1の利用予約が登録された実店舗端末2cへ、上述の日時限定パスワードを、内部バス44、通信I/F43及びネットワーク5を介して送信する。
認証処理部39は、通信I/F43を介して受信される実店舗端末2cからの日時限定パスワードの認証処理を実行する。
図10は、相互コミュニケーションシステム1の概略シーケンス図である。
先ず、準備段階として、実店舗2とユーザ端末4aを所有するユーザAとの間で、相互コミュニケーションシステム1を利用し中継する時間を予め決定する(ステップS101)。なお、仮に、実店舗2内の眼鏡型コミュニケーション装置2aが空き状態の場合には、直後に利用又は予約をすることが可能である。
実店舗2内の実店舗端末2cは、ルーター2b及びネットワーク5を介して管理サーバへ、眼鏡型コミュニケーション装置2aの利用日時、すなわち、相互コミュニケーションシステム1の利用日時の予約要求を送信する。そして、管理サーバ3の管理画面にアクセスし所望の利用日時を入力する(ステップS102)。当該入力された利用日時が登録可能である場合、管理サーバ3は、パスワード発行部38より通信I/F43及びネットワーク5を経由し、実店舗端末2cへ日時を限定するパスワードである上述の「日時限定パスワード」を送信する(ステップS103)。
予約利用日時になると、実店舗2側では店員が眼鏡型コミュニケーション装置2aを装着し起動の上、待機状態に入る。
一方、ユーザ端末4a側では、WEBブラウザにより相互通信画面にアクセスし、「日時限定パスワード」を入力する。
管理サーバ3は、ユーザ端末4aより入力された「日時限定パスワード」を認証処理し、認証結果が「可」の場合に、管理サーバ3を介して眼鏡型コミュニケーション装置2aとユーザ端末4a間で中継、中継映像の視聴と通話を行う(ステップS105)。
ここで、中継期間中の視野映像信号及び通話による音声信号は、全て管理サーバ3内の実績データDB42に格納される。
実店舗端末2cより管理サーバ3へ、中継した視野映像信号及び会話(音声信号)の再生要求があると、管理サーバ3の管理画面にアクセスし、対応する実績データDB42に格納される、視野映像信号及び会話(音声信号)が再生される(ステップS106)。
図11は、管理サーバ3の処理フローを示すフローチャートである。
先ず、ここで管理サーバ3の処理フローを説明する前に、実店舗端末2cがネットワーク5を経由し管理サーバ3の管理画面にアクセスする際の、管理画面の表示形態について説明する。
図14〜図16は管理サーバ3による予約画面の表示例、すなわち、管理画面の表示形態を示している。
図14に示すように、管理サーバの管理画面は、予約管理システム画面と称され、カレンダー表示される第1の表示領域、予約ID及び日時限定パスワードが表示され、「予約開示日時」及び「予約終了日時」を受け付ける第2の表示領域、「予約登録」ボタン、「予約変更」ボタン、「予約検索」ボタン、及び「予約削除」ボタンが表示される第3の表示領域から構成される。
第1の表示領域の右上欄には、それぞれ「月」、「週」、及び「日」単位での表示範囲の切り替えを指定可能とする領域を有する。図14に示す例では、「月」単位が指定され、「月」の領域のみが、ハイライト表示されている。また、第1の表示領域の左上覧には、表示月の切り替えを指定可能とするボタンが設けられている。図14に示す第1の表示領域中のカレンダー表示において、2015年10月1日〜2015年10月7日までの期間内の予約状況が「予約」アイコンにて表示されている。10月2日(金)及び10月4日(日)にそれぞれ予約登録されていることを示している。
また、図16は、「日」単位の表示が選択された表示状態を示しており、第1の表示領域の右上欄の「日」のみがハイライト表示されている。第1の表示領域中のカレンダー表示において、2015年10月2日(金)12:00〜13:00に予約登録されていることを示している。
続いて、ステップS112では、実店舗端末2cは、管理サーバ3の管理画面にアクセスし、予約開始日時及び予約終了日時を登録(開始終了日時を登録)する。ここで、図17に予約登録時の画面表示例、すなわち、管理画面を示す。
実店舗2の装着者は、図17に示す第1の表示領域を「週」単位表示に切り替え、第1の表示領域内のカレンダー表示において、所望の予約日時である「10月6日18:00〜19:00」(図中のハッチング領域)の欄にカーソルを移動しクリックする。
すると、第2表示領域中の「予約開始日時」の欄に「2015/10/6 18:00」が、また、「予約終了日時」の欄に「2015/10/6 19:00」が自動的に入力される。その後、第3の表示領域中の「予約登録」ボタンにカーソルを移動しクリックする。予約登録・変更部35は、この登録された開始終了日時を受け付ける。
図12に、実店舗端末2c及び眼鏡型コミュニケーション装置2aを構成するコミュニケーション制御部20の処理フローを示す。
以下では、図2及び図3に示した眼鏡型コミュニケーション装置2aを用いた場合を例に説明する。
その後、予約された利用日時になると、眼鏡型コミュニケーション装置2aが起動され、待機状態となる(ステップS137)。
管理サーバ3を介してユーザ端末4aと眼鏡型コミュニケーション装置2aとの間での中継が確立される(ステップS138)とステップS139に進む。
合成処理部207にて視野映像信号と音声信号が重畳され、圧縮された視野映像信号及び音声信号がルーター2b及びネットワーク5を経由し、ユーザ端末4aへ送信される。また、ユーザ端末4aの所有者であるユーザAからの他の商品の紹介を要求する音声信号を、通信I/F209、音声処理部206及びスピーカー22bを介して受信する。眼鏡型コミュニケーション装置2aを装着する店員は、ユーザAの要求に対応して他の商品を手に取り、その視野映像信号及び当該商品の説明に係る音声信号を、上記と同様にネットワーク5を経由し、ユーザ端末4aへ送信する。このように、眼鏡型コミュニケーション装置2aを介して実店舗2の店員が、ユーザAからの希望に応じて商品を手に取り説明することで、より一層現実に近いバーチャル来店を実現できる。
ステップS141では、実店舗端末2cは、中継期間中における視野映像信号及び眼鏡型コミュニケーション装置2aを装着する店員の音声信号並びにユーザ端末4aの所有者であるユーザAの音声信号のダウンロード要求を、ネットワーク5を経由して管理サーバ3へ送信する。
ステップS142では、管理サーバ3より実績データDB42に格納されるダウンロード要求に対応する、視野映像信号及び音声信号を、ネットワーク5を経由し実店舗端2cが受信し処理を終了する。
図13は、ユーザ端末の処理フローを示す。なお、ここではユーザ端末4aの処理フローを説明するが、遠隔地に存在するリモートユーザ端末4b及びユーザ端末4cも同様である。また、上述の通り、ユーザ端末4aの機能ブロック構成は、図8に示した実店舗端末2cの機能ブロック構成と同様である。従って、以下では、図8に示した各機能ブロックを用いて説明する。
図26に示すように、眼鏡型コミュニケーション装置2aを装着する店員により手に取られたブラウスが画面のほぼ中央に表示される。ユーザ端末4aの所有者であるユーザAは、相互通信画面及び店員の音声信号により、仮に、他の商品の確認及びその説明を得たい場合には、その旨、図示しないマイクを介し、ネットワーク5経由で眼鏡型コミュニケーション装置2aを装着する店員へ送信する。例えば、図26において棚に陳列された他の衣服についても同様に視聴でき、その商品の説明を聞くこともできる。これにより、ユーザ端末4aの所有者であるユーザAは、あたかも自身が実店舗2に来店しているかのような感覚にて、商品の確認及び購入が可能となる。
実施例1では、実店舗2が眼鏡型コミュニケーション装置2a、ルーター2b、及びPCである実店舗端末2cを備える構成としたのに対し、本実施例では、建築会社の端末2c’、作業現場の作業員が装着する眼鏡型コミュニケーション装置2a、及び眼鏡型コミュニケーション装置2aにより得られる視野映像信及び音声信号をスマートフォン等の携帯端末2b’を備え、上記視野映像信号及び音声信号を、ネットワーク5及び管理サーバ3を経由し建設会社端末2c’又は、リモートユーザ端末へ送信する構成とした点が異なる。その他の点又は構成は実施例1と同様であり、以下では重複する説明を省略する。
また、建設会社端末2c’、ユーザ端末4a、ユーザ端末4b、及びユーザ端末4cの機能ブロック構成は、上述の図8に示す機能ブロック構成と同様である。なお、これらの処理フローは図13におけるステップS158において、例えば、ユーザ端末4aを所有するユーザAが建築中の建物のオーナーである場合、ユーザ端末4aの相互通信画面、又は、建設会社端末2c’の相互通信画面に、眼鏡型コミュニケーション装置2aを装着する作業員の視界と同様の視野映像信号が表示されると共に、眼鏡型コミュニケーション装置2aを装着する作業員による工期の進捗状況の説明等の音声信号がユーザ端末4a又は建設会社端末2c’の図示しないスピーカーから出力される。
なお、図28に相互通信時におけるユーザ端末4a又は建設会社端末2c’の画面表示例を示す。図28に示すように、眼鏡型コミュニケーション装置2aを装着する作業員により、建設現場等の作業現場の状況が画面のほぼ中央に表示される。例えば、建設会社端末2c’を操作する熟練社員は、相互通信画面及び作業員の音声信号により、仮に、作業手順の確認及び工期進捗状況についての相談等、図示しないマイクを介し、ネットワーク5経由で眼鏡型コミュニケーション装置2aを装着する作業員へ送信する。
これにより、遠隔地の建設会社の熟練社員は、あたかも自身が作業現場にいるかのような感覚にて、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。商品の確認及び購入が可能となる。
本実施例によれば、小型の眼鏡型コミュニケーション装置を装着する実店舗の装着者又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステム提供することが可能となる。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。
モニター表示処理部212は、入力部のカメラ1aで撮影した映像を表示部のモニター21cに表示する。カメラ1cにて撮影された映像は、視野映像(画角)であり、中継を視聴する側において、カメラ1cによる中継がどの範囲を中継しているかを確認することができる視野映像(画角)である。表示部のモニター1cには、映像表示にオーバーレイ(重ね合せ)して、次の情報の表示/非表示を行う。
(1)視聴中マーク
(2)予約残時間
(3)水平確認用グリッド(カメラ撮影時に表示される十字線のようなもの)
情報の表示/非表示の切り替えは、例えば、眼鏡型コミュニケーション装置2aに取り付けた操作ボタン(スイッチ)の操作により行う。
通信品質表示処理部213は、中継を視聴するリモート情報端末(ユーザ端末4)の表示画面に、通信速度の目安が分かるインジケーターを表示する。例えば、眼鏡型コミュニケーション装置2aから管理サーバ3側に定期的にインジケーターを示す信号を送信し、管理サーバ3側にて通信速度を計算し、ある一定期間の平均的な通信速度(上り速度)をもとに通信品質を3段階で表示する(図30参照)。
ビットレート/フレームレート調整処理部214は、通信する映像のコマ数/画素数の変更を行う。
図30A、B、Cは、表示部2cのモニター画面の一例を示す図である。図30Aは、モニター画面21c0に、撮影中の視野映像の上に視聴中マーク21c1、予約残時間21c2、品質確認インジケーター21c3及びグリッド線21c4、などをオーバーレイして表示した例である。
これらの項目の表示・非表示の切り替えは、図30Bに示す如く、モニター画面21c0上に表示される視聴中マークのON/OFFボタン21c11、予約残時間のON/OFFボタン21c21、インジケーターのON/OFFボタン21c3、及びグリッド線21c4予約残時間21c2、品質確認インジケーター21c31、及びグリッド線のON/OFFボタン21c41、を操作により行う。ボタン操作は、コミュニケーション装置の利用者により行われる。
ステップS202では、映像取得部203は、入力部のカメラ21aから入力される映像信号(ステップS201)を取得し、画像処理部205に供給する。
ステップS203では、音声取得部204は、入力I/F201にて、入力部のマイク22aから入力される音声信号(ステップS201)を取得し、音声処理部206に供給する。
ステップS204では、画像処理部205は、入力I/F201から供給された映像信号を所定の画像処理を施して動作認識部208に供給する。
ステップS205では、音声処理部206は、入力I/F201から供給された音声信号を所定の音声処理を施して動作認識部208に供給する。
ステップS206では、動作認識部208は、前記入力部の姿勢センサーの姿勢データを受け、眼鏡型コミュニケーション装置2aの利用する装着者の少なくとも視線方向を含む動作認識データを算出し、合成処理部207に供給する。
ステップS207では、合成処理部207は、画像処理部205、音声処理部206から供給された映像信号、音声信号、及び動作認識部208から供給されたデータを合成処理し、モニター表示処理部212、通信品質表示処理部213、ビットレート/フレームレート調整処理部214に供給する。
ステップS209では、通信品質表示処理部213は、カメラ1aによる中継を視聴するリモート情報端末の表示画面に、通信速度の目安となるインジケーター21c3を表示可能とする処理を実行する。インジケーター21c3は、例えば、品質を3段階で表示する。
ステップS210では、出力I/F202は、ステップS208、S209にて処理された映像信号及び音声信号を表示部21c及びスピーカー22bに出力する。
ステップS211では、表示部21cは、出力I/F202から出力された映像信号をモニターする。
ステップS212では、ビットレート/フレームレート調整処理部214、合成処理部207から受けた映像信号をユーザ端末に通信するに際して、映像のコマ数/画像数を変更(ビットレート/フレームレート調整)して通信I/F209に出力する。
ステップS213では、通信I/F209は、ステップS212にてビットレート/フレームレート調整された映像信号を、ネットワークを介してユーザ端末4a〜4cへ通信する。
また、本実施例によれば、説明者が説明する対象物のカメラによる映像と対象物のマイクによる説明の音声との相関関係を図り、当該対象物の映像と音声を遠隔地のユーザ端末に送信することにより、例えば、コミュニケーション装置の説明者が自由に移動して、説明する対象物を代えても、説明者が捉えた対象物の視野映像と音声とを遠隔地のユーザ側に誤解なく正確に伝えることができる。
Claims (14)
- 現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムであって、
前記現場情報端末は、特定の装着者に装着され、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力する現場情報入出力手段を備え、
前記リモート情報端末は、前記現場情報端末から送信される情報を入出力する現場情報入出力手段と、少なくとも当該リモート情報端末利用者の音声を入出力する音声入出力手段を備えており、
前記管理サーバは、前記ネットワークを介して、前記現場情報端末及び前記リモート情報端末とを通信可能に接続しており、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立する機能を有することを特徴とする相互コミュニケーションシステム。 - 請求項1に記載の相互コミュニケーションシステムにおいて、
前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から現場の前記現場情報端末にアクセスして当該現場とコミュニケーションをする際に、
前記管理サーバが、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理する予約登録手段と、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする相互コミュニケーションシステム。 - 請求項2に記載の相互コミュニケーションシステムにおいて、
前記管理サーバは、前記眼鏡型コミュニケーション装置を特定する前記日時限定パスワードを認証する認証処理手段を備え、認証処理手段による認証結果に応じて、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信を確立することを特徴とする相互コミュニケーションシステム。 - 請求項3に記載の相互コミュニケーションシステムにおいて、現場の店舗内には複数の眼鏡型コミュニケーション装置が設置されている場合、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現場に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置が予約されることを特徴とする相互コミュニケーションシステム。 - 請求項3又は請求項4に記載の相互コミュニケーションシステムにおいて、
前記管理サーバは、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信期間中における前記装着者の視野映像信号及び音声信号並びに前記リモート情報端末からの音声信号を格納する実績データデータベースを有することを特徴とする相互コミュニケーションシステム。 - 請求項3乃至請求項5の内の一つに記載の相互コミュニケーションシステムにおいて、
前記予約登録手段により登録される前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約情報を複数格納するスケジュール管理データベースを備えることを特徴とする相互コミュニケーションシステム。 - 現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムを用いた相互コミュニケーション方法であって、
前記現場情報端末は、特定の装着者に装着されており、現場情報入出力手段により、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力し、
前記リモート情報端末は、現場情報入出力手段により前記現場情報端末から送信される情報を出力し、かつ、音声入出力手段により、少なくとも当該リモート情報端末利用者の音声を入出力し、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立することを特徴とする相互コミュニケーション方法。 - 請求項7に記載の相互コミュニケーション方法において、
前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から前記現場の前記現場情報端末にアクセスして当該現場とコミュニケーションをする際に、
前記管理サーバが、予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理しており、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする相互コミュニケーション方法。 - 請求項8に記載の相互コミュニケーション方法において、前記現場に複数の眼鏡型コミュニケーション装置が設置されている場合、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現場に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約することを特徴とする相互コミュニケーション方法。 - 実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と前記管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおいて、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
入力部、表示部、出力部、通信インターフェース部、画像処理部、音声処理部、合成処理部、動作認識部、を含み、
前記画像処理部は、前記入力部から入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、前記合成処理部に供給し、
前記音声処理部は、前記入力部から入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を前記音声の出力部に供給し、
前記動作認識部は、前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記合成処理部は、前記視野映像信号及び前記音声信号を前記出力部と前記通信インターフェース部に供給し、
前記通信インターフェース部は、前記視野映像信号及び前記音声信号を、前記ネットワークを介して対応するユーザ端末へ送信するものであって、
前記コミュニケーション制御部は、さらに
前記表示部のモニターへの表示機能を処理するモニター表示処理部、通信品質表示処理部、ビットレート/フレームレート調整処理部、の何れか1つ以上を含み、
前記モニター表示処理部は、前記入力部により撮影した視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記通信品質表示機能処理部は、前記コミュニケーション装置と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、同様にユーザ端末と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示し、
前記ビットレート/フレームレート調整処理部は、前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
ことを特徴とする相互コミュニケーションシステム。 - 実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおける相互コミュニケーション方法において、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
入力部から入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給し、
前記入力部から入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部に供給し、
前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記視野映像信号及び前記音声信号を前記出力部と前記通信インターフェース部、ネットワークを介して対応するユーザ端末へ送信し、
さらに
撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記コミュニケーション装置と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、前記ユーザ端末と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部にも表示し、
前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
ことを特徴とする相互コミュニケーション方法。 - 現場側のカメラの映像信号、マイクの音声信号、姿勢センサーの姿勢データを受け、映像信号及び音声信号をユーザ端末との間で通信する相互コミュニケーション装置に搭載される相互コミュニケーションプログラムであって、
前記カメラ及び前記姿勢センサーから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給するステップ、
前記マイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給するステップ、
前記視野映像信号及び前記音声信号を前記スピーカーと通信インターフェース、ネットワークを介して対応する前記ユーザ端末へ送信するステップ、
撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示するステップ、
前記視野映像信号の通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示するステップ、
前記ユーザ端末と相互コミュニケーション装置の間で通信する映像のコマ数、及び/又は画素数を変更するステップ
をコンピュータに実行させる相互コミュニケーションプログラム。 - 現場側のカメラの映像信号、マイクの音声信号、を受け、映像信号及び音声信号を遠隔地のユーザ端末との間で通信する相互コミュニケーション装置に搭載される相互コミュニケーションシステムにおいて、
前記コミュニケーション装置は、
遠隔地のユーザに説明する対象物をユーザに説明する説明者が装着して使用できる眼鏡型とし、
当該コミュニケーション装置の姿勢を示す姿勢センサーと、
前記カメラ及び前記姿勢センサーから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給する手段と、
前記マイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給する手段と、
前記合成処理部により合成した前記対象物のカメラによる映像と対象物のマイクによる説明の音声との相関関係を図り、当該対象物の映像と音声を前記ユーザ端末に送信する手段と、
を設けたことを特徴とする相互コミュニケーションシステム。 - 請求項13に記載された相互コミュニケーションシステムは、さらに、
前記カメラで撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示する手段と、
前記視野映像信号の通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示する手段と、
前記ユーザ端末と相互コミュニケーション装置の間で通信する映像のコマ数、及び/又は画素数を変更する手段と、
を有することを特徴とする相互コミュニケーションシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015206054A JP2017079385A (ja) | 2015-10-20 | 2015-10-20 | 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015206054A JP2017079385A (ja) | 2015-10-20 | 2015-10-20 | 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017079385A true JP2017079385A (ja) | 2017-04-27 |
Family
ID=58666259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015206054A Pending JP2017079385A (ja) | 2015-10-20 | 2015-10-20 | 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017079385A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7279839B1 (ja) | 2022-08-17 | 2023-05-23 | 凸版印刷株式会社 | 遠隔映像配信システム、および遠隔映像配信方法 |
WO2024140441A1 (zh) * | 2022-12-29 | 2024-07-04 | 维沃移动通信有限公司 | 录像方法、装置及电子设备 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0591506A (ja) * | 1991-09-27 | 1993-04-09 | Matsushita Electric Ind Co Ltd | 動画表示装置 |
JPH06350723A (ja) * | 1993-06-02 | 1994-12-22 | Nec Corp | 予約二面管理型テレビ会議接続方式 |
JPH10243108A (ja) * | 1997-02-28 | 1998-09-11 | Hitachi Ltd | 多地点テレビ会議システム |
JPH11298872A (ja) * | 1998-04-07 | 1999-10-29 | Toshiba Corp | 映像通信システム |
JP2002027072A (ja) * | 2000-07-10 | 2002-01-25 | Shinichi Yamada | 携帯型電話機 |
JP2003036404A (ja) * | 2001-07-23 | 2003-02-07 | Nec System Technologies Ltd | ソフトウェアレンタルシステム |
JP2003304518A (ja) * | 2002-04-11 | 2003-10-24 | Canon Inc | 電子会議システム、電子会議方法、プログラムおよび記憶媒体 |
JP2004145778A (ja) * | 2002-10-28 | 2004-05-20 | Shinichi Morita | インターネットライブインタラクティブショッピングシステム(ilis:アイリス) |
JP2005202665A (ja) * | 2004-01-15 | 2005-07-28 | Chugoku Electric Power Co Inc:The | ネット販売システム |
WO2005093687A1 (ja) * | 2004-03-26 | 2005-10-06 | Atsushi Takahashi | 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム |
JP2006163731A (ja) * | 2004-12-06 | 2006-06-22 | Ricoh Co Ltd | 活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラム |
JP2006270172A (ja) * | 2005-03-22 | 2006-10-05 | Fuji Xerox Co Ltd | 管理システム及び表示制御方法 |
JP2008236228A (ja) * | 2007-03-19 | 2008-10-02 | Toshiba Corp | 会議システムとそのサーバ装置 |
JP2009251896A (ja) * | 2008-04-04 | 2009-10-29 | Canon Inc | 情報処理装置及び情報処理方法 |
JP2009290335A (ja) * | 2008-05-27 | 2009-12-10 | Funai Electric Co Ltd | 映像出力装置 |
JP2012044604A (ja) * | 2010-08-23 | 2012-03-01 | Sony Corp | 撮像装置、プログラムおよび撮像方法 |
JP2012100229A (ja) * | 2010-11-05 | 2012-05-24 | Toa Corp | 監視カメラ |
JP2013153414A (ja) * | 2011-12-28 | 2013-08-08 | Ricoh Co Ltd | コミュニケーション端末装置、コミュニケーションシステム、コミュニケーション通信状態表示方法及びプログラム |
WO2014077046A1 (ja) * | 2012-11-13 | 2014-05-22 | ソニー株式会社 | 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム |
JP2014220732A (ja) * | 2013-05-10 | 2014-11-20 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
JP2015089059A (ja) * | 2013-11-01 | 2015-05-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2015
- 2015-10-20 JP JP2015206054A patent/JP2017079385A/ja active Pending
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0591506A (ja) * | 1991-09-27 | 1993-04-09 | Matsushita Electric Ind Co Ltd | 動画表示装置 |
JPH06350723A (ja) * | 1993-06-02 | 1994-12-22 | Nec Corp | 予約二面管理型テレビ会議接続方式 |
JPH10243108A (ja) * | 1997-02-28 | 1998-09-11 | Hitachi Ltd | 多地点テレビ会議システム |
JPH11298872A (ja) * | 1998-04-07 | 1999-10-29 | Toshiba Corp | 映像通信システム |
JP2002027072A (ja) * | 2000-07-10 | 2002-01-25 | Shinichi Yamada | 携帯型電話機 |
JP2003036404A (ja) * | 2001-07-23 | 2003-02-07 | Nec System Technologies Ltd | ソフトウェアレンタルシステム |
JP2003304518A (ja) * | 2002-04-11 | 2003-10-24 | Canon Inc | 電子会議システム、電子会議方法、プログラムおよび記憶媒体 |
JP2004145778A (ja) * | 2002-10-28 | 2004-05-20 | Shinichi Morita | インターネットライブインタラクティブショッピングシステム(ilis:アイリス) |
JP2005202665A (ja) * | 2004-01-15 | 2005-07-28 | Chugoku Electric Power Co Inc:The | ネット販売システム |
WO2005093687A1 (ja) * | 2004-03-26 | 2005-10-06 | Atsushi Takahashi | 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム |
JP2006163731A (ja) * | 2004-12-06 | 2006-06-22 | Ricoh Co Ltd | 活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラム |
JP2006270172A (ja) * | 2005-03-22 | 2006-10-05 | Fuji Xerox Co Ltd | 管理システム及び表示制御方法 |
JP2008236228A (ja) * | 2007-03-19 | 2008-10-02 | Toshiba Corp | 会議システムとそのサーバ装置 |
JP2009251896A (ja) * | 2008-04-04 | 2009-10-29 | Canon Inc | 情報処理装置及び情報処理方法 |
JP2009290335A (ja) * | 2008-05-27 | 2009-12-10 | Funai Electric Co Ltd | 映像出力装置 |
JP2012044604A (ja) * | 2010-08-23 | 2012-03-01 | Sony Corp | 撮像装置、プログラムおよび撮像方法 |
JP2012100229A (ja) * | 2010-11-05 | 2012-05-24 | Toa Corp | 監視カメラ |
JP2013153414A (ja) * | 2011-12-28 | 2013-08-08 | Ricoh Co Ltd | コミュニケーション端末装置、コミュニケーションシステム、コミュニケーション通信状態表示方法及びプログラム |
WO2014077046A1 (ja) * | 2012-11-13 | 2014-05-22 | ソニー株式会社 | 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム |
JP2014220732A (ja) * | 2013-05-10 | 2014-11-20 | 株式会社リコー | 情報処理装置、情報処理方法およびプログラム |
JP2015089059A (ja) * | 2013-11-01 | 2015-05-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7279839B1 (ja) | 2022-08-17 | 2023-05-23 | 凸版印刷株式会社 | 遠隔映像配信システム、および遠隔映像配信方法 |
JP2024027287A (ja) * | 2022-08-17 | 2024-03-01 | Toppanホールディングス株式会社 | 遠隔映像配信システム、および遠隔映像配信方法 |
WO2024140441A1 (zh) * | 2022-12-29 | 2024-07-04 | 维沃移动通信有限公司 | 录像方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021121923A (ja) | バイオメトリックデータを追跡するための拡張現実システムおよび方法 | |
US20160285963A1 (en) | Information processing system, server system, information processing apparatus, storage medium having stored therein information processing program, and information processing method | |
KR101854402B1 (ko) | Vr 시공체험 서비스 제공 방법, 이를 실현하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체 및 이를 실행하기 위하여 매체에 저장된 애플리케이션 | |
US10192252B2 (en) | Information processing apparatus to provide position based services | |
KR101556158B1 (ko) | 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템 | |
CN110751539A (zh) | 物品信息处理方法、装置、终端、服务器及存储介质 | |
CN113518265A (zh) | 直播数据处理方法、装置、计算机设备及介质 | |
JP2017079385A (ja) | 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム | |
CN109726835A (zh) | 数据对象信息处理方法、装置及电子设备 | |
KR20170046023A (ko) | 가상 현실 기반의 모델 하우스 제공 장치 및 그 방법 | |
US20220272164A1 (en) | Experience sharing system and experience sharing method | |
KR20180133629A (ko) | 모바일 단말, 서비스 서버 및 이를 포함하는 원격 여행 서비스 제공 시스템 및 원격 여행 서비스 제공 방법 | |
JP2014228916A (ja) | 体験型電子商取引サイトシステム | |
JP7251651B2 (ja) | 拡張現実告知情報配信システムとその配信制御装置、方法およびプログラム | |
JP2022139693A (ja) | 情報処理サーバ、および、仮想空間提供システム | |
KR20210015008A (ko) | 성인용품 판매시스템 및 그 시스템의 구동방법 | |
CN113259773B (zh) | 直播数据处理方法、装置、终端、服务器及可读存储介质 | |
US11847297B2 (en) | Method of providing real-time VR service through avatar | |
CN114177622A (zh) | 虚拟道具的上架方法、虚拟道具的购买方法、装置及终端 | |
CN110113633A (zh) | 信息处理方法和装置 | |
JPWO2018225805A1 (ja) | 情報管理システム、情報管理サーバ、情報管理方法、及びプログラム | |
US10179284B2 (en) | Information processing system, server, storage medium having stored therein information processing program, and information processing method | |
KR102544595B1 (ko) | 가상 공간과 실제 아이템을 판매하는 플랫폼을 연계하는 방법 및 이를 위한 장치 | |
US20240112416A1 (en) | Scheduling timed interchange protocols via augmented-reality (ar) systems and methods | |
JP7113926B2 (ja) | メガネ型ウェアラブル端末、広告表示制御方法、広告表示制御プログラム、広告提供装置、広告提供方法、広告提供プログラムおよび広告提供システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20151029 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190423 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191029 |