JP2017079385A - 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム - Google Patents

映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム Download PDF

Info

Publication number
JP2017079385A
JP2017079385A JP2015206054A JP2015206054A JP2017079385A JP 2017079385 A JP2017079385 A JP 2017079385A JP 2015206054 A JP2015206054 A JP 2015206054A JP 2015206054 A JP2015206054 A JP 2015206054A JP 2017079385 A JP2017079385 A JP 2017079385A
Authority
JP
Japan
Prior art keywords
communication device
unit
information terminal
processing unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015206054A
Other languages
English (en)
Inventor
司 上原
Tsukasa Uehara
司 上原
康治 福島
Yasuharu Fukushima
康治 福島
諭 中田
Satoshi Nakada
諭 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NID KK
Original Assignee
NID KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NID KK filed Critical NID KK
Priority to JP2015206054A priority Critical patent/JP2017079385A/ja
Publication of JP2017079385A publication Critical patent/JP2017079385A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステム及び方法を提供する。【解決手段】相互コミュニケーションシステム1は、装着者に装着され装着者の視界と同様の視野映像信号を撮像し、装着者の音声信号を出力すると共にリモートユーサ端末からの音声信号を入出力する眼鏡型コミュニケーション装置2aと、少なくとも1つのリモートユーザ端末4aとネットワーク5を介して眼鏡型コミュニケーション装置2a及びリモートユーザ端末4aと通信可能に接続される管理サーバ3とを備える。管理サーバ3は、眼鏡型コミュニケーション装置2aとリモートユーザ端末4aとの相互通信を確立する。【選択図】図1

Description

本発明は、現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラムに関するものであって、特に、現場の映像及び音声を送信可能な装置を装着する実店舗内の店員又は作業現場の作業員等と、ネットワークを介して店舗外の顧客又は作業現場以外の作業指導員等との相互にコミュニケーションが可能なシステム及び方法に係り、特に、装着可能な小型の眼鏡型コミュニケーション装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラムに関する。
現在、インターネットを介して各種の商品を販売するネットショップ(仮想店舗)と、商品の購入申込を行う顧客側のユーザ端末との間でインターネットを介して双方向通信を行なう電子商取引は、自宅等のユーザ端末から何時でも自由に所望する商品を購入することができ、購入商品に対する決済も銀行口座からの自動引き落としが可能な為に、仮想店舗の集合である仮想的な商店街に相当するショッピングモール等が益々普及している。
このようなネットショップにおいては、例えば、商品売場にいない顧客が仮想店舗の係員のアドバイスを受け、商品のイメージを確認しながら商品を購入するような販売システムも提案されている。
しかしながら、上述の販売システムでは、その取引対象が既製品及び量産品である同一の物として取り扱うことができないような商品(例えば、生鮮食料品や手作り品など)の取引に適用することができないという課題が存在する。
そこで、例えば、特許文献1に記載されるネット販売システムが提案されている。特許文献1では、ネットショップの実店舗運営手段が、入店が許可されたユーザが所有するユーザ端末から送信される購入意志を含む情報に対して、実店舗側で実際に商品販売を行う画像及び音声を上記ユーザ端末へ送信し、販売する現実の商品に対するユーザからの購入決定の意志を含む情報を受信した際に店舗用端末から取得したその商品を包装封止する画像を購入決定の意志を含む情報を送信してきたユーザ端末に対して送信する構成を備える。
特開2005−202665号公報
しかしながら、特許文献1の構成では、実店舗側が商品を包装する様子を撮影機器により撮影し、その商品包装画像を店舗用端末からユーザ端末へネットワークを介して送信しているにすぎない。
すなわち、実店舗側より一方的に商品包装画像を送信するものであり、実店舗側とユーザとの間での双方向のコミュニケーションの観点からは十分ではない。例えば、ユーザが実店舗に展示される様々な商品を確認したい場合には、仮想店舗(ネットショップ)に掲載される画像により判断しなければならず、インタラクティブ性については、何ら考慮されていない。
そこで、本発明の目的は、小型の眼鏡型コミュニケーション装置を装着する実店舗の店員(装着者)又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステムを提供することにある。
本発明の相互コミュニケーションシステムは、現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムであって、
前記現場情報端末は、特定の装着者に装着され、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力する現場情報入出力手段を備え、
前記リモート情報端末は、前記現場情報端末から送信される情報を出力する現場情報出力手段と、少なくとも当該リモート情報端末利用者の音声を入出力する音声入出力手段を備えており、
前記管理サーバは、前記ネットワークを介して、前記現場情報端末及び前記リモート情報端末とを通信可能に接続しており、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立する機能を有することを特徴とする。
さらに本発明の相互コミュニケーションシステムにおいては、前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から現場の前記現場情報端末にアクセスして当該現場である現実の店舗内でのショッピングをする、あるいは、作業現場とのコミュニケーションをする際に、
前記管理サーバが、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理する予約登録手段と、前記相互通信を可能とする相互通信用の日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする。
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、
前記管理サーバは、前記眼鏡型コミュニケーション装置を特定する前記日時限定パスワードを認証する認証処理手段を備え、認証処理手段による認証結果に応じて、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信を確立することを特徴とする。
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、前記現場には複数の眼鏡型コミュニケーション装置が設置されており、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置が予約されることを特徴とする。
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、
前記管理サーバは、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信期間中における前記装着者の前記視野映像信号及び音声信号並びに前記リモート情報端末からの音声信号を格納する実績データのデータベースを有することを特徴とする。
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、
前記予約登録手段により登録される前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約情報を複数格納するスケジュール管理データベースを備えることを特徴とする。
本発明の相互コミュニケーション方法は、現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムを用いた相互コミュニケーション方法であって、
前記現場情報端末は、特定の装着者に装着されており、現場情報入出力手段により、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力し、
前記リモート情報端末は、現場情報入出力手段により前記現場情報端末から送信される情報を出力し、かつ、音声入出力手段により、少なくとも当該リモート情報端末利用者の音声を入出力し、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立することを特徴とする。
さらに本発明の相互コミュニケーション方法においては、
前記現場情報端末は現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から現場に配設する前記現場情報端末にアクセスしてコニュニケーションをとるに際して、
前記管理サーバが、予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理しており、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする。
さらに本発明の相互コミュニケーション方法においては、前記現場に複数の眼鏡型コミュニケーション装置が設置されている場合、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約することを特徴とする。
実店舗側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムであって、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
入力部、表示部、出力部、通信インターフェース部、画像処理部、音声処理部、合成処理部、動作認識部、を含み、
前記画像処理部は、前記入力部のカメラから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、前記合成処理部に供給し、
前記音声処理部は、前記入力部のマイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を前記出力装置のスピーカーに供給し、
前記動作認識部は、前記入力データを受け、当該データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記合成処理部は、前記視野映像信号及び前記音声信号を前記表示部及び前記出力部の通信インターフェース部に供給し、
前記通信インターフェース部は、前記視野映像信号及び前記音声信号を、前記ネットワークを介して対応するユーザ端末へ送信するものであって、
前記コミュニケーション制御部は、さらに
前記表示部のモニターへの表示機能を処理するモニター表示処理部、通信品質表示処理部、ビットレート/フレームレート調整機能処理部、の何れか1つ以上を含み、
前記モニター表示処理部は、
前記合成処理部により生成された前記視野映像信号及び前記音声信号を前記カメラにより撮影した映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記品質表示機能処理部は、前記コミュニケーション装置と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、同様にユーザ端末と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をユーザ端末側の表示部にも表示し、
前記ビットレート/フレームレート調整機能処理部は、前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
ことを特徴とする。
実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおける相互コミュニケーション方法は、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
前記入力部のカメラから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給し、
前記入力部のマイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給し、
前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記視野映像信号及び前記音声信号を前記出力部のスピーカーと前記通信インターフェース部、ネットワークを介して対応するユーザ端末へ送信し、
さらに
前記合成処理部により生成された前記視野映像信号及び前記音声信号を前記カメラにより撮影した映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示、あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記コミュニケーション装置と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、前記ユーザ端末と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部にも表示し、
前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
ことを特徴とする。
本発明によれば、小型の眼鏡型コミュニケーション装置を装着する実店舗の装着者又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステムを提供することが可能となる。
例えば、眼鏡型コミュニケーション装置を介して実店舗の装着者が、遠隔地にいるユーザからの希望に応じて商品を手に取り説明することで、遠隔地にいるユーザは実店舗内に居るかの如きリアル感で行動することができ、より一層現実に近いバーチャル来店を実現できる。
また、眼鏡型コミュニケーション装置を介して建築現場等の作業現場で作業する作業員の視線のままの映像(作業員の視野内の映像)が、遠隔地の建設会社の端末に送信されることから、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施例に係る相互コミュニケーションシステムの全体概略構成図である。 図1に示す眼鏡型コミュニケーション装置の外観斜視図である。 図2に示す眼鏡型コミュニケーション装置を構成するコミュニケーション制御部の機能ブロック図である。 図1に示す眼鏡型コミュニケーション装置の他の外観斜視図である。 図4に示す眼鏡型コミュニケーション装置を構成するコミュニケーション制御部の機能ブロック図である。 図4に示す骨伝導マイクの構成図である。 図4に示す骨伝導スピーカーの構成図である。 図1に示す実店舗端末の機能ブロック図である。 図1に示す管理サーバの機能ブロック図である。 相互コミュニケーションシステムの概略シーケンス図である。 図9に示す管理サーバの処理フローを示すフローチャートである。 図8に示す実店舗端末及びコミュニケーション制御部の処理フローを示すフローチャートである。 図1に示すユーザ端末の処理フローを示すフローチャートである。 管理サーバによる予約画面の表示例である。 管理サーバによる予約画面の表示例である。 管理サーバによる予約画面の表示例である。 予約登録時の画面表示例である。 予約登録完了及び日時限定パスワード送信時の表示画面例である。 予約検索時の画面表示例である。 予約検索時の画面表示例である。 予約変更時の画面表示例である。 予約変更完了時の画面表示例である。 予約削除時の画面表示例である。 予約削除時の画面表示例である。 予約削除完了時の画面表示例である。 相互通信時におけるユーザ端末の画面表示例である。 本発明の他の実施例に係る相互コミュニケーションシステムの全体概略構成図である。 相互通信時におけるユーザ端末の画面表示例である。 本発明の他の実施例に係る相互コミュニケーションシステムの全体概略構成図である。 表示部のモニター画面の一例を示す図である。 図29に示すコミュニケーション制御部の処理フローを示すフローチャートである。
本明細書において、実店舗で眼鏡型コミュニケーション装置を装着する装着者及び作業現場で眼鏡型コミュニケーション装置を装着する作業者を総称して装着者と称する場合もある。また、本明細書において、「実店舗」とは、商取引される商品を扱う店舗はもとより、ショールーム等の商取引の対象となる商品を展示する展示場や同一のものとして取り扱うことが難しい商品(例えば中古車や中古物件など)のオークションや販売場所も含むものとする。さらに、コールセンター等実際の画面を参照しながら、操作説明を行う場合などの作業現場も含めて「現場」と称する場合もある。
また、以下の実施例では、実店舗内に配置される小型のコミュニケーション装置の具体例としては眼鏡型コミュニケーション装置を例にとって説明するが、小型カメラと音声マイクを備えた小型コミュニケーション装置を用いても良い。
以下、図面を用いて本発明の実施例について説明する。
図1は、本発明の一実施例に係る相互コミュニケーションシステムの全体概略構成図である。
図1に示すように、相互コミュニケーションシステム1は、実店舗2、管理サーバ3、ユーザAが所有するパーソナルコンピュータ(以下、PCと称する)であるユーザ端末4a、ユーザBが所有するタブレットであるユーザ端末4b、ユーザCが所有するスマートフォン(携帯電話)であるユーザ端末4c、及びこれらを双方向通信可能に接続するネットワーク5から構成される。
実店舗2は、眼鏡型コミュニケーション装置2a、ルーター2b、及びPCである実店舗端末2cを備える。
眼鏡型コミュニケーション装置2a及び実店舗端末2cは、ルーター2bを介してネットワーク5に接続される。
眼鏡型コミュニケーション装置2a及びルーター2bとの間は、例えば、Wi−Fi(ソフトバンクBB株式会社の登録商標)又は、Bluetooth(Bluetooth SIG,Inc.:ブルートゥース エスアイジー,インコーポレイテッドの登録商標)により通信接続されている。
なお、ネットワーク5に接続されるユーザ端末は、図1に示す3台に限られるものではなく複数台接続可能であり、またユーザ端末が全てスマートフォン或はタブレットの場合もあり得る。また、実店舗2内に設置される実店舗端末2cは、PCに代えてスマートフォン又はタブレットであっても良い。
(眼鏡型コミュニケーション装置)
図2は、図1に示す眼鏡型コミュニケーション装置の外観斜視図である。
図2に示すように、装着者に装着され、携帯可能な小型の眼鏡型コミュニケーション装置2aは、眼鏡本体24及びコミュニケーション制御部20から構成される。眼鏡本体24は、主として、左テンプル24a、右テンプル24b、レンズ枠24c、レンズ又はガラス24dとで構成される。コミュニケーション制御部20は、右テンプル24bに着脱自在に取り付けられている。図2では、一般的に右目が効き目の場合が多いことから、右テンプル24bにコミュニケーション制御部20を取り付けた例を示しているが、勿論、コミュニケーション制御部20を左テンプル24aに取り付けても良い。
コミュニケーション制御部20は、撮像部21、音声入出力部22、及びこれらを支持する支持部23から構成される。
支持部23は、その長さが調整可能であり、眼鏡型コミュニケーション装置2aを装着する店員毎に、レンズ又はガラス24dと撮像部21との間隙及び、レンズ又はガラス24dと撮像部21との相対的な位置決めが可能となっている。
撮像部21は、前面(レンズ又はガラス24dと反対側の面)にカメラ21aを有すると共に、側面に姿勢センサー21bを有する。
また撮像部21は、後面(レンズ又はガラス24dと対向する側の面)に薄型の小型ディスプレイ21cを備える。
ここで、小型ディスプレイ21cとして、例えば、液晶ディスプレイ(LCD)或は有機EL(Electro−Luminescence)ディスプレイ等が用いられる。また、カメラ21aとして、例えば、CCD又は動画フルHDカメラ等が用いられる。
音声入出力部22は、右テンプル24bと対向する側の面に、マイク22a及びスピーカー22bを有する。また、音声入出力部22は、図示しない、音量調整ボタン、メニュー選択ボタン、及び決定ボタンを備える。
図3に、眼鏡型コミュニケーション装置2aを構成するコミュニケーション制御部20の機能ブロック図を示す。
コミュニケーション制御部20は、入力I/F201、出力I/F202、映像取得部203、音声取得部204、画像処理部205、音声処理部206、合成処理部207、動作認識部208、通信I/F209、GPS装置211、及びこれらを相互に接続する内部バス210を備える。
ここで、画像処理部205、音声処理部206、合成処理部207、動作認識部208、及びGPS装置211は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
入力I/F201は、カメラ21aから入力される映像信号を、内部バス210を介して映像取得部203へ出力すると共に、マイク22aから入力される装着者の音声信号(会話)を、内部バス210を介して音声取得部204へ出力する。
また、入力I/F201は、姿勢センサー21bから入力される姿勢データ(眼鏡型コミュニケーション装置2aの姿勢を示すデータ)を、内部バス210を介して動作認識部208へ出力する。
映像取得部203は、取得された映像信号を、内部バス210を介して画像処理部205へ転送する。
また、音声取得部204は、取得された音声信号を、内部バス210を介して音声処理部206へ転送する。
動作認識部208は、入力された姿勢データに基づき、眼鏡型コミュニケーション装置2aを装着する店員の少なくとも視線方向を含むデータを算出し、内部バス210を介して画像処理部205へ出力する。
画像処理部205は、入力される映像信号及び視線方向を含むデータに基づき、眼鏡型コミュニケーション装置2aを装着する店員の視界(視野内)に対応する視野映像信号を求め、内部バス210を介して合成処理部207へ出力する。
音声処理部206は、入力される音声信号からノイズを除去しノイズ除去後の音声信号を、内部バス210を介して合成処理部207へ出力する。合成処理部207は、入力されるノイズ除去後の音声信号と上記視野映像信号を重畳或は同期させ通信用に圧縮等の処理を実行し、内部バス210及び通信I/F209を介してルーター2bへ送信する。
これにより、合成処理部207にて処理された上記音声信号及び視野映像信号は、ルーター2b及びネットワーク5を介して対応するユーザ端末へ送信される。また、音声処理部206は、ユーザ端末から受信されるユーザの音声信号(会話)からノイズを除去しノイズ除去後の音声信号を、内部バス210及び出力I/F202を介して、スピーカー22bへ出力する。
GPS装置211は、4つ以上のGPS衛星からの距離を同時に取得することにより自身の位置情報を取得する。換言すれば、GPS装置211は、眼鏡型コミュニケーション装置2aを測位し、必要に応じて内部バス210及び通信I/F209を介してルーター2bへ出力する。これにより眼鏡型コミュニケーション装置2aを装着する店員の位置情報を知ることが可能となると共に、特に、1つの眼鏡型コミュニケーション装置2aを複数の店員にて共用する場合において、現在、眼鏡型コミュニケーション装置2aがどこで使用されているか、又は、どこに保管されているか容易に把握することが可能となる。
ここで、コミュニケーション制御部20は、さらに、モニター表示処理部、通信品質表示機能制御部、ビットレート/フレームレート調整機能処理部、を設けてもよい。係る構成を含む実施例については後述する。
図4は、眼鏡型コミュニケーション装置の変形例の外観斜視図である。
図4に示すように、眼鏡型コミュニケーション装置2a’は、眼鏡本体24、カメラ21a’、マイク22a’,スピーカー22b’及びコミュニケーション制御部20’から構成される。カメラ21a’は、左右のレンズ枠24cを連結する連結部に設けられている。また、左テンプル24aに設けられるスピーカー22b’は、例えば、骨伝導スピーカーが用いられる。また、右テンプル24bに設けられるマイク22a’は、例えば、骨伝導マイクが用いられる。
図5に、眼鏡型コミュニケーション装置2a’を構成するコミュニケーション制御部20’の機能ブロック図を示す。
コミュニケーション制御部20’は、入力I/F201、出力I/F202、映像取得部203、音声取得部204、画像処理部205、音声処理部206、合成処理部207、通信I/F209、及びこれらを相互に接続する内部バス210を備える。
ここで、画像処理部205、音声処理部206、及び合成処理部207は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
入力I/F201は、カメラ21a’から入力される映像信号を、内部バス210を介して映像取得部203へ出力すると共に、マイク22a’から入力される装着者の音声信号(会話)を、内部バス210を介して音声取得部204へ出力する。
映像取得部203は、取得された映像信号を、内部バス210を介して画像処理部205へ転送する。
また、音声取得部204は、取得された音声信号を、内部バス210を介して音声処理部206へ転送する。
画像処理部205は、入力される映像信号を、眼鏡型コミュニケーション装置2aを装着する店員の視界(視野内)に対応する視野映像信号として、内部バス210を介して合成処理部207へ出力する。
音声処理部206は、入力される音声信号からノイズを除去しノイズ除去後の音声信号を、内部バス210を介して合成処理部207へ出力する。
合成処理部207は、入力されるノイズ除去後の音声信号と上記視野映像信号を重畳或は同期させ通信用に圧縮等の処理を実行し、内部バス210及び通信I/F209を介してルーター2bへ送信する。
これにより、合成処理部207にて処理された上記音声信号及び視野映像信号は、ルーター2b及びネットワーク5を介して対応するユーザ端末へ送信される。また、音声処理部206は、ユーザ端末から受信されるユーザの音声信号(会話)からノイズを除去しノイズ除去後の音声信号を、内部バス210及び出力I/F202を介して、スピーカー22b’へ出力する。
以下に、マイク22a’及びスピーカー22b’として用いられる、骨伝導マイク及び骨伝導スピーカーについて説明する。
図6は、骨伝導マイク22a’の構成図である。
図6に示すように、骨伝導マイク22a’は、振動センサー221、増幅器222、及びA/D変換器223から構成される。
振動センサー221は、骨を伝達する声帯の振動を取得し、増幅器222へ出力する。
A/D変換器223は、増幅器222にて増幅された眼鏡型コミュニケーション装置2a’を装着する店員の音声信号を、コミュニケーション制御部20’を構成する入力I/F201へ出力する。
また、図7に骨伝導スピーカー22b’の構成図を示す。
骨伝導スピーカー22b’は、骨導スピーカー224、増幅器225、及びD/A変換器226から構成される。
D/A変換器226は、コミュニケーション制御部20’を構成する出力I/F202から入力されるユーザ端末を所有するユーザの音声信号を、アナログ信号に変換し増幅器225に出力する。増幅器225にて増幅されたユーザの音声信号を骨導スピーカー224へ出力する。
ここで、骨導スピーカー224は、例えば、振動板、マグネット、ヨーク、及びボイスコイルを備え、音声信号に応じて振動板を振動させ、当該振動を骨に伝達する。
(実店舗端末)
図8は、実店舗端末2cの機能ブロック図である。
図8に示すように、実店舗端末2cは、入力部231、表示部232、入力I/F233、出力I/F234、演算部235、ログイン認証部236、通信I/F239、及びこれらを相互に接続する内部バス240を備える。
また、実店舗端末2cは、電源及び電池からなるバッテリー部238を有する。
ここで、演算部235及びログイン認証部236は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
入力部231は、例えば、キーボード及びマウスから構成され、実店舗端末2cへのログイン時に入力するユーザ名及びパスワード、その他パラメータ等の入力情報を入力I/F233へ出力する。
演算部235は、入力部231より入力される入力情報に対し、所望のアプリケーションプログラムをROM(図示せず)より読み出し実行し、演算結果を内部バス240及び出力I/F234を介して表示部232へ出力する機能を有する。
また、演算部235は、後述する管理サーバ3へアクセスする機能も有している。ログイン認証部236は、入力部231より入力されたユーザ名及びパスワードが予め登録されたものか否かを判定し、ログイン認証の結果が「可」の場合には、その後のユーザによる実店舗端末2cの利用を許可する。
一方、ログイン認証の結果が「非」の場合には、ユーザによるその後の実店舗端末2cへのアクセスを禁止する。
通信I/F239は、入力部231から入力された上記入力情報及び演算部235による演算結果をルーター2bへ送信する。
なお、ユーザ端末4a、ユーザ端末4b、及びユーザ端末4cの機能ブロック構成も、図8に示す実店舗端末2cの構成と同様のため、ここでは説明を省略する。
(管理サーバ)
図9は、管理サーバ3の機能ブロック図である。
図9に示すように、管理サーバ3は、入力部31、表示部32、入力I/F33、出力I/F34、予約登録・変更部35、予約検索部36、予約削除部37、パスワード発行部38、認証処理部39、スケジュール管理DB(データベース)40、パスワード管理DB41、実績データDB42、通信I/F43、及びこれらを相互に接続する内部バス44を備える。
ここで、予約登録・変更部35、予約検索部36、予約削除部37、パスワード発行部38、及び認証処理部39は、例えば、図示しない各種プログラムを格納するROM及び演算過程のデータ等を一時的に格納するRAM等のメモリと、上記ROMに格納されるプロフラムを読み出し実行するCPU等のプロセッサにより実現される。
スケジュール管理DB40は、後述する相互コミュニケーションシステム1の利用スケジュールを、例えば、カレンダー形式にて格納し、予約情報を記憶している。
パスワード管理DBは、後述する店舗端末2cからの相互コミュニケーションシステム1の利用予約登録可能な場合に発行される相互通信を実行する際の日時限定パスワードを格納する。
ここで、格納される日時限定パスワードは、相互コミュニケーションシステム1を利用する実店舗毎にそれぞれ対応付けて格納される。
また、日時限定パスワードは、例えば、予約登録された日時限定のパスワードであって、当該予約登録日時経過後に、仮に店舗端末2cより日時限定パスワードが送信されたとしても、受け付けることは無い。換言すれば、そのような日時限定パスワードは、予約登録日時を経過した時点で無効化される。また、実績データDB42には、後述する眼鏡型コミュニケーション装置2aから送信される、上述の眼鏡型コミュニケーション装置2aを装着する店員の音声信号と視野映像信号及び、ユーザ端末から受信されるユーザの音声信号音声信号を実績データとして格納する。
予約登録・変更部35は、通信I/F43を介して受信される実店舗端末2cからの予約登録及び予約変更に応じて、内部バス44を介してスケジュール管理DB40へ予約登録情報を格納又は既に登録された予約情報を変更し更新する。
予約検索部36は、内部バス44を介してスケジュール管理DB40にアクセスし、指定された予約情報を検索する。
予約削除部37は、内部バス44を介してスケジュール管理DB40にアクセスし、指定された予約情報を削除する。
パスワード発行部38は、相互コミュニケーションシステム1の利用予約が登録された実店舗端末2cへ、上述の日時限定パスワードを、内部バス44、通信I/F43及びネットワーク5を介して送信する。
認証処理部39は、通信I/F43を介して受信される実店舗端末2cからの日時限定パスワードの認証処理を実行する。
次に、相互コミュニケーションシステム1全体の動作について説明する。なお、以下では、一例としてユーザ端末4aを所有するユーザAと実店舗2とが、相互コミュニケーションシステム1を利用する場合を想定し説明する。
図10は、相互コミュニケーションシステム1の概略シーケンス図である。
先ず、準備段階として、実店舗2とユーザ端末4aを所有するユーザAとの間で、相互コミュニケーションシステム1を利用し中継する時間を予め決定する(ステップS101)。なお、仮に、実店舗2内の眼鏡型コミュニケーション装置2aが空き状態の場合には、直後に利用又は予約をすることが可能である。
実店舗2内の実店舗端末2cは、ルーター2b及びネットワーク5を介して管理サーバへ、眼鏡型コミュニケーション装置2aの利用日時、すなわち、相互コミュニケーションシステム1の利用日時の予約要求を送信する。そして、管理サーバ3の管理画面にアクセスし所望の利用日時を入力する(ステップS102)。当該入力された利用日時が登録可能である場合、管理サーバ3は、パスワード発行部38より通信I/F43及びネットワーク5を経由し、実店舗端末2cへ日時を限定するパスワードである上述の「日時限定パスワード」を送信する(ステップS103)。
次に、実店舗端末2cは、ルーター2b及びネットワーク5を経由し、ユーザ端末4aへ「中継相互通信画面URL」及び「日時限定パスワード」を送信する(ステップS104)。
予約利用日時になると、実店舗2側では店員が眼鏡型コミュニケーション装置2aを装着し起動の上、待機状態に入る。
一方、ユーザ端末4a側では、WEBブラウザにより相互通信画面にアクセスし、「日時限定パスワード」を入力する。
管理サーバ3は、ユーザ端末4aより入力された「日時限定パスワード」を認証処理し、認証結果が「可」の場合に、管理サーバ3を介して眼鏡型コミュニケーション装置2aとユーザ端末4a間で中継、中継映像の視聴と通話を行う(ステップS105)。
ここで、中継期間中の視野映像信号及び通話による音声信号は、全て管理サーバ3内の実績データDB42に格納される。
実店舗端末2cより管理サーバ3へ、中継した視野映像信号及び会話(音声信号)の再生要求があると、管理サーバ3の管理画面にアクセスし、対応する実績データDB42に格納される、視野映像信号及び会話(音声信号)が再生される(ステップS106)。
(管理サーバの処理フロー)
図11は、管理サーバ3の処理フローを示すフローチャートである。
先ず、ここで管理サーバ3の処理フローを説明する前に、実店舗端末2cがネットワーク5を経由し管理サーバ3の管理画面にアクセスする際の、管理画面の表示形態について説明する。
図14〜図16は管理サーバ3による予約画面の表示例、すなわち、管理画面の表示形態を示している。
図14に示すように、管理サーバの管理画面は、予約管理システム画面と称され、カレンダー表示される第1の表示領域、予約ID及び日時限定パスワードが表示され、「予約開示日時」及び「予約終了日時」を受け付ける第2の表示領域、「予約登録」ボタン、「予約変更」ボタン、「予約検索」ボタン、及び「予約削除」ボタンが表示される第3の表示領域から構成される。
第1の表示領域の右上欄には、それぞれ「月」、「週」、及び「日」単位での表示範囲の切り替えを指定可能とする領域を有する。図14に示す例では、「月」単位が指定され、「月」の領域のみが、ハイライト表示されている。また、第1の表示領域の左上覧には、表示月の切り替えを指定可能とするボタンが設けられている。図14に示す第1の表示領域中のカレンダー表示において、2015年10月1日〜2015年10月7日までの期間内の予約状況が「予約」アイコンにて表示されている。10月2日(金)及び10月4日(日)にそれぞれ予約登録されていることを示している。
また、図15は、「週」単位の表示が選択された表示状態を示しており、第1の表示領域の右上欄の「週」のみがハイライト表示されている。第1の表示領域中のカレンダー表示において、2015年10月1日〜2015年10月7日までの期間内で、10月2日(金)12:00〜13:00及び10月4日(日)15:00〜16:00にそれぞれ予約登録されていることを示している。
また、図16は、「日」単位の表示が選択された表示状態を示しており、第1の表示領域の右上欄の「日」のみがハイライト表示されている。第1の表示領域中のカレンダー表示において、2015年10月2日(金)12:00〜13:00に予約登録されていることを示している。
図11に示すように、ステップS111では、実店舗端末2cから眼鏡型コミュニケーション装置2aの利用日時の予約要求を受け付けると、管理サーバ3を構成する予約登録・変更部35は、当該予約が新規登録か否かを判定する。新規登録の場合にはステップS112へ進み、新規登録でない場合にはステップS113へ進む。
続いて、ステップS112では、実店舗端末2cは、管理サーバ3の管理画面にアクセスし、予約開始日時及び予約終了日時を登録(開始終了日時を登録)する。ここで、図17に予約登録時の画面表示例、すなわち、管理画面を示す。
実店舗2の装着者は、図17に示す第1の表示領域を「週」単位表示に切り替え、第1の表示領域内のカレンダー表示において、所望の予約日時である「10月6日18:00〜19:00」(図中のハッチング領域)の欄にカーソルを移動しクリックする。
すると、第2表示領域中の「予約開始日時」の欄に「2015/10/6 18:00」が、また、「予約終了日時」の欄に「2015/10/6 19:00」が自動的に入力される。その後、第3の表示領域中の「予約登録」ボタンにカーソルを移動しクリックする。予約登録・変更部35は、この登録された開始終了日時を受け付ける。
ステップS114では、予約登録・変更部35は、スケジュール管理DB40にアクセスし、ステップS112で受け付けた開始終了日時と重複する登録の有無を確認する。確認の結果、重複する登録が既に存在する場合には、ステップS112へ戻り、実店舗端末2cによる開始終了日時の登録を促す。一方、確認の結果、重複する登録がなければ、ステップS115へ進む。
ステップS115では、パスワード発行部38は、ネットワーク5を経由して実店舗端末2cへ日時を限定するパスワード(日時限定パスワード)を送信すると共に、当該日時限定パスワードと送信先の実店舗端末2cを特定させて(紐付けて)パスワード管理DB41に格納する。このときの管理画面の表示形態を図18に示す。図18に示すように、「予約を登録しました。日時限定パスワードをお客様へお伝えください。123456」とのダイアログボックスが画面上に表示される。それと共に、管理画面中の第2の表示領域の「予約ID」欄に「9999999999」が表示され、また、当然ながら「日時限定パスワード」欄に「123456」が表示される。なお、ここで、「予約ID」は管理サーバ3が自動的に生成する。
ステップS113では、予約検索部36は、管理画面上に予約IDの入力を促すダイアログボックスを表示する。このダイアログボックスが表示された状態を図19に示す。図19に示すように、ダイアログボックスには、「予約検索 予約IDから検索を行います。」とのメッセージと、その下に予約IDの入力を受け付ける領域、「検索」ボタン及び「キャンセル」ボタンが含まれる。予約IDの入力を受け付ける領域に「9999999999」が入力され、「検索」ボタンにカーソルが移動されクリックされると、予約検索部36は、スケジュール管理DB40にアクセスし、対応する予約情報を抽出する。予約検索部36は、抽出後の予約情報を図21に示すように管理画面中に表示する。具体的には、第1の表示領域のカレンダー表示中に、10月12(月)10:00〜11:00の欄にハッチングされた「予約」アイコンを表示すると共に、第2の表示領域において、「予約ID」欄に先に入力された「9999999999」が表示され、「予約開始日時」の欄にハッチングされた「2015/10/12 10:00」及び「予約終了日時」の欄にハッチングされた「2015/10/12 11:00」が表示される。
ステップS116では、予約登録・変更部35は、ステップS113にて抽出された予約情報に対し変更又は削除指示が入力されたか否かを判定する。予約変更が指示入力された場合にはステップS117へ進み、予約削除が指示入力された場合にはステップS119へ進む。
ステップS117では、予約登録・変更部35は、図21に示すように、管理画面において第1の表示領域中のカレンダー表示において、予約変更の対象となる予約情報がクリックにより指定されると、当該指定された予約情報に対応する「予約」アイコンがハッチング表示される。この状態にて、第2の表示領域中の「予約開始日時」及び「予約終了日時」の欄に、それぞれ変更後の日時が入力され、第3の表示領域中の「予約変更」ボタンへの指示入力(クリック)を受け付けると、予約登録・変更部35は、当該変更後の予約開始終了日時を取り込む。
ステップS118では、予約登録・変更部36は、スケジュール管理DB40へアクセスし、ステップS117にて取り込んだ変更後の予約開始終了日時と重複する予約情報の有無を確認する。確認の結果、重複する予約情報が既に格納されている場合には、ステップS117へ戻り、再度、変更後の予約開始終了日時の入力を促す。一方、重複する予約情報が無い場合には、図22に示すように、管理画面上に「予約を変更しました。」とのメッセージを含むダイアログボックスを表示し、ステップS120へ進む。
ステップS119では、予約削除部37は、図23に示す管理画面において、第1の表示領域のカレンダー表示中の削除対象「予約」アイコンがクリックにより指定され、第3の表示領域の「予約削除」ボタンへの指示入力を受け付けると、スケジュール管理DB40にアクセスし上記削除対象予約情報を抽出すると共に、図24に示すように管理画面上に予約情報の削除の実行を確認する旨のダイアログボックスを表示する。当該ダイアログボクスにて削除指示を受け付けると、上記抽出された削除対象予約情報をスケジュール管理DB40より削除し、図25に示すように、予約を削除した旨を知らせるダイアログボックスを管理画面上に表示し、次のステップS120へ進む。
以上のステップS111〜ステップS119までの処理が、管理サーバ3が実行する予約登録、予約変更、及び予約削除機能の処理フローである。
次に、ユーザ端末4aよりネットワーク5を経由して管理サーバ3が日時限定パスワードを受信する(ステップS120)と、受信された日時限定パスワードは、管理サーバ3を構成する通信I/F43及び内部バス44を介して認証処理部39に入力される。
ステップS121では、認証処理部39は、パスワード管理DB41へアクセスし、入力された日時限定パスワードがパスワード管理DB41内に格納されているか否かを判定することで認証処理を実行する。認証処理の結果が「可」の場合、すなわち、入力された日時限定パスワードと一致する日時限定パスワードがパスワード管理DB41内に格納されている場合、ステップS122へ進み、管理サーバ3を介してユーザ端末4aと眼鏡型コミュニケーション装置2aとの間の中継が確立する。中継が終了後、次のステップS124へ進む。一方、認証処理の結果が「非」の場合、すなわち、入力された日時限定パスワードと一致する日時限定パスワードがパスワード管理DB41内に格納されていない場合、認証処理部39は、通信I/F43及びネットワーク5を経由して、ユーザ端末4aへ無効メッセージ又はリトライ要求を送信し(ステップS123)、処理を終了する。
ステップS124では、管理サーバ3は、実店舗端末2cからネットワーク5を経由して、中継期間中における視野映像信号及び音声信号のダウンロード要求の有無を監視する。当該ダウンロード要求が無い場合には処理を終了する。一方、上記ダウンロード要求があった場合には、管理サーバ3は、実績データDB42を参照し、ダウンロード要求に対応する視野映像信号及び音声信号を、ネットワーク5を経由し実店舗端末2cへ送信し(ステップS125)、処理を終了する。
(実店舗端末及びコミュニケーション制御部の処理フロー)
図12に、実店舗端末2c及び眼鏡型コミュニケーション装置2aを構成するコミュニケーション制御部20の処理フローを示す。
以下では、図2及び図3に示した眼鏡型コミュニケーション装置2aを用いた場合を例に説明する。
ステップS131では、実店舗端末2cを構成する入力部231を介して、表示部232に表示されるログイン画面にログインパスワードを入力する。ログイン画面は、「ユーザ名」と「パスワード」の入力を受け付ける領域を有する。「パスワード」入力欄にログインパスワードの入力を受け付けると、入力されたログインパスワードは、入力I/F233及び内部バス240を介してログイン認証部236に入力される。ログイン認証部236は入力されたログインパスワードが正規のものか否か判定、すなわち、ログイン認証処理を実行する(ステップS132)。ログイン認証処理の結果が「非」の場合にはステップS131へ戻り、ログイン認証処理の結果が「可」の場合には、ステップS133へ進む。
ステップS133では、実店舗端末2cは、通信I/F239、ルーター2b及びネットワーク5を経由し、管理サーバ3の管理画面にアクセスする。ステップS134では、実店舗端末2cは、上述の管理サーバ3の処理フローにて説明した管理画面にて、眼鏡型コミュニケーション装置2aの利用、すなわち、相互コミュニケーションシステム1の利用日時の予約を実行する。
ステップS135にて、管理サーバ3よりネットワーク5を経由し日時限定パスワードを受信すると、実店舗端末2cは、ルーター2b及びネットワーク5を経由し、ユーザ端末4aへ「日時限定パスワード」及び「相互通信画面URL」を送信する(ステップS136)。
その後、予約された利用日時になると、眼鏡型コミュニケーション装置2aが起動され、待機状態となる(ステップS137)。
管理サーバ3を介してユーザ端末4aと眼鏡型コミュニケーション装置2aとの間での中継が確立される(ステップS138)とステップS139に進む。
ステップ139では、眼鏡型コミュニケーション装置2aを装着する店員の視界と同様の視野映像信号が、コミュニケーション制御部20を構成する画像処理部205にて生成されると共に、眼鏡型コミュニケーション装置2aを装着する店員による商品の説明等の音声信号が音声処理部206にて生成される。
合成処理部207にて視野映像信号と音声信号が重畳され、圧縮された視野映像信号及び音声信号がルーター2b及びネットワーク5を経由し、ユーザ端末4aへ送信される。また、ユーザ端末4aの所有者であるユーザAからの他の商品の紹介を要求する音声信号を、通信I/F209、音声処理部206及びスピーカー22bを介して受信する。眼鏡型コミュニケーション装置2aを装着する店員は、ユーザAの要求に対応して他の商品を手に取り、その視野映像信号及び当該商品の説明に係る音声信号を、上記と同様にネットワーク5を経由し、ユーザ端末4aへ送信する。このように、眼鏡型コミュニケーション装置2aを介して実店舗2の店員が、ユーザAからの希望に応じて商品を手に取り説明することで、より一層現実に近いバーチャル来店を実現できる。
ステップS140では、眼鏡型コミュニケーション装置2aは停止状態となる。
ステップS141では、実店舗端末2cは、中継期間中における視野映像信号及び眼鏡型コミュニケーション装置2aを装着する店員の音声信号並びにユーザ端末4aの所有者であるユーザAの音声信号のダウンロード要求を、ネットワーク5を経由して管理サーバ3へ送信する。
ステップS142では、管理サーバ3より実績データDB42に格納されるダウンロード要求に対応する、視野映像信号及び音声信号を、ネットワーク5を経由し実店舗端2cが受信し処理を終了する。
(ユーザ端末の処理フロー)
図13は、ユーザ端末の処理フローを示す。なお、ここではユーザ端末4aの処理フローを説明するが、遠隔地に存在するリモートユーザ端末4b及びユーザ端末4cも同様である。また、上述の通り、ユーザ端末4aの機能ブロック構成は、図8に示した実店舗端末2cの機能ブロック構成と同様である。従って、以下では、図8に示した各機能ブロックを用いて説明する。
図13に示すように、ステップS153では、ユーザ端末4aは、ネットワーク5を経由し、実店舗端末2cから「日時限定パスワード」及び「相互通信画面URL」を通信I/F239にて受信する。
ステップS154では、WEBブラウザを用いて、入力部231より「相互通信画面URL」を入力し、相互通信画面にアクセスすると共に、入力部231より「日時限定パスワード」を入力する。
ステップS157にて、ネットワーク5を経由し受信される管理サーバ3(認証処理部39)による認証処理の結果が「非」の場合、ユーザ端末4aは、管理サーバ3より無効メッセージを受信又はリトライ要求を受信し(ステップS156)、ステップS154へ戻る。一方、管理サーバ3による認証処理の結果が「可」の場合、管理サーバ3を介してユーザ端末4aと眼鏡型コミュニケーション装置2aとの間での中継が確立される(ステップS157)とステップS158に進む。
ステップS158では、ユーザ端末4aの相互通信画面に、眼鏡型コミュニケーション装置2aを装着する店員の視界と同様の視野映像信号が表示されると共に、眼鏡型コミュニケーション装置2aを装着する店員による商品の説明等の音声信号がユーザ端末4aの図示しないスピーカーから出力される。なお、図26に相互通信時におけるユーザ端末4aの画面表示例を示す。
図26に示すように、眼鏡型コミュニケーション装置2aを装着する店員により手に取られたブラウスが画面のほぼ中央に表示される。ユーザ端末4aの所有者であるユーザAは、相互通信画面及び店員の音声信号により、仮に、他の商品の確認及びその説明を得たい場合には、その旨、図示しないマイクを介し、ネットワーク5経由で眼鏡型コミュニケーション装置2aを装着する店員へ送信する。例えば、図26において棚に陳列された他の衣服についても同様に視聴でき、その商品の説明を聞くこともできる。これにより、ユーザ端末4aの所有者であるユーザAは、あたかも自身が実店舗2に来店しているかのような感覚にて、商品の確認及び購入が可能となる。
ステップS159では、ユーザ端末4aからの視聴終了動作により、中継が終了し処理が完了する。
なお、本実施例において、管理サーバ3を所有し、眼鏡型コミュニケーション装置2aを有する相互コミュニケーションシステム1を運営する事業者が、予め実店舗2の経営者と利用契約を締結し、初期設定費用及び月額使用料金を対価として受け取る契約とし、相互コミュニケーションシステム1を月額固定費用で月間の利用回数に拠らず使用できる契約あるいは、基本料金に加えて月間の使用日数に応じた料金を課金する契約を取り交わしても良い。この場合、管理サーバ3は、実績データDB42を有することから、容易に従量制における料金を算出でき適正に課金することができる。
以上のとおり、本実施例によれば、小型の眼鏡型コミュニケーション装置を装着する実店舗の店員である装着者又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステム提供することが可能となる。
また、本実施例によれば、眼鏡型コミュニケーション装置を介して実店舗の装着者が、ユーザからの希望に応じて商品を手に取り説明することで、より一層現実に近いバーチャル来店を実現できる。
図27は、本発明の他の実施例に係る相互コミュニケーションシステムの全体概略構成図である。
実施例1では、実店舗2が眼鏡型コミュニケーション装置2a、ルーター2b、及びPCである実店舗端末2cを備える構成としたのに対し、本実施例では、建築会社の端末2c’、作業現場の作業員が装着する眼鏡型コミュニケーション装置2a、及び眼鏡型コミュニケーション装置2aにより得られる視野映像信及び音声信号をスマートフォン等の携帯端末2b’を備え、上記視野映像信号及び音声信号を、ネットワーク5及び管理サーバ3を経由し建設会社端末2c’又は、リモートユーザ端末へ送信する構成とした点が異なる。その他の点又は構成は実施例1と同様であり、以下では重複する説明を省略する。
図27に示すように、本実施例の相互コミュニケーションシステム1は、建設会社端末2c’、管理サーバ3、ユーザAが所有するPCであるユーザ端末4a、ユーザBが所有すルーターブレットであるユーザ端末4b、ユーザCが所有するスマートフォン(携帯電話)であるユーザ端末4c、作業現場における作業員が装着可能な眼鏡型コミュニケーション装置2a、作業員が所持するスマートフォン等の端末2b’、及びこれらを双方向通信可能に接続するネットワーク5から構成される。
管理サーバ3は、実施例1と同様に図9に示す機能ブロック構成を備え、管理サーバ3の処理フローは、実施例1と同様に図11に示す処理フローとなる。
また、建設会社端末2c’、ユーザ端末4a、ユーザ端末4b、及びユーザ端末4cの機能ブロック構成は、上述の図8に示す機能ブロック構成と同様である。なお、これらの処理フローは図13におけるステップS158において、例えば、ユーザ端末4aを所有するユーザAが建築中の建物のオーナーである場合、ユーザ端末4aの相互通信画面、又は、建設会社端末2c’の相互通信画面に、眼鏡型コミュニケーション装置2aを装着する作業員の視界と同様の視野映像信号が表示されると共に、眼鏡型コミュニケーション装置2aを装着する作業員による工期の進捗状況の説明等の音声信号がユーザ端末4a又は建設会社端末2c’の図示しないスピーカーから出力される。
なお、図28に相互通信時におけるユーザ端末4a又は建設会社端末2c’の画面表示例を示す。図28に示すように、眼鏡型コミュニケーション装置2aを装着する作業員により、建設現場等の作業現場の状況が画面のほぼ中央に表示される。例えば、建設会社端末2c’を操作する熟練社員は、相互通信画面及び作業員の音声信号により、仮に、作業手順の確認及び工期進捗状況についての相談等、図示しないマイクを介し、ネットワーク5経由で眼鏡型コミュニケーション装置2aを装着する作業員へ送信する。
これにより、遠隔地の建設会社の熟練社員は、あたかも自身が作業現場にいるかのような感覚にて、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。商品の確認及び購入が可能となる。
また、スマートフォン等の携帯端末2b’及び眼鏡型コミュニケーション装置2aを構成するコミュニケーション制御部20の処理フローは、上述の図12において、実施例1ではルーター2b及びネットワーク5を経由して管理サーバ3又はユーザ端末4aへ送信される情報は、本実施例では、携帯端末2b’よりネットワーク5を経由しユーザ端末4a又は建設会社端末2c’に送信される。
本実施例によれば、小型の眼鏡型コミュニケーション装置を装着する実店舗の装着者又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステム提供することが可能となる。
また、本実施例によれば、眼鏡型コミュニケーション装置を介して建築現場等の作業現場で作業する作業員の視線のままの映像(作業員の視野内の映像)が、遠隔地の建設会社の端末に送信されることから、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施例では現場と眼鏡型コミュニケーション装置が1対1として説明しているが、現場には複数の眼鏡型コミュニケーション装置が設置される場合においては、管理サーバの予約登録手段により、現場情報入出力手段である眼鏡型コミュニケーション装置とリモート情報端末との相互通信日時の予約をする際には、現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約する構成としている。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。
図29は、さらに、本発明の他の実施例に係る相互コミュニケーションシステム1におけるコミュニケーション制御部の構成例を示す図である。本実施例は、図3に示す実施例にモニター表示処理部212、通信品質表示処理部213、ビットレート/フレームレート調整処理部214、を追加したものであり、図3と同一部分には、同一符号を付し、その説明は省略する。
コミュニケーション制御部20は、モニター表示を行うためのモニター表示処理部212、通信品質表示を行うための通信品質表示処理部213、通信する映像のコマ数/画素数の変更を行うためのビットレート/フレームレート調整処理部214、を有する。
モニター表示処理部212は、入力部のカメラ1aで撮影した映像を表示部のモニター21cに表示する。カメラ1cにて撮影された映像は、視野映像(画角)であり、中継を視聴する側において、カメラ1cによる中継がどの範囲を中継しているかを確認することができる視野映像(画角)である。表示部のモニター1cには、映像表示にオーバーレイ(重ね合せ)して、次の情報の表示/非表示を行う。
(1)視聴中マーク
(2)予約残時間
(3)水平確認用グリッド(カメラ撮影時に表示される十字線のようなもの)
情報の表示/非表示の切り替えは、例えば、眼鏡型コミュニケーション装置2aに取り付けた操作ボタン(スイッチ)の操作により行う。
通信品質表示処理部213は、中継を視聴するリモート情報端末(ユーザ端末4)の表示画面に、通信速度の目安が分かるインジケーターを表示する。例えば、眼鏡型コミュニケーション装置2aから管理サーバ3側に定期的にインジケーターを示す信号を送信し、管理サーバ3側にて通信速度を計算し、ある一定期間の平均的な通信速度(上り速度)をもとに通信品質を3段階で表示する(図30参照)。
ビットレート/フレームレート調整処理部214は、通信する映像のコマ数/画素数の変更を行う。
図30A、B、Cは、表示部2cのモニター画面の一例を示す図である。図30Aは、モニター画面21c0に、撮影中の視野映像の上に視聴中マーク21c1、予約残時間21c2、品質確認インジケーター21c3及びグリッド線21c4、などをオーバーレイして表示した例である。
これらの項目の表示・非表示の切り替えは、図30Bに示す如く、モニター画面21c0上に表示される視聴中マークのON/OFFボタン21c11、予約残時間のON/OFFボタン21c21、インジケーターのON/OFFボタン21c3、及びグリッド線21c4予約残時間21c2、品質確認インジケーター21c31、及びグリッド線のON/OFFボタン21c41、を操作により行う。ボタン操作は、コミュニケーション装置の利用者により行われる。
図31は、コミュニケーション制御部20の処理フローを示すフローチャートである。
ステップS202では、映像取得部203は、入力部のカメラ21aから入力される映像信号(ステップS201)を取得し、画像処理部205に供給する。
ステップS203では、音声取得部204は、入力I/F201にて、入力部のマイク22aから入力される音声信号(ステップS201)を取得し、音声処理部206に供給する。
ステップS204では、画像処理部205は、入力I/F201から供給された映像信号を所定の画像処理を施して動作認識部208に供給する。
ステップS205では、音声処理部206は、入力I/F201から供給された音声信号を所定の音声処理を施して動作認識部208に供給する。
ステップS206では、動作認識部208は、前記入力部の姿勢センサーの姿勢データを受け、眼鏡型コミュニケーション装置2aの利用する装着者の少なくとも視線方向を含む動作認識データを算出し、合成処理部207に供給する。
ステップS207では、合成処理部207は、画像処理部205、音声処理部206から供給された映像信号、音声信号、及び動作認識部208から供給されたデータを合成処理し、モニター表示処理部212、通信品質表示処理部213、ビットレート/フレームレート調整処理部214に供給する。
ステップS208では、モニター表示処理部212は、カメラ1aから入力される視野映像信号を表示部のモニター21cに表示する場合、カメラ1aで撮影した映像表示に加えて、例えば、映像を視聴していることを示す視聴中マーク21c1、予約の残時間を示す予約残時間21c2、水平確認用のグリッド21c4、の何れか1つ以上をオーバーレイ(重ね合せる)可能とする処理を実行する。
ステップS209では、通信品質表示処理部213は、カメラ1aによる中継を視聴するリモート情報端末の表示画面に、通信速度の目安となるインジケーター21c3を表示可能とする処理を実行する。インジケーター21c3は、例えば、品質を3段階で表示する。
ステップS210では、出力I/F202は、ステップS208、S209にて処理された映像信号及び音声信号を表示部21c及びスピーカー22bに出力する。
ステップS211では、表示部21cは、出力I/F202から出力された映像信号をモニターする。
ステップS212では、ビットレート/フレームレート調整処理部214、合成処理部207から受けた映像信号をユーザ端末に通信するに際して、映像のコマ数/画像数を変更(ビットレート/フレームレート調整)して通信I/F209に出力する。
ステップS213では、通信I/F209は、ステップS212にてビットレート/フレームレート調整された映像信号を、ネットワークを介してユーザ端末4a〜4cへ通信する。
これにより、ユーザ端末は、コミュニケーション装置2a側にて撮影して得られた映像信号をコミュニケーション装置2a側と同一視点で捉えることができる。
また、本実施例によれば、説明者が説明する対象物のカメラによる映像と対象物のマイクによる説明の音声との相関関係を図り、当該対象物の映像と音声を遠隔地のユーザ端末に送信することにより、例えば、コミュニケーション装置の説明者が自由に移動して、説明する対象物を代えても、説明者が捉えた対象物の視野映像と音声とを遠隔地のユーザ側に誤解なく正確に伝えることができる。
1…相互コミュニケーションシステム、2…実店舗、2a,2a’…眼鏡型コミュニケーション装置、2b…ルーター、2b’…携帯端末(スマートフォン)、2c…実店舗端末、2c’…建設会社端末、3…管理サーバ、4a…ユーザ端末a、4b…ユーザ端末b、4c…ユーザ端末c、5…ネットワーク、20,20’…コミュニケーション制御部、21…撮像部、21a,21a’…カメラ、21b…姿勢センサー、21c…小型ディスプレイ、22…音声入出力部、22a,22a’…マイク、22b,22b’…スピーカー、23…支持部、24…眼鏡本体、24a…左テンプル、24b…右テンプル、24c…レンズ枠、24d…レンズ又はガラス、201…入力I/F、202…出力I/F、203…映像取得部、204…音声取得部、205…画像処理部、206…音声処理部、207…合成処理部、208…動作認識部、209…通信I/F、210…内部バス、211…GPS装置、212…モニター表示処理部、213…通信品質表示処理部、214…ビットレート/フレームレート調整処理部、221…振動センサー、222…増幅器、223…A/D変換器、224…骨導スピーカー、225…増幅器、226…D/A変換器、231…入力部、232…表示部、233…入力I/F、234…出力I/F、235…演算部、238…バッテリー部、239…通信I/F、240…内部バス、31…入力部、32…表示部、33…入力I/F、34…出力I/F、35…予約登録・変更部、36…予約検索部、37…予約削除部、38…パスワード発行部、39…認証処理部、40…スケジュール管理DB、41…パスワード管理DB、42…実績データDB、43…通信I/F、44…内部バス

Claims (14)

  1. 現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムであって、
    前記現場情報端末は、特定の装着者に装着され、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力する現場情報入出力手段を備え、
    前記リモート情報端末は、前記現場情報端末から送信される情報を入出力する現場情報入出力手段と、少なくとも当該リモート情報端末利用者の音声を入出力する音声入出力手段を備えており、
    前記管理サーバは、前記ネットワークを介して、前記現場情報端末及び前記リモート情報端末とを通信可能に接続しており、
    前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立する機能を有することを特徴とする相互コミュニケーションシステム。
  2. 請求項1に記載の相互コミュニケーションシステムにおいて、
    前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
    前記リモート情報端末の利用者は、遠隔地から現場の前記現場情報端末にアクセスして当該現場とコミュニケーションをする際に、
    前記管理サーバが、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理する予約登録手段と、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする相互コミュニケーションシステム。
  3. 請求項2に記載の相互コミュニケーションシステムにおいて、
    前記管理サーバは、前記眼鏡型コミュニケーション装置を特定する前記日時限定パスワードを認証する認証処理手段を備え、認証処理手段による認証結果に応じて、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信を確立することを特徴とする相互コミュニケーションシステム。
  4. 請求項3に記載の相互コミュニケーションシステムにおいて、現場の店舗内には複数の眼鏡型コミュニケーション装置が設置されている場合、
    前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現場に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置が予約されることを特徴とする相互コミュニケーションシステム。
  5. 請求項3又は請求項4に記載の相互コミュニケーションシステムにおいて、
    前記管理サーバは、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信期間中における前記装着者の視野映像信号及び音声信号並びに前記リモート情報端末からの音声信号を格納する実績データデータベースを有することを特徴とする相互コミュニケーションシステム。
  6. 請求項3乃至請求項5の内の一つに記載の相互コミュニケーションシステムにおいて、
    前記予約登録手段により登録される前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約情報を複数格納するスケジュール管理データベースを備えることを特徴とする相互コミュニケーションシステム。
  7. 現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムを用いた相互コミュニケーション方法であって、
    前記現場情報端末は、特定の装着者に装着されており、現場情報入出力手段により、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力し、
    前記リモート情報端末は、現場情報入出力手段により前記現場情報端末から送信される情報を出力し、かつ、音声入出力手段により、少なくとも当該リモート情報端末利用者の音声を入出力し、
    前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立することを特徴とする相互コミュニケーション方法。
  8. 請求項7に記載の相互コミュニケーション方法において、
    前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
    前記リモート情報端末の利用者は、遠隔地から前記現場の前記現場情報端末にアクセスして当該現場とコミュニケーションをする際に、
    前記管理サーバが、予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理しており、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする相互コミュニケーション方法。
  9. 請求項8に記載の相互コミュニケーション方法において、前記現場に複数の眼鏡型コミュニケーション装置が設置されている場合、
    前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現場に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約することを特徴とする相互コミュニケーション方法。
  10. 実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と前記管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおいて、
    前記コミュニケーション装置は、コミュニケーション制御部を有し、
    前記コミュニケーション制御部は、
    入力部、表示部、出力部、通信インターフェース部、画像処理部、音声処理部、合成処理部、動作認識部、を含み、
    前記画像処理部は、前記入力部から入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、前記合成処理部に供給し、
    前記音声処理部は、前記入力部から入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を前記音声の出力部に供給し、
    前記動作認識部は、前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
    前記合成処理部は、前記視野映像信号及び前記音声信号を前記出力部と前記通信インターフェース部に供給し、
    前記通信インターフェース部は、前記視野映像信号及び前記音声信号を、前記ネットワークを介して対応するユーザ端末へ送信するものであって、
    前記コミュニケーション制御部は、さらに
    前記表示部のモニターへの表示機能を処理するモニター表示処理部、通信品質表示処理部、ビットレート/フレームレート調整処理部、の何れか1つ以上を含み、
    前記モニター表示処理部は、前記入力部により撮影した視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
    前記通信品質表示機能処理部は、前記コミュニケーション装置と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、同様にユーザ端末と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示し、
    前記ビットレート/フレームレート調整処理部は、前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
    ことを特徴とする相互コミュニケーションシステム。
  11. 実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおける相互コミュニケーション方法において、
    前記コミュニケーション装置は、コミュニケーション制御部を有し、
    前記コミュニケーション制御部は、
    入力部から入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給し、
    前記入力部から入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部に供給し、
    前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
    前記視野映像信号及び前記音声信号を前記出力部と前記通信インターフェース部、ネットワークを介して対応するユーザ端末へ送信し、
    さらに
    撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
    前記コミュニケーション装置と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、前記ユーザ端末と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部にも表示し、
    前記ユーザ端末との間で通信する映像のコマ数、及び/又は画素数を変更する
    ことを特徴とする相互コミュニケーション方法。
  12. 現場側のカメラの映像信号、マイクの音声信号、姿勢センサーの姿勢データを受け、映像信号及び音声信号をユーザ端末との間で通信する相互コミュニケーション装置に搭載される相互コミュニケーションプログラムであって、
    前記カメラ及び前記姿勢センサーから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給するステップ、
    前記マイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給するステップ、
    前記視野映像信号及び前記音声信号を前記スピーカーと通信インターフェース、ネットワークを介して対応する前記ユーザ端末へ送信するステップ、
    撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示するステップ、
    前記視野映像信号の通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示するステップ、
    前記ユーザ端末と相互コミュニケーション装置の間で通信する映像のコマ数、及び/又は画素数を変更するステップ
    をコンピュータに実行させる相互コミュニケーションプログラム。
  13. 現場側のカメラの映像信号、マイクの音声信号、を受け、映像信号及び音声信号を遠隔地のユーザ端末との間で通信する相互コミュニケーション装置に搭載される相互コミュニケーションシステムにおいて、
    前記コミュニケーション装置は、
    遠隔地のユーザに説明する対象物をユーザに説明する説明者が装着して使用できる眼鏡型とし、
    当該コミュニケーション装置の姿勢を示す姿勢センサーと、
    前記カメラ及び前記姿勢センサーから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給する手段と、
    前記マイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給する手段と、
    前記合成処理部により合成した前記対象物のカメラによる映像と対象物のマイクによる説明の音声との相関関係を図り、当該対象物の映像と音声を前記ユーザ端末に送信する手段と、
    を設けたことを特徴とする相互コミュニケーションシステム。
  14. 請求項13に記載された相互コミュニケーションシステムは、さらに、
    前記カメラで撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか1つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示する手段と、
    前記視野映像信号の通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示する手段と、
    前記ユーザ端末と相互コミュニケーション装置の間で通信する映像のコマ数、及び/又は画素数を変更する手段と、
    を有することを特徴とする相互コミュニケーションシステム。
JP2015206054A 2015-10-20 2015-10-20 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム Pending JP2017079385A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015206054A JP2017079385A (ja) 2015-10-20 2015-10-20 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015206054A JP2017079385A (ja) 2015-10-20 2015-10-20 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム

Publications (1)

Publication Number Publication Date
JP2017079385A true JP2017079385A (ja) 2017-04-27

Family

ID=58666259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015206054A Pending JP2017079385A (ja) 2015-10-20 2015-10-20 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム

Country Status (1)

Country Link
JP (1) JP2017079385A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279839B1 (ja) 2022-08-17 2023-05-23 凸版印刷株式会社 遠隔映像配信システム、および遠隔映像配信方法
WO2024140441A1 (zh) * 2022-12-29 2024-07-04 维沃移动通信有限公司 录像方法、装置及电子设备

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591506A (ja) * 1991-09-27 1993-04-09 Matsushita Electric Ind Co Ltd 動画表示装置
JPH06350723A (ja) * 1993-06-02 1994-12-22 Nec Corp 予約二面管理型テレビ会議接続方式
JPH10243108A (ja) * 1997-02-28 1998-09-11 Hitachi Ltd 多地点テレビ会議システム
JPH11298872A (ja) * 1998-04-07 1999-10-29 Toshiba Corp 映像通信システム
JP2002027072A (ja) * 2000-07-10 2002-01-25 Shinichi Yamada 携帯型電話機
JP2003036404A (ja) * 2001-07-23 2003-02-07 Nec System Technologies Ltd ソフトウェアレンタルシステム
JP2003304518A (ja) * 2002-04-11 2003-10-24 Canon Inc 電子会議システム、電子会議方法、プログラムおよび記憶媒体
JP2004145778A (ja) * 2002-10-28 2004-05-20 Shinichi Morita インターネットライブインタラクティブショッピングシステム(ilis:アイリス)
JP2005202665A (ja) * 2004-01-15 2005-07-28 Chugoku Electric Power Co Inc:The ネット販売システム
WO2005093687A1 (ja) * 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
JP2006163731A (ja) * 2004-12-06 2006-06-22 Ricoh Co Ltd 活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラム
JP2006270172A (ja) * 2005-03-22 2006-10-05 Fuji Xerox Co Ltd 管理システム及び表示制御方法
JP2008236228A (ja) * 2007-03-19 2008-10-02 Toshiba Corp 会議システムとそのサーバ装置
JP2009251896A (ja) * 2008-04-04 2009-10-29 Canon Inc 情報処理装置及び情報処理方法
JP2009290335A (ja) * 2008-05-27 2009-12-10 Funai Electric Co Ltd 映像出力装置
JP2012044604A (ja) * 2010-08-23 2012-03-01 Sony Corp 撮像装置、プログラムおよび撮像方法
JP2012100229A (ja) * 2010-11-05 2012-05-24 Toa Corp 監視カメラ
JP2013153414A (ja) * 2011-12-28 2013-08-08 Ricoh Co Ltd コミュニケーション端末装置、コミュニケーションシステム、コミュニケーション通信状態表示方法及びプログラム
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP2014220732A (ja) * 2013-05-10 2014-11-20 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2015089059A (ja) * 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591506A (ja) * 1991-09-27 1993-04-09 Matsushita Electric Ind Co Ltd 動画表示装置
JPH06350723A (ja) * 1993-06-02 1994-12-22 Nec Corp 予約二面管理型テレビ会議接続方式
JPH10243108A (ja) * 1997-02-28 1998-09-11 Hitachi Ltd 多地点テレビ会議システム
JPH11298872A (ja) * 1998-04-07 1999-10-29 Toshiba Corp 映像通信システム
JP2002027072A (ja) * 2000-07-10 2002-01-25 Shinichi Yamada 携帯型電話機
JP2003036404A (ja) * 2001-07-23 2003-02-07 Nec System Technologies Ltd ソフトウェアレンタルシステム
JP2003304518A (ja) * 2002-04-11 2003-10-24 Canon Inc 電子会議システム、電子会議方法、プログラムおよび記憶媒体
JP2004145778A (ja) * 2002-10-28 2004-05-20 Shinichi Morita インターネットライブインタラクティブショッピングシステム(ilis:アイリス)
JP2005202665A (ja) * 2004-01-15 2005-07-28 Chugoku Electric Power Co Inc:The ネット販売システム
WO2005093687A1 (ja) * 2004-03-26 2005-10-06 Atsushi Takahashi 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
JP2006163731A (ja) * 2004-12-06 2006-06-22 Ricoh Co Ltd 活動支援システム、情報端末、支援装置、端末側活動支援方法、装置側活動支援方法、およびそれらの方法をコンピュータに実行させるプログラム
JP2006270172A (ja) * 2005-03-22 2006-10-05 Fuji Xerox Co Ltd 管理システム及び表示制御方法
JP2008236228A (ja) * 2007-03-19 2008-10-02 Toshiba Corp 会議システムとそのサーバ装置
JP2009251896A (ja) * 2008-04-04 2009-10-29 Canon Inc 情報処理装置及び情報処理方法
JP2009290335A (ja) * 2008-05-27 2009-12-10 Funai Electric Co Ltd 映像出力装置
JP2012044604A (ja) * 2010-08-23 2012-03-01 Sony Corp 撮像装置、プログラムおよび撮像方法
JP2012100229A (ja) * 2010-11-05 2012-05-24 Toa Corp 監視カメラ
JP2013153414A (ja) * 2011-12-28 2013-08-08 Ricoh Co Ltd コミュニケーション端末装置、コミュニケーションシステム、コミュニケーション通信状態表示方法及びプログラム
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP2014220732A (ja) * 2013-05-10 2014-11-20 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2015089059A (ja) * 2013-11-01 2015-05-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279839B1 (ja) 2022-08-17 2023-05-23 凸版印刷株式会社 遠隔映像配信システム、および遠隔映像配信方法
JP2024027287A (ja) * 2022-08-17 2024-03-01 Toppanホールディングス株式会社 遠隔映像配信システム、および遠隔映像配信方法
WO2024140441A1 (zh) * 2022-12-29 2024-07-04 维沃移动通信有限公司 录像方法、装置及电子设备

Similar Documents

Publication Publication Date Title
JP2021121923A (ja) バイオメトリックデータを追跡するための拡張現実システムおよび方法
US20160285963A1 (en) Information processing system, server system, information processing apparatus, storage medium having stored therein information processing program, and information processing method
KR101854402B1 (ko) Vr 시공체험 서비스 제공 방법, 이를 실현하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체 및 이를 실행하기 위하여 매체에 저장된 애플리케이션
US10192252B2 (en) Information processing apparatus to provide position based services
KR101556158B1 (ko) 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템
CN110751539A (zh) 物品信息处理方法、装置、终端、服务器及存储介质
CN113518265A (zh) 直播数据处理方法、装置、计算机设备及介质
JP2017079385A (ja) 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
CN109726835A (zh) 数据对象信息处理方法、装置及电子设备
KR20170046023A (ko) 가상 현실 기반의 모델 하우스 제공 장치 및 그 방법
US20220272164A1 (en) Experience sharing system and experience sharing method
KR20180133629A (ko) 모바일 단말, 서비스 서버 및 이를 포함하는 원격 여행 서비스 제공 시스템 및 원격 여행 서비스 제공 방법
JP2014228916A (ja) 体験型電子商取引サイトシステム
JP7251651B2 (ja) 拡張現実告知情報配信システムとその配信制御装置、方法およびプログラム
JP2022139693A (ja) 情報処理サーバ、および、仮想空間提供システム
KR20210015008A (ko) 성인용품 판매시스템 및 그 시스템의 구동방법
CN113259773B (zh) 直播数据处理方法、装置、终端、服务器及可读存储介质
US11847297B2 (en) Method of providing real-time VR service through avatar
CN114177622A (zh) 虚拟道具的上架方法、虚拟道具的购买方法、装置及终端
CN110113633A (zh) 信息处理方法和装置
JPWO2018225805A1 (ja) 情報管理システム、情報管理サーバ、情報管理方法、及びプログラム
US10179284B2 (en) Information processing system, server, storage medium having stored therein information processing program, and information processing method
KR102544595B1 (ko) 가상 공간과 실제 아이템을 판매하는 플랫폼을 연계하는 방법 및 이를 위한 장치
US20240112416A1 (en) Scheduling timed interchange protocols via augmented-reality (ar) systems and methods
JP7113926B2 (ja) メガネ型ウェアラブル端末、広告表示制御方法、広告表示制御プログラム、広告提供装置、広告提供方法、広告提供プログラムおよび広告提供システム

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20151029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191029