JP7065730B2 - ウェアラブル端末及び表示システム - Google Patents

ウェアラブル端末及び表示システム Download PDF

Info

Publication number
JP7065730B2
JP7065730B2 JP2018159349A JP2018159349A JP7065730B2 JP 7065730 B2 JP7065730 B2 JP 7065730B2 JP 2018159349 A JP2018159349 A JP 2018159349A JP 2018159349 A JP2018159349 A JP 2018159349A JP 7065730 B2 JP7065730 B2 JP 7065730B2
Authority
JP
Japan
Prior art keywords
user
unit
utterance
wearable terminal
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018159349A
Other languages
English (en)
Other versions
JP2020036123A (ja
Inventor
卓朗 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2018159349A priority Critical patent/JP7065730B2/ja
Publication of JP2020036123A publication Critical patent/JP2020036123A/ja
Application granted granted Critical
Publication of JP7065730B2 publication Critical patent/JP7065730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Description

本発明は、ウェアラブル端末に関する。
特許文献1には、画像光を反射して観察者の眼に投射するハーフミラーを備えるヘッドマウントディスプレイに、ハーフミラーを透過した画像光が透過する際に外界からの視認性を低下可能とした視認性阻害部材を設ける技術が開示されている。
特開2012-159680号公報
頭部装着型のウェアラブル端末の表示面にパソコン等の画面を現実空間に重ねて表示することで、例えばディスプレイもパーティションも設置されていないオープンスペースでの作業を容易に行うことができる。そのような環境では、電話機も設置されていないことが普通であるから、携帯電話を用いたコミュニケーションも重要である。
そこで、本発明は、移動体通信による通話でウェアラブル端末を活用することを目的とする。
上記目的を達成するために、本発明は、頭部装着型のウェアラブル端末であって、自端末を装着したユーザの視界に位置する透過型の表示面と、前記ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて前記表示面に表示させる表示制御部と、移動体通信を行う通信手段が受信した音声データを取得して当該音声データにより示される受話音声を放音手段に出力する受話出力部とを備えるウェアラブル端末を提供する。
また、前記操作デバイスを用いて入力されて前記表示面に表示された文章の音声を示す音声データを生成する生成部と、生成された前記音声データを移動体通信の発話データとして出力する発話出力部とを備えていてもよい。
また、前記操作デバイスを用いて入力されて前記表示面に表示された文章を示す文章データを、当該文章データから当該文章の音声を示す音声データを生成して当該音声データを移動体通信の発話データとして送信する音声処理装置に対して出力する文章出力部を備えていてもよい。
また、前記通信手段が受け取った着信の発信元のユーザを特定する特定部と、特定された前記ユーザが利用しているリアルタイムコミュニケーションサービスで登録されている当該ユーザの宛先に接続を要求する要求部とを備えていてもよい。
また、前記通信手段への着信があった場合に振動する振動部を備えていてもよい。
また、前記表示制御部は、前記通信手段への着信があった場合に当該着信を示す画像を前記表示面に表示させてもよい。
また、前記表示制御部は、前記通信手段への着信があったときに前記表示面に表示されている画面の重要度が所定の基準以上である場合には前記画像を表示させず、前記振動部は、前記重要度が少なくとも前記基準以上である場合に振動してもよい。
また、前記通信手段への着信があったときの前記操作デバイスへの操作頻度が閾値以上である場合に前記画像を表示させず、前記振動部は、前記操作頻度が少なくとも前記閾値以上である場合に振動してもよい。
また、本発明は、上記のウェアラブル端末と、前記ウェアラブル端末を装着したユーザによって操作される操作デバイスと、前記操作デバイスへの操作に応じて動作し、自装置の画面が前記ウェアラブル端末に表示される処理装置とを備える表示システムを提供する。
本発明によれば、移動体通信による通話でウェアラブル端末を活用することができる。
実施例に係るARPCシステムの全体構成を表す図 パソコンのハードウェア構成を表す図 ウェアラブルグラスのハードウェア構成を表す図 投影装置の構成を表す図 ARPCシステムが実現する機能構成を表す図 表示された着信画像の例を表す図 表示された入力画像の例を表す図 通話処理における動作手順の一例を表す図 変形例で実現される機能構成を表す図 変形例で実現される機能構成を表す図 表示されたRTCS画面の一例を表す図 重要度テーブルの一例を表す図
[1]実施例
図1は実施例に係るARPCシステム1の全体構成を表す。ARPCシステム1は、AR(Augmented Reality:拡張現実)の技術を用いてPC(Personal Computer:パーソナルコンピュータ(パソコンとも言う))を利用するためのシステムである。
ARPCシステム1は、パソコン10と、ウェアラブルグラス20とを備える。パソコン10は、いわゆるパーソナルコンピュータであり、キーボード等の操作デバイスを備える。本実施例のパソコン10は、キーボードと一体になっており、キーボードの筐体の中にプロセッサ等のパソコン本体を構成する部品が格納されている。パソコン10は、それらの操作デバイスへの操作に応じて処理の実行等の動作を行う。パソコン10は本発明の「処理装置」の一例である。
ウェアラブルグラス20は、ユーザの頭部に装着されて使用される(つまり頭部装着型の)ウェアラブル端末であり、具体的にはメガネ型のウェアラブル端末である。ウェアラブルグラス20は本発明の「ウェアラブル端末」の一例である。パソコン10及びウェアラブルグラス20は、本実施例では、図1に表すように有線で接続されている。なお、両装置の接続は無線であってもよい。
ウェアラブルグラス20は、背景が透過して見える表示面を有し、その表示面にパソコン10の画面を表示する。この表示された画面を見るユーザ、すなわち、ウェアラブルグラス20を装着したユーザによって、パソコン10が備える操作デバイスが操作される。このように、パソコン10は、操作デバイスへの操作に応じて動作すると共に、自装置の画面がウェアラブルグラス20に表示される。
図2はパソコン10のハードウェア構成を表す。パソコン10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、バス16という各装置と、それらの装置を格納するキーボード筐体17とを備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ13は、補助記憶装置と呼ばれてもよい。
上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。本実施例では、通信装置14は、移動体通信装置141を備える。移動体通信装置141は、基地局を介した移動体通信を行うハードウェアであり、本発明の「通信手段」の一例である。
入力装置15は、情報を入力するための操作を受け付ける操作デバイスである。本実施例では、入力装置15は、キーボード151及びマウス152(タッチパッドでもよい)を操作デバイスとして備える。プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス16を介して互いにアクセス可能となっている。バス16は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、パソコン10等は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
図3はウェアラブルグラス20のハードウェア構成を表す。ウェアラブルグラス20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、入力装置25と、バス26と、投影装置30と、フレーム40という各装置を備えるコンピュータである。プロセッサ21から通信装置24までは、図2に表す同名の装置と性能及び仕様等の違いはあるが同種の装置である。
入力装置25は、ウェアラブルグラス20を装着したユーザが自分の手元を見なくても操作可能な操作デバイスとして例えばタッチパッドを備える。投影装置30は、外部装置から供給される画像データが示す画像を、ウェアラブルグラス20を装着したユーザの眼に対して投影する。投影装置30は、投影部31と、光路形成部32とを備える。投影部31は、前述した画像を示す光を投射する。光路形成部32は、投影部31からユーザの眼までの光路を形成し、投影部31が投射した光をユーザの眼まで案内する。
図4は投影装置30の構成を表す。図4では、左眼に光を投射する投影部31Lと、右眼に光を投射する投影部31Rとが表されている。また、光路形成部32が備える部材として、導光板321と、ミラー322L及び322R(それぞれを区別しない場合は「ミラー322」という)と、ビームスプリッタ323L及び323R(それぞれを区別しない場合は「ビームスプリッタ323」という)とが表されている。
導光板321は、細長い板状の部材である。ウェアラブルグラス20がユーザに装着されると、導光板321がユーザの眼の前方に位置し、導光板321の長手方向がユーザの眼が並んでいる方向、つまりユーザにとっての左右方向に沿うようになっている。以下では、各部の配置を表す場合に、ウェアラブルグラス20を装着したユーザから見て左右どちらにあるかによって表すものとする。例えば、投影部31Lはユーザの眼よりも左側に配置され、投影部31Rはユーザの眼よりも右側に配置されている。
ミラー322Lは、導光板321内部の左側の端に設けられ、ミラー322Rは、導光板321内部の右側の端に設けられている。ミラー322Lは、投影部31Lから投射されて導光板321に入射した投影光を右側(ビームスプリッタ323Lがある側)に向けて反射する。ミラー322Rは、投影部31Rから投射されて導光板321に入射した投影光を左側(ビームスプリッタ323Rがある側)に向けて反射する。
図4及び以降の図では、投影光の光路を線及び矢印(投影光の進行方向を示す)を使って表す。なお、両ミラーが反射した投影光は導光板321の内部を反射しながら進むが、図を見やすくするために単純な直線で光路を表している。反射された投影光は左右共にビームスプリッタ323に到達する。ビームスプリッタ323とは、入射した光の一部を透過し一部を反射する板状の部材(ハーフミラーとも呼ばれる)である。
ビームスプリッタ323Lは、自端末を装着したユーザの一方の眼(左眼)の視界に配置されている。ビームスプリッタ323Lは、ミラー322Lにより反射されて導光板321内を進んできた投影光を反射する反射面324Lを有し、反射面324Lの反対側に、外界からの光を透過する透過面325Lを有する。反射面324Lで反射された投影光はユーザの左眼に到達し、投影光が示す画像がユーザの左眼に映ることになる。
ビームスプリッタ323Rは、自端末を装着したユーザの一方の眼(右眼)の視界に配置されている。ビームスプリッタ323Rは、ミラー322Rにより反射されて導光板321内を進んできた投影光を反射する反射面324Rを有し、反射面324Rの反対側に、外界からの光を透過する透過面325Rを有する。反射面324Rで反射された投影光はユーザの右眼に到達し、投影光が示す画像がユーザの右眼に映ることになる。
このように、反射面324L及び324Rは、投影光により示される画像が表示される面である。また、ユーザから見た場合、反射面324L及び324Rの先の背景が透過して見えるようになっている。つまり、反射面324L及び324Rは、自端末(ウェアラブルグラス20)を装着したユーザの視界に位置する透過型の表示面であり、本発明の「表示面」の一例である。以下ではこれらを区別しない場合は「表示面324」という。
フレーム40は、投影装置30を支持すると共に、自端末をユーザの頭部に固定する(装着させる)部品である。フレーム40は、例えばメガネのフレームと似た形をした金属又はプラスチック製の部品である。フレーム40には、振動装置41と、コネクタ42とが設けられている。振動装置41は、例えばモータ及び重りを有し、モータが重りを回転させることで振動を発生させる装置(「バイブレータ」とも言う)である。振動装置41は本発明の「振動部」の一例である。
コネクタ42は、音を出力する放音手段(例えば図中のイヤホン50)を接続するための部品である。イヤホン50は、コネクタ42を介して供給される音を示すアナログ信号を音に変換して出力する、すなわち放音する。イヤホン50は、コネクタ42に接続された状態でウェアラブルグラス20を頭部に装着したユーザの耳に届く長さのコードを有している。
ARPCシステム1が備える各装置には、本システムで提供されるプログラムが記憶されており、各プロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図5はARPCシステム1が実現する機能構成を表す。パソコン10は、画面データ生成部101と、移動体通信受信処理部102と、発話入力受付部103と、発話テキストデータ生成部104と、移動体通信送信処理部105とを備える。ウェアラブルグラス20は、画面表示制御部201と、データ取得部202と、受信時振動制御部203と、受話音声データ出力部204と、発話音声データ生成部205と、発話音声データ出力部206とを備える。
画面表示制御部201は、ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて表示面324(図4に表す反射面324L及び324R)に表示させる。画面表示制御部201は本発明の「表示制御部」の一例である。画面表示制御部201は、本実施例では、パソコン10(キーボード151及びマウス152操作に応じて動作する処理装置)の画面(以下「パソコン画面」という)を表示面324に表示させる。
画面表示制御部201は、例えばユーザが画面を表示させる操作を行うと、パソコン10にパソコン画面を示す画面データを要求する要求データを送信する。パソコン10は、受信した要求データを画面データ生成部101に供給する。画面データ生成部101は、供給された要求データにより要求された画面データ、すなわち自装置のパソコン画面を示す画面データを生成する。
画面データ生成部101は、生成した画面データをウェアラブルグラス20に送信する。画面表示制御部201は、送信されてきた画面データが示すパソコン画面を表示面324に表示させる。ここまではパソコン画面の表示に関する機能について説明した。ここからは、移動体通信による通話に関する機能について説明する。
移動体通信受信処理部102は、図2に表す移動体通信装置141が行う移動体通信での音声通話における受信に関する処理(受信処理)を行う。移動体通信受信処理部102は、例えば、移動体通信装置141への着信があった場合に、発信元の電話番号及び着信があった旨を示す着信データを生成し、ウェアラブルグラス20に送信する。また、移動体通信受信処理部102は、通話が開始されると、受信した通話音声(以下「受話音声」という)を示す受話音声データを生成し、ウェアラブルグラス20に送信する。
ウェアラブルグラス20のデータ取得部202は、パソコン10から送信されてきたデータを取得する。データ取得部202は、着信データを取得すると、取得した着信データを画面表示制御部201及び受信時振動制御部203に供給する。画面表示制御部201は、着信データが供給された場合、すなわち、移動体通信装置141(通信手段)への着信があった場合にその着信を示す画像(着信画像)を表示面324に表示させる。
図6は表示された着信画像の例を表す。図6(a)では、画面表示制御部201は、パソコン画面A1の一部として着信画像C1を表示面324(表示面324の端は透明でユーザから明確には見えないので二点鎖線で表している)に表示させている。図6(b)では、画面表示制御部201は、パソコン画面A1からはみ出させて、表示面324の端に着信画像C2を表示させている。
なお、表示面324が十分に広ければ、画面表示制御部201は、パソコン画面A1と全く重ならないように着信画像C2を表示させてもよい。着信画像C1の場合はユーザが注目しているパソコン画面A1に表示されるので着信に気付きやすく、着信画像C2の場合はパソコン画面A1を見る際の邪魔になりにくい。また、いずれの着信画像でも、発信元の電話番号を伝えることできる。
受信時振動制御部203は、着信データが供給された場合、すなわち、移動体通信装置141(通信手段)への着信があった場合に振動するよう図4に表す振動装置41を制御する。振動装置41が振動すると、これが設けられているフレーム40も振動し、その振動がユーザの頭部に伝わる。これにより、着信画像が表示されるだけの場合に比べてユーザが着信に気付きやすいようにすることができる。
画面表示制御部201は、図6に表すように、着信画像と共に応答ボタンB1及び拒否ボタンB2を表示させている(これらのボタンも、図6(a)ではパソコン画面A1の一部として、図6(b)ではパソコン画面A1とは関係なく表示させている)。移動体通信受信処理部102は、拒否ボタンB2が操作された場合には受信処理を終了し、応答ボタンB1が操作された場合には通話を開始させて受話音声データの生成及び送信を開始する。データ取得部202は、受話音声データを取得すると、取得した受話音声データを受話音声データ出力部204に供給する。
受話音声データ出力部204は、供給された受話音声データ、すなわち、移動体通信装置141(通信手段)が受信した受話音声データを取得してその受話音声データにより示される受話音声を放音手段(本実施例では図3に表すイヤホン50)に出力する。受話音声データ出力部204は本発明の「受話出力部」の一例である。受話音声データ出力部204は、デジタルデータである受話音声データをアナログ信号に変換し、コネクタ42を介してイヤホン50に供給する。
イヤホン50は、供給されたアナログ信号が示す受話音声を放音する。これにより、ユーザは、着信した移動体通信による受話音声が聞こえるようになる。一方、ユーザからの返事は自らの声ではなく、テキストの入力で行われる。画面表示制御部201は、応答ボタンB1が操作された場合、ユーザからの発話内容(この場合は返事)を入力するための入力画面を表示させる。
図7は表示された入力画像の例を表す。画面表示制御部201は、発話内容入力画面A2として、「発話内容を入力してください。」という文字列と、入力欄D1と、確定ボタンB3とを表示させている。ユーザは、受話音声を聞くと、入力欄D1に返事を入力する操作を行う。発話入力受付部103は、発話内容入力画面における発話内容の入力を受け付ける。
発話入力受付部103は、自装置(パソコン10)が備える操作デバイス(キーボード151及びマウス152)を用いた入力を受け付ける。なお、発話入力受付部103は、自装置がマイクロフォンを備えているか否かに関わらず、音声による入力は受け付けない。これは、音声で発話内容を発声されると、周囲の者にその内容が知られてしまうからである。
発話入力受付部103は、入力を受け付けた発話内容を発話テキストデータ生成部104に供給する。発話テキストデータ生成部104は、供給された発話内容、すなわち、操作デバイスを用いて入力された文章を示すテキストデータ(以下「発話テキストデータ」という)を生成する。発話テキストデータ生成部104は、生成した発話テキストデータをウェアラブルグラス20に送信する。
ウェアラブルグラス20の画面表示制御部201は、送信されてきた発話テキストデータが示す発話内容を入力欄D1に表示させる。図7の例では「こんにちは。暑いですね。」という入力された発話内容が表示されている。この状態でユーザが確定ボタンB3を押す操作を行うと、画面表示制御部201は、表示させている発話内容を示す発話テキストデータを発話音声データ生成部205に供給する。
発話音声データ生成部205は、供給された発話テキストデータが示す発話内容、すなわち、操作デバイスを用いて入力された文章の音声を示す発話音声データを生成する。発話音声データ生成部205は本発明の「生成部」の一例である。発話音声データ生成部205は、例えば、予め記憶した音素データを組み合わせて音声データを生成するなど、周知の音声合成技術を用いて発話音声データを生成する。
発話音声データ生成部205は、生成した発話音声データを発話音声データ出力部206に供給する。発話音声データ出力部206は、供給された発話音声データ、すなわち、発話音声データ生成部205により生成された発話音声データを移動体通信の発話データとして出力する。発話音声データ出力部206は本発明の「発話出力部」の一例である。
ここでいう移動体通信の発話データとは、移動体通信において相手に伝える発話内容を示すデータのことである。本実施例では、入力は文字列(テキスト)で行われるが、音声を示す発話音声データが発話データとして出力される。発話音声データ出力部206は、この発話音声データをパソコン10に対して出力する。パソコン10は、出力されてきた発話音声データを移動体通信送信処理部105に供給する。
移動体通信送信処理部105は、図2に表す移動体通信装置141が行う移動体通信での音声通話における送信に関する処理(送信処理)を行う。移動体通信送信処理部105は、本実施例では、供給された発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理として行う。この場合、通話先の移動体通信端末は、通常の音声通話と同様に送信されてきた発話音声データが示す発話音声を放音する。
パソコン10及びウェアラブルグラス20は、上記の構成に基づいて、移動体通信による通話を行う通話処理を行う。
図8は通話処理における動作手順の一例を表す。この動作手順は、例えば、ユーザがウェアラブルグラス20を装着してパソコン10の画面を表示させているときに着信が入ることを契機に開始される。
まず、パソコン10(移動体通信受信処理部102)は、発信元の電話番号及び着信があった旨を示す着信データを生成し(ステップS11)、生成した着信データをウェアラブルグラス20に送信する(ステップS12)。ウェアラブルグラス20(受信時振動制御部203)は、着信データが送信されてくると、振動装置41を振動させる制御を行う(ステップS13)。
次に、ウェアラブルグラス20(画面表示制御部201)は、着信を示す着信画像を表示面324に表示させる(ステップS14)。なお、ステップS13及びS14の動作は、順番が反対でもよいし、並行して行われてもよい。続いて、着信画像が表示された画面で応答操作が行われると、パソコン10はその操作を受け付ける(ステップS21)。そして、パソコン10(移動体通信受信処理部102)は、通話を開始させて受話音声データを生成し(ステップS22)、生成した受話音声データをウェアラブルグラス20に送信する(ステップS23)。
ウェアラブルグラス20(受話音声データ出力部204)は、送信されてきた受話音声データにより示される受話音声を放音手段(イヤホン50)に出力する(ステップS24)。次に、ウェアラブルグラス20(画面表示制御部201)は、発話内容入力画面を表示面324に表示させる(ステップS31)。パソコン10(発話入力受付部103)は、この発話内容入力画面における発話内容の入力を受け付ける(ステップS32)。
次に、パソコン10(発話テキストデータ生成部104)は、入力された文章を示す発話テキストデータを生成し(ステップS33)、ウェアラブルグラス20に送信する(ステップS34)。ウェアラブルグラス20(画面表示制御部201)は、送信されてきた発話テキストデータが示す発話内容を表示面324に表示させる(ステップS35)。ウェアラブルグラス20は、発話内容入力画面で確定操作が行われるとそれを受け付ける(ステップS36)。
次に、ウェアラブルグラス20(発話音声データ生成部205)は、確定された発話内容、すなわち、操作デバイスを用いて入力された文章の音声を示す発話音声データを生成する(ステップS37)。続いて、ウェアラブルグラス20(発話音声データ出力部206)は、生成された発話音声データを移動体通信の発話データとしてパソコン10に対して出力する(ステップS38)。
パソコン10(移動体通信送信処理部105)は、送信されてきた発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理(移動体通信での音声通話における送信に関する処理)として行う(ステップS39)。以降、ステップS22からS39までの動作が繰り返し行われ、ユーザが通話を終了する操作を行うと、この動作手順が終了する。
本実施例では、移動体通信を行う通信手段(パソコン10の移動体通信装置141)による通話の音声がウェアラブルグラス20から出力される。また、通話の拒否又は応答の操作もウェアラブルグラス20に表示される画面を通して行われる。このように、本実施例によれば、移動体通信による通話でウェアラブル端末(ウェアラブルグラス20)を活用することができる。
また、本実施例では、移動体通信を開始したユーザは、音声を発しなくても、パソコン10の操作デバイス(キーボード151及びマウス152)で発話内容を入力することで応答を行うことができる。これにより、周囲にいる第三者に内容を知られることなく、移動体通信での通話を行うことができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。
[2-1]ウェアラブル端末
本発明のウェアラブル端末は、ウェアラブルグラス20に限らない。例えば光路の形成方法として図4に表す方法以外の周知の方法(例えば偏光を利用した方法等)が用いられてもよい。また、ウェアラブルグラス20はメガネ型であるが、ゴーグル型又は片メガネ型(その場合は表示面が1つになる)であってもよい。要するに、頭部装着型であってユーザの視界に位置する透過型の表示面を有するものであれば、どのようなタイプのウェアラブル端末が用いられてもよい。
[2-2]処理装置
本発明の処理装置は、パソコン10に限らない。例えばキーボード一体型ではなく普通のデスクトップ型のパーソナルコンピュータであってもよい。また、ノートパソコン、スマートフォン又はタブレット端末のように表示面を有している処理装置が用いられてもよい。
その場合、処理装置本体の表示面への表示はオフにしたり、処理装置本体をカバンに入れるなどしたりすることで、第三者に処理装置本体の表示面が見られないようにすればよい。なお、ウェアラブル端末に表示される画面は処理装置の画面であればよく、パソコン画面に限る必要はない。いずれの処理装置も、ユーザによる操作デバイス(スマートフォン及びタブレット端末の場合は外付けのキーボード等)の操作に応じて動作するものであればよい。
[2-3]通信手段
実施例では、処理装置であるパソコン10が移動体通信での通信手段を備えていたが、これに限らない。例えば上述した他の処理装置(スマートフォン等)が通信手段を備えていてもよいし、ウェアラブル端末であるウェアラブルグラス20が備えていてもよい。いずれの装置に通信手段が備えられていたとしても、その装置とウェアラブル端末との間で移動体通信に関するデータのやり取りができるようになっていればよい。
[2-4]放音手段
ウェアラブル端末が受話音声を出力する放音手段は、実施例で述べたもの(外付けのイヤホン)に限らない。例えば、ヘッドホン又はスピーカ(骨伝導スピーカ等)であってもよいし、それらがウェアラブル端末に内蔵されていてもよい。要するに、ウェアラブル端末を頭部に装着した状態のユーザが放音された音声を聞くことできるようになっていれば、どのような放音手段が用いられてもよい。ただし、情報漏洩を防ぐため、放音された通話音声が周囲の第三者に聞かれないようになっていることが望ましい。
[2-5]発話音声データの生成装置
実施例では、ウェアラブルグラス20が発話音声データを生成したが、他の装置が発話音声データを生成してもよい。
図9は本変形例で実現される機能構成を表す。図9では、図5に表す各部に加えて発話音声データ生成部106を備えるパソコン10aと、図5に表す発話音声データ生成部205及び発話音声データ出力部206に代えて発話テキストデータ出力部207を備えるウェアラブルグラス20aとが表されている。
本変形例の画面表示制御部201は、図7に表す状態で確定ボタンB3が操作されると、表示させている発話内容を示す発話テキストデータを発話テキストデータ出力部207に供給する。発話テキストデータ出力部207は、供給された発話テキストデータ、すなわち、操作デバイスを用いて入力されて表示面324に表示された文章を示す文章データをパソコン10aに対して出力する。発話テキストデータ出力部207は本発明の「文章出力部」の一例である。
パソコン10aは、出力されてきた発話テキストデータ(文章データ)を発話音声データ生成部106に供給する。発話音声データ生成部106は、供給された発話テキストデータ、すなわち、前述した文章データからその文章(図7の例であれば「こんにちは。暑いですね。」という文章)の音声を示す発話音声データを生成する。この発話音声データの生成には、発話音声データ生成部205と同様に周知の音声合成技術が用いられる。
発話音声データ生成部106は、生成した発話音声データを移動体通信送信処理部105に供給する。移動体通信送信処理部105は、実施例と同様に、供給された発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理として行う。このように発話音声に対する処理(発話音声データの生成処理及び送信処理)を行うパソコン10aは本発明の「音声処理装置」の一例である。
本変形例では、上記のとおり発話音声データの生成処理をウェアラブル端末ではなく処理装置(パソコン10a)で行っている。一般に、ウェアラブル端末は軽量且つ薄型に作られるため、情報処理装置としての処理能力は、通常のパソコン等に比べて低く抑えられている。本変形例では、処理能力がウェアラブル端末に比べて高い処理装置の方で発話音声データの生成処理を行うことで、ウェアラブル端末でこの処理を行う場合に比べて、発話音声をより高品質にすることができ、また、発話音声に対する処理によるタイムラグを少なくすることができる。
なお、前述した音声処理装置は、ウェアラブル端末に画面が表示される処理装置でなくてもよく、外部のサーバ装置であってもよいし、ユーザが所持するスマートフォン等の処理装置以外の装置であってもよい。それらの場合でも、音声処理装置がウェアラブル端末よりも処理能力が高ければ、前述した本変形例の効果を得ることができる。
[2-6]音声以外での通話
上記の各例では、ユーザ自身は声を発しないものの、ウェアラブル端末等が生成した発話音声データによって通話がなされたが、これに限らない。
図10は本変形例で実現される機能構成を表す。図10では、図5に表す移動体通信送信処理部105を除いた各部を備えるパソコン10bが表されている。
また、図10では、図5に表す発話音声データ生成部205及び発話音声データ出力部206に代えて発信元ユーザ特定部208及びサービス処理部209を備えるウェアラブルグラス20bが表されている。本変形例では、データ取得部202が、取得した着信データを発信元ユーザ特定部208に供給する。発信元ユーザ特定部208は、移動体通信装置141(通信手段)が受け取った着信の発信元のユーザを特定する。発信元ユーザ特定部208は本発明の「特定部」の一例である。
発信元ユーザ特定部208は、例えば、自装置(ウェアラブルグラス20b)のユーザによって予め登録されている発信元の電話番号とユーザとを対応付けたユーザテーブルを用いて、発信元のユーザを特定する。なお、発信元ユーザ特定部208は、ユーザテーブルのような情報を有する外部装置に問い合わせて発信元のユーザを特定してもよい。発信元ユーザ特定部208は、特定したユーザを識別する識別情報をサービス処理部209に供給する。
サービス処理部209は、供給された識別情報が示すユーザ、すなわち、発信元ユーザ特定部208により特定されたユーザが利用しているリアルタイムコミュニケーションサービス(RTCS:Real Time Communication Service)に関する処理(以下「サービス処理」という)を行う。リアルタイムコミュニケーションサービス(RTCS)とは、データ通信回線を利用してリアルタイムにコミュニケーションをとることができるサービスのことであり、「チャット」などと呼ばれることもある。
RTCSでやり取りされる情報は、主にテキストデータであるが、他にも画像及び動画等がやり取りされてもよい。ただし、音声のやり取りは除くものとする。サービス処理部209は、例えば、RTCSで登録されている上記ユーザ(発信元ユーザ特定部208により特定されたユーザ)の宛先に接続を要求する処理をサービス処理として行う。サービス処理部209は本発明の「要求部」の一例である。
サービス処理部209は、例えば、自装置のユーザによって予め登録されている他のユーザが利用しているRTCSとそのRTCSで用いられているユーザIDとを対応付けたサービステーブルを用いて、供給された識別情報が示すユーザに対応付けられているRTCS及びユーザIDを特定する。このユーザIDは、前述した「RTCSで登録されているユーザの宛先」の一例である。
ウェアラブルグラス20bは、主要なRTCSを利用するためのプログラム(ブラウザプログラム又はアプリケーションプログラム)を記憶しているものとする。サービス処理部209は、特定したRTCSを利用するためのプログラムを起動して、特定したユーザIDへの接続を要求する処理を行う。具体的には、サービス処理部209は、例えば、起動したRTCSの画面でそのユーザIDを検索する検索処理を接続を要求する処理として行う。
また、サービス処理部209は、検索して見つかったユーザIDのユーザとのチャット開始を要求する要求処理を、接続を要求する処理として行う。なお、これらの処理(検索処理及び要求処理)は一例であり、これ以外にも、利用するRTCSにおいてユーザとのやり取りを開始する際に通常行われる処理が接続を要求する処理として行われればよい。RTCSのプログラムが起動されると、画面表示制御部201が、該当するRTCSの画面を表示面324に表示させる。
図11は表示されたRTCS画面の一例を表す。図11(a)では、ウェアラブルグラス20bの表示面324に表示されチャット相手検索画面A3が表されている。チャット相手検索画面A3には、検索キーの入力欄D2及び検索結果E1(つまり検索処理の結果)が表示されている。サービス処理部209がこの検索結果E1を選択する処理を前述した要求処理として行うと、画面表示制御部201は、検索されたユーザ(この例では「ユーザA」)とのチャット画面A4を図11(b)に表すように表示させる。
チャット画面A4には、発話内容の入力欄D3が表示されている。ユーザが入力欄D3に発話内容を入力すると、発話入力受付部103がこの入力欄D2への発話内容の入力を受け付ける。そしてユーザが確定ボタンを押す操作を行うと、発話テキストデータ生成部104が入力された文章を示す発話テキストデータを生成し、生成した発話テキストデータを画面表示制御部201に供給する。
画面表示制御部201は、供給された発話テキストデータが示す発話内容である「こんにちは。暑いですね!」という文字列を含む吹き出し画像E2を図11(c)に表すように表示させる。発話テキストデータ生成部104は、生成した発話テキストデータをサービス処理部209にも供給する。サービス処理部209は、供給された発話テキストデータを、上記のとおり特定されたユーザAの宛先(RTCSで登録されている宛先)に送信する。
送信された発話テキストデータが示す発話内容は、ユーザAが利用する端末の表示手段に表示される。図11(d)では、こうして表示されたチャット画面A5が表されている。チャット画面A5には、チャット相手であるユーザ(この例では「ユーザB」)を示すアバターE3と、ユーザBの発話内容である「こんにちは。暑いですね!」という文字列を含む吹き出し画像E4とが表示されている。
また、チャット画面A5はチャット用の画面なので、チャット画面A4と同じく発話内容の入力欄D4が表示されている。ユーザAは、例えばこの入力欄D4に発話内容を入力してチャットで会話を続ければよい。この場合、移動体通信での接続は終了させてもよい。また、ユーザAは、入力欄D4への入力は行わずに、接続されている移動体通信での音声による会話を続けてもよい。その場合、ユーザBはユーザAの音声を聞きながら、自分は入力欄D3に発話内容を入力しながら会話することになる。
いずれの場合も、ユーザBが自分の発話内容を音声で述べることはないし、表示された吹き出し画像E2もユーザBしか見ることができないウェアラブルグラス20bの表示面324に表示されるので、ユーザBの発話内容が周囲の第三者に知られるおそれをなくすことができる。また、ユーザAの音声もイヤホン50からユーザBにだけ聞こえるので、ユーザAの発話内容が第三者に知られるおそれもない。また、上記のとおりユーザAとのチャットの接続が自動的に行われるので、RTCSを利用した会話を円滑に開始することができる。
なお、上記の例ではウェアラブルグラス20bがRTCSを利用するためのプログラムを実行したが、これに限らず、パソコン10bがこのプログラムを実行してもよい。その場合、パソコン10bでもサービス処理部209に相当する機能が実現され、サービス処理部209は、そのパソコン10b側の機能を介して接続を要求する処理を行えばよい。
[2-7]着信の通知方法
実施例では、着信があると振動及び着信画像の両方でユーザへの通知が行われたが、これに限らず、例えばいずれか一方だけが行われてもよい。また、その際に、どちらの通知を行うかを状況に応じて異ならせてもよい。
本変形例では、画面表示制御部201が、着信データが供給されたとき、すなわち、移動体通信装置141(通信手段)への着信があったときに、表示面324に表示させている画面の重要度を判定する。画面表示制御部201は、例えば表示させているパソコン画面において起動されているプログラムの種類に応じて重要度を判定する。画面表示制御部201は、例えばプログラムの種類と重要度とを対応付けた重要度テーブルを用いて判定を行う。
図12は重要度テーブルの一例を表す。図12の例では、「ファイル閲覧用、メール閲覧用」の重要度が「低」、「文書作成用」の重要度が「中」、「業務用、動画再生用」の重要度が「高」と対応付けられている。画面表示制御部201は、着信時に起動されているプログラムの種類に重要度テーブルにおいて対応付けられている重要度を、画面の重要度として判定する。
画面表示制御部201は、例えば、「低」という重要度を判定した場合は、実施例で述べた着信画像を表示させ、「中」及び「高」という重要度を判定した場合は、着信画像を表示させずに、判定結果を受信時振動制御部203に通知する。受信時振動制御部203は、この通知を受け取ると、実施例と同様に振動装置41を制御して振動させる。このように、本変形例では、判定された重要度が所定の基準(この場合は「中」)以上である場合に、振動装置41は振動し、画面表示制御部201は着信画像を表示させないように動作している。
着信画像が表示されると、図6に表すように、着信画像が重なってパソコン画面に表示されている情報の一部が見えなくなることがある。本変形例では、上記のとおり着信画像の表示を制御することで、重要度が高い画面が表示されている場合には着信画像が邪魔にならないようにしつつ、着信画像が表示されなくても振動によって着信に気付かせるようにしている。
なお、図12に表す重要度はあくまで一例であり、これに限らない。例えばユーザの要望に基づいてこれとは異なる重要度が決められてもよいし、ユーザが重要度を設定できるようにしてもよい。また、重要度が所定の基準未満の重要度が判定された場合は上記のとおり着信画像が表示されるが、振動装置41については合わせて振動させてもよいし、振動させなくてもよい。本変形例では、判定された重要度が少なくとも所定の基準以上である場合に振動装置41が振動するようになっていればよい。
なお、着信の通知方法はこれに限らない。例えば、着信があったときの操作デバイスへの操作頻度によって通知方法が異なっていてもよい。この場合、例えば画面表示制御部201が、着信データが供給されたとき、すなわち、移動体通信装置141(通信手段)への着信があったときの操作デバイス(キーボード151及びマウス152)への操作頻度を算出する。
画面表示制御部201は、例えば、操作デバイスへの操作が行われた場合の操作時刻を記憶しておき、着信データが供給された場合に、その時刻以前の単位期間(例えば10秒等)に記憶した操作時刻の数を操作頻度として算出する。画面表示制御部201は、予め定められた閾値未満の操作頻度を算出した場合は着信画像を表示させ、その閾値以上の操作頻度を算出した場合は着信画像を表示させずに、算出結果を受信時振動制御部203に通知する。
受信時振動制御部203は、この通知を受け取ると、実施例と同様に振動装置41を制御して振動させる。このように、本変形例では、算出された操作頻度が閾値以上である場合に、振動装置41は振動し、画面表示制御部201は着信画像を表示させないように動作する。
ユーザが忙しく操作を行っている状況では、操作が少ない状況に比べて画面を見ることに集中していることが多い。本変形例では、そのようにユーザが忙しく操作を行っている状況では着信画像が邪魔にならないようにしつつ、着信画像が表示されなくても振動によって着信に気付かせるようにしている。
[2-8]各部を実現する装置
図5等に表す各機能を実現する装置は、それらの図に表された装置に限らない。例えばパソコン10が備える発話テキストデータ生成部104をウェアラブルグラス20又は他の外部装置が実現してもよい。また、1つの機能が行う動作を2以上の機能で分担して行ってもよい。例えば画面表示制御部201が行うパソコン画面の表示制御と着信画像の表示制御を別々の機能が分担して行ってもよい。要するに、ARPCシステム全体としてこれらの機能が実現されていればよい。
[2-9]発明のカテゴリ
本発明は、パソコンのような処理装置及びウェアラブルグラスのようなウェアラブル端末の他、それらの装置を備えるARPCシステムのような表示システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2-10]処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
[2-11]入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
[2-12]ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
[2-13]情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
[2-14]システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
[2-15]「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
[2-16]「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
[2-17]態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1…ARPCシステム、10…パソコン、20…ウェアラブルグラス、30…投影装置、40…フレーム、41…振動装置、42…コネクタ、50…イヤホン、101…画面データ生成部、102…移動体通信受信処理部、103…発話入力受付部、104…発話テキストデータ生成部、105…移動体通信送信処理部、106…発話音声データ生成部、141…移動体通信装置、151…キーボード、152…マウス、201…画面表示制御部、202…データ取得部、203…受信時振動制御部、204…受話音声データ出力部、205…発話音声データ生成部、206…発話音声データ出力部、207…発話テキストデータ出力部、208…発信元ユーザ特定部、209…サービス処理部、324…表示面。

Claims (8)

  1. 頭部装着型のウェアラブル端末であって、
    自端末を装着したユーザの視界に位置する透過型の表示面と、
    前記ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて前記表示面に表示させる表示制御部と、
    移動体通信を行う通信手段が受信した音声データを取得して当該音声データにより示される受話音声を放音手段に出力する受話出力部と
    前記操作デバイスを用いて入力されて前記表示面に表示された文章を示す文章データを、当該文章データから当該文章の音声を示す音声データを生成して当該音声データを移動体通信の発話データとして送信する音声処理装置に対して出力する文章出力部と
    を備えるウェアラブル端末。
  2. 前記操作デバイスを用いて入力されて前記表示面に表示された文章の音声を示す音声データを生成する生成部と、
    生成された前記音声データを移動体通信の発話データとして出力する発話出力部とを備える
    請求項1に記載のウェアラブル端末。
  3. 前記通信手段が受け取った着信の発信元のユーザを特定する特定部と、
    特定された前記ユーザが利用しているリアルタイムコミュニケーションサービスで登録されている当該ユーザの宛先に接続を要求する要求部とを備える
    請求項1又は2に記載のウェアラブル端末。
  4. 前記通信手段への着信があった場合に振動する振動部を備える
    請求項1からのいずれか1項に記載のウェアラブル端末。
  5. 前記表示制御部は、前記通信手段への着信があった場合に当該着信を示す画像を前記表示面に表示させる
    請求項に記載のウェアラブル端末。
  6. 前記表示制御部は、前記通信手段への着信があったときに前記表示面に表示されている画面の重要度が所定の基準以上である場合には前記画像を表示させず、
    前記振動部は、前記重要度が少なくとも前記基準以上である場合に振動する
    請求項に記載のウェアラブル端末。
  7. 前記通信手段への着信があったときの前記操作デバイスへの操作頻度が閾値以上である場合に前記画像を表示させず、
    前記振動部は、前記操作頻度が少なくとも前記閾値以上である場合に振動する
    請求項又はに記載のウェアラブル端末。
  8. 請求項1からのいずれか1項に記載のウェアラブル端末と、
    前記ウェアラブル端末を装着したユーザによって操作される操作デバイスと、
    前記操作デバイスへの操作に応じて動作し、自装置の画面が前記ウェアラブル端末に表示される処理装置と
    を備える表示システム。
JP2018159349A 2018-08-28 2018-08-28 ウェアラブル端末及び表示システム Active JP7065730B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018159349A JP7065730B2 (ja) 2018-08-28 2018-08-28 ウェアラブル端末及び表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018159349A JP7065730B2 (ja) 2018-08-28 2018-08-28 ウェアラブル端末及び表示システム

Publications (2)

Publication Number Publication Date
JP2020036123A JP2020036123A (ja) 2020-03-05
JP7065730B2 true JP7065730B2 (ja) 2022-05-12

Family

ID=69668740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018159349A Active JP7065730B2 (ja) 2018-08-28 2018-08-28 ウェアラブル端末及び表示システム

Country Status (1)

Country Link
JP (1) JP7065730B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115549715A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 一种通信方法、相关电子设备及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008691A (ja) 2001-06-26 2003-01-10 Toshiba Corp 対話型送受信方法およびシステム並びに対話型送受信端末装置
JP2005223889A (ja) 2004-01-09 2005-08-18 Seiko Epson Corp 報知装置、その制御方法、制御プログラム及び記録媒体
US20090099836A1 (en) 2007-07-31 2009-04-16 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
JP3165585U (ja) 2010-11-11 2011-01-27 有限会社オフィス結アジア 音声合成装置
JP2011061814A (ja) 2010-10-08 2011-03-24 Nokia Corp イベントによる稼動中のアプリケーションの中断を禁止する方法及び装置
JP2011139258A (ja) 2009-12-28 2011-07-14 Panasonic Corp 携帯端末
US20150312409A1 (en) 2014-04-23 2015-10-29 Samsung Electronics Co., Ltd. Devices and methods of providing response message in the devices
JP2015222891A (ja) 2014-05-23 2015-12-10 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
US20170031556A1 (en) 2015-07-29 2017-02-02 Lg Electronics Inc. Watch-type mobile terminal and method for controlling the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160016216A (ko) * 2014-08-04 2016-02-15 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 실시간 전방주시시스템 및 전방주시방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008691A (ja) 2001-06-26 2003-01-10 Toshiba Corp 対話型送受信方法およびシステム並びに対話型送受信端末装置
JP2005223889A (ja) 2004-01-09 2005-08-18 Seiko Epson Corp 報知装置、その制御方法、制御プログラム及び記録媒体
US20090099836A1 (en) 2007-07-31 2009-04-16 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
JP2011139258A (ja) 2009-12-28 2011-07-14 Panasonic Corp 携帯端末
JP2011061814A (ja) 2010-10-08 2011-03-24 Nokia Corp イベントによる稼動中のアプリケーションの中断を禁止する方法及び装置
JP3165585U (ja) 2010-11-11 2011-01-27 有限会社オフィス結アジア 音声合成装置
US20150312409A1 (en) 2014-04-23 2015-10-29 Samsung Electronics Co., Ltd. Devices and methods of providing response message in the devices
JP2015222891A (ja) 2014-05-23 2015-12-10 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置
US20170031556A1 (en) 2015-07-29 2017-02-02 Lg Electronics Inc. Watch-type mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
JP2020036123A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
US10976575B1 (en) Digital eyeware
US9900676B2 (en) Wearable computing device with indirect bone-conduction speaker
CN105074537B (zh) 三件套棱镜目镜
US10289205B1 (en) Behind the ear gesture control for a head mountable device
US9100732B1 (en) Hertzian dipole headphone speaker
US9547175B2 (en) Adaptive piezoelectric array for bone conduction receiver in wearable computers
US9798517B2 (en) Tap to initiate a next action for user requests
US10908419B2 (en) Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information
CN104350763A (zh) 骨传导扬声器中的外部振动降低
US10559024B1 (en) Voice initiated purchase request
US20220066207A1 (en) Method and head-mounted unit for assisting a user
US20150130688A1 (en) Utilizing External Devices to Offload Text Entry on a Head Mountable Device
US11068971B1 (en) Method, medium, and system for virtual try-on coordination via communications sessions
US11282523B2 (en) Voice assistant management
US20220171466A1 (en) Gesture-based content transfer
US20070081125A1 (en) Digital eyewear for telecommunications
JP7065730B2 (ja) ウェアラブル端末及び表示システム
US20100283711A1 (en) An integrated computation and communication system, a framed interface therefor and a method of operating thereof
US20220230649A1 (en) Wearable electronic device receiving information from external wearable electronic device and method for operating the same
CN213876195U (zh) 一种眼镜框架及智能导航眼镜
WO2019024519A1 (zh) 适用于各种眼镜的全息图像显示装置及全息图像的显示方法
US9727716B1 (en) Shared workspace associated with a voice-request account
JPH0965247A (ja) 映像表示装置
CN219799892U (zh) 一种ar眼镜
US20240127547A1 (en) Displaying avatars on an augmented reality (ar) lens in response to receiving a communication notification

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220426

R150 Certificate of patent or registration of utility model

Ref document number: 7065730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150