JP7065730B2 - Wearable terminal and display system - Google Patents
Wearable terminal and display system Download PDFInfo
- Publication number
- JP7065730B2 JP7065730B2 JP2018159349A JP2018159349A JP7065730B2 JP 7065730 B2 JP7065730 B2 JP 7065730B2 JP 2018159349 A JP2018159349 A JP 2018159349A JP 2018159349 A JP2018159349 A JP 2018159349A JP 7065730 B2 JP7065730 B2 JP 7065730B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- utterance
- wearable terminal
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Description
本発明は、ウェアラブル端末に関する。 The present invention relates to a wearable terminal.
特許文献1には、画像光を反射して観察者の眼に投射するハーフミラーを備えるヘッドマウントディスプレイに、ハーフミラーを透過した画像光が透過する際に外界からの視認性を低下可能とした視認性阻害部材を設ける技術が開示されている。
頭部装着型のウェアラブル端末の表示面にパソコン等の画面を現実空間に重ねて表示することで、例えばディスプレイもパーティションも設置されていないオープンスペースでの作業を容易に行うことができる。そのような環境では、電話機も設置されていないことが普通であるから、携帯電話を用いたコミュニケーションも重要である。
そこで、本発明は、移動体通信による通話でウェアラブル端末を活用することを目的とする。
By superimposing the screen of a personal computer or the like on the display surface of a head-mounted wearable terminal in a real space, for example, work can be easily performed in an open space where neither a display nor a partition is installed. In such an environment, it is normal that no telephone is installed, so communication using a mobile phone is also important.
Therefore, an object of the present invention is to utilize a wearable terminal in a call by mobile communication.
上記目的を達成するために、本発明は、頭部装着型のウェアラブル端末であって、自端末を装着したユーザの視界に位置する透過型の表示面と、前記ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて前記表示面に表示させる表示制御部と、移動体通信を行う通信手段が受信した音声データを取得して当該音声データにより示される受話音声を放音手段に出力する受話出力部とを備えるウェアラブル端末を提供する。 In order to achieve the above object, the present invention is a head-mounted wearable terminal, which corresponds to a transmissive display surface located in the field of view of the user wearing the terminal and an operation of the operation device by the user. The display control unit that superimposes the screen of the processing device that operates on the background and displays it on the display surface, and the communication means that performs mobile communication acquire the voice data received and release the received voice indicated by the voice data. Provided is a wearable terminal provided with a receiver output unit that outputs to a sound means.
また、前記操作デバイスを用いて入力されて前記表示面に表示された文章の音声を示す音声データを生成する生成部と、生成された前記音声データを移動体通信の発話データとして出力する発話出力部とを備えていてもよい。 Further, a generation unit that generates voice data indicating the voice of a sentence that is input using the operation device and displayed on the display surface, and an utterance output that outputs the generated voice data as utterance data of mobile communication. It may be provided with a part.
また、前記操作デバイスを用いて入力されて前記表示面に表示された文章を示す文章データを、当該文章データから当該文章の音声を示す音声データを生成して当該音声データを移動体通信の発話データとして送信する音声処理装置に対して出力する文章出力部を備えていてもよい。 Further, the sentence data indicating the sentence input by using the operation device and displayed on the display surface is generated from the sentence data to generate the voice data indicating the voice of the sentence, and the voice data is used as the speech of the mobile communication. A text output unit that outputs data to a voice processing device that transmits data may be provided.
また、前記通信手段が受け取った着信の発信元のユーザを特定する特定部と、特定された前記ユーザが利用しているリアルタイムコミュニケーションサービスで登録されている当該ユーザの宛先に接続を要求する要求部とを備えていてもよい。 In addition, a specific unit that identifies the source user of the incoming call received by the communication means and a request unit that requests a connection to the destination of the user registered in the real-time communication service used by the specified user. And may be provided.
また、前記通信手段への着信があった場合に振動する振動部を備えていてもよい。 Further, it may be provided with a vibrating unit that vibrates when there is an incoming call to the communication means.
また、前記表示制御部は、前記通信手段への着信があった場合に当該着信を示す画像を前記表示面に表示させてもよい。 Further, the display control unit may display an image showing the incoming call on the display surface when there is an incoming call to the communication means.
また、前記表示制御部は、前記通信手段への着信があったときに前記表示面に表示されている画面の重要度が所定の基準以上である場合には前記画像を表示させず、前記振動部は、前記重要度が少なくとも前記基準以上である場合に振動してもよい。 Further, the display control unit does not display the image when the importance of the screen displayed on the display surface is equal to or higher than a predetermined reference when there is an incoming call to the communication means, and the vibration The unit may vibrate when the importance is at least the reference or higher.
また、前記通信手段への着信があったときの前記操作デバイスへの操作頻度が閾値以上である場合に前記画像を表示させず、前記振動部は、前記操作頻度が少なくとも前記閾値以上である場合に振動してもよい。 Further, when the operation frequency to the operation device when there is an incoming call to the communication means is equal to or higher than the threshold value, the image is not displayed, and the vibrating unit is used when the operation frequency is at least the threshold value or higher. May vibrate.
また、本発明は、上記のウェアラブル端末と、前記ウェアラブル端末を装着したユーザによって操作される操作デバイスと、前記操作デバイスへの操作に応じて動作し、自装置の画面が前記ウェアラブル端末に表示される処理装置とを備える表示システムを提供する。 Further, the present invention operates according to the wearable terminal, the operation device operated by the user wearing the wearable terminal, and the operation to the operation device, and the screen of the own device is displayed on the wearable terminal. A display system including a processing device is provided.
本発明によれば、移動体通信による通話でウェアラブル端末を活用することができる。 According to the present invention, the wearable terminal can be utilized in a call by mobile communication.
[1]実施例
図1は実施例に係るARPCシステム1の全体構成を表す。ARPCシステム1は、AR(Augmented Reality:拡張現実)の技術を用いてPC(Personal Computer:パーソナルコンピュータ(パソコンとも言う))を利用するためのシステムである。
[1] Example FIG. 1 shows the overall configuration of the
ARPCシステム1は、パソコン10と、ウェアラブルグラス20とを備える。パソコン10は、いわゆるパーソナルコンピュータであり、キーボード等の操作デバイスを備える。本実施例のパソコン10は、キーボードと一体になっており、キーボードの筐体の中にプロセッサ等のパソコン本体を構成する部品が格納されている。パソコン10は、それらの操作デバイスへの操作に応じて処理の実行等の動作を行う。パソコン10は本発明の「処理装置」の一例である。
The ARPC
ウェアラブルグラス20は、ユーザの頭部に装着されて使用される(つまり頭部装着型の)ウェアラブル端末であり、具体的にはメガネ型のウェアラブル端末である。ウェアラブルグラス20は本発明の「ウェアラブル端末」の一例である。パソコン10及びウェアラブルグラス20は、本実施例では、図1に表すように有線で接続されている。なお、両装置の接続は無線であってもよい。
The
ウェアラブルグラス20は、背景が透過して見える表示面を有し、その表示面にパソコン10の画面を表示する。この表示された画面を見るユーザ、すなわち、ウェアラブルグラス20を装着したユーザによって、パソコン10が備える操作デバイスが操作される。このように、パソコン10は、操作デバイスへの操作に応じて動作すると共に、自装置の画面がウェアラブルグラス20に表示される。
The
図2はパソコン10のハードウェア構成を表す。パソコン10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、バス16という各装置と、それらの装置を格納するキーボード筐体17とを備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
FIG. 2 shows the hardware configuration of the
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
The
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
The number of
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
The
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ13は、補助記憶装置と呼ばれてもよい。
The
上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。本実施例では、通信装置14は、移動体通信装置141を備える。移動体通信装置141は、基地局を介した移動体通信を行うハードウェアであり、本発明の「通信手段」の一例である。
The storage medium described above may be, for example, a database, server or other suitable medium including the
入力装置15は、情報を入力するための操作を受け付ける操作デバイスである。本実施例では、入力装置15は、キーボード151及びマウス152(タッチパッドでもよい)を操作デバイスとして備える。プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス16を介して互いにアクセス可能となっている。バス16は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
The
また、パソコン10等は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
Further, the
図3はウェアラブルグラス20のハードウェア構成を表す。ウェアラブルグラス20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、入力装置25と、バス26と、投影装置30と、フレーム40という各装置を備えるコンピュータである。プロセッサ21から通信装置24までは、図2に表す同名の装置と性能及び仕様等の違いはあるが同種の装置である。
FIG. 3 shows the hardware configuration of the
入力装置25は、ウェアラブルグラス20を装着したユーザが自分の手元を見なくても操作可能な操作デバイスとして例えばタッチパッドを備える。投影装置30は、外部装置から供給される画像データが示す画像を、ウェアラブルグラス20を装着したユーザの眼に対して投影する。投影装置30は、投影部31と、光路形成部32とを備える。投影部31は、前述した画像を示す光を投射する。光路形成部32は、投影部31からユーザの眼までの光路を形成し、投影部31が投射した光をユーザの眼まで案内する。
The
図4は投影装置30の構成を表す。図4では、左眼に光を投射する投影部31Lと、右眼に光を投射する投影部31Rとが表されている。また、光路形成部32が備える部材として、導光板321と、ミラー322L及び322R(それぞれを区別しない場合は「ミラー322」という)と、ビームスプリッタ323L及び323R(それぞれを区別しない場合は「ビームスプリッタ323」という)とが表されている。
FIG. 4 shows the configuration of the
導光板321は、細長い板状の部材である。ウェアラブルグラス20がユーザに装着されると、導光板321がユーザの眼の前方に位置し、導光板321の長手方向がユーザの眼が並んでいる方向、つまりユーザにとっての左右方向に沿うようになっている。以下では、各部の配置を表す場合に、ウェアラブルグラス20を装着したユーザから見て左右どちらにあるかによって表すものとする。例えば、投影部31Lはユーザの眼よりも左側に配置され、投影部31Rはユーザの眼よりも右側に配置されている。
The
ミラー322Lは、導光板321内部の左側の端に設けられ、ミラー322Rは、導光板321内部の右側の端に設けられている。ミラー322Lは、投影部31Lから投射されて導光板321に入射した投影光を右側(ビームスプリッタ323Lがある側)に向けて反射する。ミラー322Rは、投影部31Rから投射されて導光板321に入射した投影光を左側(ビームスプリッタ323Rがある側)に向けて反射する。
The
図4及び以降の図では、投影光の光路を線及び矢印(投影光の進行方向を示す)を使って表す。なお、両ミラーが反射した投影光は導光板321の内部を反射しながら進むが、図を見やすくするために単純な直線で光路を表している。反射された投影光は左右共にビームスプリッタ323に到達する。ビームスプリッタ323とは、入射した光の一部を透過し一部を反射する板状の部材(ハーフミラーとも呼ばれる)である。
In FIG. 4 and the following figures, the optical path of the projected light is represented by using a line and an arrow (indicating the traveling direction of the projected light). The projected light reflected by both mirrors travels while reflecting inside the
ビームスプリッタ323Lは、自端末を装着したユーザの一方の眼(左眼)の視界に配置されている。ビームスプリッタ323Lは、ミラー322Lにより反射されて導光板321内を進んできた投影光を反射する反射面324Lを有し、反射面324Lの反対側に、外界からの光を透過する透過面325Lを有する。反射面324Lで反射された投影光はユーザの左眼に到達し、投影光が示す画像がユーザの左眼に映ることになる。
The
ビームスプリッタ323Rは、自端末を装着したユーザの一方の眼(右眼)の視界に配置されている。ビームスプリッタ323Rは、ミラー322Rにより反射されて導光板321内を進んできた投影光を反射する反射面324Rを有し、反射面324Rの反対側に、外界からの光を透過する透過面325Rを有する。反射面324Rで反射された投影光はユーザの右眼に到達し、投影光が示す画像がユーザの右眼に映ることになる。
The
このように、反射面324L及び324Rは、投影光により示される画像が表示される面である。また、ユーザから見た場合、反射面324L及び324Rの先の背景が透過して見えるようになっている。つまり、反射面324L及び324Rは、自端末(ウェアラブルグラス20)を装着したユーザの視界に位置する透過型の表示面であり、本発明の「表示面」の一例である。以下ではこれらを区別しない場合は「表示面324」という。
As described above, the reflecting
フレーム40は、投影装置30を支持すると共に、自端末をユーザの頭部に固定する(装着させる)部品である。フレーム40は、例えばメガネのフレームと似た形をした金属又はプラスチック製の部品である。フレーム40には、振動装置41と、コネクタ42とが設けられている。振動装置41は、例えばモータ及び重りを有し、モータが重りを回転させることで振動を発生させる装置(「バイブレータ」とも言う)である。振動装置41は本発明の「振動部」の一例である。
The
コネクタ42は、音を出力する放音手段(例えば図中のイヤホン50)を接続するための部品である。イヤホン50は、コネクタ42を介して供給される音を示すアナログ信号を音に変換して出力する、すなわち放音する。イヤホン50は、コネクタ42に接続された状態でウェアラブルグラス20を頭部に装着したユーザの耳に届く長さのコードを有している。
The
ARPCシステム1が備える各装置には、本システムで提供されるプログラムが記憶されており、各プロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図5はARPCシステム1が実現する機能構成を表す。パソコン10は、画面データ生成部101と、移動体通信受信処理部102と、発話入力受付部103と、発話テキストデータ生成部104と、移動体通信送信処理部105とを備える。ウェアラブルグラス20は、画面表示制御部201と、データ取得部202と、受信時振動制御部203と、受話音声データ出力部204と、発話音声データ生成部205と、発話音声データ出力部206とを備える。
Each device included in the
FIG. 5 shows a functional configuration realized by the
画面表示制御部201は、ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて表示面324(図4に表す反射面324L及び324R)に表示させる。画面表示制御部201は本発明の「表示制御部」の一例である。画面表示制御部201は、本実施例では、パソコン10(キーボード151及びマウス152操作に応じて動作する処理装置)の画面(以下「パソコン画面」という)を表示面324に表示させる。
The screen
画面表示制御部201は、例えばユーザが画面を表示させる操作を行うと、パソコン10にパソコン画面を示す画面データを要求する要求データを送信する。パソコン10は、受信した要求データを画面データ生成部101に供給する。画面データ生成部101は、供給された要求データにより要求された画面データ、すなわち自装置のパソコン画面を示す画面データを生成する。
For example, when the user performs an operation to display the screen, the screen
画面データ生成部101は、生成した画面データをウェアラブルグラス20に送信する。画面表示制御部201は、送信されてきた画面データが示すパソコン画面を表示面324に表示させる。ここまではパソコン画面の表示に関する機能について説明した。ここからは、移動体通信による通話に関する機能について説明する。
The screen
移動体通信受信処理部102は、図2に表す移動体通信装置141が行う移動体通信での音声通話における受信に関する処理(受信処理)を行う。移動体通信受信処理部102は、例えば、移動体通信装置141への着信があった場合に、発信元の電話番号及び着信があった旨を示す着信データを生成し、ウェアラブルグラス20に送信する。また、移動体通信受信処理部102は、通話が開始されると、受信した通話音声(以下「受話音声」という)を示す受話音声データを生成し、ウェアラブルグラス20に送信する。
The mobile communication
ウェアラブルグラス20のデータ取得部202は、パソコン10から送信されてきたデータを取得する。データ取得部202は、着信データを取得すると、取得した着信データを画面表示制御部201及び受信時振動制御部203に供給する。画面表示制御部201は、着信データが供給された場合、すなわち、移動体通信装置141(通信手段)への着信があった場合にその着信を示す画像(着信画像)を表示面324に表示させる。
The
図6は表示された着信画像の例を表す。図6(a)では、画面表示制御部201は、パソコン画面A1の一部として着信画像C1を表示面324(表示面324の端は透明でユーザから明確には見えないので二点鎖線で表している)に表示させている。図6(b)では、画面表示制御部201は、パソコン画面A1からはみ出させて、表示面324の端に着信画像C2を表示させている。
FIG. 6 shows an example of the displayed incoming image. In FIG. 6A, the screen
なお、表示面324が十分に広ければ、画面表示制御部201は、パソコン画面A1と全く重ならないように着信画像C2を表示させてもよい。着信画像C1の場合はユーザが注目しているパソコン画面A1に表示されるので着信に気付きやすく、着信画像C2の場合はパソコン画面A1を見る際の邪魔になりにくい。また、いずれの着信画像でも、発信元の電話番号を伝えることできる。
If the
受信時振動制御部203は、着信データが供給された場合、すなわち、移動体通信装置141(通信手段)への着信があった場合に振動するよう図4に表す振動装置41を制御する。振動装置41が振動すると、これが設けられているフレーム40も振動し、その振動がユーザの頭部に伝わる。これにより、着信画像が表示されるだけの場合に比べてユーザが着信に気付きやすいようにすることができる。
The reception
画面表示制御部201は、図6に表すように、着信画像と共に応答ボタンB1及び拒否ボタンB2を表示させている(これらのボタンも、図6(a)ではパソコン画面A1の一部として、図6(b)ではパソコン画面A1とは関係なく表示させている)。移動体通信受信処理部102は、拒否ボタンB2が操作された場合には受信処理を終了し、応答ボタンB1が操作された場合には通話を開始させて受話音声データの生成及び送信を開始する。データ取得部202は、受話音声データを取得すると、取得した受話音声データを受話音声データ出力部204に供給する。
As shown in FIG. 6, the screen
受話音声データ出力部204は、供給された受話音声データ、すなわち、移動体通信装置141(通信手段)が受信した受話音声データを取得してその受話音声データにより示される受話音声を放音手段(本実施例では図3に表すイヤホン50)に出力する。受話音声データ出力部204は本発明の「受話出力部」の一例である。受話音声データ出力部204は、デジタルデータである受話音声データをアナログ信号に変換し、コネクタ42を介してイヤホン50に供給する。
The received voice
イヤホン50は、供給されたアナログ信号が示す受話音声を放音する。これにより、ユーザは、着信した移動体通信による受話音声が聞こえるようになる。一方、ユーザからの返事は自らの声ではなく、テキストの入力で行われる。画面表示制御部201は、応答ボタンB1が操作された場合、ユーザからの発話内容(この場合は返事)を入力するための入力画面を表示させる。
The
図7は表示された入力画像の例を表す。画面表示制御部201は、発話内容入力画面A2として、「発話内容を入力してください。」という文字列と、入力欄D1と、確定ボタンB3とを表示させている。ユーザは、受話音声を聞くと、入力欄D1に返事を入力する操作を行う。発話入力受付部103は、発話内容入力画面における発話内容の入力を受け付ける。
FIG. 7 shows an example of the displayed input image. The screen
発話入力受付部103は、自装置(パソコン10)が備える操作デバイス(キーボード151及びマウス152)を用いた入力を受け付ける。なお、発話入力受付部103は、自装置がマイクロフォンを備えているか否かに関わらず、音声による入力は受け付けない。これは、音声で発話内容を発声されると、周囲の者にその内容が知られてしまうからである。
The utterance
発話入力受付部103は、入力を受け付けた発話内容を発話テキストデータ生成部104に供給する。発話テキストデータ生成部104は、供給された発話内容、すなわち、操作デバイスを用いて入力された文章を示すテキストデータ(以下「発話テキストデータ」という)を生成する。発話テキストデータ生成部104は、生成した発話テキストデータをウェアラブルグラス20に送信する。
The utterance
ウェアラブルグラス20の画面表示制御部201は、送信されてきた発話テキストデータが示す発話内容を入力欄D1に表示させる。図7の例では「こんにちは。暑いですね。」という入力された発話内容が表示されている。この状態でユーザが確定ボタンB3を押す操作を行うと、画面表示制御部201は、表示させている発話内容を示す発話テキストデータを発話音声データ生成部205に供給する。
The screen
発話音声データ生成部205は、供給された発話テキストデータが示す発話内容、すなわち、操作デバイスを用いて入力された文章の音声を示す発話音声データを生成する。発話音声データ生成部205は本発明の「生成部」の一例である。発話音声データ生成部205は、例えば、予め記憶した音素データを組み合わせて音声データを生成するなど、周知の音声合成技術を用いて発話音声データを生成する。
The utterance voice
発話音声データ生成部205は、生成した発話音声データを発話音声データ出力部206に供給する。発話音声データ出力部206は、供給された発話音声データ、すなわち、発話音声データ生成部205により生成された発話音声データを移動体通信の発話データとして出力する。発話音声データ出力部206は本発明の「発話出力部」の一例である。
The utterance voice
ここでいう移動体通信の発話データとは、移動体通信において相手に伝える発話内容を示すデータのことである。本実施例では、入力は文字列(テキスト)で行われるが、音声を示す発話音声データが発話データとして出力される。発話音声データ出力部206は、この発話音声データをパソコン10に対して出力する。パソコン10は、出力されてきた発話音声データを移動体通信送信処理部105に供給する。
The utterance data of the mobile communication referred to here is data indicating the utterance content to be transmitted to the other party in the mobile communication. In this embodiment, the input is performed by a character string (text), but the utterance voice data indicating the voice is output as the utterance data. The utterance voice
移動体通信送信処理部105は、図2に表す移動体通信装置141が行う移動体通信での音声通話における送信に関する処理(送信処理)を行う。移動体通信送信処理部105は、本実施例では、供給された発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理として行う。この場合、通話先の移動体通信端末は、通常の音声通話と同様に送信されてきた発話音声データが示す発話音声を放音する。
The mobile communication
パソコン10及びウェアラブルグラス20は、上記の構成に基づいて、移動体通信による通話を行う通話処理を行う。
図8は通話処理における動作手順の一例を表す。この動作手順は、例えば、ユーザがウェアラブルグラス20を装着してパソコン10の画面を表示させているときに着信が入ることを契機に開始される。
Based on the above configuration, the
FIG. 8 shows an example of an operation procedure in call processing. This operation procedure is started, for example, when a user receives an incoming call while wearing the
まず、パソコン10(移動体通信受信処理部102)は、発信元の電話番号及び着信があった旨を示す着信データを生成し(ステップS11)、生成した着信データをウェアラブルグラス20に送信する(ステップS12)。ウェアラブルグラス20(受信時振動制御部203)は、着信データが送信されてくると、振動装置41を振動させる制御を行う(ステップS13)。
First, the personal computer 10 (mobile communication reception processing unit 102) generates the caller's telephone number and incoming data indicating that there is an incoming call (step S11), and transmits the generated incoming data to the wearable glass 20 (step S11). Step S12). The wearable glass 20 (reception vibration control unit 203) controls to vibrate the
次に、ウェアラブルグラス20(画面表示制御部201)は、着信を示す着信画像を表示面324に表示させる(ステップS14)。なお、ステップS13及びS14の動作は、順番が反対でもよいし、並行して行われてもよい。続いて、着信画像が表示された画面で応答操作が行われると、パソコン10はその操作を受け付ける(ステップS21)。そして、パソコン10(移動体通信受信処理部102)は、通話を開始させて受話音声データを生成し(ステップS22)、生成した受話音声データをウェアラブルグラス20に送信する(ステップS23)。
Next, the wearable glass 20 (screen display control unit 201) displays an incoming image indicating an incoming call on the display surface 324 (step S14). The operations of steps S13 and S14 may be performed in the opposite order or in parallel. Subsequently, when a response operation is performed on the screen on which the incoming image is displayed, the
ウェアラブルグラス20(受話音声データ出力部204)は、送信されてきた受話音声データにより示される受話音声を放音手段(イヤホン50)に出力する(ステップS24)。次に、ウェアラブルグラス20(画面表示制御部201)は、発話内容入力画面を表示面324に表示させる(ステップS31)。パソコン10(発話入力受付部103)は、この発話内容入力画面における発話内容の入力を受け付ける(ステップS32)。 The wearable glass 20 (received voice data output unit 204) outputs the received voice indicated by the transmitted received voice data to the sound emitting means (earphone 50) (step S24). Next, the wearable glass 20 (screen display control unit 201) displays the utterance content input screen on the display surface 324 (step S31). The personal computer 10 (utterance input receiving unit 103) accepts the input of the utterance content on the utterance content input screen (step S32).
次に、パソコン10(発話テキストデータ生成部104)は、入力された文章を示す発話テキストデータを生成し(ステップS33)、ウェアラブルグラス20に送信する(ステップS34)。ウェアラブルグラス20(画面表示制御部201)は、送信されてきた発話テキストデータが示す発話内容を表示面324に表示させる(ステップS35)。ウェアラブルグラス20は、発話内容入力画面で確定操作が行われるとそれを受け付ける(ステップS36)。
Next, the personal computer 10 (utterance text data generation unit 104) generates utterance text data indicating the input sentence (step S33) and transmits it to the wearable glass 20 (step S34). The wearable glass 20 (screen display control unit 201) displays the utterance content indicated by the transmitted utterance text data on the display surface 324 (step S35). The
次に、ウェアラブルグラス20(発話音声データ生成部205)は、確定された発話内容、すなわち、操作デバイスを用いて入力された文章の音声を示す発話音声データを生成する(ステップS37)。続いて、ウェアラブルグラス20(発話音声データ出力部206)は、生成された発話音声データを移動体通信の発話データとしてパソコン10に対して出力する(ステップS38)。
Next, the wearable glass 20 (speech voice data generation unit 205) generates utterance voice data indicating the confirmed utterance content, that is, the voice of the sentence input by using the operation device (step S37). Subsequently, the wearable glass 20 (speech voice data output unit 206) outputs the generated utterance voice data to the
パソコン10(移動体通信送信処理部105)は、送信されてきた発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理(移動体通信での音声通話における送信に関する処理)として行う(ステップS39)。以降、ステップS22からS39までの動作が繰り返し行われ、ユーザが通話を終了する操作を行うと、この動作手順が終了する。 The personal computer 10 (mobile communication transmission processing unit 105) performs a process of transmitting the transmitted utterance voice data as it is to the mobile communication terminal of the call destination (process related to transmission in a voice call in mobile communication). ) (Step S39). After that, the operations from steps S22 to S39 are repeated, and when the user performs an operation to end the call, this operation procedure ends.
本実施例では、移動体通信を行う通信手段(パソコン10の移動体通信装置141)による通話の音声がウェアラブルグラス20から出力される。また、通話の拒否又は応答の操作もウェアラブルグラス20に表示される画面を通して行われる。このように、本実施例によれば、移動体通信による通話でウェアラブル端末(ウェアラブルグラス20)を活用することができる。
In this embodiment, the voice of the call by the communication means (
また、本実施例では、移動体通信を開始したユーザは、音声を発しなくても、パソコン10の操作デバイス(キーボード151及びマウス152)で発話内容を入力することで応答を行うことができる。これにより、周囲にいる第三者に内容を知られることなく、移動体通信での通話を行うことができる。
Further, in the present embodiment, the user who has started the mobile communication can respond by inputting the utterance content with the operation device (
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。
[2] Modifications The above-mentioned examples are merely examples of the implementation of the present invention, and may be modified as follows.
[2-1]ウェアラブル端末
本発明のウェアラブル端末は、ウェアラブルグラス20に限らない。例えば光路の形成方法として図4に表す方法以外の周知の方法(例えば偏光を利用した方法等)が用いられてもよい。また、ウェアラブルグラス20はメガネ型であるが、ゴーグル型又は片メガネ型(その場合は表示面が1つになる)であってもよい。要するに、頭部装着型であってユーザの視界に位置する透過型の表示面を有するものであれば、どのようなタイプのウェアラブル端末が用いられてもよい。
[2-1] Wearable terminal The wearable terminal of the present invention is not limited to the
[2-2]処理装置
本発明の処理装置は、パソコン10に限らない。例えばキーボード一体型ではなく普通のデスクトップ型のパーソナルコンピュータであってもよい。また、ノートパソコン、スマートフォン又はタブレット端末のように表示面を有している処理装置が用いられてもよい。
[2-2] Processing device The processing device of the present invention is not limited to the
その場合、処理装置本体の表示面への表示はオフにしたり、処理装置本体をカバンに入れるなどしたりすることで、第三者に処理装置本体の表示面が見られないようにすればよい。なお、ウェアラブル端末に表示される画面は処理装置の画面であればよく、パソコン画面に限る必要はない。いずれの処理装置も、ユーザによる操作デバイス(スマートフォン及びタブレット端末の場合は外付けのキーボード等)の操作に応じて動作するものであればよい。 In that case, the display on the display surface of the processing device main body may be turned off, or the processing device main body may be put in a bag so that a third party cannot see the display surface of the processing device main body. .. The screen displayed on the wearable terminal may be any screen of the processing device, and is not limited to the screen of the personal computer. Any processing device may be any device as long as it operates in response to the operation of the operation device (in the case of a smartphone or tablet terminal, an external keyboard or the like) by the user.
[2-3]通信手段
実施例では、処理装置であるパソコン10が移動体通信での通信手段を備えていたが、これに限らない。例えば上述した他の処理装置(スマートフォン等)が通信手段を備えていてもよいし、ウェアラブル端末であるウェアラブルグラス20が備えていてもよい。いずれの装置に通信手段が備えられていたとしても、その装置とウェアラブル端末との間で移動体通信に関するデータのやり取りができるようになっていればよい。
[2-3] Communication means In the embodiment, the
[2-4]放音手段
ウェアラブル端末が受話音声を出力する放音手段は、実施例で述べたもの(外付けのイヤホン)に限らない。例えば、ヘッドホン又はスピーカ(骨伝導スピーカ等)であってもよいし、それらがウェアラブル端末に内蔵されていてもよい。要するに、ウェアラブル端末を頭部に装着した状態のユーザが放音された音声を聞くことできるようになっていれば、どのような放音手段が用いられてもよい。ただし、情報漏洩を防ぐため、放音された通話音声が周囲の第三者に聞かれないようになっていることが望ましい。
[2-4] Sound Discharging Means The sound emitting means for the wearable terminal to output the received voice is not limited to that described in the embodiment (external earphone). For example, they may be headphones or speakers (bone conduction speakers, etc.), or they may be built into a wearable terminal. In short, any sound emitting means may be used as long as the user wearing the wearable terminal on his / her head can hear the emitted sound. However, in order to prevent information leakage, it is desirable that the emitted call voice is not heard by surrounding third parties.
[2-5]発話音声データの生成装置
実施例では、ウェアラブルグラス20が発話音声データを生成したが、他の装置が発話音声データを生成してもよい。
図9は本変形例で実現される機能構成を表す。図9では、図5に表す各部に加えて発話音声データ生成部106を備えるパソコン10aと、図5に表す発話音声データ生成部205及び発話音声データ出力部206に代えて発話テキストデータ出力部207を備えるウェアラブルグラス20aとが表されている。
[2-5] Spoken Voice Data Generation Device In the embodiment, the
FIG. 9 shows the functional configuration realized by this modification. In FIG. 9, a
本変形例の画面表示制御部201は、図7に表す状態で確定ボタンB3が操作されると、表示させている発話内容を示す発話テキストデータを発話テキストデータ出力部207に供給する。発話テキストデータ出力部207は、供給された発話テキストデータ、すなわち、操作デバイスを用いて入力されて表示面324に表示された文章を示す文章データをパソコン10aに対して出力する。発話テキストデータ出力部207は本発明の「文章出力部」の一例である。
When the confirmation button B3 is operated in the state shown in FIG. 7, the screen
パソコン10aは、出力されてきた発話テキストデータ(文章データ)を発話音声データ生成部106に供給する。発話音声データ生成部106は、供給された発話テキストデータ、すなわち、前述した文章データからその文章(図7の例であれば「こんにちは。暑いですね。」という文章)の音声を示す発話音声データを生成する。この発話音声データの生成には、発話音声データ生成部205と同様に周知の音声合成技術が用いられる。
The
発話音声データ生成部106は、生成した発話音声データを移動体通信送信処理部105に供給する。移動体通信送信処理部105は、実施例と同様に、供給された発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理として行う。このように発話音声に対する処理(発話音声データの生成処理及び送信処理)を行うパソコン10aは本発明の「音声処理装置」の一例である。
The utterance voice
本変形例では、上記のとおり発話音声データの生成処理をウェアラブル端末ではなく処理装置(パソコン10a)で行っている。一般に、ウェアラブル端末は軽量且つ薄型に作られるため、情報処理装置としての処理能力は、通常のパソコン等に比べて低く抑えられている。本変形例では、処理能力がウェアラブル端末に比べて高い処理装置の方で発話音声データの生成処理を行うことで、ウェアラブル端末でこの処理を行う場合に比べて、発話音声をより高品質にすることができ、また、発話音声に対する処理によるタイムラグを少なくすることができる。
In this modification, as described above, the generation processing of the spoken voice data is performed by the processing device (
なお、前述した音声処理装置は、ウェアラブル端末に画面が表示される処理装置でなくてもよく、外部のサーバ装置であってもよいし、ユーザが所持するスマートフォン等の処理装置以外の装置であってもよい。それらの場合でも、音声処理装置がウェアラブル端末よりも処理能力が高ければ、前述した本変形例の効果を得ることができる。 The voice processing device described above does not have to be a processing device whose screen is displayed on the wearable terminal, may be an external server device, or is a device other than a processing device such as a smartphone owned by the user. You may. Even in such cases, if the voice processing device has a higher processing capacity than the wearable terminal, the effect of the above-described modification can be obtained.
[2-6]音声以外での通話
上記の各例では、ユーザ自身は声を発しないものの、ウェアラブル端末等が生成した発話音声データによって通話がなされたが、これに限らない。
図10は本変形例で実現される機能構成を表す。図10では、図5に表す移動体通信送信処理部105を除いた各部を備えるパソコン10bが表されている。
[2-6] Calls other than voice In each of the above examples, although the user does not speak, the call is made by the spoken voice data generated by the wearable terminal or the like, but the call is not limited to this.
FIG. 10 shows the functional configuration realized by this modification. In FIG. 10, a
また、図10では、図5に表す発話音声データ生成部205及び発話音声データ出力部206に代えて発信元ユーザ特定部208及びサービス処理部209を備えるウェアラブルグラス20bが表されている。本変形例では、データ取得部202が、取得した着信データを発信元ユーザ特定部208に供給する。発信元ユーザ特定部208は、移動体通信装置141(通信手段)が受け取った着信の発信元のユーザを特定する。発信元ユーザ特定部208は本発明の「特定部」の一例である。
Further, in FIG. 10, a
発信元ユーザ特定部208は、例えば、自装置(ウェアラブルグラス20b)のユーザによって予め登録されている発信元の電話番号とユーザとを対応付けたユーザテーブルを用いて、発信元のユーザを特定する。なお、発信元ユーザ特定部208は、ユーザテーブルのような情報を有する外部装置に問い合わせて発信元のユーザを特定してもよい。発信元ユーザ特定部208は、特定したユーザを識別する識別情報をサービス処理部209に供給する。
The caller
サービス処理部209は、供給された識別情報が示すユーザ、すなわち、発信元ユーザ特定部208により特定されたユーザが利用しているリアルタイムコミュニケーションサービス(RTCS:Real Time Communication Service)に関する処理(以下「サービス処理」という)を行う。リアルタイムコミュニケーションサービス(RTCS)とは、データ通信回線を利用してリアルタイムにコミュニケーションをとることができるサービスのことであり、「チャット」などと呼ばれることもある。
The
RTCSでやり取りされる情報は、主にテキストデータであるが、他にも画像及び動画等がやり取りされてもよい。ただし、音声のやり取りは除くものとする。サービス処理部209は、例えば、RTCSで登録されている上記ユーザ(発信元ユーザ特定部208により特定されたユーザ)の宛先に接続を要求する処理をサービス処理として行う。サービス処理部209は本発明の「要求部」の一例である。
The information exchanged by RTCS is mainly text data, but images, moving images, and the like may also be exchanged. However, voice exchange is excluded. For example, the
サービス処理部209は、例えば、自装置のユーザによって予め登録されている他のユーザが利用しているRTCSとそのRTCSで用いられているユーザIDとを対応付けたサービステーブルを用いて、供給された識別情報が示すユーザに対応付けられているRTCS及びユーザIDを特定する。このユーザIDは、前述した「RTCSで登録されているユーザの宛先」の一例である。
The
ウェアラブルグラス20bは、主要なRTCSを利用するためのプログラム(ブラウザプログラム又はアプリケーションプログラム)を記憶しているものとする。サービス処理部209は、特定したRTCSを利用するためのプログラムを起動して、特定したユーザIDへの接続を要求する処理を行う。具体的には、サービス処理部209は、例えば、起動したRTCSの画面でそのユーザIDを検索する検索処理を接続を要求する処理として行う。
It is assumed that the
また、サービス処理部209は、検索して見つかったユーザIDのユーザとのチャット開始を要求する要求処理を、接続を要求する処理として行う。なお、これらの処理(検索処理及び要求処理)は一例であり、これ以外にも、利用するRTCSにおいてユーザとのやり取りを開始する際に通常行われる処理が接続を要求する処理として行われればよい。RTCSのプログラムが起動されると、画面表示制御部201が、該当するRTCSの画面を表示面324に表示させる。
Further, the
図11は表示されたRTCS画面の一例を表す。図11(a)では、ウェアラブルグラス20bの表示面324に表示されチャット相手検索画面A3が表されている。チャット相手検索画面A3には、検索キーの入力欄D2及び検索結果E1(つまり検索処理の結果)が表示されている。サービス処理部209がこの検索結果E1を選択する処理を前述した要求処理として行うと、画面表示制御部201は、検索されたユーザ(この例では「ユーザA」)とのチャット画面A4を図11(b)に表すように表示させる。
FIG. 11 shows an example of the displayed RTCS screen. In FIG. 11A, the chat partner search screen A3 is displayed on the
チャット画面A4には、発話内容の入力欄D3が表示されている。ユーザが入力欄D3に発話内容を入力すると、発話入力受付部103がこの入力欄D2への発話内容の入力を受け付ける。そしてユーザが確定ボタンを押す操作を行うと、発話テキストデータ生成部104が入力された文章を示す発話テキストデータを生成し、生成した発話テキストデータを画面表示制御部201に供給する。
On the chat screen A4, the input field D3 for the utterance content is displayed. When the user inputs the utterance content in the input field D3, the utterance
画面表示制御部201は、供給された発話テキストデータが示す発話内容である「こんにちは。暑いですね!」という文字列を含む吹き出し画像E2を図11(c)に表すように表示させる。発話テキストデータ生成部104は、生成した発話テキストデータをサービス処理部209にも供給する。サービス処理部209は、供給された発話テキストデータを、上記のとおり特定されたユーザAの宛先(RTCSで登録されている宛先)に送信する。
The screen
送信された発話テキストデータが示す発話内容は、ユーザAが利用する端末の表示手段に表示される。図11(d)では、こうして表示されたチャット画面A5が表されている。チャット画面A5には、チャット相手であるユーザ(この例では「ユーザB」)を示すアバターE3と、ユーザBの発話内容である「こんにちは。暑いですね!」という文字列を含む吹き出し画像E4とが表示されている。 The utterance content indicated by the transmitted utterance text data is displayed on the display means of the terminal used by the user A. In FIG. 11D, the chat screen A5 thus displayed is shown. On the chat screen A5, an avatar E3 indicating the user (“user B” in this example) who is the chat partner, and a balloon image E4 including the character string “Hello. It's hot!” Which is the utterance content of the user B. Is displayed.
また、チャット画面A5はチャット用の画面なので、チャット画面A4と同じく発話内容の入力欄D4が表示されている。ユーザAは、例えばこの入力欄D4に発話内容を入力してチャットで会話を続ければよい。この場合、移動体通信での接続は終了させてもよい。また、ユーザAは、入力欄D4への入力は行わずに、接続されている移動体通信での音声による会話を続けてもよい。その場合、ユーザBはユーザAの音声を聞きながら、自分は入力欄D3に発話内容を入力しながら会話することになる。 Further, since the chat screen A5 is a screen for chatting, the input field D4 for the utterance content is displayed as in the chat screen A4. For example, the user A may input the utterance content in the input field D4 and continue the conversation by chat. In this case, the connection by mobile communication may be terminated. Further, the user A may continue the voice conversation in the connected mobile communication without inputting to the input field D4. In that case, the user B talks while listening to the voice of the user A and inputting the utterance content in the input field D3.
いずれの場合も、ユーザBが自分の発話内容を音声で述べることはないし、表示された吹き出し画像E2もユーザBしか見ることができないウェアラブルグラス20bの表示面324に表示されるので、ユーザBの発話内容が周囲の第三者に知られるおそれをなくすことができる。また、ユーザAの音声もイヤホン50からユーザBにだけ聞こえるので、ユーザAの発話内容が第三者に知られるおそれもない。また、上記のとおりユーザAとのチャットの接続が自動的に行われるので、RTCSを利用した会話を円滑に開始することができる。
In either case, the user B does not state his / her utterance by voice, and the displayed balloon image E2 is also displayed on the
なお、上記の例ではウェアラブルグラス20bがRTCSを利用するためのプログラムを実行したが、これに限らず、パソコン10bがこのプログラムを実行してもよい。その場合、パソコン10bでもサービス処理部209に相当する機能が実現され、サービス処理部209は、そのパソコン10b側の機能を介して接続を要求する処理を行えばよい。
In the above example, the
[2-7]着信の通知方法
実施例では、着信があると振動及び着信画像の両方でユーザへの通知が行われたが、これに限らず、例えばいずれか一方だけが行われてもよい。また、その際に、どちらの通知を行うかを状況に応じて異ならせてもよい。
[2-7] Incoming Call Notification Method In the embodiment, when there is an incoming call, the user is notified by both vibration and the incoming call image, but the present invention is not limited to this, and for example, only one of them may be notified. .. At that time, which notification may be given may be different depending on the situation.
本変形例では、画面表示制御部201が、着信データが供給されたとき、すなわち、移動体通信装置141(通信手段)への着信があったときに、表示面324に表示させている画面の重要度を判定する。画面表示制御部201は、例えば表示させているパソコン画面において起動されているプログラムの種類に応じて重要度を判定する。画面表示制御部201は、例えばプログラムの種類と重要度とを対応付けた重要度テーブルを用いて判定を行う。
In this modification, the screen
図12は重要度テーブルの一例を表す。図12の例では、「ファイル閲覧用、メール閲覧用」の重要度が「低」、「文書作成用」の重要度が「中」、「業務用、動画再生用」の重要度が「高」と対応付けられている。画面表示制御部201は、着信時に起動されているプログラムの種類に重要度テーブルにおいて対応付けられている重要度を、画面の重要度として判定する。
FIG. 12 shows an example of the importance table. In the example of FIG. 12, the importance of "for viewing files and reading emails" is "low", the importance of "for document creation" is "medium", and the importance of "for business use and video playback" is "high". Is associated with. The screen
画面表示制御部201は、例えば、「低」という重要度を判定した場合は、実施例で述べた着信画像を表示させ、「中」及び「高」という重要度を判定した場合は、着信画像を表示させずに、判定結果を受信時振動制御部203に通知する。受信時振動制御部203は、この通知を受け取ると、実施例と同様に振動装置41を制御して振動させる。このように、本変形例では、判定された重要度が所定の基準(この場合は「中」)以上である場合に、振動装置41は振動し、画面表示制御部201は着信画像を表示させないように動作している。
For example, when the screen
着信画像が表示されると、図6に表すように、着信画像が重なってパソコン画面に表示されている情報の一部が見えなくなることがある。本変形例では、上記のとおり着信画像の表示を制御することで、重要度が高い画面が表示されている場合には着信画像が邪魔にならないようにしつつ、着信画像が表示されなくても振動によって着信に気付かせるようにしている。 When the incoming image is displayed, as shown in FIG. 6, the incoming image may overlap and part of the information displayed on the personal computer screen may not be visible. In this modification, by controlling the display of the incoming image as described above, when the screen with high importance is displayed, the incoming image does not get in the way, and the incoming image vibrates even if it is not displayed. Makes you aware of incoming calls.
なお、図12に表す重要度はあくまで一例であり、これに限らない。例えばユーザの要望に基づいてこれとは異なる重要度が決められてもよいし、ユーザが重要度を設定できるようにしてもよい。また、重要度が所定の基準未満の重要度が判定された場合は上記のとおり着信画像が表示されるが、振動装置41については合わせて振動させてもよいし、振動させなくてもよい。本変形例では、判定された重要度が少なくとも所定の基準以上である場合に振動装置41が振動するようになっていればよい。
The importance shown in FIG. 12 is merely an example, and is not limited to this. For example, a different importance may be determined based on the user's request, or the user may be able to set the importance. Further, when the importance of the importance is less than the predetermined standard is determined, the incoming image is displayed as described above, but the vibrating
なお、着信の通知方法はこれに限らない。例えば、着信があったときの操作デバイスへの操作頻度によって通知方法が異なっていてもよい。この場合、例えば画面表示制御部201が、着信データが供給されたとき、すなわち、移動体通信装置141(通信手段)への着信があったときの操作デバイス(キーボード151及びマウス152)への操作頻度を算出する。
The method of notifying an incoming call is not limited to this. For example, the notification method may differ depending on the frequency of operation to the operation device when an incoming call arrives. In this case, for example, the screen
画面表示制御部201は、例えば、操作デバイスへの操作が行われた場合の操作時刻を記憶しておき、着信データが供給された場合に、その時刻以前の単位期間(例えば10秒等)に記憶した操作時刻の数を操作頻度として算出する。画面表示制御部201は、予め定められた閾値未満の操作頻度を算出した場合は着信画像を表示させ、その閾値以上の操作頻度を算出した場合は着信画像を表示させずに、算出結果を受信時振動制御部203に通知する。
The screen
受信時振動制御部203は、この通知を受け取ると、実施例と同様に振動装置41を制御して振動させる。このように、本変形例では、算出された操作頻度が閾値以上である場合に、振動装置41は振動し、画面表示制御部201は着信画像を表示させないように動作する。
Upon receiving this notification, the receiving
ユーザが忙しく操作を行っている状況では、操作が少ない状況に比べて画面を見ることに集中していることが多い。本変形例では、そのようにユーザが忙しく操作を行っている状況では着信画像が邪魔にならないようにしつつ、着信画像が表示されなくても振動によって着信に気付かせるようにしている。 In situations where the user is busy performing operations, he is often more focused on viewing the screen than in situations where there are few operations. In this modification, the incoming image is not disturbed in such a busy operation of the user, and the incoming image is noticed by vibration even if the incoming image is not displayed.
[2-8]各部を実現する装置
図5等に表す各機能を実現する装置は、それらの図に表された装置に限らない。例えばパソコン10が備える発話テキストデータ生成部104をウェアラブルグラス20又は他の外部装置が実現してもよい。また、1つの機能が行う動作を2以上の機能で分担して行ってもよい。例えば画面表示制御部201が行うパソコン画面の表示制御と着信画像の表示制御を別々の機能が分担して行ってもよい。要するに、ARPCシステム全体としてこれらの機能が実現されていればよい。
[2-8] Devices that realize each part The devices that realize each function shown in FIGS. 5 and the like are not limited to the devices shown in those figures. For example, the
[2-9]発明のカテゴリ
本発明は、パソコンのような処理装置及びウェアラブルグラスのようなウェアラブル端末の他、それらの装置を備えるARPCシステムのような表示システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2-9] Category of Invention The present invention can be regarded as a processing device such as a personal computer and a wearable terminal such as a wearable glass, as well as a display system such as an ARPC system provided with these devices. Further, the present invention can be regarded as an information processing method for realizing the processing performed by each device, and also as a program for operating a computer that controls each device. This program may be provided in the form of a recording medium such as an optical disk that stores it, or may be provided in the form of being downloaded to a computer via a network such as the Internet and installed and made available. May be done.
[2-10]処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
[2-10] Processing Procedures, etc. The order of the processing procedures, sequences, flowcharts, etc. of each embodiment described in the present specification may be changed as long as there is no contradiction. For example, the methods described herein present elements of various steps in an exemplary order and are not limited to the particular order presented.
[2-11]入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
[2-11] Handling of input / output information and the like The input and output information and the like may be stored in a specific location (for example, a memory) or may be managed by a management table. Information to be input / output may be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
[2-12]ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
[2-12] Software Software, whether referred to as software, firmware, middleware, microcode, hardware description language, or by any other name, is an instruction, instruction set, code, code segment, program code, program. , Subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, functions, etc. should be broadly interpreted.
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。 Further, software, instructions, and the like may be transmitted and received via a transmission medium. For example, the software may use wired technology such as coaxial cable, fiber optic cable, twist pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to website, server, or other. When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
[2-13]情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
[2-13] Information, Signals The information, signals and the like described herein may be represented using any of a variety of different techniques. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
[2-14]システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
[2-14] System, Network The terms "system" and "network" used herein are used interchangeably.
[2-15]「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
[2-15] Meaning of "based on" The term "based on" as used herein does not mean "based on" unless otherwise stated. In other words, the statement "based on" means both "based only" and "at least based on".
[2-16]「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
[2-16] "and", "or"
In the present specification, for configurations that can be implemented by either "A and B" or "A or B", the configuration described in one expression may be used as the configuration described in the other expression. For example, when "A and B" are described, they may be used as "A or B" as long as they are not inconsistent with other descriptions and can be carried out.
[2-17]態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
[2-17] Variations of Aspects, etc. Each of the examples described in the present specification may be used alone, in combination, or may be switched and used according to the execution. Further, the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit one, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。 Although the present invention has been described in detail above, it is clear to those skilled in the art that the present invention is not limited to the examples described herein. The present invention can be implemented as modifications and modifications without departing from the spirit and scope of the present invention as determined by the description of the scope of claims. Therefore, the description of the present specification is for the purpose of illustration and does not have any limiting meaning to the present invention.
1…ARPCシステム、10…パソコン、20…ウェアラブルグラス、30…投影装置、40…フレーム、41…振動装置、42…コネクタ、50…イヤホン、101…画面データ生成部、102…移動体通信受信処理部、103…発話入力受付部、104…発話テキストデータ生成部、105…移動体通信送信処理部、106…発話音声データ生成部、141…移動体通信装置、151…キーボード、152…マウス、201…画面表示制御部、202…データ取得部、203…受信時振動制御部、204…受話音声データ出力部、205…発話音声データ生成部、206…発話音声データ出力部、207…発話テキストデータ出力部、208…発信元ユーザ特定部、209…サービス処理部、324…表示面。 1 ... ARPC system, 10 ... PC, 20 ... wearable glass, 30 ... projection device, 40 ... frame, 41 ... vibration device, 42 ... connector, 50 ... earphone, 101 ... screen data generator, 102 ... mobile communication reception processing Unit, 103 ... Speaking input reception unit, 104 ... Speaking text data generation unit, 105 ... Mobile communication transmission processing unit, 106 ... Speaking voice data generation unit, 141 ... Mobile communication device, 151 ... Keyboard, 152 ... Mouse, 201 ... screen display control unit, 202 ... data acquisition unit, 203 ... reception vibration control unit, 204 ... received voice data output unit, 205 ... spoken voice data generation unit, 206 ... spoken voice data output unit, 207 ... spoken text data output Unit, 208 ... Source user identification unit, 209 ... Service processing unit, 324 ... Display surface.
Claims (8)
自端末を装着したユーザの視界に位置する透過型の表示面と、
前記ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて前記表示面に表示させる表示制御部と、
移動体通信を行う通信手段が受信した音声データを取得して当該音声データにより示される受話音声を放音手段に出力する受話出力部と、
前記操作デバイスを用いて入力されて前記表示面に表示された文章を示す文章データを、当該文章データから当該文章の音声を示す音声データを生成して当該音声データを移動体通信の発話データとして送信する音声処理装置に対して出力する文章出力部と
を備えるウェアラブル端末。 It is a head-mounted wearable terminal,
A transparent display surface located in the field of view of the user wearing the terminal,
A display control unit that superimposes the screen of a processing device that operates according to the operation of the operation device by the user on the background and displays it on the display surface.
A receiving output unit that acquires voice data received by a communication means that performs mobile communication and outputs the received voice indicated by the voice data to the sound emitting means .
Sentence data indicating a sentence input using the operation device and displayed on the display surface is used to generate voice data indicating the voice of the sentence from the sentence data, and the voice data is used as speech data for mobile communication. With the text output unit that outputs to the voice processing device to be transmitted
Wearable terminal equipped with.
生成された前記音声データを移動体通信の発話データとして出力する発話出力部とを備える
請求項1に記載のウェアラブル端末。 A generation unit that generates voice data indicating the voice of a sentence input using the operation device and displayed on the display surface, and a generation unit.
The wearable terminal according to claim 1, further comprising an utterance output unit that outputs the generated voice data as utterance data for mobile communication.
特定された前記ユーザが利用しているリアルタイムコミュニケーションサービスで登録されている当該ユーザの宛先に接続を要求する要求部とを備える
請求項1又は2に記載のウェアラブル端末。 A specific unit that identifies the source user of the incoming call received by the communication means, and
The wearable terminal according to claim 1 or 2 , further comprising a requesting unit that requests a connection to the destination of the user registered in the real-time communication service used by the specified user.
請求項1から3のいずれか1項に記載のウェアラブル端末。 The wearable terminal according to any one of claims 1 to 3 , further comprising a vibrating unit that vibrates when there is an incoming call to the communication means.
請求項4に記載のウェアラブル端末。 The wearable terminal according to claim 4 , wherein the display control unit displays an image indicating the incoming call on the display surface when there is an incoming call to the communication means.
前記振動部は、前記重要度が少なくとも前記基準以上である場合に振動する
請求項5に記載のウェアラブル端末。 The display control unit does not display the image when the importance of the screen displayed on the display surface is equal to or higher than a predetermined standard when there is an incoming call to the communication means.
The wearable terminal according to claim 5 , wherein the vibrating unit vibrates when the importance is at least the reference or higher.
前記振動部は、前記操作頻度が少なくとも前記閾値以上である場合に振動する
請求項5又は6に記載のウェアラブル端末。 When the operation frequency to the operation device when there is an incoming call to the communication means is equal to or more than the threshold value, the image is not displayed.
The wearable terminal according to claim 5 or 6 , wherein the vibrating unit vibrates when the operation frequency is at least the threshold value or higher.
前記ウェアラブル端末を装着したユーザによって操作される操作デバイスと、
前記操作デバイスへの操作に応じて動作し、自装置の画面が前記ウェアラブル端末に表示される処理装置と
を備える表示システム。 The wearable terminal according to any one of claims 1 to 7 .
An operating device operated by a user wearing the wearable terminal and
A display system including a processing device that operates in response to an operation on the operation device and displays the screen of the own device on the wearable terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159349A JP7065730B2 (en) | 2018-08-28 | 2018-08-28 | Wearable terminal and display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159349A JP7065730B2 (en) | 2018-08-28 | 2018-08-28 | Wearable terminal and display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020036123A JP2020036123A (en) | 2020-03-05 |
JP7065730B2 true JP7065730B2 (en) | 2022-05-12 |
Family
ID=69668740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018159349A Active JP7065730B2 (en) | 2018-08-28 | 2018-08-28 | Wearable terminal and display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7065730B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115549715A (en) * | 2021-06-30 | 2022-12-30 | 华为技术有限公司 | Communication method, related electronic equipment and system |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008691A (en) | 2001-06-26 | 2003-01-10 | Toshiba Corp | Interactive transmission/reception method and system, and interactive transmission/reception terminal device |
JP2005223889A (en) | 2004-01-09 | 2005-08-18 | Seiko Epson Corp | Notification apparatus, its control method, control program and recording medium |
US20090099836A1 (en) | 2007-07-31 | 2009-04-16 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
JP3165585U (en) | 2010-11-11 | 2011-01-27 | 有限会社オフィス結アジア | Speech synthesizer |
JP2011061814A (en) | 2010-10-08 | 2011-03-24 | Nokia Corp | Method and device for inhibiting interruption of running application due to event |
JP2011139258A (en) | 2009-12-28 | 2011-07-14 | Panasonic Corp | Portable terminal |
US20150312409A1 (en) | 2014-04-23 | 2015-10-29 | Samsung Electronics Co., Ltd. | Devices and methods of providing response message in the devices |
JP2015222891A (en) | 2014-05-23 | 2015-12-10 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, computer program, image display system, and information processing device |
US20170031556A1 (en) | 2015-07-29 | 2017-02-02 | Lg Electronics Inc. | Watch-type mobile terminal and method for controlling the same |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160016216A (en) * | 2014-08-04 | 2016-02-15 | 넥시스 주식회사 | System and method for real-time forward-looking by wearable glass device |
-
2018
- 2018-08-28 JP JP2018159349A patent/JP7065730B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008691A (en) | 2001-06-26 | 2003-01-10 | Toshiba Corp | Interactive transmission/reception method and system, and interactive transmission/reception terminal device |
JP2005223889A (en) | 2004-01-09 | 2005-08-18 | Seiko Epson Corp | Notification apparatus, its control method, control program and recording medium |
US20090099836A1 (en) | 2007-07-31 | 2009-04-16 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
JP2011139258A (en) | 2009-12-28 | 2011-07-14 | Panasonic Corp | Portable terminal |
JP2011061814A (en) | 2010-10-08 | 2011-03-24 | Nokia Corp | Method and device for inhibiting interruption of running application due to event |
JP3165585U (en) | 2010-11-11 | 2011-01-27 | 有限会社オフィス結アジア | Speech synthesizer |
US20150312409A1 (en) | 2014-04-23 | 2015-10-29 | Samsung Electronics Co., Ltd. | Devices and methods of providing response message in the devices |
JP2015222891A (en) | 2014-05-23 | 2015-12-10 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, computer program, image display system, and information processing device |
US20170031556A1 (en) | 2015-07-29 | 2017-02-02 | Lg Electronics Inc. | Watch-type mobile terminal and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
JP2020036123A (en) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9900676B2 (en) | Wearable computing device with indirect bone-conduction speaker | |
US20170236515A1 (en) | Model for Enabling Service Providers to Address Voice-Activated Commands | |
US10151937B2 (en) | Digital eyewear | |
CN105074537B (en) | Three-piece diagonal eyepiece | |
US10289205B1 (en) | Behind the ear gesture control for a head mountable device | |
US9100732B1 (en) | Hertzian dipole headphone speaker | |
US9547175B2 (en) | Adaptive piezoelectric array for bone conduction receiver in wearable computers | |
US9798517B2 (en) | Tap to initiate a next action for user requests | |
US10908419B2 (en) | Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information | |
CN104350763A (en) | External vibration reduction in bone-conduction speaker | |
US10559024B1 (en) | Voice initiated purchase request | |
US12032155B2 (en) | Method and head-mounted unit for assisting a hearing-impaired user | |
US20150130688A1 (en) | Utilizing External Devices to Offload Text Entry on a Head Mountable Device | |
US11282523B2 (en) | Voice assistant management | |
US11644902B2 (en) | Gesture-based content transfer | |
US20070081125A1 (en) | Digital eyewear for telecommunications | |
JP7065730B2 (en) | Wearable terminal and display system | |
US20100283711A1 (en) | An integrated computation and communication system, a framed interface therefor and a method of operating thereof | |
US9305064B1 (en) | Keyword-based conversational searching using voice commands | |
US20220230649A1 (en) | Wearable electronic device receiving information from external wearable electronic device and method for operating the same | |
CN213876195U (en) | Glasses frame and intelligent navigation glasses | |
WO2019024519A1 (en) | Holographic image display device applicable to various glasses and holographic image display method | |
US9727716B1 (en) | Shared workspace associated with a voice-request account | |
JPH0965247A (en) | Image display device | |
US20240127547A1 (en) | Displaying avatars on an augmented reality (ar) lens in response to receiving a communication notification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7065730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |