JP2020036123A - Wearable terminal and display system - Google Patents
Wearable terminal and display system Download PDFInfo
- Publication number
- JP2020036123A JP2020036123A JP2018159349A JP2018159349A JP2020036123A JP 2020036123 A JP2020036123 A JP 2020036123A JP 2018159349 A JP2018159349 A JP 2018159349A JP 2018159349 A JP2018159349 A JP 2018159349A JP 2020036123 A JP2020036123 A JP 2020036123A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- utterance
- user
- screen
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、ウェアラブル端末に関する。 The present invention relates to a wearable terminal.
特許文献1には、画像光を反射して観察者の眼に投射するハーフミラーを備えるヘッドマウントディスプレイに、ハーフミラーを透過した画像光が透過する際に外界からの視認性を低下可能とした視認性阻害部材を設ける技術が開示されている。 Patent Literature 1 discloses that a head-mounted display including a half mirror that reflects image light and projects the image onto an observer's eye can reduce visibility from the outside when image light transmitted through the half mirror is transmitted. A technique of providing a visibility inhibiting member is disclosed.
頭部装着型のウェアラブル端末の表示面にパソコン等の画面を現実空間に重ねて表示することで、例えばディスプレイもパーティションも設置されていないオープンスペースでの作業を容易に行うことができる。そのような環境では、電話機も設置されていないことが普通であるから、携帯電話を用いたコミュニケーションも重要である。
そこで、本発明は、移動体通信による通話でウェアラブル端末を活用することを目的とする。
By displaying a screen of a personal computer or the like on a display surface of a head-mounted type wearable terminal in a superimposed manner in a real space, it is possible to easily work in an open space where neither a display nor a partition is installed. In such an environment, it is common that no telephone is installed, so communication using a mobile phone is also important.
Therefore, an object of the present invention is to utilize a wearable terminal for a call by mobile communication.
上記目的を達成するために、本発明は、頭部装着型のウェアラブル端末であって、自端末を装着したユーザの視界に位置する透過型の表示面と、前記ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて前記表示面に表示させる表示制御部と、移動体通信を行う通信手段が受信した音声データを取得して当該音声データにより示される受話音声を放音手段に出力する受話出力部とを備えるウェアラブル端末を提供する。 In order to achieve the above object, the present invention relates to a head-mounted wearable terminal, which includes a transmissive display surface located in a field of view of a user wearing the terminal, A display control unit that superimposes a screen of a processing device operating on a background and displays the screen on the display surface, and acquires audio data received by a communication unit that performs mobile communication, and emits a reception audio indicated by the audio data. A wearable terminal including a reception output unit that outputs to a sound unit.
また、前記操作デバイスを用いて入力されて前記表示面に表示された文章の音声を示す音声データを生成する生成部と、生成された前記音声データを移動体通信の発話データとして出力する発話出力部とを備えていてもよい。 A generating unit configured to generate voice data indicating voice of a sentence input using the operation device and displayed on the display surface; and an utterance output configured to output the generated voice data as utterance data of mobile communication. Unit may be provided.
また、前記操作デバイスを用いて入力されて前記表示面に表示された文章を示す文章データを、当該文章データから当該文章の音声を示す音声データを生成して当該音声データを移動体通信の発話データとして送信する音声処理装置に対して出力する文章出力部を備えていてもよい。 Further, text data indicating a text input using the operation device and displayed on the display surface is generated, and voice data indicating a voice of the text is generated from the text data, and the voice data is transmitted to a mobile communication utterance. A text output unit that outputs the data to a voice processing device that transmits the data may be provided.
また、前記通信手段が受け取った着信の発信元のユーザを特定する特定部と、特定された前記ユーザが利用しているリアルタイムコミュニケーションサービスで登録されている当該ユーザの宛先に接続を要求する要求部とを備えていてもよい。 A specifying unit for specifying a user who has transmitted the incoming call received by the communication unit; and a requesting unit for requesting a connection to a destination of the user registered in a real-time communication service used by the specified user. May be provided.
また、前記通信手段への着信があった場合に振動する振動部を備えていてもよい。 Also, a vibration unit that vibrates when an incoming call to the communication unit is received may be provided.
また、前記表示制御部は、前記通信手段への着信があった場合に当該着信を示す画像を前記表示面に表示させてもよい。 The display control unit may display an image indicating the incoming call on the display surface when the incoming call to the communication unit is received.
また、前記表示制御部は、前記通信手段への着信があったときに前記表示面に表示されている画面の重要度が所定の基準以上である場合には前記画像を表示させず、前記振動部は、前記重要度が少なくとも前記基準以上である場合に振動してもよい。 Further, the display control unit does not display the image if the importance of the screen displayed on the display surface is equal to or higher than a predetermined reference when there is an incoming call to the communication unit, and The unit may vibrate when the importance is at least equal to or higher than the reference.
また、前記通信手段への着信があったときの前記操作デバイスへの操作頻度が閾値以上である場合に前記画像を表示させず、前記振動部は、前記操作頻度が少なくとも前記閾値以上である場合に振動してもよい。 In addition, when the operation frequency to the operation device when there is an incoming call to the communication unit is equal to or higher than a threshold, the image is not displayed, and the vibrating unit determines that the operation frequency is at least equal to or higher than the threshold. May be vibrated.
また、本発明は、上記のウェアラブル端末と、前記ウェアラブル端末を装着したユーザによって操作される操作デバイスと、前記操作デバイスへの操作に応じて動作し、自装置の画面が前記ウェアラブル端末に表示される処理装置とを備える表示システムを提供する。 The present invention also provides the wearable terminal described above, an operation device operated by a user wearing the wearable terminal, and an operation performed according to an operation on the operation device, and a screen of the own device is displayed on the wearable terminal. And a display system comprising the processing device.
本発明によれば、移動体通信による通話でウェアラブル端末を活用することができる。 ADVANTAGE OF THE INVENTION According to this invention, a wearable terminal can be utilized by the telephone call by mobile communication.
[1]実施例
図1は実施例に係るARPCシステム1の全体構成を表す。ARPCシステム1は、AR(Augmented Reality:拡張現実)の技術を用いてPC(Personal Computer:パーソナルコンピュータ(パソコンとも言う))を利用するためのシステムである。
[1] Embodiment FIG. 1 shows an overall configuration of an ARPC system 1 according to an embodiment. The ARPC system 1 is a system for using a PC (Personal Computer) using an AR (Augmented Reality) technique.
ARPCシステム1は、パソコン10と、ウェアラブルグラス20とを備える。パソコン10は、いわゆるパーソナルコンピュータであり、キーボード等の操作デバイスを備える。本実施例のパソコン10は、キーボードと一体になっており、キーボードの筐体の中にプロセッサ等のパソコン本体を構成する部品が格納されている。パソコン10は、それらの操作デバイスへの操作に応じて処理の実行等の動作を行う。パソコン10は本発明の「処理装置」の一例である。
The ARPC system 1 includes a
ウェアラブルグラス20は、ユーザの頭部に装着されて使用される(つまり頭部装着型の)ウェアラブル端末であり、具体的にはメガネ型のウェアラブル端末である。ウェアラブルグラス20は本発明の「ウェアラブル端末」の一例である。パソコン10及びウェアラブルグラス20は、本実施例では、図1に表すように有線で接続されている。なお、両装置の接続は無線であってもよい。
The
ウェアラブルグラス20は、背景が透過して見える表示面を有し、その表示面にパソコン10の画面を表示する。この表示された画面を見るユーザ、すなわち、ウェアラブルグラス20を装着したユーザによって、パソコン10が備える操作デバイスが操作される。このように、パソコン10は、操作デバイスへの操作に応じて動作すると共に、自装置の画面がウェアラブルグラス20に表示される。
The
図2はパソコン10のハードウェア構成を表す。パソコン10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、バス16という各装置と、それらの装置を格納するキーボード筐体17とを備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
FIG. 2 shows a hardware configuration of the
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
The
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
The number of
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
The
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ13は、補助記憶装置と呼ばれてもよい。
The
上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。本実施例では、通信装置14は、移動体通信装置141を備える。移動体通信装置141は、基地局を介した移動体通信を行うハードウェアであり、本発明の「通信手段」の一例である。
The storage medium described above may be, for example, a database including the
入力装置15は、情報を入力するための操作を受け付ける操作デバイスである。本実施例では、入力装置15は、キーボード151及びマウス152(タッチパッドでもよい)を操作デバイスとして備える。プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス16を介して互いにアクセス可能となっている。バス16は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
The
また、パソコン10等は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
The
図3はウェアラブルグラス20のハードウェア構成を表す。ウェアラブルグラス20は、プロセッサ21と、メモリ22と、ストレージ23と、通信装置24と、入力装置25と、バス26と、投影装置30と、フレーム40という各装置を備えるコンピュータである。プロセッサ21から通信装置24までは、図2に表す同名の装置と性能及び仕様等の違いはあるが同種の装置である。
FIG. 3 shows a hardware configuration of the
入力装置25は、ウェアラブルグラス20を装着したユーザが自分の手元を見なくても操作可能な操作デバイスとして例えばタッチパッドを備える。投影装置30は、外部装置から供給される画像データが示す画像を、ウェアラブルグラス20を装着したユーザの眼に対して投影する。投影装置30は、投影部31と、光路形成部32とを備える。投影部31は、前述した画像を示す光を投射する。光路形成部32は、投影部31からユーザの眼までの光路を形成し、投影部31が投射した光をユーザの眼まで案内する。
The
図4は投影装置30の構成を表す。図4では、左眼に光を投射する投影部31Lと、右眼に光を投射する投影部31Rとが表されている。また、光路形成部32が備える部材として、導光板321と、ミラー322L及び322R(それぞれを区別しない場合は「ミラー322」という)と、ビームスプリッタ323L及び323R(それぞれを区別しない場合は「ビームスプリッタ323」という)とが表されている。
FIG. 4 shows a configuration of the
導光板321は、細長い板状の部材である。ウェアラブルグラス20がユーザに装着されると、導光板321がユーザの眼の前方に位置し、導光板321の長手方向がユーザの眼が並んでいる方向、つまりユーザにとっての左右方向に沿うようになっている。以下では、各部の配置を表す場合に、ウェアラブルグラス20を装着したユーザから見て左右どちらにあるかによって表すものとする。例えば、投影部31Lはユーザの眼よりも左側に配置され、投影部31Rはユーザの眼よりも右側に配置されている。
The
ミラー322Lは、導光板321内部の左側の端に設けられ、ミラー322Rは、導光板321内部の右側の端に設けられている。ミラー322Lは、投影部31Lから投射されて導光板321に入射した投影光を右側(ビームスプリッタ323Lがある側)に向けて反射する。ミラー322Rは、投影部31Rから投射されて導光板321に入射した投影光を左側(ビームスプリッタ323Rがある側)に向けて反射する。
The
図4及び以降の図では、投影光の光路を線及び矢印(投影光の進行方向を示す)を使って表す。なお、両ミラーが反射した投影光は導光板321の内部を反射しながら進むが、図を見やすくするために単純な直線で光路を表している。反射された投影光は左右共にビームスプリッタ323に到達する。ビームスプリッタ323とは、入射した光の一部を透過し一部を反射する板状の部材(ハーフミラーとも呼ばれる)である。
In FIG. 4 and subsequent figures, the optical path of the projection light is represented by lines and arrows (indicating the traveling direction of the projection light). Although the projection light reflected by both mirrors travels while reflecting inside the
ビームスプリッタ323Lは、自端末を装着したユーザの一方の眼(左眼)の視界に配置されている。ビームスプリッタ323Lは、ミラー322Lにより反射されて導光板321内を進んできた投影光を反射する反射面324Lを有し、反射面324Lの反対側に、外界からの光を透過する透過面325Lを有する。反射面324Lで反射された投影光はユーザの左眼に到達し、投影光が示す画像がユーザの左眼に映ることになる。
The
ビームスプリッタ323Rは、自端末を装着したユーザの一方の眼(右眼)の視界に配置されている。ビームスプリッタ323Rは、ミラー322Rにより反射されて導光板321内を進んできた投影光を反射する反射面324Rを有し、反射面324Rの反対側に、外界からの光を透過する透過面325Rを有する。反射面324Rで反射された投影光はユーザの右眼に到達し、投影光が示す画像がユーザの右眼に映ることになる。
The
このように、反射面324L及び324Rは、投影光により示される画像が表示される面である。また、ユーザから見た場合、反射面324L及び324Rの先の背景が透過して見えるようになっている。つまり、反射面324L及び324Rは、自端末(ウェアラブルグラス20)を装着したユーザの視界に位置する透過型の表示面であり、本発明の「表示面」の一例である。以下ではこれらを区別しない場合は「表示面324」という。
Thus, the reflection surfaces 324L and 324R are surfaces on which an image indicated by the projection light is displayed. Further, when viewed from the user, the background ahead of the reflection surfaces 324L and 324R can be seen through. That is, the
フレーム40は、投影装置30を支持すると共に、自端末をユーザの頭部に固定する(装着させる)部品である。フレーム40は、例えばメガネのフレームと似た形をした金属又はプラスチック製の部品である。フレーム40には、振動装置41と、コネクタ42とが設けられている。振動装置41は、例えばモータ及び重りを有し、モータが重りを回転させることで振動を発生させる装置(「バイブレータ」とも言う)である。振動装置41は本発明の「振動部」の一例である。
The
コネクタ42は、音を出力する放音手段(例えば図中のイヤホン50)を接続するための部品である。イヤホン50は、コネクタ42を介して供給される音を示すアナログ信号を音に変換して出力する、すなわち放音する。イヤホン50は、コネクタ42に接続された状態でウェアラブルグラス20を頭部に装着したユーザの耳に届く長さのコードを有している。
The
ARPCシステム1が備える各装置には、本システムで提供されるプログラムが記憶されており、各プロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図5はARPCシステム1が実現する機能構成を表す。パソコン10は、画面データ生成部101と、移動体通信受信処理部102と、発話入力受付部103と、発話テキストデータ生成部104と、移動体通信送信処理部105とを備える。ウェアラブルグラス20は、画面表示制御部201と、データ取得部202と、受信時振動制御部203と、受話音声データ出力部204と、発話音声データ生成部205と、発話音声データ出力部206とを備える。
Each device included in the ARPC system 1 stores a program provided by the system, and a function group described below is realized by each processor executing the program and controlling each unit.
FIG. 5 shows a functional configuration realized by the ARPC system 1. The
画面表示制御部201は、ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて表示面324(図4に表す反射面324L及び324R)に表示させる。画面表示制御部201は本発明の「表示制御部」の一例である。画面表示制御部201は、本実施例では、パソコン10(キーボード151及びマウス152操作に応じて動作する処理装置)の画面(以下「パソコン画面」という)を表示面324に表示させる。
The screen
画面表示制御部201は、例えばユーザが画面を表示させる操作を行うと、パソコン10にパソコン画面を示す画面データを要求する要求データを送信する。パソコン10は、受信した要求データを画面データ生成部101に供給する。画面データ生成部101は、供給された要求データにより要求された画面データ、すなわち自装置のパソコン画面を示す画面データを生成する。
For example, when the user performs an operation for displaying a screen, the screen
画面データ生成部101は、生成した画面データをウェアラブルグラス20に送信する。画面表示制御部201は、送信されてきた画面データが示すパソコン画面を表示面324に表示させる。ここまではパソコン画面の表示に関する機能について説明した。ここからは、移動体通信による通話に関する機能について説明する。
The screen
移動体通信受信処理部102は、図2に表す移動体通信装置141が行う移動体通信での音声通話における受信に関する処理(受信処理)を行う。移動体通信受信処理部102は、例えば、移動体通信装置141への着信があった場合に、発信元の電話番号及び着信があった旨を示す着信データを生成し、ウェアラブルグラス20に送信する。また、移動体通信受信処理部102は、通話が開始されると、受信した通話音声(以下「受話音声」という)を示す受話音声データを生成し、ウェアラブルグラス20に送信する。
The mobile communication reception processing unit 102 performs processing (reception processing) related to reception in voice communication in mobile communication performed by the
ウェアラブルグラス20のデータ取得部202は、パソコン10から送信されてきたデータを取得する。データ取得部202は、着信データを取得すると、取得した着信データを画面表示制御部201及び受信時振動制御部203に供給する。画面表示制御部201は、着信データが供給された場合、すなわち、移動体通信装置141(通信手段)への着信があった場合にその着信を示す画像(着信画像)を表示面324に表示させる。
The
図6は表示された着信画像の例を表す。図6(a)では、画面表示制御部201は、パソコン画面A1の一部として着信画像C1を表示面324(表示面324の端は透明でユーザから明確には見えないので二点鎖線で表している)に表示させている。図6(b)では、画面表示制御部201は、パソコン画面A1からはみ出させて、表示面324の端に着信画像C2を表示させている。
FIG. 6 shows an example of the displayed incoming image. In FIG. 6A, the screen
なお、表示面324が十分に広ければ、画面表示制御部201は、パソコン画面A1と全く重ならないように着信画像C2を表示させてもよい。着信画像C1の場合はユーザが注目しているパソコン画面A1に表示されるので着信に気付きやすく、着信画像C2の場合はパソコン画面A1を見る際の邪魔になりにくい。また、いずれの着信画像でも、発信元の電話番号を伝えることできる。
If the
受信時振動制御部203は、着信データが供給された場合、すなわち、移動体通信装置141(通信手段)への着信があった場合に振動するよう図4に表す振動装置41を制御する。振動装置41が振動すると、これが設けられているフレーム40も振動し、その振動がユーザの頭部に伝わる。これにより、着信画像が表示されるだけの場合に比べてユーザが着信に気付きやすいようにすることができる。
The reception-time
画面表示制御部201は、図6に表すように、着信画像と共に応答ボタンB1及び拒否ボタンB2を表示させている(これらのボタンも、図6(a)ではパソコン画面A1の一部として、図6(b)ではパソコン画面A1とは関係なく表示させている)。移動体通信受信処理部102は、拒否ボタンB2が操作された場合には受信処理を終了し、応答ボタンB1が操作された場合には通話を開始させて受話音声データの生成及び送信を開始する。データ取得部202は、受話音声データを取得すると、取得した受話音声データを受話音声データ出力部204に供給する。
The screen
受話音声データ出力部204は、供給された受話音声データ、すなわち、移動体通信装置141(通信手段)が受信した受話音声データを取得してその受話音声データにより示される受話音声を放音手段(本実施例では図3に表すイヤホン50)に出力する。受話音声データ出力部204は本発明の「受話出力部」の一例である。受話音声データ出力部204は、デジタルデータである受話音声データをアナログ信号に変換し、コネクタ42を介してイヤホン50に供給する。
The received voice
イヤホン50は、供給されたアナログ信号が示す受話音声を放音する。これにより、ユーザは、着信した移動体通信による受話音声が聞こえるようになる。一方、ユーザからの返事は自らの声ではなく、テキストの入力で行われる。画面表示制御部201は、応答ボタンB1が操作された場合、ユーザからの発話内容(この場合は返事)を入力するための入力画面を表示させる。
The
図7は表示された入力画像の例を表す。画面表示制御部201は、発話内容入力画面A2として、「発話内容を入力してください。」という文字列と、入力欄D1と、確定ボタンB3とを表示させている。ユーザは、受話音声を聞くと、入力欄D1に返事を入力する操作を行う。発話入力受付部103は、発話内容入力画面における発話内容の入力を受け付ける。
FIG. 7 shows an example of the displayed input image. The screen
発話入力受付部103は、自装置(パソコン10)が備える操作デバイス(キーボード151及びマウス152)を用いた入力を受け付ける。なお、発話入力受付部103は、自装置がマイクロフォンを備えているか否かに関わらず、音声による入力は受け付けない。これは、音声で発話内容を発声されると、周囲の者にその内容が知られてしまうからである。
The utterance
発話入力受付部103は、入力を受け付けた発話内容を発話テキストデータ生成部104に供給する。発話テキストデータ生成部104は、供給された発話内容、すなわち、操作デバイスを用いて入力された文章を示すテキストデータ(以下「発話テキストデータ」という)を生成する。発話テキストデータ生成部104は、生成した発話テキストデータをウェアラブルグラス20に送信する。
The utterance
ウェアラブルグラス20の画面表示制御部201は、送信されてきた発話テキストデータが示す発話内容を入力欄D1に表示させる。図7の例では「こんにちは。暑いですね。」という入力された発話内容が表示されている。この状態でユーザが確定ボタンB3を押す操作を行うと、画面表示制御部201は、表示させている発話内容を示す発話テキストデータを発話音声データ生成部205に供給する。
The screen
発話音声データ生成部205は、供給された発話テキストデータが示す発話内容、すなわち、操作デバイスを用いて入力された文章の音声を示す発話音声データを生成する。発話音声データ生成部205は本発明の「生成部」の一例である。発話音声データ生成部205は、例えば、予め記憶した音素データを組み合わせて音声データを生成するなど、周知の音声合成技術を用いて発話音声データを生成する。
The utterance voice
発話音声データ生成部205は、生成した発話音声データを発話音声データ出力部206に供給する。発話音声データ出力部206は、供給された発話音声データ、すなわち、発話音声データ生成部205により生成された発話音声データを移動体通信の発話データとして出力する。発話音声データ出力部206は本発明の「発話出力部」の一例である。
The utterance voice
ここでいう移動体通信の発話データとは、移動体通信において相手に伝える発話内容を示すデータのことである。本実施例では、入力は文字列(テキスト)で行われるが、音声を示す発話音声データが発話データとして出力される。発話音声データ出力部206は、この発話音声データをパソコン10に対して出力する。パソコン10は、出力されてきた発話音声データを移動体通信送信処理部105に供給する。
The utterance data of the mobile communication referred to here is data indicating the utterance content to be transmitted to the other party in the mobile communication. In this embodiment, the input is performed by a character string (text), but utterance voice data indicating voice is output as utterance data. The utterance voice
移動体通信送信処理部105は、図2に表す移動体通信装置141が行う移動体通信での音声通話における送信に関する処理(送信処理)を行う。移動体通信送信処理部105は、本実施例では、供給された発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理として行う。この場合、通話先の移動体通信端末は、通常の音声通話と同様に送信されてきた発話音声データが示す発話音声を放音する。
The mobile communication
パソコン10及びウェアラブルグラス20は、上記の構成に基づいて、移動体通信による通話を行う通話処理を行う。
図8は通話処理における動作手順の一例を表す。この動作手順は、例えば、ユーザがウェアラブルグラス20を装着してパソコン10の画面を表示させているときに着信が入ることを契機に開始される。
The
FIG. 8 shows an example of an operation procedure in the call processing. This operation procedure is started, for example, when a user receives a call while the
まず、パソコン10(移動体通信受信処理部102)は、発信元の電話番号及び着信があった旨を示す着信データを生成し(ステップS11)、生成した着信データをウェアラブルグラス20に送信する(ステップS12)。ウェアラブルグラス20(受信時振動制御部203)は、着信データが送信されてくると、振動装置41を振動させる制御を行う(ステップS13)。
First, the personal computer 10 (mobile communication reception processing unit 102) generates incoming telephone data and incoming data indicating that there is an incoming call (step S11), and transmits the generated incoming data to the wearable glass 20 (step S11). Step S12). When the incoming data is transmitted, the wearable glass 20 (the reception-time vibration control unit 203) controls the
次に、ウェアラブルグラス20(画面表示制御部201)は、着信を示す着信画像を表示面324に表示させる(ステップS14)。なお、ステップS13及びS14の動作は、順番が反対でもよいし、並行して行われてもよい。続いて、着信画像が表示された画面で応答操作が行われると、パソコン10はその操作を受け付ける(ステップS21)。そして、パソコン10(移動体通信受信処理部102)は、通話を開始させて受話音声データを生成し(ステップS22)、生成した受話音声データをウェアラブルグラス20に送信する(ステップS23)。
Next, wearable glass 20 (screen display control unit 201) displays an incoming call image indicating the incoming call on display surface 324 (step S14). The operations of steps S13 and S14 may be performed in the opposite order or may be performed in parallel. Subsequently, when a response operation is performed on the screen on which the incoming image is displayed, the
ウェアラブルグラス20(受話音声データ出力部204)は、送信されてきた受話音声データにより示される受話音声を放音手段(イヤホン50)に出力する(ステップS24)。次に、ウェアラブルグラス20(画面表示制御部201)は、発話内容入力画面を表示面324に表示させる(ステップS31)。パソコン10(発話入力受付部103)は、この発話内容入力画面における発話内容の入力を受け付ける(ステップS32)。 Wearable glass 20 (received voice data output unit 204) outputs the received voice indicated by the transmitted received voice data to sound emitting means (earphone 50) (step S24). Next, the wearable glass 20 (screen display control unit 201) displays an utterance content input screen on the display surface 324 (step S31). The personal computer 10 (the utterance input receiving unit 103) receives an input of the utterance content on the utterance content input screen (step S32).
次に、パソコン10(発話テキストデータ生成部104)は、入力された文章を示す発話テキストデータを生成し(ステップS33)、ウェアラブルグラス20に送信する(ステップS34)。ウェアラブルグラス20(画面表示制御部201)は、送信されてきた発話テキストデータが示す発話内容を表示面324に表示させる(ステップS35)。ウェアラブルグラス20は、発話内容入力画面で確定操作が行われるとそれを受け付ける(ステップS36)。
Next, the personal computer 10 (the utterance text data generation unit 104) generates utterance text data indicating the input sentence (Step S33) and transmits it to the wearable glass 20 (Step S34). The wearable glass 20 (screen display control unit 201) displays the utterance content indicated by the transmitted utterance text data on the display surface 324 (step S35). The
次に、ウェアラブルグラス20(発話音声データ生成部205)は、確定された発話内容、すなわち、操作デバイスを用いて入力された文章の音声を示す発話音声データを生成する(ステップS37)。続いて、ウェアラブルグラス20(発話音声データ出力部206)は、生成された発話音声データを移動体通信の発話データとしてパソコン10に対して出力する(ステップS38)。
Next, the wearable glass 20 (the utterance voice data generation unit 205) generates the utterance voice data indicating the determined utterance content, that is, the voice of the sentence input using the operation device (step S37). Subsequently, the wearable glass 20 (the utterance voice data output unit 206) outputs the generated utterance voice data to the
パソコン10(移動体通信送信処理部105)は、送信されてきた発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理(移動体通信での音声通話における送信に関する処理)として行う(ステップS39)。以降、ステップS22からS39までの動作が繰り返し行われ、ユーザが通話を終了する操作を行うと、この動作手順が終了する。 The personal computer 10 (the mobile communication transmission processing unit 105) performs a process of transmitting the transmitted uttered voice data to the mobile communication terminal of the communication destination as it is (a process related to the transmission in the voice communication in the mobile communication). ) (Step S39). Thereafter, the operations of steps S22 to S39 are repeated, and when the user performs an operation to end the call, the operation procedure ends.
本実施例では、移動体通信を行う通信手段(パソコン10の移動体通信装置141)による通話の音声がウェアラブルグラス20から出力される。また、通話の拒否又は応答の操作もウェアラブルグラス20に表示される画面を通して行われる。このように、本実施例によれば、移動体通信による通話でウェアラブル端末(ウェアラブルグラス20)を活用することができる。
In the present embodiment, the voice of the call by the communication means (the
また、本実施例では、移動体通信を開始したユーザは、音声を発しなくても、パソコン10の操作デバイス(キーボード151及びマウス152)で発話内容を入力することで応答を行うことができる。これにより、周囲にいる第三者に内容を知られることなく、移動体通信での通話を行うことができる。
Further, in the present embodiment, the user who has started the mobile communication can make a response by inputting the utterance content using the operation device (the
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。
[2] Modifications The embodiment described above is merely an example of the embodiment of the present invention, and may be modified as follows.
[2−1]ウェアラブル端末
本発明のウェアラブル端末は、ウェアラブルグラス20に限らない。例えば光路の形成方法として図4に表す方法以外の周知の方法(例えば偏光を利用した方法等)が用いられてもよい。また、ウェアラブルグラス20はメガネ型であるが、ゴーグル型又は片メガネ型(その場合は表示面が1つになる)であってもよい。要するに、頭部装着型であってユーザの視界に位置する透過型の表示面を有するものであれば、どのようなタイプのウェアラブル端末が用いられてもよい。
[2-1] Wearable terminal The wearable terminal of the present invention is not limited to the
[2−2]処理装置
本発明の処理装置は、パソコン10に限らない。例えばキーボード一体型ではなく普通のデスクトップ型のパーソナルコンピュータであってもよい。また、ノートパソコン、スマートフォン又はタブレット端末のように表示面を有している処理装置が用いられてもよい。
[2-2] Processing Device The processing device of the present invention is not limited to the
その場合、処理装置本体の表示面への表示はオフにしたり、処理装置本体をカバンに入れるなどしたりすることで、第三者に処理装置本体の表示面が見られないようにすればよい。なお、ウェアラブル端末に表示される画面は処理装置の画面であればよく、パソコン画面に限る必要はない。いずれの処理装置も、ユーザによる操作デバイス(スマートフォン及びタブレット端末の場合は外付けのキーボード等)の操作に応じて動作するものであればよい。 In that case, the display on the display surface of the processing device main body may be turned off, or the processing device main body may be put in a bag or the like, so that the display surface of the processing device main body may not be seen by a third party. . The screen displayed on the wearable terminal may be a screen of the processing device, and need not be a personal computer screen. Any of the processing devices may be any device that operates in response to an operation of an operation device (an external keyboard or the like in the case of a smartphone or a tablet terminal) by a user.
[2−3]通信手段
実施例では、処理装置であるパソコン10が移動体通信での通信手段を備えていたが、これに限らない。例えば上述した他の処理装置(スマートフォン等)が通信手段を備えていてもよいし、ウェアラブル端末であるウェアラブルグラス20が備えていてもよい。いずれの装置に通信手段が備えられていたとしても、その装置とウェアラブル端末との間で移動体通信に関するデータのやり取りができるようになっていればよい。
[2-3] Communication Means In the embodiment, the
[2−4]放音手段
ウェアラブル端末が受話音声を出力する放音手段は、実施例で述べたもの(外付けのイヤホン)に限らない。例えば、ヘッドホン又はスピーカ(骨伝導スピーカ等)であってもよいし、それらがウェアラブル端末に内蔵されていてもよい。要するに、ウェアラブル端末を頭部に装着した状態のユーザが放音された音声を聞くことできるようになっていれば、どのような放音手段が用いられてもよい。ただし、情報漏洩を防ぐため、放音された通話音声が周囲の第三者に聞かれないようになっていることが望ましい。
[2-4] Sound emitting means The sound emitting means by which the wearable terminal outputs the received voice is not limited to the one described in the embodiment (an external earphone). For example, a headphone or a speaker (such as a bone conduction speaker) may be used, or they may be built in the wearable terminal. In short, any sound emitting means may be used as long as the user wearing the wearable terminal on the head can hear the emitted sound. However, in order to prevent information leakage, it is desirable that the emitted call voice is not heard by surrounding third parties.
[2−5]発話音声データの生成装置
実施例では、ウェアラブルグラス20が発話音声データを生成したが、他の装置が発話音声データを生成してもよい。
図9は本変形例で実現される機能構成を表す。図9では、図5に表す各部に加えて発話音声データ生成部106を備えるパソコン10aと、図5に表す発話音声データ生成部205及び発話音声データ出力部206に代えて発話テキストデータ出力部207を備えるウェアラブルグラス20aとが表されている。
[2-5] Utterance Voice Data Generation Device In the embodiment, the
FIG. 9 shows a functional configuration realized in this modification. In FIG. 9, a
本変形例の画面表示制御部201は、図7に表す状態で確定ボタンB3が操作されると、表示させている発話内容を示す発話テキストデータを発話テキストデータ出力部207に供給する。発話テキストデータ出力部207は、供給された発話テキストデータ、すなわち、操作デバイスを用いて入力されて表示面324に表示された文章を示す文章データをパソコン10aに対して出力する。発話テキストデータ出力部207は本発明の「文章出力部」の一例である。
When the confirm button B3 is operated in the state shown in FIG. 7, the screen
パソコン10aは、出力されてきた発話テキストデータ(文章データ)を発話音声データ生成部106に供給する。発話音声データ生成部106は、供給された発話テキストデータ、すなわち、前述した文章データからその文章(図7の例であれば「こんにちは。暑いですね。」という文章)の音声を示す発話音声データを生成する。この発話音声データの生成には、発話音声データ生成部205と同様に周知の音声合成技術が用いられる。
The
発話音声データ生成部106は、生成した発話音声データを移動体通信送信処理部105に供給する。移動体通信送信処理部105は、実施例と同様に、供給された発話音声データをそのまま通話先の移動体通信端末に向けて送信する処理を送信処理として行う。このように発話音声に対する処理(発話音声データの生成処理及び送信処理)を行うパソコン10aは本発明の「音声処理装置」の一例である。
The utterance voice
本変形例では、上記のとおり発話音声データの生成処理をウェアラブル端末ではなく処理装置(パソコン10a)で行っている。一般に、ウェアラブル端末は軽量且つ薄型に作られるため、情報処理装置としての処理能力は、通常のパソコン等に比べて低く抑えられている。本変形例では、処理能力がウェアラブル端末に比べて高い処理装置の方で発話音声データの生成処理を行うことで、ウェアラブル端末でこの処理を行う場合に比べて、発話音声をより高品質にすることができ、また、発話音声に対する処理によるタイムラグを少なくすることができる。
In this modification, as described above, the generation processing of the uttered voice data is performed not by the wearable terminal but by the processing device (the
なお、前述した音声処理装置は、ウェアラブル端末に画面が表示される処理装置でなくてもよく、外部のサーバ装置であってもよいし、ユーザが所持するスマートフォン等の処理装置以外の装置であってもよい。それらの場合でも、音声処理装置がウェアラブル端末よりも処理能力が高ければ、前述した本変形例の効果を得ることができる。 Note that the above-described audio processing device need not be a processing device that displays a screen on a wearable terminal, may be an external server device, or may be a device other than a processing device such as a smartphone owned by a user. You may. Even in those cases, if the voice processing device has a higher processing capability than the wearable terminal, the effect of the above-described modification can be obtained.
[2−6]音声以外での通話
上記の各例では、ユーザ自身は声を発しないものの、ウェアラブル端末等が生成した発話音声データによって通話がなされたが、これに限らない。
図10は本変形例で実現される機能構成を表す。図10では、図5に表す移動体通信送信処理部105を除いた各部を備えるパソコン10bが表されている。
[2-6] Calls other than voice In each of the above examples, although the user himself does not make a voice, a call was made using uttered voice data generated by a wearable terminal or the like, but the present invention is not limited to this.
FIG. 10 shows a functional configuration realized in the present modification. FIG. 10 illustrates a
また、図10では、図5に表す発話音声データ生成部205及び発話音声データ出力部206に代えて発信元ユーザ特定部208及びサービス処理部209を備えるウェアラブルグラス20bが表されている。本変形例では、データ取得部202が、取得した着信データを発信元ユーザ特定部208に供給する。発信元ユーザ特定部208は、移動体通信装置141(通信手段)が受け取った着信の発信元のユーザを特定する。発信元ユーザ特定部208は本発明の「特定部」の一例である。
Also, FIG. 10 illustrates a
発信元ユーザ特定部208は、例えば、自装置(ウェアラブルグラス20b)のユーザによって予め登録されている発信元の電話番号とユーザとを対応付けたユーザテーブルを用いて、発信元のユーザを特定する。なお、発信元ユーザ特定部208は、ユーザテーブルのような情報を有する外部装置に問い合わせて発信元のユーザを特定してもよい。発信元ユーザ特定部208は、特定したユーザを識別する識別情報をサービス処理部209に供給する。
The caller
サービス処理部209は、供給された識別情報が示すユーザ、すなわち、発信元ユーザ特定部208により特定されたユーザが利用しているリアルタイムコミュニケーションサービス(RTCS:Real Time Communication Service)に関する処理(以下「サービス処理」という)を行う。リアルタイムコミュニケーションサービス(RTCS)とは、データ通信回線を利用してリアルタイムにコミュニケーションをとることができるサービスのことであり、「チャット」などと呼ばれることもある。
The
RTCSでやり取りされる情報は、主にテキストデータであるが、他にも画像及び動画等がやり取りされてもよい。ただし、音声のやり取りは除くものとする。サービス処理部209は、例えば、RTCSで登録されている上記ユーザ(発信元ユーザ特定部208により特定されたユーザ)の宛先に接続を要求する処理をサービス処理として行う。サービス処理部209は本発明の「要求部」の一例である。
The information exchanged by the RTCS is mainly text data, but other images and moving images may be exchanged. However, voice exchange is excluded. The
サービス処理部209は、例えば、自装置のユーザによって予め登録されている他のユーザが利用しているRTCSとそのRTCSで用いられているユーザIDとを対応付けたサービステーブルを用いて、供給された識別情報が示すユーザに対応付けられているRTCS及びユーザIDを特定する。このユーザIDは、前述した「RTCSで登録されているユーザの宛先」の一例である。
The
ウェアラブルグラス20bは、主要なRTCSを利用するためのプログラム(ブラウザプログラム又はアプリケーションプログラム)を記憶しているものとする。サービス処理部209は、特定したRTCSを利用するためのプログラムを起動して、特定したユーザIDへの接続を要求する処理を行う。具体的には、サービス処理部209は、例えば、起動したRTCSの画面でそのユーザIDを検索する検索処理を接続を要求する処理として行う。
The
また、サービス処理部209は、検索して見つかったユーザIDのユーザとのチャット開始を要求する要求処理を、接続を要求する処理として行う。なお、これらの処理(検索処理及び要求処理)は一例であり、これ以外にも、利用するRTCSにおいてユーザとのやり取りを開始する際に通常行われる処理が接続を要求する処理として行われればよい。RTCSのプログラムが起動されると、画面表示制御部201が、該当するRTCSの画面を表示面324に表示させる。
Further, the
図11は表示されたRTCS画面の一例を表す。図11(a)では、ウェアラブルグラス20bの表示面324に表示されチャット相手検索画面A3が表されている。チャット相手検索画面A3には、検索キーの入力欄D2及び検索結果E1(つまり検索処理の結果)が表示されている。サービス処理部209がこの検索結果E1を選択する処理を前述した要求処理として行うと、画面表示制御部201は、検索されたユーザ(この例では「ユーザA」)とのチャット画面A4を図11(b)に表すように表示させる。
FIG. 11 shows an example of the displayed RTCS screen. FIG. 11A shows a chat partner search screen A3 displayed on the
チャット画面A4には、発話内容の入力欄D3が表示されている。ユーザが入力欄D3に発話内容を入力すると、発話入力受付部103がこの入力欄D2への発話内容の入力を受け付ける。そしてユーザが確定ボタンを押す操作を行うと、発話テキストデータ生成部104が入力された文章を示す発話テキストデータを生成し、生成した発話テキストデータを画面表示制御部201に供給する。
On the chat screen A4, an input field D3 of the utterance content is displayed. When the user inputs the utterance content in the input field D3, the utterance
画面表示制御部201は、供給された発話テキストデータが示す発話内容である「こんにちは。暑いですね!」という文字列を含む吹き出し画像E2を図11(c)に表すように表示させる。発話テキストデータ生成部104は、生成した発話テキストデータをサービス処理部209にも供給する。サービス処理部209は、供給された発話テキストデータを、上記のとおり特定されたユーザAの宛先(RTCSで登録されている宛先)に送信する。
Screen
送信された発話テキストデータが示す発話内容は、ユーザAが利用する端末の表示手段に表示される。図11(d)では、こうして表示されたチャット画面A5が表されている。チャット画面A5には、チャット相手であるユーザ(この例では「ユーザB」)を示すアバターE3と、ユーザBの発話内容である「こんにちは。暑いですね!」という文字列を含む吹き出し画像E4とが表示されている。 The utterance content indicated by the transmitted utterance text data is displayed on the display means of the terminal used by the user A. FIG. 11D shows the chat screen A5 thus displayed. The chat screen A5, (in this example "user B"), a user who is a chat partner and the avatar E3 that shows, is the contents of the user's utterance B, "Hello. It's hot!" And balloon image E4 contain the string Is displayed.
また、チャット画面A5はチャット用の画面なので、チャット画面A4と同じく発話内容の入力欄D4が表示されている。ユーザAは、例えばこの入力欄D4に発話内容を入力してチャットで会話を続ければよい。この場合、移動体通信での接続は終了させてもよい。また、ユーザAは、入力欄D4への入力は行わずに、接続されている移動体通信での音声による会話を続けてもよい。その場合、ユーザBはユーザAの音声を聞きながら、自分は入力欄D3に発話内容を入力しながら会話することになる。 Further, since the chat screen A5 is a screen for chatting, an input field D4 of the utterance content is displayed like the chat screen A4. The user A may, for example, enter the utterance content in the input field D4 and continue the conversation by chat. In this case, the connection in the mobile communication may be terminated. Alternatively, the user A may continue the voice conversation in the connected mobile communication without performing the input in the input field D4. In this case, while listening to the voice of the user A, the user B has a conversation while inputting the utterance content in the input field D3.
いずれの場合も、ユーザBが自分の発話内容を音声で述べることはないし、表示された吹き出し画像E2もユーザBしか見ることができないウェアラブルグラス20bの表示面324に表示されるので、ユーザBの発話内容が周囲の第三者に知られるおそれをなくすことができる。また、ユーザAの音声もイヤホン50からユーザBにだけ聞こえるので、ユーザAの発話内容が第三者に知られるおそれもない。また、上記のとおりユーザAとのチャットの接続が自動的に行われるので、RTCSを利用した会話を円滑に開始することができる。
In any case, the user B does not state his or her utterance content by voice, and the displayed balloon image E2 is also displayed on the
なお、上記の例ではウェアラブルグラス20bがRTCSを利用するためのプログラムを実行したが、これに限らず、パソコン10bがこのプログラムを実行してもよい。その場合、パソコン10bでもサービス処理部209に相当する機能が実現され、サービス処理部209は、そのパソコン10b側の機能を介して接続を要求する処理を行えばよい。
In the above example, the
[2−7]着信の通知方法
実施例では、着信があると振動及び着信画像の両方でユーザへの通知が行われたが、これに限らず、例えばいずれか一方だけが行われてもよい。また、その際に、どちらの通知を行うかを状況に応じて異ならせてもよい。
[2-7] Notification Method of Incoming Call In the embodiment, when there is an incoming call, the user is notified of both the vibration and the incoming call image. . In this case, which notification is to be performed may be made different depending on the situation.
本変形例では、画面表示制御部201が、着信データが供給されたとき、すなわち、移動体通信装置141(通信手段)への着信があったときに、表示面324に表示させている画面の重要度を判定する。画面表示制御部201は、例えば表示させているパソコン画面において起動されているプログラムの種類に応じて重要度を判定する。画面表示制御部201は、例えばプログラムの種類と重要度とを対応付けた重要度テーブルを用いて判定を行う。
In this modification, when the incoming data is supplied, that is, when there is an incoming call to the mobile communication device 141 (communication means), the screen
図12は重要度テーブルの一例を表す。図12の例では、「ファイル閲覧用、メール閲覧用」の重要度が「低」、「文書作成用」の重要度が「中」、「業務用、動画再生用」の重要度が「高」と対応付けられている。画面表示制御部201は、着信時に起動されているプログラムの種類に重要度テーブルにおいて対応付けられている重要度を、画面の重要度として判定する。
FIG. 12 shows an example of the importance table. In the example of FIG. 12, the importance of “for file browsing and mail browsing” is “low”, the importance of “document creation” is “medium”, and the importance of “business and video playback” is “high”. ]. The screen
画面表示制御部201は、例えば、「低」という重要度を判定した場合は、実施例で述べた着信画像を表示させ、「中」及び「高」という重要度を判定した場合は、着信画像を表示させずに、判定結果を受信時振動制御部203に通知する。受信時振動制御部203は、この通知を受け取ると、実施例と同様に振動装置41を制御して振動させる。このように、本変形例では、判定された重要度が所定の基準(この場合は「中」)以上である場合に、振動装置41は振動し、画面表示制御部201は着信画像を表示させないように動作している。
The screen
着信画像が表示されると、図6に表すように、着信画像が重なってパソコン画面に表示されている情報の一部が見えなくなることがある。本変形例では、上記のとおり着信画像の表示を制御することで、重要度が高い画面が表示されている場合には着信画像が邪魔にならないようにしつつ、着信画像が表示されなくても振動によって着信に気付かせるようにしている。 When the incoming image is displayed, as shown in FIG. 6, the incoming image may overlap and part of the information displayed on the personal computer screen may not be visible. In the present modified example, by controlling the display of the incoming image as described above, while the screen with high importance is displayed, the incoming image is not disturbed, and the vibration even if the incoming image is not displayed. The caller is made aware of the incoming call.
なお、図12に表す重要度はあくまで一例であり、これに限らない。例えばユーザの要望に基づいてこれとは異なる重要度が決められてもよいし、ユーザが重要度を設定できるようにしてもよい。また、重要度が所定の基準未満の重要度が判定された場合は上記のとおり着信画像が表示されるが、振動装置41については合わせて振動させてもよいし、振動させなくてもよい。本変形例では、判定された重要度が少なくとも所定の基準以上である場合に振動装置41が振動するようになっていればよい。
The importance shown in FIG. 12 is merely an example, and the present invention is not limited to this. For example, a different importance may be determined based on a user's request, or the user may be able to set the importance. When the importance is determined to be less than the predetermined reference, the incoming image is displayed as described above, but the
なお、着信の通知方法はこれに限らない。例えば、着信があったときの操作デバイスへの操作頻度によって通知方法が異なっていてもよい。この場合、例えば画面表示制御部201が、着信データが供給されたとき、すなわち、移動体通信装置141(通信手段)への着信があったときの操作デバイス(キーボード151及びマウス152)への操作頻度を算出する。
The method of notifying the incoming call is not limited to this. For example, the notification method may differ depending on the operation frequency to the operation device when there is an incoming call. In this case, for example, the screen
画面表示制御部201は、例えば、操作デバイスへの操作が行われた場合の操作時刻を記憶しておき、着信データが供給された場合に、その時刻以前の単位期間(例えば10秒等)に記憶した操作時刻の数を操作頻度として算出する。画面表示制御部201は、予め定められた閾値未満の操作頻度を算出した場合は着信画像を表示させ、その閾値以上の操作頻度を算出した場合は着信画像を表示させずに、算出結果を受信時振動制御部203に通知する。
The screen
受信時振動制御部203は、この通知を受け取ると、実施例と同様に振動装置41を制御して振動させる。このように、本変形例では、算出された操作頻度が閾値以上である場合に、振動装置41は振動し、画面表示制御部201は着信画像を表示させないように動作する。
Upon receiving this notification, the reception-time
ユーザが忙しく操作を行っている状況では、操作が少ない状況に比べて画面を見ることに集中していることが多い。本変形例では、そのようにユーザが忙しく操作を行っている状況では着信画像が邪魔にならないようにしつつ、着信画像が表示されなくても振動によって着信に気付かせるようにしている。 In a situation where the user is busy performing an operation, the user often concentrates on looking at the screen as compared with a situation where the operation is few. In the present modification, the incoming image is not disturbed in such a situation where the user is busy operating, and the incoming call is noticed by vibration even if the incoming image is not displayed.
[2−8]各部を実現する装置
図5等に表す各機能を実現する装置は、それらの図に表された装置に限らない。例えばパソコン10が備える発話テキストデータ生成部104をウェアラブルグラス20又は他の外部装置が実現してもよい。また、1つの機能が行う動作を2以上の機能で分担して行ってもよい。例えば画面表示制御部201が行うパソコン画面の表示制御と着信画像の表示制御を別々の機能が分担して行ってもよい。要するに、ARPCシステム全体としてこれらの機能が実現されていればよい。
[2-8] Apparatus for Realizing Each Unit The apparatus for realizing each function illustrated in FIG. 5 and the like is not limited to the apparatuses illustrated in those drawings. For example, the utterance text
[2−9]発明のカテゴリ
本発明は、パソコンのような処理装置及びウェアラブルグラスのようなウェアラブル端末の他、それらの装置を備えるARPCシステムのような表示システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2-9] Category of the Invention The present invention can be regarded as a processing system such as a personal computer and a wearable terminal such as a wearable glass, as well as a display system such as an ARPC system including such a device. Further, the present invention can be regarded as an information processing method for realizing the processing performed by each device, and also as a program for causing a computer that controls each device to function. This program may be provided in the form of a recording medium such as an optical disk in which the program is stored, or provided in a form in which the program is downloaded to a computer via a network such as the Internet and installed and made available. May be done.
[2−10]処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
[2-10] Processing Procedures, Etc. The processing procedures, sequences, flowcharts, and the like of the embodiments described in this specification may be interchanged as long as there is no inconsistency. For example, the methods described herein present elements of various steps in a sample order, and are not limited to the specific order presented.
[2−11]入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
[2-11] Handling of Input / Output Information, etc. Input / output information, etc., may be stored in a specific location (for example, a memory) or may be managed in a management table. Information that is input and output can be overwritten, updated, or added. The output information or the like may be deleted. The input information or the like may be transmitted to another device.
[2−12]ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
[2-12] Software Software is called an instruction, an instruction set, a code, a code segment, a program code, or a program, regardless of whether it is called software, firmware, middleware, microcode, a hardware description language, or another name. , Subprograms, software modules, applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, and the like.
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。 In addition, software, instructions, and the like may be transmitted and received via a transmission medium. For example, if the software uses a wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a wireless technology such as infrared, wireless and microwave, the website, server, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
[2−13]情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
[2-13] Information, Signals The information, signals, etc. described herein may be represented using any of a variety of different technologies. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc., that can be referred to throughout the above description are not limited to voltages, currents, electromagnetic waves, magnetic or magnetic particles, optical or photons, or any of these. May be represented by a combination of
[2−14]システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
[2-14] System, Network As used herein, the terms “system” and “network” are used interchangeably.
[2−15]「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
[2-15] Meaning of “based on” As used herein, the term “based on” does not mean “based on” unless otherwise specified. In other words, the phrase "based on" means both "based only on" and "based at least on."
[2−16]「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
[2-16] "and", "or"
In this specification, as for a configuration that can be implemented by “A and B” or “A or B”, the configuration described in one expression may be used as the configuration described in the other expression. For example, when "A and B" are described, they may be used as "A or B" if they can be implemented without inconsistency with other descriptions.
[2−17]態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
[2-17] Variation of Aspects Each of the embodiments described in this specification may be used alone, in combination, or may be switched with execution. Further, the notification of the predetermined information (for example, the notification of “X”) is not limited to being explicitly performed, and is performed implicitly (for example, not performing the notification of the predetermined information). Is also good.
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。 Although the present invention has been described in detail, it will be apparent to those skilled in the art that the present invention is not limited to the embodiments described in this specification. The present invention can be embodied as modified and changed aspects without departing from the spirit and scope of the present invention defined by the description of the claims. Therefore, the description in this specification is for the purpose of illustration and description, and does not have any restrictive meaning to the present invention.
1…ARPCシステム、10…パソコン、20…ウェアラブルグラス、30…投影装置、40…フレーム、41…振動装置、42…コネクタ、50…イヤホン、101…画面データ生成部、102…移動体通信受信処理部、103…発話入力受付部、104…発話テキストデータ生成部、105…移動体通信送信処理部、106…発話音声データ生成部、141…移動体通信装置、151…キーボード、152…マウス、201…画面表示制御部、202…データ取得部、203…受信時振動制御部、204…受話音声データ出力部、205…発話音声データ生成部、206…発話音声データ出力部、207…発話テキストデータ出力部、208…発信元ユーザ特定部、209…サービス処理部、324…表示面。 DESCRIPTION OF SYMBOLS 1 ... ARPC system, 10 ... Personal computer, 20 ... Wearable glass, 30 ... Projection device, 40 ... Frame, 41 ... Vibration device, 42 ... Connector, 50 ... Earphone, 101 ... Screen data generation part, 102 ... Mobile communication reception processing Unit, 103: utterance input reception unit, 104: utterance text data generation unit, 105: mobile communication transmission processing unit, 106: utterance voice data generation unit, 141: mobile communication device, 151: keyboard, 152: mouse, 201 ... Screen display control unit, 202 ... Data acquisition unit, 203 ... Reception vibration control unit, 204 ... Reception voice data output unit, 205 ... Utterance voice data generation unit, 206 ... Utterance voice data output unit, 207 ... Utterance text data output Unit, 208: source user identification unit, 209, service processing unit, 324, display surface.
Claims (9)
自端末を装着したユーザの視界に位置する透過型の表示面と、
前記ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて前記表示面に表示させる表示制御部と、
移動体通信を行う通信手段が受信した音声データを取得して当該音声データにより示される受話音声を放音手段に出力する受話出力部と
を備えるウェアラブル端末。 A head-mounted wearable terminal,
A transmissive display surface located in the field of view of the user wearing the terminal,
A display control unit that superimposes a screen of a processing device that operates in accordance with an operation of the operation device by the user and displays the screen on the display surface,
A receiving unit that acquires voice data received by a communication unit that performs mobile communication and outputs a received voice indicated by the voice data to a sound emitting unit.
生成された前記音声データを移動体通信の発話データとして出力する発話出力部とを備える
請求項1に記載のウェアラブル端末。 A generation unit that generates voice data indicating voice of a sentence displayed on the display surface that is input using the operation device;
The wearable terminal according to claim 1, further comprising: an utterance output unit configured to output the generated voice data as utterance data of mobile communication.
請求項1又は2に記載のウェアラブル端末。 Sentence data indicating a sentence displayed on the display surface as input using the operation device, generating audio data indicating the voice of the sentence from the sentence data, and using the audio data as speech data for mobile communication. The wearable terminal according to claim 1, further comprising a text output unit that outputs the sentence to a voice processing device that transmits the sentence.
特定された前記ユーザが利用しているリアルタイムコミュニケーションサービスで登録されている当該ユーザの宛先に接続を要求する要求部とを備える
請求項1から3のいずれか1項に記載のウェアラブル端末。 A specifying unit that specifies a user of a source of an incoming call received by the communication unit,
The wearable terminal according to any one of claims 1 to 3, further comprising: a request unit that requests connection to a destination of the user registered in the real-time communication service used by the specified user.
請求項1から4のいずれか1項に記載のウェアラブル端末。 The wearable terminal according to any one of claims 1 to 4, further comprising a vibration unit that vibrates when there is an incoming call to the communication unit.
請求項5に記載のウェアラブル端末。 The wearable terminal according to claim 5, wherein the display control unit causes an image indicating the incoming call to be displayed on the display surface when the incoming call to the communication unit is received.
前記振動部は、前記重要度が少なくとも前記基準以上である場合に振動する
請求項6に記載のウェアラブル端末。 The display control unit does not display the image when the importance of the screen displayed on the display surface is equal to or more than a predetermined reference when there is an incoming call to the communication unit,
The wearable terminal according to claim 6, wherein the vibration unit vibrates when the importance is at least equal to or higher than the reference.
前記振動部は、前記操作頻度が少なくとも前記閾値以上である場合に振動する
請求項6又は7に記載のウェアラブル端末。 Do not display the image when the operation frequency to the operation device when there is an incoming call to the communication means is a threshold or more,
The wearable terminal according to claim 6, wherein the vibration unit vibrates when the operation frequency is at least equal to or greater than the threshold.
前記ウェアラブル端末を装着したユーザによって操作される操作デバイスと、
前記操作デバイスへの操作に応じて動作し、自装置の画面が前記ウェアラブル端末に表示される処理装置と
を備える表示システム。 A wearable terminal according to any one of claims 1 to 8,
An operation device operated by a user wearing the wearable terminal;
A processing device that operates in response to an operation on the operation device and displays a screen of the device on the wearable terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159349A JP7065730B2 (en) | 2018-08-28 | 2018-08-28 | Wearable terminal and display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159349A JP7065730B2 (en) | 2018-08-28 | 2018-08-28 | Wearable terminal and display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020036123A true JP2020036123A (en) | 2020-03-05 |
JP7065730B2 JP7065730B2 (en) | 2022-05-12 |
Family
ID=69668740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018159349A Active JP7065730B2 (en) | 2018-08-28 | 2018-08-28 | Wearable terminal and display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7065730B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115549715A (en) * | 2021-06-30 | 2022-12-30 | 华为技术有限公司 | Communication method, related electronic equipment and system |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008691A (en) * | 2001-06-26 | 2003-01-10 | Toshiba Corp | Interactive transmission/reception method and system, and interactive transmission/reception terminal device |
JP2005223889A (en) * | 2004-01-09 | 2005-08-18 | Seiko Epson Corp | Notification apparatus, its control method, control program and recording medium |
US20090099836A1 (en) * | 2007-07-31 | 2009-04-16 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
JP3165585U (en) * | 2010-11-11 | 2011-01-27 | 有限会社オフィス結アジア | Speech synthesizer |
JP2011061814A (en) * | 2010-10-08 | 2011-03-24 | Nokia Corp | Method and device for inhibiting interruption of running application due to event |
JP2011139258A (en) * | 2009-12-28 | 2011-07-14 | Panasonic Corp | Portable terminal |
US20150312409A1 (en) * | 2014-04-23 | 2015-10-29 | Samsung Electronics Co., Ltd. | Devices and methods of providing response message in the devices |
JP2015222891A (en) * | 2014-05-23 | 2015-12-10 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, computer program, image display system, and information processing device |
KR20160016216A (en) * | 2014-08-04 | 2016-02-15 | 넥시스 주식회사 | System and method for real-time forward-looking by wearable glass device |
US20170031556A1 (en) * | 2015-07-29 | 2017-02-02 | Lg Electronics Inc. | Watch-type mobile terminal and method for controlling the same |
-
2018
- 2018-08-28 JP JP2018159349A patent/JP7065730B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008691A (en) * | 2001-06-26 | 2003-01-10 | Toshiba Corp | Interactive transmission/reception method and system, and interactive transmission/reception terminal device |
JP2005223889A (en) * | 2004-01-09 | 2005-08-18 | Seiko Epson Corp | Notification apparatus, its control method, control program and recording medium |
US20090099836A1 (en) * | 2007-07-31 | 2009-04-16 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
JP2011139258A (en) * | 2009-12-28 | 2011-07-14 | Panasonic Corp | Portable terminal |
JP2011061814A (en) * | 2010-10-08 | 2011-03-24 | Nokia Corp | Method and device for inhibiting interruption of running application due to event |
JP3165585U (en) * | 2010-11-11 | 2011-01-27 | 有限会社オフィス結アジア | Speech synthesizer |
US20150312409A1 (en) * | 2014-04-23 | 2015-10-29 | Samsung Electronics Co., Ltd. | Devices and methods of providing response message in the devices |
JP2015222891A (en) * | 2014-05-23 | 2015-12-10 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, computer program, image display system, and information processing device |
KR20160016216A (en) * | 2014-08-04 | 2016-02-15 | 넥시스 주식회사 | System and method for real-time forward-looking by wearable glass device |
US20170031556A1 (en) * | 2015-07-29 | 2017-02-02 | Lg Electronics Inc. | Watch-type mobile terminal and method for controlling the same |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115549715A (en) * | 2021-06-30 | 2022-12-30 | 华为技术有限公司 | Communication method, related electronic equipment and system |
Also Published As
Publication number | Publication date |
---|---|
JP7065730B2 (en) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10778786B2 (en) | Intelligent multi-device user interaction | |
US9900676B2 (en) | Wearable computing device with indirect bone-conduction speaker | |
US10171643B2 (en) | Directing audio output based on gestures | |
US9798517B2 (en) | Tap to initiate a next action for user requests | |
US10908419B2 (en) | Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information | |
US20150379842A1 (en) | Do-not-disturb system and apparatus | |
US20130144623A1 (en) | Visual presentation of speaker-related information | |
US12032155B2 (en) | Method and head-mounted unit for assisting a hearing-impaired user | |
US10559024B1 (en) | Voice initiated purchase request | |
KR101624454B1 (en) | Method for providing message service based hologram image, user device, and display for hologram image | |
US11282523B2 (en) | Voice assistant management | |
KR20160071417A (en) | Utilizing external devices to offload text entry on a head-mountable device | |
US11644902B2 (en) | Gesture-based content transfer | |
KR20180080986A (en) | artificial intelligence information system for emoticon service based on machine learning | |
US10916159B2 (en) | Speech translation and recognition for the deaf | |
WO2019237428A1 (en) | Method and device for providing sound source information and augmented reality glasses | |
US9305064B1 (en) | Keyword-based conversational searching using voice commands | |
JP7065730B2 (en) | Wearable terminal and display system | |
US8937635B2 (en) | Device, method and system for real-time screen interaction in video communication | |
US20220291743A1 (en) | Proactive Actions Based on Audio and Body Movement | |
US20220230649A1 (en) | Wearable electronic device receiving information from external wearable electronic device and method for operating the same | |
JP6980150B1 (en) | 3D virtual real space providing server, 3D virtual real space providing method, 3D virtual real space providing program, 3D virtual real space display control device, 3D virtual real space display control method, 3D virtual real space display control program And 3D virtual reality space provision system | |
WO2022182744A1 (en) | Digital assistant interactions in copresence sessions | |
US20220293084A1 (en) | Speech processing device, speech processing method, and recording medium | |
US9727716B1 (en) | Shared workspace associated with a voice-request account |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7065730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |