JP2013510350A - コマンドの触覚的確認のためのシステム及び方法 - Google Patents

コマンドの触覚的確認のためのシステム及び方法 Download PDF

Info

Publication number
JP2013510350A
JP2013510350A JP2012537166A JP2012537166A JP2013510350A JP 2013510350 A JP2013510350 A JP 2013510350A JP 2012537166 A JP2012537166 A JP 2012537166A JP 2012537166 A JP2012537166 A JP 2012537166A JP 2013510350 A JP2013510350 A JP 2013510350A
Authority
JP
Japan
Prior art keywords
actuator
processor
command
haptic effect
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012537166A
Other languages
English (en)
Other versions
JP5666611B2 (ja
Inventor
ロバート ダブリュ． ヒューベル、
エリン ラムゼイ、
Original Assignee
イマージョン コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43502849&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2013510350(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by イマージョン コーポレイション filed Critical イマージョン コーポレイション
Publication of JP2013510350A publication Critical patent/JP2013510350A/ja
Application granted granted Critical
Publication of JP5666611B2 publication Critical patent/JP5666611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

コマンドの触覚的確認のためのシステム及び方法が開示される。例えば、音声コマンドの受信を確認するための触覚効果を生成するシステムは、マイクロホンと、ユーザによって接触されるように構成される筐体と、前記筐体と通信し、前記筐体に触覚効果を出力するように構成されるアクチュエータとを有する。また、前記システムは、前記マイクロホン及び前記アクチュエータと通信するプロセッサであって、前記マイクロホンから発話情報を受信し、前記発話情報を認識して、前記発話情報に関係付けられるコマンドを決定するように構成されるプロセッサを有する。前記発話情報が認識され且つ前記コマンドが決定される場合、前記プロセッサは、前記アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成し、且つ前記第１のアクチュエータ信号を前記アクチュエータに送信するように構成される。又は、前記プロセッサは、前記アクチュエータに第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成し、前記第２のアクチュエータ信号を前記アクチュエータに送信するように構成される。

Description

本発明は、触覚フィードバックに関連し、より詳細には、コマンドの触覚的確認に関連する。
（関連出願の相互参照）
本特許出願は、２００９年１１月４日に提出され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｈａｐｔｉｃ Ｃｏｎｆｉｒｍａｔｉｏｎ ｏｆ Ｃｏｍｍａｎｄｓ」と題された米国特許出願第１２／６１２２３０号への優先権を主張し、その全体は、参照により本明細書に組み込まれる。
電子装置に対するコマンドは、一般的には、ボタンを押し又はスイッチを切り替えることによって発行されている。しかしながら、音声及び他の種類のコマンドは、携帯電話の音声コマンド式ダイヤル等のユーザインターフェースにおいてより普及してきている。このようなシステムにおいて、ユーザは、友人の電話番号にダイヤルするためにマイクロホンにコマンドを吹き込んでもよい。また、ユーザは、電話が番号にダイヤルしていることを示すためにビープ音を聞き取り又は光フラッシュを見て取ってもよい。しかし、例えば、電話が歌曲を再生しているため携帯電話のスピーカが既に使用中である場合、携帯電話は、ビープ音を再生するために音楽を中断する可能性がある。又は、音声がミュートされている場合、それは、ユーザに認識を全く与えない可能性がある。従って、ユーザに応答を与えるための他の機構を提供することが望ましい。
本発明の一部の実施形態は、音声コマンドの触覚的確認のためのシステム及び方法を提供する。例えば、一実施形態では、コマンドの触覚的確認のための方法は、マイクロホンから発話情報を受信し、発話情報を認識し、発話情報に関係付けられるコマンドを決定し、発話情報が認識され且つコマンドが決定される場合、アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成し、第１のアクチュエータ信号をアクチュエータに送信することを含む。さもなければ、アクチュエータに第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成し、第２のアクチュエータ信号をアクチュエータに送信する。別の実施形態は、このような方法を実行するためのプログラムコードを備えるコンピュータ可読媒体を含む。
こうした例示の実施形態は、本発明を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。例示の実施形態は、詳細な説明において検討されており、そこには本発明の更なる説明が提供されている。本発明の様々な実施形態によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。
本発明のこうした及び他の特徴、態様、及び利点は、添付の図面を参照して以下の詳細な説明を読むと更によく理解される。
本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。 本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。 本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。 本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。 本発明の実施形態によるコマンドの触覚的確認のためのコンピュータ実行方法の流れ図を示す。 本発明の実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。 本発明の実施形態によるコマンドの触覚的確認のためのコンピュータ実行方法の流れ図を示す。
本発明の一部の実施形態は、コマンドの触覚的確認のためのシステム及び方法を提供する。例えば、一実施形態では、ユーザは、携帯電話のマイクロホンに、「家に電話する」等のコマンドを吹き込んでもよい。電話は、吹き込まれたコマンドを認識する試みを行い、それが成功すれば、それは、吹き込まれたコマンドが認識されて電話が要求された機能を遂行するであろうという触覚的な指示をユーザに提供するための触角効果を生成する。次に、電話は、「家」に対応する電話番号に電話をかける試みを行ってもよい。しかしながら、電話がコマンドを認識出来なければ、それは、吹き込まれたコマンドが認識されずに機能が実行されないであろうという指示をユーザに提供するための第２の触覚効果を生成する。
別の実施形態では、第１のユーザ及び第２のユーザは、無線機等の無線通信装置を使用して互いに通信してもよい。各ユーザは、マイクロホンを備えるヘッドセット及びマイクロホンと通信する無線機を有する。また、ヘッドセットは、触覚効果を出力するためのアクチュエータを有する。第１のユーザは、無線機を介して第２のユーザに口頭コマンドを発行してもよい。第２のユーザは、第１のユーザに口頭応答を提供出来なくてもよい。例えば、第２のユーザは、敵戦闘員の近くの戦闘地域に位置してもよい。第２のユーザは、触覚メッセージを第１のユーザに送信させるためにヘッドセット又は無線機のボタン又は一連のボタンを押すことによって口頭コマンドに応答してもよい。第１のユーザの無線機は、触覚メッセージを受信して、アクチュエータに第１のユーザへの触覚効果を出力させるために第１のユーザのヘッドセットにおけるアクチュエータに信号を送信してもよい。
（コマンドの触覚的確認のための例示のシステム）
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図１は、本発明の一実施形態によるコマンドの触覚的確認のためのシステムのブロック図を示す。図１に示される実施形態において、システムは、筐体１０５を有する装置１００を備える。装置は、プロセッサ１１０、メモリ１１５、アクチュエータ１３０、及びマイクロホン１３５を更に備え、これらの各々は、筐体１０５に配置又は結合される。図１に示される実施形態において、装置１００は携帯電話であり、筐体１０５は、ユーザによって把持されて、ユーザがマイクロホン１３５に吹き込むことが出来るように構成される。一部の実施形態では、装置１００は、筐体１０５、プロセッサ１１０、メモリ１１５、アクチュエータ１３０、及びマイクロホン１３５を備えるヘッドセットであってもよい。一部の実施形態では、装置１００は、複数の装置を有するシステムを備えてもよい。例えば、以下により詳細に検討される図２は、互いと通信する２つの装置１１０、１５０を含む。
図１に示される実施形態を再度参照すると、プロセッサ１１０は、メモリ１１５、アクチュエータ１３０、及びマイクロホン１３５と通信する。マイクロホン１３５は、ユーザから受信される発話情報をプロセッサ１１０に送信される１つ以上のマイクロホン信号に符号化する。プロセッサ１１０は、マイクロホン信号を受信して、受信されたマイクロホン信号内で符号化された発話情報を認識する試みを行うためにメモリ１１５に記憶された音声認識ソフトウェアを実行する。プロセッサ１１０は、発話情報を認識出来る場合、認識された発話情報に関係付けられるコマンドを識別するための試みを行うメモリ１１５に記憶されたソフトウェアを実行する。プロセッサ１１０は、認識された発話情報に関係付けられるコマンドを識別する場合、アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成する。第１の触覚効果は、音声コマンドが認識されたことをユーザに示すように構成される。次に、プロセッサ１１０は、アクチュエータ１３０に第１のアクチュエータ信号を送信し、アクチュエータ１３０は、第１のアクチュエータ信号に基づいて第１の触覚効果を出力する。
しかしながら、発話情報が認識されない場合、又は発話情報に対応するコマンドが見つからない場合、プロセッサ１１０は、アクチュエータ１３０に第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成する。次に、プロセッサ１１０は、アクチュエータ１３０に第２のアクチュエータ信号を送信し、アクチュエータ１３０は第２のアクチュエータ信号に基づいて第２の触覚効果を出力する。第２の触覚効果は、発話情報が認識されなかったこと、又は対応するコマンドが見つからなかったことを示すように構成される。しかしながら、一実施形態では、異なる触覚効果が、発話情報の認識の失敗又は認識された発話情報に対応するコマンドの検出の失敗のために出力されてもよい。「第１」及び「第２」という識別子は、本明細書において、一連の特定の信号又は効果ではなく、異なる信号及び効果を区別するために使用される。例えば、音声コマンドが認識されない場合、第２のアクチュエータ信号が生成されてアクチュエータに送信される。即ち、音声コマンドが認識されたことを示す第１の信号は生成されず又はアクチュエータに送信されない。
図１における実施形態は、任意の数の装置、例えば、ハンドヘルド装置、ウェアラブル装置、車両（例えば、自動車、車椅子等）、非携帯装置（例えば、デスクトップコンピュータ）、又は音声コマンドを受信して処理し、触覚効果を生成することが可能な他の装置を備えることが出来る。
例えば、一実施形態では、装置１００は、パーソナルデジタルアシスタント（ＰＤＡ）を備える。このような実施形態では、ユーザは、ＰＤＡに機能を実行させるためにマイクロホン１３５に音声コマンドを吹き込んでもよい。例えば、ユーザは、火曜日の午後３時に関してカレンダに約束を追加するようにＰＤＡに指示してもよい。プロセッサ１１０は、音声コマンドを認識する試みを行い、プロセッサ１１０が音声コマンドを認識すれば、プロセッサ１１０は、アクチュエータ信号を生成して、音声コマンドが認識されたことを示すための触覚効果をアクチュエータに出力させるためにアクチュエータにアクチュエータ信号を送信する。代替的に、音声コマンドが認識されなかった場合、プロセッサ１１０は、第２のアクチュエータ信号を生成して、音声コマンドが認識されなったことを示す触覚効果をアクチュエータに出力させるためにアクチュエータに第２のアクチュエータ信号を送信してもよい。
同様の実施形態において、プロセッサ１１０は、コマンドを部分的に認識してもよい。例えば、プロセッサ１１０は、発話コマンドがカレンダに約束を追加することになっていたことを認識してもよいが、約束の時間を認識出来ていなかった可能性がある。このような実施形態において、プロセッサ１０は、第３のアクチュエータ信号を生成して、音声コマンドが部分的に認識されたことを示す触覚効果をアクチュエータに出力させるためにアクチュエータに第３のアクチュエータ信号を送信してもよい。このような実施形態では、触覚効果は、コマンドが部分的に認識されたことだけでなく、コマンドのどの部分が認識されなかったかを示してもよい。例えば、日付が認識されなかった場合、装置は第４の触覚効果を出力してもよい。一方で、時間が認識されなかった場合、装置は、第５の触覚効果を出力してもよい。触覚信号を使用して、ユーザは、問題の原因を判断するためにディスプレイを用いることを必要とせずに、吹き込まれたコマンドを理解することが困難であることを知らされてもよい。
同様の実施形態において、プロセッサ１１０は、発話コマンドの一部が受信されて認識され又は認識されないときにアクチュエータ信号を生成してもよい。例えば、一実施形態では、ユーザは、「９月２日火曜日の午後３時に関して約束をカレンダに追加する」と言ってもよい。プロセッサは、「カレンダに約束を追加する」を認識して、コマンドの一部が認識されたことを示す第１の触覚効果をアクチュエータに出力させるために第１のアクチュエータ信号を生成してもよい。次に、発話コマンドのこの部分が認識されたことをユーザに示すために、ユーザが「カレンダに約束を追加する」と言った後で、第１の触覚効果は、非常に短く出力される。次に、日付が認識され又は認識されなかった後で、別の触覚効果が出力されてもよい。そして次に、時間が認識され又は認識されなかった後で、第３の触覚効果が出力されてもよい。次に、ユーザは、コマンドの未認識部分を言い直してもよい。発話コマンドの一部に対応して出力される触覚効果は、ユーザにコマンド全体を言い直すことを要求するのではなく、コマンドのどの部分を繰り返して言う必要があるかをユーザに示してもよい。
音声コマンドに応答して、更なる触覚効果がユーザに出力されてもよい。例えば、ユーザがＰＤＡのカレンダに約束を追加する試みを行う上述の実施形態において、追加の触覚効果が使用されてもよい。例えば、プロセッサ１１０がコマンドを認識するが、命令された日付及び時間がカレンダに既に記憶されている約束との衝突を示す場合、プロセッサ１１０は、コマンドは認識されたが、潜在的な衝突が存在することを示す触覚効果をアクチュエータに出力させるためにアクチュエータ信号を生成してもよい。同様の実施形態において、プロセッサ１１０がコマンドを認識するが、命令された日付及び時間が既存の約束と隣接している場合、プロセッサ１１０は、コマンドは認識されたが、希望の日付及び時間は既存の約束と隣接していることを示す触覚効果をアクチュエータに出力させるためにアクチュエータ信号を生成してもよい。このような実施形態では、潜在的な衝突を示す触覚効果は、約束の時間が別の約束と隣接していることを示す触覚効果とは異なる。
上記のように、本発明の一部の実施形態は、発話情報を、それが受信されるときに、例えば、リアルタイムで認識する試みを行ってもよい。しかしながら、受信されるときに発話情報を認識する試みを行わない一部の実施形態においても、発話情報が受信されると他の機能を実行することは有利であり得る。例えば、一実施形態では、装置１００は、マイクロホンから発話情報を受信して、それが受信されると発話情報を認識する試みを行う。装置１００が発話情報の認識を開始すると、それは、コマンドに対応する単語又は句を認識してもよい。例えば、ユーザが「家に電話する」と言う場合、装置１００は、「電話する」という単語を認識して、それが電話呼び出しを開始するためのコマンドに対応することを決定してもよい。これは、ユーザが音声コマンドを発行していることを装置に示してもよい。また、装置は、コマンド全体を受信する前に触覚効果を出力するための準備を行ってもよい。例えば、装置１００は、触覚効果の生成を予測してアクチュエータ１３０に電流を供給する増幅器（図示せず）をウォーミングアップしてもよい。装置１００は、どのような追加の発話情報が受信され得るかによって、出力され得る１つ以上の潜在的な触覚効果を選択してもよい。受信されると発話情報を認識する試みを装置１００が行わない実施形態において、装置１００は、発話情報を受信していることを検出すると、増幅器のウォーミングアップを開始してもよい。このような実施形態は、発話情報が受信されていること、及び発話情報が音声コマンドを含み得ることを決定してもよい。従って、音声コマンドが認識され又は認識されなかった後で直ぐに触覚効果が出力され得ることを確実にするために、装置１００が、発話情報を受信している間に増幅器をウォーミングアップさせることが有利であり得る。
ハンドヘルドの実施形態に加えて、他の装置が、音声コマンドの触覚的確認を提供してもよい。例えば、一実施形態では、装置１００は、デスクトップコンピュータを備える。ユーザは、ソフトウェアビルドの実行等、完了するのに長期間がかかる機能をコンピュータ１００に実行させるためのコマンドを発行してもよい。プロセッサ１１０は、コマンドを認識する場合、例えば、コンピュータ１００に結合されるキーボード又はマウス（図示せず）の中に組み込まれたアクチュエータ１３０を介して、アクチュエータ１３０にユーザへの触覚効果を出力させるように構成される第１のアクチュエータ信号を生成してもよい。次に、プロセッサ１１０が機能を実行すると、それは、機能がまだ実行中であることを示すためにキーボード又はマウス内のアクチュエータ１３０に第２のアクチュエータ信号を周期的に送信してもよい。このような触覚効果は、控えめな状態情報をユーザに提供するように設計される低振幅振動であってもよい。別の実施形態では、振動は最初に控えめであってもよいが、機能が完了に近づくにつれて強くなってもよい。例えば、振動の振幅が増加してもよく、又は周波数が増加又は減少してもよい。プロセッサ１１０が機能を完了すると、それは、機能が完了したことを示すためにキーボード又はマウス内のアクチュエータ１３０に第３のアクチュエータ信号を生成して送信してもよい。代替的に、ビルドエラー等、機能の実行中にエラーが生じた場合、機能が不成功に終了したことを示すために触覚効果が出力されてもよい。このような実施形態は、ユーザが装置１００において機能を開始してバックグラウンドで機能を実行させるが、装置１００が機能の状態をユーザに知らせ続けることが出来るという文脈において便利であり得る。例えば、ユーザは、セルラネットワークを介して遠隔サーバからアプリケーションのダウンロードを開始するように自身の携帯電話に音声コマンドを発行してもよい。次に、ユーザは、自身のポケットに携帯電話を戻し、電話呼び出しを開始し、又は何らかの他の仕事を実行してもよい。しかしながら、携帯電話は、完了したダウンロードの割合、ダウンロードに関する問題、又はダウンロードが完了したときの触覚指示等、ダウンロードの触覚状態をユーザに提供することが更に可能であってもよい。
次に、図２を参照すると、図２は、本発明の実施形態によるコマンドの触覚的確認のためのシステム２００のブロック図を示す。図２に示されるシステム２００は、第１の装置１００及び第２の装置１５０を備えており、各装置１００、１５０が接続１７０を使用して他の装置と通信する。第１の装置１００は、図１に関して記載された構成要素を備える。第２の装置は、メモリ１６５と通信するプロセッサ１６０を備える。第１の装置１４０におけるプロセッサ１１０は、第２の装置１５０におけるプロセッサ１６０と通信する。例えば、一実施形態では、２つのプロセッサ１１０、１６０は、無線接続を介して、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して通信する。一部の実施形態では、無線接続は、赤外線リンク、ＲＦリンク、Ｗｉｆｉリンク、又は他の無線接続を備えてもよい。別の実施形態では、２つのプロセッサ１１０、１６０は、例えば、シリアル若しくはパラレル接続又はＥｔｈｅｒｎｅｔ（登録商標）接続等、有線接続を介して通信する。接続１７０を使用して、プロセッサ１１０は、プロセッサ１６０へ信号を送信し及びプロセッサ１６０から信号を受信することが可能である。しかしながら、一部の実施形態では、接続１７０は、一方向接続であってもよい。
例えば、一実施形態では、装置１００はＢｌｕｅｔｏｏｔｈヘッドセットを備え、装置１５０は携帯電話を備える。このような実施形態では、マイクロホン１３５は、ユーザから受信される発話情報をプロセッサ１１０に送信される１つ以上のマイクロホン信号に符号化する。次に、ヘッドセットにおけるプロセッサ１１０は、携帯電話におけるプロセッサ１６０にマイクロホン信号を送信させる。次に、プロセッサ１６０は、受信されたマイクロホン信号内で符号化された発話情報を認識する試みを行うためにメモリ１６５に記憶された音声認識ソフトウェアを実行する。プロセッサ１６０は、発話情報を認識出来る場合、認識された発話情報に関係付けられるコマンドを識別するための試みを行うメモリ１６５に記憶されたソフトウェアを実行する。プロセッサ１６０は、認識された発話情報に関係付けられるコマンドを識別する場合、それは、アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成する。プロセッサ１６０は、プロセッサ１１０に第１のアクチュエータ信号を送信して、プロセッサ１１０は、次に、アクチュエータ１３０に第１のアクチュエータ信号を送信する。一部の実施形態では、プロセッサ１１０は、触覚効果の出力に備えてアクチュエータに電源を入れさせる信号をアクチュエータに送信する。別の実施形態では、プロセッサ１６０は、第１のアクチュエータ信号をアクチュエータ１３０に送信する。
しかしながら、発話情報又は対応するコマンドが認識されない場合、プロセッサ１６０は、アクチュエータ１３０に第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成する。プロセッサ１６０は、プロセッサ１１０に第２のアクチュエータ信号を送信して、プロセッサ１１０は、次に、アクチュエータ１３０に第２のアクチュエータ信号を送信する。別の実施形態では、プロセッサ１６０は、第２のアクチュエータ信号をアクチュエータ１３０に送信する。アクチュエータ１３０は、第２のアクチュエータ信号を受信した後で、第２のアクチュエータ信号に基づいて第２の触覚効果を出力する。
一部の実施形態では、プロセッサ１６０は、プロセッサ１１０に高レベルアクチュエータ信号を送信してもよい。次に、プロセッサ１１０は、高レベルアクチュエータ信号に基づいて低レベルアクチュエータ信号を生成してもよい。次に、プロセッサ１１０は、アクチュエータ１３０に触覚効果を出力させるためにアクチュエータ１３０に低レベルアクチュエータ信号を送信してもよい。高レベル及び低レベルアクチュエータ信号のより詳細な記載は、１９９５年１２月１日に出願されて、１９９８年３月３１日に発行された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｆｏｒｃｅ Ｆｅｅｄｂａｃｋ Ｉｎｔｅｒｆａｃｅ Ｓｙｓｔｅｍｓ Ｕｔｉｌｉｚｉｎｇ ａ Ｈｏｓｔ Ｃｏｍｐｕｔｅｒ」と題される米国特許第５，７３４，３７３号に見つけられてもよく、その全体は参照により本明細書に組み込まれる。
図２を再度参照すると、本発明の一実施形態は、プロセッサ１１０、１６０によって決定されるコマンド又はプロセッサ１１０、１６０によって実行される機能をエミュレートする触覚効果を提供してもよい。例えば、一実施形態では、第１の装置１００はイヤホンを備え、第２の装置１５０は携帯電話を備える。このような実施形態では、ユーザは、例えば、「家に電話する」等の音声コマンドを発行してもよい。プロセッサ１１０は、第２の装置１５０におけるプロセッサ１６０にマイクロホン１３５から受信される発話情報を送信する。プロセッサ１６０は、音声コマンドを認識して、ダイヤルされる各番号及び呼び出される電話の各呼び出し音に対応する一連の触覚効果を生成する。触覚効果に対応するアクチュエータ信号は、第１の装置１００におけるプロセッサ１１０に送信され、それは、例えば、各ボタンの押下げ及び各呼び出し音に対応する時間に、触覚効果を出力する。
他の実施形態では、遠隔装置に関係付けられるプロセッサから触覚コマンドが受信されてもよい。例えば、図３は、本発明の一実施形態によるコマンドの触覚的確認のためのシステム３００のブロック図を示す。図３に示される実施形態において、コマンドの触覚的確認のためのシステム３００は、通信装置１５０と通信する触覚使用可能医療警報装置１００を備える。通信装置は、遠隔システム１７０と通信する。この実施形態では、医療警報装置１００は、ＲＦリンク、例えば、標準的なコードレス電話の周波数を使用するＲＦリンクを使用して、通信装置１５０と通信する。医療警報装置１００は、例えば、ユーザの首又は手首の周り等、ユーザによって身に付けられるように構成される。医療警報装置１００は、例えば、転倒又は心臓発作等、医療緊急事態を示すためにユーザによって使用され得る。例えば、ユーザは、「ヘルプ」と言うことにより又はボタンを押して「ヘルプ」又は「緊急事態」等のコマンドを話すことにより、装置上のマイクロホンに吹き込んでもよい。次に、図３に示される実施形態において、医療警報装置１００におけるプロセッサ１１０は、通信装置１５０におけるプロセッサ１６０に１つ以上の信号を送信する。次に、通信装置１５０は、遠隔システム１７０への接続を開始して、ユーザが医療緊急事態の信号を出したことを示す１つ以上の信号を遠隔システム１７０に送信する。このような実施形態では、遠隔システム１７０は、ユーザを支援するために救急車又は他のサービスを派遣することが出来る発車係によって監視されてもよい。
医療警報装置１００、通信装置１５０、及び遠隔システム１７０の間のメッセージの送信中に、追加の触覚効果が生成されて出力されてもよい。例えば、図示の実施形態において、通信装置１５０は、緊急時呼び出しが開始されたことを示すための触覚効果を医療警報装置１００に出力させるメッセージを医療警報装置１００に送信してもよい。呼び出しが応答された後で、通信装置１５０は、呼び出しが応答されたことを示すために第２の触覚効果を出力させてもよい。代替的に、又は追加して、発車係は、通信装置１５０におけるプロセッサ１６０にネットワーク３８０を介して信号を送信させてもよい。例えば、発車係は、要求が受信されて救助が向かっていることを示すために触覚信号をユーザに提供することが出来る。次に、プロセッサ１６０は、触覚効果を出力させるために医療警報装置１００におけるプロセッサ１１０に高レベルアクチュエータ信号を送信してもよい。次に、医療警報装置におけるプロセッサ１１０は、プロセッサ１６０から受信される信号に基づいて低レベルアクチュエータ信号を生成して、触覚効果を出力させるためにアクチュエータにアクチュエータ信号を送信してもよい。例えば、発車係は、要求が受信されたことを示すための長い振動、その後で、救急車が派遣されたことを示すための追加の振動を送信してもよい。発車係は、ユーザにまだ注意が払われており、要求が応答されていることを示すためにこのような触覚信号を周期的に送信してもよい。このような実施形態は、聴覚又は視覚に問題がある人物にとって有利であり得る。また、救助の要求が受信されて、発車係がまだ要求を処理しているという保証をユーザに提供してもよい。
次に、図４を参照すると、図４は、本発明の一実施形態によるコマンドの触覚的確認のためのシステム４００のブロック図を示す。図４に示されるシステム４００は、ネットワーク４８０を介して互いと通信する２つの装置４１０、４１２を備える。装置４１０は、図１に示される装置１００を含む。また、装置４２５は、図１に関連して記載されたプロセッサ４３０、メモリ１１５、マイクロホン４３５、及びアクチュエータ４４０を備える。しかしながら、各装置４１０、４１２は、ネットワークインターフェース３１５も備える。各ネットワークインターフェース３１５は各々のプロセッサ１１０、４３０と通信し、ネットワーク４８０と通信することにより、装置４１０、４１２がネットワーク４８０を介して互いと通信することが出来るように構成される。このような実施形態では、装置４１０は、マイクロホン４３５から音声コマンドを受信して、音声コマンドを装置４１２に送信することが可能である。例えば、一実施形態では、マイクロホン１３５から受信される発話情報は、例えば、スピーカ（図示せず）を介して、装置４１２のユーザが音声コマンドを聞くことが出来るように、ネットワーク４８０上で送信されてもよい。ユーザは、音声コマンドが受信されたことの確認を示す信号を送信するために、ボタンを押すことによってコマンドが認識されたことを確認してもよい。装置４１０は、信号を受信してもよく、プロセッサ１１０は、アクチュエータ信号を生成して、ユーザへの触覚効果をアクチュエータに出力させるためにアクチュエータにアクチュエータ信号を送信してもよい。一部の実施形態では、ユーザは、コマンドが受信されなかったこと、又はコマンドが誤って伝えられ若しくは不明瞭であったことの触覚指示を提供することによって応答してもよい。また、このような実施形態では、ユーザは、メッセージの再送を要求する触覚指示を提供してもよい。
別の実施形態では、ユーザは、例えば、ボタンを押すこと又はタッチセンサ式装置上でタッピングすることによって、触覚入力を提供することにより受信された音声コマンドに応答してもよい。触覚入力の各々は、応答に相互に関連付けられてもよく、応答は、吹き込まれたコマンドに変換されて受信者に送信されてもよい。例えば、兵士は、コマンドが受信されて兵士が従うであろうことを示すために連続して、装置４１２等の通信装置に結合されるタッチセンサ式入力装置の中にコマンドへの応答をタッピングしてもよい。次に、装置４１２は、例えば、装置４１０等の別の装置に触覚応答を送信してもよく、それは、次に、触覚応答を、例えば、音声メッセージ等の可聴信号に変換する。このような実施形態において、触覚応答は、装置４１２によって音声に変換され得る事前に記録されたメッセージ又は事前に決定されたテキストに対応してもよい。このような実施形態は、受信者への音声の応答をもたらすユーザによる無言の確認を可能にするであろう。
また、図４に示されるシステムは、協調的な仕事又は手続きを実行するために複数のユーザによって有利に利用されてもよい。例えば、一実施形態では、装置４１０及び４１２は、銀行内の異なる場所におけるコンピュータを含んでもよい。各コンピュータ４１０、４１２は、銀行の金庫室へのアクセスを制御するセキュリティシステムと通信する。２つのコンピュータにおけるユーザは、機能を実行し、又は銀行の金庫室を開けるために承認を提供する必要があってもよい。例えば、第１のコンピュータ４１０におけるユーザは、金庫室を開けるための承認を確認するために、例えば、単語又は句等のコマンドを話すことを要求されてもよい。コマンドが認識された後で、金庫室を開けるための承認を完了するために、例えば、別の単語又は句等のコマンドを話す必要があることを示すための触覚的確認が第２のコンピュータ４１２における第２のユーザに送信されてもよい。第２のユーザのコマンドが認識されると、コマンドが成功したことをユーザに示すために触覚的確認が２つの装置４１０、４１２の各々に出力されてもよい。このようなときに、銀行の錠前は開錠されてもよい。
しかしながら、コマンドの一方が認識されなかったら、一方又は双方のユーザは、承認が失敗したことの触覚指示を受信してもよい。一実施形態では、コマンドが失敗したユーザは、承認を提供するために第２の機会が与えられてもよい。このような実施形態において、承認が失敗したがコマンドが再試行されてもよいことを示す触覚効果が一方又は双方のユーザに出力されてもよい。しかしながら、承認が最終的に失敗して再試行が利用できなくなると、承認が失敗したことを示すために一方又は双方のユーザに異なる触覚効果が出力されてもよい。
異なる又はより多くの複雑な順番のイベントを含む更なる実施形態が使用されてもよい。このような実施形態では、触覚効果は、順番を完了するためにユーザの側において動作が必要であることを示すために１人以上のユーザに出力されてもよい。例えば、一実施形態では、複数の機械工が大きな機械を修理していてもよい。このような状況において、各ユーザは、例えば、装置４１０又は４１２等の装置を身に付けていてもよい。ユーザは、修理の一部を完了し又は支援を必要とすると、他のユーザの装置４１０、４１２に触覚効果を引き起こすためにコマンドを送信してもよい。そうすることによって、仕事が完了したこと又は修理工程を続けるために何らかの動作を行う必要があることを、次のユーザは、通知されてもよい。触覚効果の受信者は、受信者が必要な動作又は何らかの他の指示を行うことを示すために触覚的確認をコマンドの送信者に戻してもよい。
次に、図５を参照すると、図５は、本発明の一実施形態による音声コマンドの触覚的確認のためのコンピュータ実行方法５００の流れ図を示す。図５に示される方法５００は、図１に示される装置１００を参照して検討される。方法５００は、プロセッサ１００が発話情報を受信するとブロック５１０において開始する。例えば、プロセッサ１１０は、マイクロホン１３５からマイクロホン信号に符号化された発話情報を受信してもよく、又は例えば、Ｂｌｕｅｔｏｏｔｈ接続を介して、別のプロセッサから発話情報を受信してもよい。発話情報を受信した後で、方法は、ブロック５２０に進む。
ブロック５２０において、発話情報を受信した後で、プロセッサ１００は、発話情報を認識するために音声認識ソフトウェアを実行する。プロセッサが発話情報を認識すれば、それは、発話情報に関係付けられるコマンドを決定する試みを行う。プロセッサ１１０は、発話情報に関係付けられるコマンドを決定すると、方法は、ステップ５３０に進む。しかしながら、プロセッサが発話情報を認識することが出来なければ、又は発話情報に関係付けられるコマンドを決定することが出来なければ、方法は、ブロック５２２に進む。
ブロック５２２において、プロセッサ１１０は、第２の触覚効果をアクチュエータに出力させるように構成される第２のアクチュエータ信号を生成する。第２の触覚効果は、発話情報が認識されなかったこと、又は対応するコマンドが見つからなかったことをユーザに対して示すように構成される。次に、プロセッサ１１０は、ブロック５２４に示されるように、アクチュエータ１３０にアクチュエータ信号を送信する。
ブロック５３０において、プロセッサ１１０は、第１の触覚効果をアクチュエータに出力させるように構成される第１のアクチュエータ信号を生成する。第１の触覚効果は、発話情報が認識されなかったこと、及び対応するコマンドが見つからなかったことをユーザに対して示すように構成される。次に、プロセッサ１１０は、ブロック５３２に示されるように、アクチュエータ１３０にアクチュエータ信号を送信する。アクチュエータ１３０に第１のアクチュエータ信号を送信した後で、方法は、ブロック５３４に進む。
ブロック５３４において、プロセッサ１１０は、追加の発話情報が利用可能かどうかを決定する。例えば、上述のように、プロセッサ１１０は、発話情報が受信されるとその一部を認識する試みを行ってから、触覚効果のその部分が認識されたことを示す触覚効果を提供してもよい。例えば、ユーザはカレンダにイベントを追加する試みを行ってもよく、プロセッサは、例えば、イベントの日付、時間、及び場所等のイベントの構成要素ごとにステップ５１０−５３２又はステップ５１０−５２４を行ってもよい。追加の発話情報が受信されるために利用可能である場合、方法は、追加の発話情報を受信するためにステップ５１０に戻る。しかしながら、追加の発話情報が受信されない場合、方法５００は、ステップ５３６に進む。
ブロック５３６において、プロセッサ１１０は、認識された発話情報及びコマンドに関係付けられる機能を実行する。例えば、発話情報が「家」と呼ばれる連絡先に関係付けられる電話番号にダイヤルするために「家に電話する」及び決定されたコマンドを含んでいれば、プロセッサは、「家」に関係付けられる番号にダイヤルするダイヤル機能を実行するであろう。機能が開始した後で、方法は、機能が完了したかどうかに基づくループのためのテスト条件であるブロック５４０に進む。
ブロック５４０において、プロセッサ１１０は、機能が完了したかどうかを決定する。機能が完了していなければ、方法は、ステップ５４２に進み、機能がまだ実行中であることを示す触覚効果を出力する。しかしながら、機能が完了していれば、方法は、ステップ５５０に進み、機能が完了したことを示すために別の触覚効果が出力される。
ブロック５４２から５４６は、機能がまだ実行中であることを示す触覚効果を出力するためのステップである。ブロック５４２において、プロセッサ１１０は、機能がまだ実行中であることを示す触覚効果に対応するアクチュエータ信号を生成する。一実施形態では、プロセッサ１１０は、触覚効果が何回出力されているかに関わらず、同じアクチュエータ信号を生成してもよい。例えば、機能が完了するために１０分を必要として、触覚効果が３０秒ごとに出力される場合、プロセッサは、触覚効果が出力される度に同じアクチュエータ信号を生成してもよい。従って、ユーザは、３０秒ごとに同じ触覚効果を感じるであろう。しかしながら、一部の実施形態では、機能の状態によって異なる触覚効果が出力されてもよい。例えば、一実施形態では、プロセッサ１１０は、方法がブロック５４２に戻る度に異なるアクチュエータ信号を生成してもよい。このような実施形態では、プロセッサ１１０は、ブロック５４２−５４６における繰り返しの度に徐々に強くなる触覚効果を生成するためのアクチュエータ信号を生成してもよい。一実施形態では、プロセッサ１１０は、機能がまだ実行中であるが、エラーに遭遇した場合、異なるアクチュエータ信号を生成してもよい。このような実施形態において、プロセッサ１１０は、機能がエラーに遭遇したことを示す触覚効果に関係付けられるアクチュエータ信号を生成してもよい。
ブロック５４２においてアクチュエータ信号を生成した後で、ブロック５４４において、プロセッサ１１０は、触覚効果をアクチュエータに出力させるためにアクチュエータ１３０にアクチュエータ信号を送信する。一部の実施形態では、プロセッサは、アクチュエータを備える別の装置にアクチュエータ信号を送信してもよい。例えば、図２に示されるシステムにおいて、プロセッサ１６０が、プロセッサ１１０にアクチュエータ信号を送信してもよい。次に、プロセッサ１１０は、アクチュエータ１３０にアクチュエータ信号を送信してもよい。上述のように、プロセッサ１６０は、プロセッサ１１０に高レベルアクチュエータ信号を送信してもよく、次に、プロセッサ１１０は、アクチュエータ１３０に送信する低レベルアクチュエータ信号を生成してもよい。アクチュエータ信号が送信された後で、方法は、ブロック５４６に進む。
ブロック５４６において、方法は、ブロック５４０に戻る前に所定の期間だけ遅延させる。遅延は、複数の触覚効果間の時間を経過させるのに有利であり得る。例えば、ユーザが非常に短い期間で繰り返し触覚効果を感じて、それがユーザの気を逸らすことがないように、遅延は、３０秒ごとに触覚効果を出力させてもよい。しかしながら、一部の実施形態では、遅延時間は、０に設定されてもよく、それにより、必要に応じて触覚効果を出力することが可能であってもよい。遅延が経過した後で、方法は、ブロック５４０に戻る。
機能が完了した後で、方法は、ブロック５５０に進み、そのときに、プロセッサ１１０は、機能が完了したことを示す触覚効果に対応するアクチュエータ信号を生成する。例えば、一実施形態では、プロセッサ１１０は、機能の完了が成功したことを示す触覚効果に対応するアクチュエータ信号を生成してもよい。代替的に、プロセッサ１１０は、機能がエラーに遭遇して最後まで実行される前に終了されたことを示す触覚効果に対応するアクチュエータ信号を生成してもよい。アクチュエータ信号が生成された後で、方法は、ブロック５５２に進み、プロセッサ１１０は、触覚効果をアクチュエータ１３０に出力させるためにアクチュエータ１３０にアクチュエータ信号を送信する。その後、方法は、ブロック５１０に戻り、プロセッサ１１０は、更なる発話情報を受信する試みを行う。
次に、図６を参照すると、図６は、本発明の一実施形態によるコマンドの触覚的確認のためのシステム６００のブロック図を示す。システム６００は、筐体６０５を有する装置６１０を備える。装置６１０は、プロセッサ６２０、メモリ６２５、アクチュエータ６３０、及びセンサ６４０を更に備える。プロセッサ６２０、メモリ６２５、アクチュエータ６３０、及びセンサは、各々が筐体６０５の中に配置され又は筐体６０５に結合される。プロセッサ６２０は、メモリ６２５、アクチュエータ６３０、及びセンサ６４０の各々と通信する。プロセッサは、筐体に結合され、筐体の中に配置され、又は別個の装置であり得るディスプレイ６５０と更に通信する。装置６１０は、センサから受信されるセンサ信号に基づいてコマンドを受信して、受信されたセンサ信号に基づいて触覚効果を出力するように構成される。
一実施形態では、装置６１０は、ユーザによって持ち運ばれ又は身に付けられてもよく、センサ６４０は、ユーザの眼が見ている場所を検出するように構成される光学センサを備えてもよい。例えば、ディスプレイ６５０は、例えば、一体化されたディスプレイを有するゴーグル等、ユーザによって身に付けられるディスプレイを含んでもよい。プロセッサ６２０は、例えば、車両（例えば、車椅子）を制御するコマンド又は別の人物に送信するコマンド、例えば、兵士への命令等のコマンドに対応する画像又はテキストをディスプレイ６５０に表示させてもよい。コマンドを発行するために、ユーザは、所望のコマンドを見てもよい。センサ６４０は、ユーザの目が見ている方向を検出して、プロセッサ６２０にセンサ信号を送信する。プロセッサ６２０は、方向に関係付けられるコマンドを決定して、アクチュエータに触覚効果を出力させるためのアクチュエータ信号を生成する。次に、プロセッサ６２０は、アクチュエータ６３０にアクチュエータ信号を送信する。別の実施形態では、装置６１０は、例えば、図４に示されるネットワークインターフェース３１５等のネットワークインターフェースを更に備える。このような実施形態では、プロセッサ６２０は、例えば、図４に示される装置４１２等の第２の装置から、ネットワーク４８０を介して、コマンドを受信してもよい。装置６１０は、コマンドが受信されたことを示すためにユーザに触覚効果を出力してもよく、ディスプレイ６５０上にコマンドに対する可能な応答を表示してもよい。装置６１０のユーザは、ネットワークを介して、第２の装置４１２に送信するために利用可能な複数の応答から１つの応答を選択してもよい。このような実施形態は、音声のコマンド又は応答が望ましくない可能性がある秘密の軍事作戦において便利であってもよい。
関連する実施形態において、選択される応答は、複数の受信者に送信されてもよい。例えば、兵士の分隊等の軍隊は、コマンドセンターと通信して、受信された音声コマンドへの触覚応答を提供してもよい。このような実施形態では、コマンドセンターは、分隊の各兵士に音声又は触覚コマンドを送信してもよく、各兵士から応答又は確認を受信してもよい。更なる実施形態は、各兵士からの応答を受信するために複数のコマンドセンターを含んでもよい。例えば、分隊の司令官は、分隊の作戦の近くの前進基地にいてもよく、又は分隊と一緒にいるが作戦の性質のため離れていてもよい。加えて、他の場所が、例えば、船舶又は別の軍事施設等における、別の場所から分隊の行動を監視してもよい。このような実施形態では、他の場所の各々は、分隊からの触覚コマンド及び確認を含む、分隊への通信及び分隊からの通信を受信してもよい。
図６を再度参照すると、本発明の一実施形態は、発行されるコマンド又は実行される機能をエミュレートする触覚効果を出力してもよい。例えば、一実施形態では、装置６１０は、車椅子等の車両を制御するように構成されてもよい。このような実施形態では、車両に発行されるコマンドをエミュレートする触覚効果を提供することが有利であってもよい。例えば、ユーザが車両を右折させるためのコマンドを選択すると、プロセッサ６２０は、右折をエミュレートする触覚効果をアクチュエータに出力させるためのアクチュエータ信号を生成してもよい。例えば、車椅子の実施形態では、アクチュエータは、複数のアクチュエータを備えてもよい。次に、アクチュエータは、車椅子の背後の中央で開始して右に移動する振動を出力してもよい。例えば、アクチュエータは、アクチュエータが連続して起動されるように、車椅子の背後の水平線に沿って配置されてもよい。従って、ユーザは、背中を横切って右に移動する振動を感知して、それによって、コマンドが認識されたことを示すフィードバックを受信してもよい。
次に、図７を参照すると、図７は、本発明の一実施形態によるコマンドの触覚的確認のためのコンピュータ実行方法の流れ図を示す。図７は、図６に示されるシステム６００に関して記載される。
図７に示される実施形態では、方法７００は、プロセッサ６２０がセンサ６４０からセンサ信号を受信すると、ブロック７１０で開始する。例えば、一実施形態では、センサ信号は、ディスプレイ６５０等のタッチセンサ式ディスプレイ上のある場所にユーザが触れることに対応してもよい。別の実施形態では、センサ信号は、ユーザの眼の方向に対応してもよい。センサ信号を受信した後で、方法７００は、ブロック７２０に進む。
ブロック７２０では、プロセッサ６２０は、受信されたセンサ信号に対応するコマンドを識別する試みを行う。例えば、プロセッサ６２０は、タッチセンサ式ディスプレイスクリーン上で感知された位置に対応する場所においてボタン又はユーザインターフェース要素を識別してもよい。プロセッサ６２０がセンサ信号において受信される情報に対応するコマンドを決定すると、方法７００はブロック７３０に進む。そうでなければ、方法７００はブロック７２２に進む。
方法がブロック７２２に進む場合、プロセッサ６２０は、コマンドがセンサから受信された入力に基づいて認識されなかったことを示すように構成される触覚効果に対応するアクチュエータ信号を生成する。アクチュエータ信号を生成した後で、プロセッサが触覚効果をアクチュエータに出力させるためにアクチュエータ６３０にアクチュエータ信号を送信する場合に、方法は、ステップ７２４に進む。
方法がブロック７３０に進む場合、プロセッサ６２０は、コマンドがセンサから受信された入力に基づいて認識されたことを示すように構成される触覚効果に対応するアクチュエータ信号を生成する。アクチュエータ信号を生成した後で、プロセッサが触覚効果をアクチュエータに出力させるためにアクチュエータ６３０にアクチュエータ信号を送信する場合に、方法は、ステップ７５０に進む。触覚効果を出力した後で、方法は、ブロック７５０に進み、プロセッサ６１０は、コマンドに関係付けられる機能を実行する。しかしながら、一部の実施形態では、プロセッサ６１０は、アクチュエータ信号を生成し又はアクチュエータにアクチュエータ信号を送信する前に機能の実行を開始してもよい。
本明細書に記載の方法及びシステムが様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を特別に実行するためのＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等の特別に構成されたハードウェアとして実装されてもよい。例えば、図１−４及び６を再度参照すると、実施形態は、デジタル電子回路で、又は、コンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、画像を編集するために１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を備えてもよい。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｉｅ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｉｅ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得るコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することが出来る電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。
（一般事項）
本発明の一部の実施形態の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本発明を限定することは意図されていない。その多くの修正及び適合が、本発明の精神及び範囲から逸脱することなく当業者には明らかであろう。
本明細書における「一実施形態」又は「ある実施形態」への言及は、特定の機能、構造、操作、又は実施形態と関連して記載される他の特徴が本発明の少なくとも１つの実装に含まれ得ることを意味する。本発明は、このように記載された特定の実施形態に制限されない。明細書の様々な場所における「一実施形態において」又は「ある実施形態において」という句の出現は、必ずしも同じ実施形態への言及ではない。任意の特定の機能、構造、操作、又は「一実施形態」に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の実施形態に関して記載された他の特徴と結合されてもよい。

Claims (16)

  1. 音声コマンドの受信を確認するための触覚効果を生成するシステムであって、
    マイクロホンと、
    ユーザによって接触されるように構成される筐体と
    前記筐体と通信し、前記筐体に触覚効果を出力するように構成されるアクチュエータと、
    前記マイクロホン及び前記アクチュエータと通信するプロセッサであって、
    前記マイクロホンから発話情報を受信し、
    前記発話情報を認識して、前記発話情報に関係付けられるコマンドを決定し、
    前記発話情報が認識され且つ前記コマンドが決定される場合、
    前記アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成し、且つ
    前記第１のアクチュエータ信号を前記アクチュエータに送信し、
    又は、
    前記アクチュエータに第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成し、且つ
    前記第２のアクチュエータ信号を前記アクチュエータに送信するように構成されるプロセッサと
    を備えるシステム。
  2. 前記発話情報が認識され且つ前記コマンドが決定される場合、
    前記プロセッサは、
    前記発話情報に関係付けられる機能を実行し、
    前記アクチュエータに第３の触覚効果を出力させるように構成される第３のアクチュエータ信号を生成し、且つ
    前記機能の実行が完了すると前記アクチュエータに前記第３のアクチュエータ信号を送信するように更に構成される、請求項１に記載のシステム。
  3. 前記第３の触覚効果は、前記機能をエミュレートするように構成される、請求項２に記載のシステム。
  4. 前記機能は、方向指示器を起動することを含み、
    前記第３の触覚効果は、間近の転換の方向に移動する振動を含む、請求項３に記載のシステム。
  5. 前記プロセッサと通信するスピーカを更に備え、
    前記プロセッサは、
    前記スピーカに音声を出力させるように構成されるオーディオ信号を生成し、且つ
    前記オーディオ信号を前記スピーカに送信するように更に構成される、請求項１に記載のシステム。
  6. 前記プロセッサと通信するディスプレイを更に備え、
    前記プロセッサは、
    前記ディスプレイに画像を表示させるように構成される表示信号を生成し、且つ
    前記表示信号を前記ディスプレイに送信するように更に構成される、請求項１に記載のシステム。
  7. 前記第１の触覚効果は、前記コマンドをエミュレートするように構成される、請求項１に記載のシステム。
  8. 前記マイクロホン、アクチュエータ、及びプロセッサは、前記筐体の中に配置される、請求項１に記載のシステム。
  9. 前記筐体は、Ｂｌｕｅｔｏｏｔｈヘッドセット、Ｂｌｕｅｔｏｏｔｈイヤホン、携帯電話、パーソナルデジタルアシスタント、タッチセンサ式表面、マウス、又はキーボードの１つを備える、請求項１に記載のシステム。
  10. マイクロホンから発話情報を受信するステップ、
    前記発話情報を認識して、前記発話情報に関係付けられるコマンドを決定するステップ、
    前記発話情報が認識され且つ前記コマンドが決定される場合、
    アクチュエータに第１の触覚効果を出力させるように構成される第１のアクチュエータ信号を生成するステップ、及び
    前記第１のアクチュエータ信号を前記アクチュエータに送信するステップ、
    又は、
    前記アクチュエータに第２の触覚効果を出力させるように構成される第２のアクチュエータ信号を生成するステップ、及び
    前記第２のアクチュエータ信号を前記アクチュエータに送信するステップ
    を含む、コンピュータ実行方法。
  11. 前記発話情報が認識され且つ前記コマンドが決定される場合、
    前記コマンドに関係付けられる機能を実行し、
    前記アクチュエータに第３の触覚効果を出力させるように構成される第３のアクチュエータ信号を生成し、且つ
    前記機能の実行が完了すると前記アクチュエータに前記第３のアクチュエータ信号を送信する、請求項１０に記載のコンピュータ実行方法。
  12. 前記第３の触覚効果は、前記機能をエミュレートするように構成される、請求項１１に記載のコンピュータ実行方法。
  13. 前記機能は、方向指示器を起動することを含み、前記第３の触覚効果は、間近の転換の方向に移動する振動を含む、請求項１２に記載のコンピュータ実行方法。
  14. スピーカに音声を出力させるように構成されるオーディオ信号を生成するステップ、及び
    前記オーディオ信号を前記スピーカに送信するステップ
    を更に備える、請求項１０に記載のコンピュータ実行方法。
  15. ディスプレイに画像を表示させるように構成される表示信号を生成するステップ、及び
    前記表示信号を前記ディスプレイに送信するステップ
    を更に備える、請求項１０に記載のコンピュータ実行方法。
  16. 前記第１の触覚効果は、前記コマンドをエミュレートするように構成される、請求項１０に記載のコンピュータ実行方法。
JP2012537166A 2009-11-04 2010-11-01 コマンドの触覚的確認のためのシステム及び方法 Active JP5666611B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/612,230 US8279052B2 (en) 2009-11-04 2009-11-04 Systems and methods for haptic confirmation of commands
US12/612,230 2009-11-04
PCT/US2010/054967 WO2011056752A1 (en) 2009-11-04 2010-11-01 Systems and methods for haptic confirmation of commands

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014249923A Division JP5977325B2 (ja) 2009-11-04 2014-12-10 コマンドの触覚的確認のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2013510350A true JP2013510350A (ja) 2013-03-21
JP5666611B2 JP5666611B2 (ja) 2015-02-12

Family

ID=43502849

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012537166A Active JP5666611B2 (ja) 2009-11-04 2010-11-01 コマンドの触覚的確認のためのシステム及び方法
JP2014249923A Active JP5977325B2 (ja) 2009-11-04 2014-12-10 コマンドの触覚的確認のためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014249923A Active JP5977325B2 (ja) 2009-11-04 2014-12-10 コマンドの触覚的確認のためのシステム及び方法

Country Status (6)

Country Link
US (3) US8279052B2 (ja)
EP (1) EP2497004B1 (ja)
JP (2) JP5666611B2 (ja)
KR (2) KR20120102678A (ja)
CN (2) CN102597915B (ja)
WO (1) WO2011056752A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016521021A (ja) * 2013-03-14 2016-07-14 クアルコム，インコーポレイテッド ワイヤレス通信システムにおけるユーザ検知システムおよび低電力音声コマンド起動方法
JP2018198058A (ja) * 2017-05-24 2018-12-13 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 情報提供方法、電子機器、コンピュータプログラム及び記録媒体
JP2019050558A (ja) * 2017-09-08 2019-03-28 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US8949958B1 (en) * 2011-08-25 2015-02-03 Amazon Technologies, Inc. Authentication using media fingerprinting
KR20130027665A (ko) * 2011-09-08 2013-03-18 삼성전자주식회사 휴대단말기의 홈 네트워크 서비스 제어장치 및 방법
WO2013057769A1 (ja) * 2011-10-20 2013-04-25 富士通株式会社 情報処理装置、情報処理装置の制御方法および制御プログラム
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9063570B2 (en) 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US20140002376A1 (en) * 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
US8896524B2 (en) 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9805721B1 (en) * 2012-09-21 2017-10-31 Amazon Technologies, Inc. Signaling voice-controlled devices
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US10304465B2 (en) 2012-10-30 2019-05-28 Google Technology Holdings LLC Voice control user interface for low power mode
US10373615B2 (en) 2012-10-30 2019-08-06 Google Technology Holdings LLC Voice control user interface during low power mode
US10381002B2 (en) 2012-10-30 2019-08-13 Google Technology Holdings LLC Voice control user interface during low-power mode
US9584642B2 (en) 2013-03-12 2017-02-28 Google Technology Holdings LLC Apparatus with adaptive acoustic echo control for speakerphone mode
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
CN103051781A (zh) * 2012-12-07 2013-04-17 百度在线网络技术（北京）有限公司 语音后台控制方法及移动终端
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10157618B2 (en) 2013-05-02 2018-12-18 Xappmedia, Inc. Device, system, method, and computer-readable medium for providing interactive advertising
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101370770B1 (ko) * 2013-07-10 2014-03-06 주식회사 바이오스페이스 어플리케이션 다운로드 방법 및 시스템
US11044248B2 (en) 2013-09-13 2021-06-22 Symbol Technologies, Llc Method and device for facilitating mutual authentication between a server and a user using haptic feedback
US20150084735A1 (en) * 2013-09-25 2015-03-26 Lenovo (Singapore) Pte. Ltd. Wearable information handling device outputs
US8768712B1 (en) 2013-12-04 2014-07-01 Google Inc. Initiating actions based on partial hotwords
FR3015108B1 (fr) * 2013-12-13 2019-05-31 Dav Controle d'actionneurs d'une surface de commande sensitive a retour haptique
FR3015383B1 (fr) * 2013-12-19 2017-01-13 Dav Dispositif de controle pour vehicule automobile et procede de commande
US20150278737A1 (en) * 2013-12-30 2015-10-01 Google Inc. Automatic Calendar Event Generation with Structured Data from Free-Form Speech
US9288572B2 (en) 2014-01-09 2016-03-15 International Business Machines Corporation Haptic microphone
CN104777894A (zh) * 2014-01-13 2015-07-15 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
KR101859311B1 (ko) * 2014-02-24 2018-05-18 소니 주식회사 출력을 최적화하기 위한 스마트 착용형 디바이스들 및 방법들
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US10613627B2 (en) 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
JP2016024212A (ja) * 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US20160132642A1 (en) * 2014-11-06 2016-05-12 Raz Carmi Device and method for monitoring food intake
DE102015100313B3 (de) * 2015-01-12 2016-05-04 Visteon Global Technologies Inc. Anordnung und Verfahren zur drahtlosen Verbindung von Vorrichtungen
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10219062B2 (en) * 2015-06-05 2019-02-26 Apple Inc. Wireless audio output devices
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9978366B2 (en) 2015-10-09 2018-05-22 Xappmedia, Inc. Event-based speech interactive media player
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10319371B2 (en) * 2016-05-04 2019-06-11 GM Global Technology Operations LLC Disambiguation of vehicle speech commands
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK180050B1 (en) * 2016-09-06 2020-02-04 Apple Inc. Devices, methods and graphical user interfaces for generating tactile outputs
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10475354B2 (en) * 2017-04-17 2019-11-12 Facebook, Inc. Haptic communication using dominant frequencies in speech signal
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
EP3752910A4 (en) * 2018-05-25 2021-04-14 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING AN INTELLIGENT RESPONSE
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP2020053797A (ja) * 2018-09-26 2020-04-02 株式会社デンソー 着信案内装置
KR20200126158A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 사운드를 출력하는 액추에이터를 포함하는 전자 장치와 이의 동작 방법
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11662820B2 (en) 2020-01-08 2023-05-30 Dell Products, Lp System for a solid-state keyboard and touchpad providing haptic feedback
US11294469B2 (en) 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
US11175745B2 (en) 2020-01-31 2021-11-16 Dell Products, Lp System and method for application of piezo electric haptic keyboard personal typing profile
US11106286B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for mood detection via piezo haptic keyboard dynamics
US11093048B1 (en) 2020-01-31 2021-08-17 Dell Products, Lp System for modified key actions and haptic feedback for smart typing assist with a solid-state keyboard and touchpad
US11301053B2 (en) 2020-01-31 2022-04-12 Dell Products, Lp System for providing haptic feedback across full palm rest in fixed position of information handling system
US10860112B1 (en) 2020-01-31 2020-12-08 Dell Products, Lp System for a solid-state keyboard and touchpad with a single sheet cover for providing haptic feedback
US11579695B2 (en) 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US11079816B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System and method for vapor chamber directional heat dissipation for a piezoelectric keyboard assembly
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11079849B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System for extended key actions and haptic feedback and optimized key layout for a solid-state keyboard and touchpad
US11106772B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for continuous user identification via piezo haptic keyboard and touchpad dynamics
US11067269B1 (en) 2020-01-31 2021-07-20 Dell Products, Lp System and method for backlight integration with electrical contact foil in piezoelectric haptic keyboard
US11358054B2 (en) * 2020-02-18 2022-06-14 Electronic Arts Inc. Systems and methods for transcribing user interface elements of a game application into haptic feedback
US11627417B2 (en) * 2020-03-26 2023-04-11 Expensify, Inc. Voice interactive system
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
WO2022080538A1 (ko) * 2020-10-16 2022-04-21 엘지전자 주식회사 이동 단말기
US11977683B2 (en) * 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
CN113971954B (zh) * 2021-12-23 2022-07-12 广州小鹏汽车科技有限公司 语音交互方法及装置、车辆及存储介质
US20240168555A1 (en) * 2022-11-16 2024-05-23 Msg Entertainment Group, Llc Portable haptic systems for use within a venue

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2009A (en) * 1841-03-18 Improvement in machines for boring war-rockets
US2010A (en) * 1841-03-18 Machine foe
US8028A (en) * 1851-04-08 Hokse-poweb
JPH09133545A (ja) * 1995-10-19 1997-05-20 Philips Electron Nv ナビゲーションシステム
WO1999045531A1 (en) * 1998-03-03 1999-09-10 Microsoft Corporation Apparatus and method for providing speech input to a speech recognition system
JP2001501010A (ja) * 1997-07-21 2001-01-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報処理システム
JP2002183136A (ja) * 2000-12-15 2002-06-28 Brother Ind Ltd 機械翻訳装置及び機械翻訳処理方法並びに機械翻訳処理プログラムを記録した記録媒体
JP2006065507A (ja) * 2004-08-25 2006-03-09 Sony Corp 振動伝達機構、振動波形データ作成方法、触覚機能付き入力装置及び電子機器
WO2007033244A2 (en) * 2005-09-13 2007-03-22 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3736551A (en) 1970-11-16 1973-05-29 Us Navy Swimmers tactile command navigation apparatus
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
DE19608869C2 (de) * 1996-03-07 1998-03-26 Daimler Benz Ag Bediensystem, insbesondere für Komponenten in einem Kraftfahrzeug
US6912399B2 (en) 2001-01-22 2005-06-28 Royal Thoughts, Llc Cellular telephone with programmable authorized telephone number
US20020107695A1 (en) 2001-02-08 2002-08-08 Roth Daniel L. Feedback for unrecognized speech
AU2003297716A1 (en) 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
CN1802694A (zh) * 2003-05-08 2006-07-12 语音信号科技公司 信噪比中介的语音识别算法
GB2409257A (en) * 2003-12-17 2005-06-22 Timothy Guy Carpenter Alphanumeric or command input using an actuator held by detents and a resiliently biased follower
US20070236474A1 (en) * 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
CN101677762B (zh) * 2008-02-28 2012-08-22 松下电器产业株式会社 视线检测装置以及视线检测方法
US9317116B2 (en) * 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2009A (en) * 1841-03-18 Improvement in machines for boring war-rockets
US2010A (en) * 1841-03-18 Machine foe
US8028A (en) * 1851-04-08 Hokse-poweb
JPH09133545A (ja) * 1995-10-19 1997-05-20 Philips Electron Nv ナビゲーションシステム
JP2001501010A (ja) * 1997-07-21 2001-01-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報処理システム
WO1999045531A1 (en) * 1998-03-03 1999-09-10 Microsoft Corporation Apparatus and method for providing speech input to a speech recognition system
JP2002183136A (ja) * 2000-12-15 2002-06-28 Brother Ind Ltd 機械翻訳装置及び機械翻訳処理方法並びに機械翻訳処理プログラムを記録した記録媒体
JP2006065507A (ja) * 2004-08-25 2006-03-09 Sony Corp 振動伝達機構、振動波形データ作成方法、触覚機能付き入力装置及び電子機器
WO2007033244A2 (en) * 2005-09-13 2007-03-22 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200300704008; 高山 元希， 西本 卓也， 荒木 雅弘， 新見 康永 Ｍｏｔｏｋｉ ＴＡＫＡＹＡＭＡ， Ｔａｋｕｙａ ＮＩＳＨＩＭＯＴＯ， Ｍａｓａｈｉｒｏ ＡＲＡＫＩ， Ｙａｓｕｈ: '電話音声応答システムにおける効果音の役割 Ｔｈｅ Ｒｏｌｅ ｏｆ Ａｕｄｉｏ Ｅｆｆｅｃｔｓ ｉｎ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｏｉｃｅ Ｒｅｓｐｏｎｓｅ Ｓｙ' 電子情報通信学会技術研究報告 ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ 第１０１巻 第６０号 Ｖｏｌ．１０１ Ｎｏ．６０, 20020118, ５５〜６２頁, 社団法人電子情報通信学会 &#xFF3 *
JPN6014047443; 高山 元希， 西本 卓也， 荒木 雅弘， 新見 康永 Ｍｏｔｏｋｉ ＴＡＫＡＹＡＭＡ， Ｔａｋｕｙａ ＮＩＳＨＩＭＯＴＯ， Ｍａｓａｈｉｒｏ ＡＲＡＫＩ， Ｙａｓｕｈ: '電話音声応答システムにおける効果音の役割 Ｔｈｅ Ｒｏｌｅ ｏｆ Ａｕｄｉｏ Ｅｆｆｅｃｔｓ ｉｎ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｏｉｃｅ Ｒｅｓｐｏｎｓｅ Ｓｙ' 電子情報通信学会技術研究報告 ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ 第１０１巻 第６０号 Ｖｏｌ．１０１ Ｎｏ．６０, 20020118, ５５〜６２頁, 社団法人電子情報通信学会 Ｔ& *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016521021A (ja) * 2013-03-14 2016-07-14 クアルコム，インコーポレイテッド ワイヤレス通信システムにおけるユーザ検知システムおよび低電力音声コマンド起動方法
JP2018198058A (ja) * 2017-05-24 2018-12-13 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 情報提供方法、電子機器、コンピュータプログラム及び記録媒体
US11341966B2 (en) 2017-05-24 2022-05-24 Naver Corporation Output for improving information delivery corresponding to voice request
JP2019050558A (ja) * 2017-09-08 2019-03-28 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング

Also Published As

Publication number Publication date
US20130088340A1 (en) 2013-04-11
US20110102161A1 (en) 2011-05-05
WO2011056752A1 (en) 2011-05-12
CN105278682A (zh) 2016-01-27
US9318006B2 (en) 2016-04-19
US8279052B2 (en) 2012-10-02
CN102597915B (zh) 2015-11-25
US20140039900A1 (en) 2014-02-06
EP2497004A1 (en) 2012-09-12
JP5666611B2 (ja) 2015-02-12
CN105278682B (zh) 2018-09-28
JP5977325B2 (ja) 2016-08-24
CN102597915A (zh) 2012-07-18
KR101792583B1 (ko) 2017-11-02
EP2497004B1 (en) 2019-10-09
US8581710B2 (en) 2013-11-12
KR20120102678A (ko) 2012-09-18
KR20160145844A (ko) 2016-12-20
JP2015092366A (ja) 2015-05-14

Similar Documents

Publication Publication Date Title
JP5977325B2 (ja) コマンドの触覚的確認のためのシステム及び方法
JP6510484B2 (ja) 音声／テキスト変換の触覚による拡張を目的とするシステムと方法
US7957770B2 (en) Mobile communication terminal for providing tactile interface
US9509829B2 (en) Urgent communications
US20100302003A1 (en) Mobile Communications Device with Distinctive Vibration Modes
CN105009556A (zh) 用于交互式远程通信中的增强响应的意图引擎
CN109429132A (zh) 耳机***
CN103270484A (zh) 不要求视觉接触的电子设备菜单导航
US20090170567A1 (en) Hands-free communication
US8295449B2 (en) Method and system for creating audio identification messages
US9213407B2 (en) Ring accessory
JP2002232526A (ja) 携帯電話機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140630

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141210

R150 Certificate of patent or registration of utility model

Ref document number: 5666611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250