JP5951688B2 - 音声−テキスト変換の触覚増強のためのシステム及び方法 - Google Patents
音声−テキスト変換の触覚増強のためのシステム及び方法 Download PDFInfo
- Publication number
- JP5951688B2 JP5951688B2 JP2014138037A JP2014138037A JP5951688B2 JP 5951688 B2 JP5951688 B2 JP 5951688B2 JP 2014138037 A JP2014138037 A JP 2014138037A JP 2014138037 A JP2014138037 A JP 2014138037A JP 5951688 B2 JP5951688 B2 JP 5951688B2
- Authority
- JP
- Japan
- Prior art keywords
- actuator
- terminal device
- signal
- haptic effect
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000006243 chemical reaction Methods 0.000 title description 20
- 230000000694 effects Effects 0.000 claims description 87
- 230000005236 sound signal Effects 0.000 claims description 69
- 238000004891 communication Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000008451 emotion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Otolaryngology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Description
本出願は、2009年8月29日に出願された「音声−テキスト変換の触覚増強のためのシステム及び方法」という名称の、米国実用新案出願第12/608,707の優先権を主張するものであり、その全てを参照によって本出願に組み込む。
本発明の一実例の具現化例にあって、モバイル電話は、プロセッサと、このプロセッサと通信するマイクロフォン及びスピーカを備える。モバイル電話は、プロセッサと通信するアクチュエータも備える。アクチュエータは、モバイル電話の使用者によって知覚される触覚効果を出力する能力がある。使用者は、プロセッサがテキストメッセージに変換するボイスメッセージを記録するための電話を用いることができる。さらに、プロセッサは、メッセージの特長を判断するためにボイスメッセージを分析するように構成される。
いくつかの図面にわたって同様の要素には同じ番号が付されている図を参照すると、図1は本発明の一つの具現化例に係る音声−テキスト変換の触覚増加用のシステムのブロック図を示す。図1に示すように、前記システムは、モバイル端末装置100を備える。一具現化例にあって、モバイル端末装置100は、モバイル電話を含む。他の具現化例にあって、モバイル端末装置100は、携帯デジタル情報端末(PDA)、携帯型メディアプレーヤ、携帯型ゲーム端末装置、或いはラップトップコンピュータのような、他の携帯或いはハンドヘルド電子端末装置を含む。いくつかの具現化例にあって、モバイル端末装置100は、それよりむしろ、デスクトップコンピュータのような非携帯型電子端末装置を含んでもよい。
図4乃至6は、本発明の具現化例に係る様々な方法を実例するフローチャートである。このフローチャートは、本発明の具現化例の実行のために様々な他の環境が用いられ、さらにいくつかの環境が本明細書にて説明されるが、図1に示されるモバイル端末装置に関して考察する。
本発明の具現化例は、様々な使用者体験を提供するための様々な方法にて実行される。以下の具現化例は、図1に関連して説明される。これらの具現化例のいくつかにあって、第1の使用者がメッセージを送信し、第2の使用者がメッセージを受け取ると想定し、両者が図1に例示されたモバイル端末装置100を使用している。例えば、図1に示された具現化例にあって、送信側の使用者は、受信側使用者にモバイル端末装置100を通してテキストメッセージを送信することを望んでいる。テキストメッセージをタイプするキーボードを用いる代わりに、送信側の使用者は、使用者側に送信されるテキストに変換される音声メッセージを有することを望む。この場合、送信側使用者は、マイクロフォン105に話をし、マイクロフォン105は対応するオーディオ信号を生成し、そのオーディオ信号をプロセッサ110に送信する。プロセッサ110は、同時に或いは実質的に同時に音声をテキストに変換する。そのような音声をテキストに変換する処理は、当業者には周知である。そのようなアプリケーションの一つは、Spin Voxという会社によって製造されている。
本発明の具現化例は、障害者用のテレコミュニケーションのコンテキストで、好都合に利用される。例えば、具現化例は、聴覚或いは発話の困難を有する人々を、電話線を通したテキスト通信用電子端末装置によって支援するTTY(テレホンタイプライタ)アプリケーションにあって役に立つ。障害のある人が、伝統的なTTY端末装置を用いると、メッセージの感情とフィーリングがそのままのテキストであるために一般的に失われる。本発明の具現化例を用いることにより、障害のある人は、マイクロフォンに話しかけ、メッセージに関連した感情的なフィーリングが失われてしまう伝統的なTTY端末装置にテキストメッセージを直接的にタイピングする代わりに触覚効果を介して音声−テキスト変換の背後に感情を保つ。
この発明は、いくつかの好ましい具現化例にて説明されてきたが、それらの具現化例の修正、置換及び等価は、明細書の読解と図面の研究により当業者にとって明らかである。例えば、ゲームプログラム、仮想現実プログラム及び環境、ビジネス会議のための電話会議アプリケーション、コンピュータネットワーク或いは他の通信チャンネルを用いた電話タイプの音声通信などの多くの異なるアプリケーションプログラムが本発明の音声−テキストメッセージ機能を用いることができる。さらに、ある種の専門用語は、記述的明確さの目的のために用いられるものであり、本発明を制限するためではない。以下に添付される特許請求の範囲が、そのような修正、置換、等価のすべてを本発明の真の精神及び範囲内における概念として含む。
Claims (20)
- メモリと、
マイクロフォンと、
前記メモリ及び前記マイクロフォンと通信するプロセッサであり、
前記マイクロフォンから入力される音声信号を受信し、
前記音声信号の特徴を判断し、
前記音声信号の特徴の少なくとも一部に基づいた第1のアクチュエータ信号を生成し、
前記音声信号に関連する単語を触覚効果ライブラリから判断し、
判断された単語に対応する触覚効果に関連する第2のアクチュエータ信号を生成し、且つ
前記第1のアクチュエータ信号及び前記第2のアクチュエータ信号に基づいてアクチュエータに混合触覚効果を出力させるように構成される第3のアクチュエータ信号を生成するために形成されるプロセッサと
を備える移動端末装置。 - 前記プロセッサは、さらに
前記第3のアクチュエータ信号を第2移動端末装置に送信するため
に構成される請求項1記載の移動端末装置。 - 前記単語はテキストメッセージによって前記第2移動端末装置に送信される請求項2記載の移動端末装置。
- 前記テキストメッセージに関連するデータは前記第3のアクチュエータ信号を含む請求項3記載の移動端末装置。
- 前記プロセッサは、前記音声信号の特徴の少なくとも一部に基づいて複数のアクチュエータ信号を生成するためにさらに構成される請求項1記載の移動端末装置。
- 前記プロセッサは、前記音声信号の特徴に関連する触覚効果ライブラリから触覚効果を識別することによって前記第1のアクチュエータ信号を生成するために構成される請求項1記載の移動端末装置。
- 前記プロセッサと通信する前記アクチュエータをさらに備え、このアクチュエータは前記第3のアクチュエータ信号を受信し、かつ前記触覚効果を出力するために構成される請求項1記載の移動端末装置。
- タッチスクリーンインタフェースをディスプレイとしてさらに備える請求項1記載の移動端末装置。
- テレホンタイプライタ装置を備える請求項1記載の移動端末装置。
- 移動端末装置に収容されるマイクロフォンから入力音声を受信することと、
前記音声信号の特徴を判断することと、
前記音声信号の特徴の少なくとも一部に基づいた第1のアクチュエータ信号を生成することと、
前記音声信号に関連する単語を触覚効果ライブラリから判断することと、
判断された単語に対応する触覚効果に関連する第2のアクチュエータ信号を生成することと、
前記第1のアクチュエータ信号及び前記第2のアクチュエータ信号に基づいてアクチュエータに混合触覚効果を出力させるように構成される第3のアクチュエータ信号を生成することと
を備えるコンピュータによって実行される方法。 - 前記第3のアクチュエータ信号を第2移動端末装置に送信すること
をさらに備える請求項10記載のコンピュータによって実行される方法。 - 前記音声信号の特徴の少なくとも一部に基づいて複数のアクチュエータ信号を生成すること
をさらに備える請求項10記載のコンピュータによって実行される方法。 - 前記第1のアクチュエータ信号を生成することは、前記音声信号の特徴に関連する触覚効果ライブラリから触覚効果を識別することを含む請求項10記載のコンピュータによって実行される方法。
- 前記移動端末装置は、テレホンタイプライタ装置を備える請求項10記載のコンピュータによって実行される方法。
- ネットワークを介して接続される送信側端末装置と受信側端末装置との少なくとも二つの端末装置によって構成されるシステムであって、
前記送信側端末装置は、少なくとも
メモリと、
前記メモリと通信するプロセッサであり、さらに、
マイクロフォンから入力される音声信号を受信し、
前記音声信号の特徴を判断し、
前記音声信号の特徴の少なくとも一部に基づいた第1のアクチュエータ信号を生成し、
前記音声信号に関連する単語を触覚効果ライブラリから判断し、
判断された単語に対応する触覚効果に関連する第2のアクチュエータ信号を生成し、且つ
前記第1のアクチュエータ信号及び前記第2のアクチュエータ信号に基づいてアクチュエータに混合触覚効果を出力させるように構成される第3のアクチュエータ信号を生成するため
に形成されるプロセッサと、
前記マイクロフォンと、
前記第3のアクチュエータ信号を前記受信側端末装置に前記ネットワークを介して送信するためのネットワークインターフェースと
を備え、
前記受信側端末装置は、少なくとも
メモリと、
前記送信側端末装置から送信された前記第3のアクチュエータ信号を前記ネットワークを介して受信するためのネットワークインターフェースと、
前記メモリと通信するプロセッサであり、さらに
前記ネットワークインターフェースを介して受信した前記第3のアクチュエータ信号に対応する混合触覚効果を判断するため、
前記判断した混合触覚効果を前記アクチュエータに出力させるため
に形成されるプロセッサと、
前記混合触覚効果を出力するための前記アクチュエータと
を備えてなる、システム。 - 前記送信側端末装置は、さらに
前記第3のアクチュエータ信号を前記受信側端末装置に送信するため
に構成される請求項15記載のシステム。 - 前記単語はテキストメッセージによって前記受信側端末装置に送信される請求項16記載のシステム。
- 前記送信側端末装置又は前記受信側端末装置は、テレホンタイプライタ装置を備える請求項15記載のシステム。
- 前記第1のアクチュエータ信号を生成することは、前記音声信号の特徴に関連する触覚効果ライブラリから触覚効果を識別することを含む請求項15記載のシステム。
- 前記送信側端末装置又は前記受信側端末装置の少なくとも一つは、ディスプレイとしてタッチスクリーンインタフェースを備える請求項15記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/608,707 US8902050B2 (en) | 2009-10-29 | 2009-10-29 | Systems and methods for haptic augmentation of voice-to-text conversion |
US12/608,707 | 2009-10-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536981A Division JP5899116B2 (ja) | 2009-10-29 | 2010-10-27 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014211900A JP2014211900A (ja) | 2014-11-13 |
JP5951688B2 true JP5951688B2 (ja) | 2016-07-13 |
Family
ID=43382350
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536981A Expired - Fee Related JP5899116B2 (ja) | 2009-10-29 | 2010-10-27 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2014138037A Expired - Fee Related JP5951688B2 (ja) | 2009-10-29 | 2014-07-03 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2015077388A Pending JP2015156229A (ja) | 2009-10-29 | 2015-04-06 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2016251317A Active JP6510484B2 (ja) | 2009-10-29 | 2016-12-26 | 音声/テキスト変換の触覚による拡張を目的とするシステムと方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012536981A Expired - Fee Related JP5899116B2 (ja) | 2009-10-29 | 2010-10-27 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015077388A Pending JP2015156229A (ja) | 2009-10-29 | 2015-04-06 | 音声−テキスト変換の触覚増強のためのシステム及び方法 |
JP2016251317A Active JP6510484B2 (ja) | 2009-10-29 | 2016-12-26 | 音声/テキスト変換の触覚による拡張を目的とするシステムと方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8902050B2 (ja) |
EP (2) | EP3352055A1 (ja) |
JP (4) | JP5899116B2 (ja) |
KR (4) | KR101860281B1 (ja) |
CN (2) | CN109144255A (ja) |
WO (1) | WO2011059703A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7149184B2 (ja) | 2015-09-23 | 2022-10-06 | カスケード ドライブズ アクチボラグ | 複合型プラネット・ギヤ装置およびドライブ・トレイン装置 |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
US8279052B2 (en) * | 2009-11-04 | 2012-10-02 | Immersion Corporation | Systems and methods for haptic confirmation of commands |
US8686864B2 (en) | 2011-01-18 | 2014-04-01 | Marwan Hannon | Apparatus, system, and method for detecting the presence of an intoxicated driver and controlling the operation of a vehicle |
US8718536B2 (en) | 2011-01-18 | 2014-05-06 | Marwan Hannon | Apparatus, system, and method for detecting the presence and controlling the operation of mobile devices within a vehicle |
US9448626B2 (en) | 2011-02-11 | 2016-09-20 | Immersion Corporation | Sound to haptic effect conversion system using amplitude value |
US8717152B2 (en) | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9448713B2 (en) | 2011-04-22 | 2016-09-20 | Immersion Corporation | Electro-vibrotactile display |
US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
US10191546B2 (en) * | 2011-06-20 | 2019-01-29 | Immersion Corporation | Haptic theme framework |
JP6081705B2 (ja) * | 2012-02-03 | 2017-02-15 | イマージョン コーポレーションImmersion Corporation | 波形を利用した音響−触覚効果変換システム |
US9715276B2 (en) * | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US8860563B2 (en) * | 2012-06-14 | 2014-10-14 | Immersion Corporation | Haptic effect conversion system using granular synthesis |
US9092059B2 (en) * | 2012-10-26 | 2015-07-28 | Immersion Corporation | Stream-independent sound to haptic effect conversion system |
US20140129347A1 (en) * | 2012-11-05 | 2014-05-08 | Anantha Pradeep | Intelligent and informed advertisement creation |
KR101427993B1 (ko) * | 2012-12-17 | 2014-08-08 | 포항공과대학교 산학협력단 | 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 |
US10504339B2 (en) * | 2013-02-21 | 2019-12-10 | Immersion Corporation | Mobile device with instinctive alerts |
US8754757B1 (en) * | 2013-03-05 | 2014-06-17 | Immersion Corporation | Automatic fitting of haptic effects |
US9866924B2 (en) * | 2013-03-14 | 2018-01-09 | Immersion Corporation | Systems and methods for enhanced television interaction |
US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
US9997032B2 (en) * | 2013-04-09 | 2018-06-12 | Immersion Corporation | Offline haptic conversion system |
JP6276385B2 (ja) | 2013-04-26 | 2018-02-07 | イマージョン コーポレーションImmersion Corporation | フレキシブルディスプレイのための、受動的剛性及び能動的変形の触覚出力装置 |
US9939900B2 (en) * | 2013-04-26 | 2018-04-10 | Immersion Corporation | System and method for a haptically-enabled deformable surface |
US9443401B2 (en) * | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US9898085B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Haptic conversion system using segmenting and combining |
US9711014B2 (en) * | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9652945B2 (en) | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US20150081066A1 (en) * | 2013-09-17 | 2015-03-19 | Sony Corporation | Presenting audio based on biometrics parameters |
US9639158B2 (en) | 2013-11-26 | 2017-05-02 | Immersion Corporation | Systems and methods for generating friction and vibrotactile effects |
CN104683781B (zh) * | 2013-11-26 | 2016-08-17 | 深圳市快播科技有限公司 | 视频播放处理方法及装置 |
US20150179188A1 (en) * | 2013-12-20 | 2015-06-25 | Speech Morphing, Inc. | Method and apparatus for hearing impaired assistive device |
US9652946B2 (en) * | 2014-05-02 | 2017-05-16 | Novasentis, Inc. | Hands-free, wearable vibration devices and method |
US9690381B2 (en) | 2014-08-21 | 2017-06-27 | Immersion Corporation | Systems and methods for shape input and output for a haptically-enabled deformable surface |
US20160125709A1 (en) * | 2014-10-31 | 2016-05-05 | Novasentis, Inc. | Haptics wristband |
US9535550B2 (en) | 2014-11-25 | 2017-01-03 | Immersion Corporation | Systems and methods for deformation-based haptic effects |
US9466188B2 (en) | 2014-12-24 | 2016-10-11 | Immersion Corporation | Systems and methods for haptically-enabled alarms |
US10269392B2 (en) | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
US10216277B2 (en) * | 2015-02-25 | 2019-02-26 | Immersion Corporation | Modifying haptic effects for slow motion |
KR20170120145A (ko) * | 2015-02-25 | 2017-10-30 | 임머숀 코퍼레이션 | 상황 감응식 햅틱 통지 프레임워크들을 제공하기 위한 시스템들 및 방법들 |
KR20160105321A (ko) | 2015-02-27 | 2016-09-06 | 임머숀 코퍼레이션 | 사용자의 무드에 기초하는 액션 생성 |
US9407989B1 (en) | 2015-06-30 | 2016-08-02 | Arthur Woodrow | Closed audio circuit |
KR20180021900A (ko) | 2015-07-14 | 2018-03-05 | 드라이빙 매니지먼트 시스템즈, 인코퍼레이티드 | Rf 무선 및 초음파 신호들을 사용하여 전화의 위치 검출 |
US20170193767A1 (en) * | 2015-12-30 | 2017-07-06 | Parihug | Haptic communication device and system for transmitting haptic interaction |
US10438609B2 (en) * | 2016-01-14 | 2019-10-08 | George Brandon Foshee | System and device for audio translation to tactile response |
KR101862337B1 (ko) * | 2016-03-24 | 2018-05-31 | 주식회사 닷 | 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
JP6401758B2 (ja) * | 2016-08-25 | 2018-10-10 | 株式会社ファセテラピー | 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器 |
US10198076B2 (en) * | 2016-09-06 | 2019-02-05 | Neosensory, Inc. | Method and system for providing adjunct sensory information to a user |
US10154360B2 (en) * | 2017-05-08 | 2018-12-11 | Microsoft Technology Licensing, Llc | Method and system of improving detection of environmental sounds in an immersive environment |
US10732714B2 (en) | 2017-05-08 | 2020-08-04 | Cirrus Logic, Inc. | Integrated haptic system |
US11259121B2 (en) | 2017-07-21 | 2022-02-22 | Cirrus Logic, Inc. | Surface speaker |
US9997086B1 (en) * | 2017-11-29 | 2018-06-12 | Richard P. Braden | Handheld communication device and method(s) of use |
US10455339B2 (en) | 2018-01-19 | 2019-10-22 | Cirrus Logic, Inc. | Always-on detection systems |
US10620704B2 (en) | 2018-01-19 | 2020-04-14 | Cirrus Logic, Inc. | Haptic output systems |
US11139767B2 (en) | 2018-03-22 | 2021-10-05 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10795443B2 (en) | 2018-03-23 | 2020-10-06 | Cirrus Logic, Inc. | Methods and apparatus for driving a transducer |
US10667051B2 (en) | 2018-03-26 | 2020-05-26 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10820100B2 (en) | 2018-03-26 | 2020-10-27 | Cirrus Logic, Inc. | Methods and apparatus for limiting the excursion of a transducer |
US10832537B2 (en) * | 2018-04-04 | 2020-11-10 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US11069206B2 (en) | 2018-05-04 | 2021-07-20 | Cirrus Logic, Inc. | Methods and apparatus for outputting a haptic signal to a haptic transducer |
US10360775B1 (en) * | 2018-06-11 | 2019-07-23 | Immersion Corporation | Systems and methods for designing haptics using speech commands |
JP7028976B2 (ja) * | 2018-07-10 | 2022-03-02 | 株式会社ソニー・インタラクティブエンタテインメント | コントローラ装置、及びその制御方法 |
US11269415B2 (en) | 2018-08-14 | 2022-03-08 | Cirrus Logic, Inc. | Haptic output systems |
GB201817495D0 (en) | 2018-10-26 | 2018-12-12 | Cirrus Logic Int Semiconductor Ltd | A force sensing system and method |
CN110010151A (zh) * | 2018-12-31 | 2019-07-12 | 瑞声科技(新加坡)有限公司 | 一种音频信号处理方法及设备、存储介质 |
US11509292B2 (en) | 2019-03-29 | 2022-11-22 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter |
US11644370B2 (en) | 2019-03-29 | 2023-05-09 | Cirrus Logic, Inc. | Force sensing with an electromagnetic load |
US10828672B2 (en) | 2019-03-29 | 2020-11-10 | Cirrus Logic, Inc. | Driver circuitry |
US10955955B2 (en) | 2019-03-29 | 2021-03-23 | Cirrus Logic, Inc. | Controller for use in a device comprising force sensors |
US10726683B1 (en) | 2019-03-29 | 2020-07-28 | Cirrus Logic, Inc. | Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus |
US10992297B2 (en) | 2019-03-29 | 2021-04-27 | Cirrus Logic, Inc. | Device comprising force sensors |
US20200313529A1 (en) | 2019-03-29 | 2020-10-01 | Cirrus Logic International Semiconductor Ltd. | Methods and systems for estimating transducer parameters |
US12035445B2 (en) | 2019-03-29 | 2024-07-09 | Cirrus Logic Inc. | Resonant tracking of an electromagnetic load |
US11150733B2 (en) | 2019-06-07 | 2021-10-19 | Cirrus Logic, Inc. | Methods and apparatuses for providing a haptic output signal to a haptic actuator |
US10976825B2 (en) | 2019-06-07 | 2021-04-13 | Cirrus Logic, Inc. | Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system |
GB2604215B (en) | 2019-06-21 | 2024-01-31 | Cirrus Logic Int Semiconductor Ltd | A method and apparatus for configuring a plurality of virtual buttons on a device |
US11408787B2 (en) | 2019-10-15 | 2022-08-09 | Cirrus Logic, Inc. | Control methods for a force sensor system |
US11380175B2 (en) | 2019-10-24 | 2022-07-05 | Cirrus Logic, Inc. | Reproducibility of haptic waveform |
US11545951B2 (en) | 2019-12-06 | 2023-01-03 | Cirrus Logic, Inc. | Methods and systems for detecting and managing amplifier instability |
US11662821B2 (en) | 2020-04-16 | 2023-05-30 | Cirrus Logic, Inc. | In-situ monitoring, calibration, and testing of a haptic actuator |
US11933822B2 (en) | 2021-06-16 | 2024-03-19 | Cirrus Logic Inc. | Methods and systems for in-system estimation of actuator parameters |
US11908310B2 (en) | 2021-06-22 | 2024-02-20 | Cirrus Logic Inc. | Methods and systems for detecting and managing unexpected spectral content in an amplifier system |
US11765499B2 (en) | 2021-06-22 | 2023-09-19 | Cirrus Logic Inc. | Methods and systems for managing mixed mode electromechanical actuator drive |
JPWO2023276130A1 (ja) * | 2021-07-01 | 2023-01-05 | ||
WO2023063161A1 (ja) * | 2021-10-12 | 2023-04-20 | ソニーグループ株式会社 | 情報処理システム、制御方法及び制御プログラム |
US11552649B1 (en) | 2021-12-03 | 2023-01-10 | Cirrus Logic, Inc. | Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths |
US11809630B1 (en) | 2022-04-21 | 2023-11-07 | Meta Platforms Technologies, Llc | Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof |
EP4276825A1 (en) * | 2022-05-12 | 2023-11-15 | BIC Violex Single Member S.A. | Writing instrument |
CN115826770A (zh) * | 2022-10-26 | 2023-03-21 | 瑞声开泰声学科技(上海)有限公司 | 触觉反馈方法和装置 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU1328597A (en) * | 1995-11-30 | 1997-06-19 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
JPH09206291A (ja) * | 1996-02-02 | 1997-08-12 | Japan Small Corp | 人の感情・状態を検出する装置 |
GB2311888B (en) * | 1996-04-01 | 2000-10-25 | John Christian Doughty Nissen | Tactile system for computer dynamic display and communication |
JPH10111786A (ja) * | 1996-10-03 | 1998-04-28 | Sharp Corp | リズム制御対話装置 |
US7107539B2 (en) * | 1998-12-18 | 2006-09-12 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
JP2001344352A (ja) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | 生活支援装置および生活支援方法および広告情報提供方法 |
US7159008B1 (en) * | 2000-06-30 | 2007-01-02 | Immersion Corporation | Chat interface with haptic feedback functionality |
JP3824848B2 (ja) * | 2000-07-24 | 2006-09-20 | シャープ株式会社 | 通信装置および通信方法 |
JP2002314963A (ja) * | 2001-04-18 | 2002-10-25 | Nippon Telegr & Teleph Corp <Ntt> | コミュニケーションシステム |
JP3764663B2 (ja) * | 2001-09-14 | 2006-04-12 | 独立行政法人電子航法研究所 | 心身診断システム |
US7251605B2 (en) | 2002-08-19 | 2007-07-31 | The United States Of America As Represented By The Secretary Of The Navy | Speech to touch translator assembly and method |
US7155389B2 (en) | 2002-11-12 | 2006-12-26 | The United States Of America As Represented By The Secretary Of The Navy | Discriminating speech to touch translator assembly and method |
JP2004237022A (ja) * | 2002-12-11 | 2004-08-26 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP4232453B2 (ja) * | 2002-12-18 | 2009-03-04 | 株式会社デンソー | 通話音声のテキスト変換システム |
JP3955950B2 (ja) * | 2003-03-11 | 2007-08-08 | 独立行政法人産業技術総合研究所 | 音声情報伝達装置及び方法 |
EP1524586A1 (en) | 2003-10-17 | 2005-04-20 | Sony International (Europe) GmbH | Transmitting information to a user's body |
JP3953024B2 (ja) * | 2003-11-20 | 2007-08-01 | ソニー株式会社 | 感情算出装置及び感情算出方法、並びに携帯型通信装置 |
US7376565B2 (en) | 2003-12-15 | 2008-05-20 | International Business Machines Corporation | Method, system, and apparatus for monitoring security events using speech recognition |
US20070299671A1 (en) * | 2004-03-31 | 2007-12-27 | Ruchika Kapur | Method and apparatus for analysing sound- converting sound into information |
WO2006013527A2 (en) * | 2004-07-28 | 2006-02-09 | Philips Intellectual Property & Standards Gmbh | A method for contesting at least two interactive systems against each other and an interactive system competition arrangement |
JP2006047640A (ja) | 2004-08-04 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 情報伝達装置、電話機及び携帯電話機 |
US8867724B2 (en) * | 2004-08-31 | 2014-10-21 | At&T Intellectual Property I, L.P. | Distinctive ring tones prompted by call urgency and context |
JP2006109966A (ja) * | 2004-10-13 | 2006-04-27 | Ishisaki:Kk | 音ゲーム機および携帯電話機 |
KR20060130897A (ko) * | 2005-06-09 | 2006-12-20 | 엘지전자 주식회사 | 휴대 단말기의 무성음 통화 장치 및 방법 |
KR101384434B1 (ko) | 2006-04-06 | 2014-04-10 | 임머숀 코퍼레이션 | 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체 |
JP4941966B2 (ja) * | 2006-09-22 | 2012-05-30 | 国立大学法人 東京大学 | 感情の判別方法、感情判別装置、雰囲気情報通信端末 |
US8650030B2 (en) * | 2007-04-02 | 2014-02-11 | Google Inc. | Location based responses to telephone requests |
US8315652B2 (en) | 2007-05-18 | 2012-11-20 | Immersion Corporation | Haptically enabled messaging |
US9754078B2 (en) * | 2007-06-21 | 2017-09-05 | Immersion Corporation | Haptic health feedback monitoring |
WO2009042170A1 (en) * | 2007-09-26 | 2009-04-02 | Medtronic, Inc. | Therapy program selection |
US8508486B2 (en) * | 2007-10-01 | 2013-08-13 | Immersion Corporation | Directional haptic effects for a handheld device |
WO2009082765A1 (en) * | 2007-12-25 | 2009-07-02 | Personics Holdings Inc. | Method and system for message alert and delivery using an earpiece |
US8473081B2 (en) * | 2007-12-25 | 2013-06-25 | Personics Holdings, Inc. | Method and system for event reminder using an earpiece |
KR100952698B1 (ko) | 2008-03-10 | 2010-04-13 | 한국표준과학연구원 | 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템 |
JP4613974B2 (ja) * | 2008-03-28 | 2011-01-19 | ソニー株式会社 | 通信機器および通信システム |
US10254824B2 (en) | 2009-10-16 | 2019-04-09 | Immersion Corporation | Systems and methods for output of content based on sensing an environmental factor |
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
-
2009
- 2009-10-29 US US12/608,707 patent/US8902050B2/en not_active Expired - Fee Related
-
2010
- 2010-10-27 EP EP18161106.2A patent/EP3352055A1/en not_active Withdrawn
- 2010-10-27 CN CN201810934040.1A patent/CN109144255A/zh active Pending
- 2010-10-27 KR KR1020177012443A patent/KR101860281B1/ko active IP Right Grant
- 2010-10-27 EP EP10776006A patent/EP2494425A1/en not_active Ceased
- 2010-10-27 KR KR1020187003207A patent/KR101956796B1/ko active IP Right Grant
- 2010-10-27 KR KR1020197006524A patent/KR20190026970A/ko not_active Application Discontinuation
- 2010-10-27 KR KR1020127013605A patent/KR101735665B1/ko active IP Right Grant
- 2010-10-27 CN CN201080048828.4A patent/CN102597914B/zh not_active Expired - Fee Related
- 2010-10-27 WO PCT/US2010/054212 patent/WO2011059703A1/en active Application Filing
- 2010-10-27 JP JP2012536981A patent/JP5899116B2/ja not_active Expired - Fee Related
-
2014
- 2014-07-03 JP JP2014138037A patent/JP5951688B2/ja not_active Expired - Fee Related
- 2014-10-30 US US14/528,398 patent/US9275653B2/en not_active Expired - Fee Related
-
2015
- 2015-04-06 JP JP2015077388A patent/JP2015156229A/ja active Pending
-
2016
- 2016-12-26 JP JP2016251317A patent/JP6510484B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7149184B2 (ja) | 2015-09-23 | 2022-10-06 | カスケード ドライブズ アクチボラグ | 複合型プラネット・ギヤ装置およびドライブ・トレイン装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109144255A (zh) | 2019-01-04 |
JP2017085625A (ja) | 2017-05-18 |
US9275653B2 (en) | 2016-03-01 |
KR20170056023A (ko) | 2017-05-22 |
JP2015156229A (ja) | 2015-08-27 |
KR101956796B1 (ko) | 2019-03-12 |
KR20190026970A (ko) | 2019-03-13 |
KR101860281B1 (ko) | 2018-05-21 |
KR20180014880A (ko) | 2018-02-09 |
JP2013509652A (ja) | 2013-03-14 |
CN102597914A (zh) | 2012-07-18 |
WO2011059703A1 (en) | 2011-05-19 |
KR20120102655A (ko) | 2012-09-18 |
EP3352055A1 (en) | 2018-07-25 |
US8902050B2 (en) | 2014-12-02 |
JP2014211900A (ja) | 2014-11-13 |
KR101735665B1 (ko) | 2017-05-15 |
US20150084752A1 (en) | 2015-03-26 |
EP2494425A1 (en) | 2012-09-05 |
US20110102160A1 (en) | 2011-05-05 |
CN102597914B (zh) | 2018-09-14 |
JP5899116B2 (ja) | 2016-04-06 |
JP6510484B2 (ja) | 2019-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5951688B2 (ja) | 音声−テキスト変換の触覚増強のためのシステム及び方法 | |
US20220295194A1 (en) | Interactive system for hearing devices | |
Sawhney et al. | Nomadic radio: speech and audio interaction for contextual messaging in nomadic environments | |
US9318006B2 (en) | Systems and methods for haptic confirmation of commands | |
KR101726945B1 (ko) | 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감 | |
EP2385520A2 (en) | Method and device for generating text from spoken word | |
JP2017509917A (ja) | 空間音響特性に少なくとも部分的に基づく動作指令の決定 | |
KR20090085376A (ko) | 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치 | |
CA2539649C (en) | System and method for personalized text-to-voice synthesis | |
JP2023548157A (ja) | 通話およびオーディオメッセージからのその他の話者の音声フィルタリング | |
KR102063389B1 (ko) | 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법 | |
Yuksel et al. | Designing mobile phones using silent speech input and auditory feedback | |
Sawhney | Contextual awareness, messaging and communication in nomadic audio environments | |
Martinson et al. | Auditory perspective taking | |
TWI833678B (zh) | 真實多人應答情境下的生成式聊天機器人之系統及其方法 | |
US11935557B2 (en) | Techniques for detecting and processing domain-specific terminology | |
CN117171323A (zh) | 真实多人应答情境下的生成式聊天机器人的***及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5951688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |