KR20150028725A - 오디오 신호에서의 엔벨로프와 연관된 햅틱 효과를 생성하는 시스템 및 방법 - Google Patents

오디오 신호에서의 엔벨로프와 연관된 햅틱 효과를 생성하는 시스템 및 방법 Download PDF

Info

Publication number
KR20150028725A
KR20150028725A KR20140115944A KR20140115944A KR20150028725A KR 20150028725 A KR20150028725 A KR 20150028725A KR 20140115944 A KR20140115944 A KR 20140115944A KR 20140115944 A KR20140115944 A KR 20140115944A KR 20150028725 A KR20150028725 A KR 20150028725A
Authority
KR
South Korea
Prior art keywords
signal
haptic
envelope
determining
audio
Prior art date
Application number
KR20140115944A
Other languages
English (en)
Inventor
후안 마누엘 크루즈-에르난데스
자말 사분느
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20150028725A publication Critical patent/KR20150028725A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/26—Systems using multi-frequency codes
    • H04L27/2601—Multicarrier modulation systems
    • H04L27/2647—Arrangements specific to the receiver only
    • H04L27/2649—Demodulators
    • H04L27/265—Fourier transform demodulators, e.g. fast Fourier transform [FFT] or discrete Fourier transform [DFT] demodulators

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과를 생성하는 시스템들 및 방법들이 개시된다. 햅틱 효과를 출력하는 하나의 개시된 시스템은 오디오 신호를 수신하고; 오디오 신호와 연관된 엔벨로프를 결정하고; 엔벨로프에 부분적으로 기초하여 햅틱 효과를 결정하며; 그리고 햅틱 효과와 연관된 햅틱 신호를 출력하도록 구성된 프로세서를 포함한다.

Description

오디오 신호에서의 엔벨로프와 연관된 햅틱 효과를 생성하는 시스템 및 방법{SYSTEMS AND METHODS FOR GENERATING HAPTIC EFFECTS ASSOCIATED WITH AN ENVELOPE IN AUDIO SIGNALS}
관련 출원들에 대한 상호참조
본 출원은, 2013년 9월 6일자로 출원되고 명칭이 "Audio to Haptics"인 미국 가출원 제61/874,933호를 우선권 주장하고, 그 가출원의 전부가 본 명세서에 참조로 통합된다.
본 출원은, 2013년 11월 12일자로 출원되고 명칭이 "Systems and Methods for Generating Haptic Effects Associated with Transitions in Audio Signals"인 미국 특허출원 제14/078,438호(대리인 관리번호 IMM477 (51851-879623)호) 와 관련되고, 그 출원의 전부가 본 명세서에 참조로 통합된다.
본 출원은, 2013년 11월 12일자로 출원되고 명칭이 "Systems and Methods for Generating Haptic Effects Associated with Audio Signals"인 미국 특허출원 제14/078,445호(대리인 관리번호 IMM479 (51851-879622)호) 와 관련되고, 그 출원의 전부가 본 명세서에 참조로 통합된다.
본 발명은 일반적으로 햅틱 피드백에 관한 것으로서, 더 상세하게는, 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 시스템들 및 방법들에 관한 것이다.
터치-가능식 디바이스들은 점점 더 인기있게 되었다. 예를 들어, 모바일 및 다른 디바이스들은 터치-감지형 디스플레이들로 구성될 수도 있어서, 사용자가 터치-감지형 디스플레이의 부분들을 터치함으로써 입력을 제공할 수 있다. 다른 예로서, 디스플레이로부터 분리된 터치-가능식 표면은 트랙패드, 마우스 또는 다른 디바이스와 같은 입력을 위해 이용될 수도 있다. 더욱이, 일부 터치-가능식 디바이스들은 햅틱 효과들, 예를 들어, 터치-표면 상의 텍스처 또는 마찰을 시뮬레이션하도록 구성된 햅틱 효과들을 이용한다. 일부 디바이스들에 있어서, 이들 햅틱 효과들은 디바이스에 의해 출력된 오디오 또는 다른 효과들에 상관할 수도 있다. 하지만, 오디오 및 햅틱 효과들을 프로세싱 및 출력함에 있어서의 레이턴시로 인해, 이들 효과들은 덜 강렬할 수도 있다. 따라서, 오디오 효과들과 연관된 개선된 햅틱 효과들에 대한 필요성이 존재한다.
본 개시의 실시예들은 터치 영역 상에서 느껴지고 오디오 신호들과 연관된 햅틱 효과들을 특징화하는 디바이스들을 포함한다. 이들 햅틱 효과들은 텍스처에서의 변화들, 마찰 계수의 변동들, 및/또는 터치 표면과 접촉한 오브젝트의 이용을 통해 인지될 수 있는 그 터치 표면에서의 경계들, 장애물들 또는 다른 불연속들의 시뮬레이션을 포함할 수도 있지만 이에 한정되지 않는다.
일 실시예에 있어서, 본 개시의 시스템은 오디오 신호를 수신하고; 오디오 신호와 연관된 엔벨로프를 결정하고; 엔벨로프에 부분적으로 기초하여 햅틱 효과를 결정하며; 그리고 햅틱 효과와 연관된 햅틱 신호를 출력하도록 구성된 프로세서를 포함할 수도 있다.
이러한 예시적인 실시예는, 본 주제의 한계들을 한정하거나 정의하지 않지만 그 이해를 돕기 위해 일 예를 제공하도록 언급된다. 예시적인 실시예들은 상세한 설명에서 논의되며, 추가의 설명이 거기서 제공된다. 다양한 실시예들에 의해 제공된 이점들은 본 명세서를 검토함으로써 및/또는 청구물의 하나 이상의 실시예들을 실시함으로써 더 이해될 수도 있다.
완전하고 가능한 개시가 본 명세서의 나머지에서 더 상세히 기재된다. 본 명세서는 다음의 첨부 도면들을 참조한다.
도 1a는 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 시스템을 도시한다.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외부도를 도시한다.
도 1c는 도 1a에 도시된 시스템의 다른 실시예의 외부도를 도시한다.
도 2a는 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 실시예를 도시한다.
도 2b는 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 실시예를 도시한다.
도 3은 일 실시예에 따른, 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 실시예를 도시한다.
도 4는 일 실시예에 따른, 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 방법에 대한 플로우 차트를 도시한다.
도 5는 일 실시예에 따른, 오디오 신호의 엔벨로프를 결정하는 방법에 대한 플로우 차트를 도시한다.
도 6은 오디오 신호 및 시간 도메인에서의 동일 오디오 신호의 스펙트로그램의 그래프를 도시한다.
도 7은 일 실시예에 따른, 오디오 신호의 엔벨로프를 결정하는 방법에 대한 플로우 차트를 도시한다.
도 8은 도 7에 관하여 설명된 방법(700)에 따라 결정된 엔벨로프의 그래프를 도시한다.
도 9는 일 실시예에 따른, 결정된 엔벨로프 신호를 클리닝(cleaning)하는 방법에 대한 플로우 차트를 도시한다.
도 10은 클리닝된 엔벨로프 신호의 그래프를 도시한다.
이제, 다양한 및 대안적인 예시의 실시예들 그리고 첨부 도면들을 상세히 참조할 것이다. 각각의 예는 한정으로서가 아니라 설명으로서 제공된다. 변형예들 및 변경예들이 행해질 수도 있음이 당업자에게 명백할 것이다. 예를 들어, 일 실시예의 부분으로서 도시되거나 설명된 피처들은 다른 실시예에 대해 사용되어 더 추가의 실시예를 산출할 수도 있다. 따라서, 본 개시는, 첨부된 청구항들 및 그 균등물들의 범위 내에 있는 변형예들 및 변경예들을 포함함이 의도된다.
오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 디바이스의 예시적인 예
본 개시의 일 예시적인 실시예는 스마트폰, 태블릿, 또는 휴대용 뮤직 디바이스와 같은 컴퓨팅 시스템을 포함한다. 일부 실시예들에 있어서, 컴퓨팅 시스템은 웨어러블 디바이스를 포함할 수도 있거나, 가구 또는 의류에 내장될 수도 있거나, 내장된 액추에이터들을 갖는 임의의 다른 디바이스를 포함할 수도 있다. 컴퓨팅 시스템은 가속도계와 같은 하나 이상의 센서들뿐 아니라 이 예에서 디바이스의 스크린에 대응하는 디스플레이 영역에 대한 터치의 위치를 결정하는 센서들(예를 들어, 광학식, 저항식, 또는 용량식)을 포함할 수 있고/있거나 그 센서들과 통신할 수도 있다.
사용자가 디바이스와 상호작용함에 따라, 하나 이상의 햅틱 출력 디바이스들, 예를 들어, 액추에이터들이 햅틱 효과들을 제공하기 위해 사용된다. 예를 들어, 햅틱 효과는 디바이스의 표면 상의 텍스처의 존재를 시뮬레이션하기 위해 출력될 수도 있다. 그러한 일 실시예에 있어서, 사용자의 손가락이 표면을 가로질러 이동함에 따라, 진동, 전계, 또는 다른 효과가 디바이스의 표면 상의 텍스처의 느낌을 시뮬레이션하기 위해 출력될 수도 있다. 유사하게, 다른 실시예에 있어서, 사용자가 디바이스를 가로질러 손가락을 이동함에 따라, 스크린의 인지된 마찰 계수가 손가락의 포지션, 속도, 및/또는 가속도 또는 손가락이 디바이스와 접촉하고 있었던 시간의 길이에 기초하여 변경(예를 들어, 증가 또는 감소)될 수 있다. 다른 실시예들에 있어서, 모바일 디바이스는 진동, 팝(pop), 클릭, 또는 표면 변형과 같은 햅틱 효과들을 출력할 수도 있다. 일부 실시예들에 있어서, 햅틱 효과들은 특정 이벤트가 발생하는 특정 시간 주기 (예를 들어, 50ms) 동안 출력될 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 고정된 주기로 변할 수도 있으며, 예를 들어, 일 실시예에 있어서, 텍스처는 100 Hz 레이트로 변하는 출력, 예를 들어, 100 Hz 사인곡선일 수도 있다.
예시적인 실시예에 있어서, 햅틱 효과는 오디오 신호와 연관된 효과를 포함한다. 예를 들어, 일부 실시예들에 있어서, 햅틱 효과는 오디오 트랙과 연관된 햅틱 효과를 포함할 수도 있다. 일부 실시예들에 있어서, 사용자는, 햅틱 효과가 결정될 때에 (예를 들어, 헤드폰들, 스피커들, 또는 일부 다른 타입의 오디오 출력 디바이스를 사용하여) 오디오 트랙을 청취하고 있을 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 "햅틱 트랙"의 부분으로서 미리 결정될 수도 있다. 이러한 햅틱 트랙은 오디오 파일과 함께 배포될 수도 있어서, 오디오 트랙과 함께 플레이될 수도 있다. 일부 실시예들에 있어서, 햅틱 트랙은, 햅틱 효과들이 오디오 트랙에서의 이벤트들에 대응하도록 오디오 트랙에 동기화될 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 시청각("AV") 트랙, 예를 들어, 비디오 파일의 오디오 부분과 연관될 수도 있다.
본 개시의 일 예시적인 실시예는 햅틱 효과 생성을 위해 오디오 신호의 엔벨로프를 결정하는 시스템들 및 방법들을 포함한다. 그러한 실시예에 있어서, 엔벨로프는 오디오 신호의 시간 및 주파수 콘텐츠를 근접하게 따르는 곡선을 포함할 수도 있다. 그 후, 그러한 시스템은 이 엔벨로프를 다른 신호로 승산할 수도 있다. 오디오 신호의 엔벨로프를 결정하는 것은 오디오-햅틱 시스템으로 하여금 오디오 신호가 잡음에 근접하거나 그 크기가 매우 작은 영역의 위치를 찾을 수(locating) 있게 할 수도 있다. 그러한 예시적인 시스템은 오디오 신호에 기초하여 햅틱 효과들을 자동으로 생성할 수도 있지만, 엔벨로프 결정을 이용하여 신호에 있어 잡음에 근접한 영역들의 위치를 찾을 수도 있고, 그 후, 그 영역들 내 또는 그 근방에서 햅틱 효과들의 생성을 회피시킬 수도 있다.
추가로, 일부 실시예들에 있어서, 일단 시스템이 오디오 신호와 연관된 엔벨로프를 결정하면, 시스템은 햅틱 효과들을 결정하기 위해 그 신호를 다른 햅틱 효과 결정 알고리즘들(예를 들어, 주파수 시프팅)과 결합하여 사용할 수도 있다. 일부 실시예들에 있어서, 햅틱 효과들은 오디오 파일과 함께 협력된 또는 동기화된 형태로 출력될 수도 있다. 다른 실시예들에 있어서, 이들 햅틱 효과들은, 오디오 파일과는 별도로 저장될 수도 있는 햅틱 트랙에 저장될 수도 있다. 그 후, 햅틱 트랙은 오디오 파일과는 별도로 플레이될 수도 있다. 일부 실시형태들에 있어서, 햅틱 트랙은 보너스로서 또는 콘텐츠 생성자에 대한 수익의 부가적인 소스로서 오디오 파일과 함께 배포될 수도 있다.
하기에 더 상세히 논의될 바와 같이, 임의의 수의 피처들이 오디오 신호에서 발견될 수도 있다. 본 개시의 실시예들은 이들 피처들을 식별하고, 또한 이들 피처들과 연관되는 햅틱 효과들을 결정 및 출력하는 시스템들 및 방법들을 제공한다. 추가로, 일부 실시예들에 있어서, 본 명세서에서 논의된 시스템들 및 방법들은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다.
오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 시스템들
도 1a는 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 시스템(100)을 도시한다. 특히, 이 예에 있어서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이싱된 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형의 (및 비-일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는, 컴퓨팅 디바이스의 동작을 구성하는 프로그램 컴포넌트들을 수록한다. 이 예에 있어서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입력/출력(I/O) 인터페이스 컴포넌트들(112) 및 부가적인 저장부(114)를 더 포함한다.
네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상의 컴포넌트들을 나타낼 수 있다. 예들은 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 무선 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크(들)에 액세스하기 위한 트랜시버/안테나)과 같은 무선 인터페이스들을 포함하지만 이에 한정되지 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이들, 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들, 및/또는 데이터를 입력하거나 데이터를 출력하는데 사용되는 다른 하드웨어와 같은 디바이스들로의 접속을 용이하게 하는데 사용될 수도 있다. 예를 들어, 일부 실시예들에 있어서, I/O 컴포넌트들(112)은 프로세서(102)에 의해 제공된 오디오 신호들을 플레이하도록 구성된 스피커들을 포함할 수도 있다. 저장부(114)는 디바이스(101)에 포함된 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 저장부를 나타낸다. 일부 실시예들에 있어서, 저장부(114)는 I/O 컴포넌트들(112)을 통해 사용자에게 플레이되도록 구성된 오디오 파일들을 저장하도록 구성될 수도 있다.
시스템(100)은, 이 예에 있어서, 디바이스(101)에 통합되는 터치 표면(116)을 더 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성된 임의의 표면을 나타낸다. 하나 이상의 센서들(108)은, 오브젝트가 터치 표면을 접촉할 경우에 터치 영역 내의 터치를 검출하고 또한 프로세서(102)에 의한 사용을 위해 적절한 데이터를 제공하도록 구성된다. 임의의 적절한 수, 타입 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 저항식 및/또는 용량식 센서들이 터치 표면(116)에 내장되고, 터치의 위치 및 압력과 같은 다른 정보를 결정하는데 사용될 수도 있다. 다른 예로서, 터치 표면의 뷰를 갖는 광학식 센서들이 터치 포지션을 결정하는데 사용될 수도 있다. 일부 실시예들에 있어서, 센서(108) 및 터치 표면(116)은 터치 스크린 또는 터치 패드를 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 터치 표면(116) 및 센서(108)는, 디스플레이 신호를 수신하고 이미지를 사용자에게 출력하도록 구성된 디스플레이의 터치 스크린 탑재형 오버톱(overtop)을 포함할 수도 있다. 다른 실시예들에 있어서, 센서(108)는 LED 검출기를 포함할 수도 있다. 예를 들어, 일 실시예에 있어서, 터치 표면(116)은 디스플레이의 측면 상에 탑재된 LED 핑거 검출기를 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서는 단일 센서(108)와 통신하며, 다른 실시예들에 있어서, 프로세서는 복수의 센서들(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여, 신호들을 프로세서(102)로 송신하도록 구성된다. 일부 실시예들에 있어서, 센서(108)는 사용자 상호작용의 다중의 양태들을 검출하도록 구성될 수도 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 통합할 수도 있다.
디바이스(101)는 햅틱 출력 디바이스(118)를 더 포함한다. 도 1a에 도시된 예에 있어서, 햅틱 출력 디바이스(118)는 프로세서(102)와 통신하고, 터치 표면(116)에 커플링(coupling)된다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 터치 표면 상에 텍스처를 시뮬레이션하는 햅틱 효과를 출력하도록 구성된다. 부가적으로 또는 대안적으로, 햅틱 출력 디바이스(118)는 터치 표면을 제어된 방식으로 이동하는 진동촉감 햅틱 효과들을 제공할 수도 있다. 일부 햅틱 효과들은 디바이스의 하우징에 커플링된 액추에이터를 활용할 수도 있고, 일부 햅틱 효과들은 다중의 액추에이터들을 차례로 및/또는 일제히 사용할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 표면 텍스처는 표면을 상이한 주파수들로 진동함으로써 시뮬레이션될 수도 있다. 그러한 실시예에 있어서, 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전기활성 고분자, 솔레노이드, 편심 회전 질량 모터 (ERM), 선형 공진 액추에이터(LRA) 중 하나 이상을 포함할 수도 있다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 복수의 액추에이터들, 예를 들어, ERM 및 LRA를 포함할 수도 있다. 일부 실시예들에 있어서, 햅틱 디바이스(118)는 웨어러블 디바이스, 가구 또는 의류에 포함 또는 내장될 수도 있다.
단일의 햅틱 출력 디바이스(118)가 본 명세서에 도시되지만, 실시예들은 동일 또는 상이한 타입의 다중의 햅틱 출력 디바이스들을 이용하여, 햅틱 효과들을 출력, 예를 들어, 표면 텍스처들을 시뮬레이션하거나 터치 표면 상에서의 인지된 마찰 계수를 변경할 수도 있다. 예를 들어, 일 실시예에 있어서, 압전 액추에이터는, 예를 들어, 일부 실시예들에 있어서 20 - 25 kHz보다 큰 주파수들에서 이동하는 액추에이터를 이용함으로써, 터치 표면(116)의 일부 또는 그 모두를 초음파 주파수들에서 수직으로 및/또는 수평으로 변위하도록 이용될 수도 있다. 일부 실시예들에 있어서, 편심 회전 질량 모터들 및 선형 공진 액추에이터들과 같은 다중의 액추에이터들이 홀로 또는 일제히 사용되어, 상이한 텍스처들, 마찰 계수의 변동들, 또는 다른 햅틱 효과들을 제공할 수 있다.
또 다른 실시예들에 있어서, 햅틱 출력 디바이스(118)는 예를 들어 정전 표면 액추에이터의 사용에 의해 정전 마찰 또는 인력을 적용하여 터치 표면(116)의 표면 상의 텍스처를 시뮬레이션할 수도 있다. 유사하게, 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 정전 인력을 이용하여, 사용자가 터치 표면(116)의 표면 상에서 느끼는 마찰을 변경할 수도 있다. 예를 들어, 일 실시예에 있어서, 햅틱 출력 디바이스(118)는 정전 디스플레이 또는, 기계적 움직임 대신 전압들 및 전류들을 인가하여 햅틱 효과를 생성하는 임의의 다른 디바이스를 포함할 수도 있다. 그러한 실시예에 있어서, 정전 액추에이터는 전도층 및 절연층을 포함할 수도 있다. 그러한 실시예에 있어서, 전도층은 임의의 반도체 또는, 구리 알루미늄, 금, 또는 은과 같은 다른 전도성 재료일 수도 있다. 그리고 절연층은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 재료일 수도 있다. 더욱이, 프로세서(102)는 전기 신호를 전도층에 인가함으로써 정전 액추에이터를 동작시킬 수도 있다. 전기 신호는, 일부 실시예들에 있어서 전도층을, 터치 표면(116)과 접촉하거나 그 근방에 있는 오브젝트와 용량적으로 커플링시키는 AC 신호일 수도 있다. 일부 실시예들에 있어서, AC 신호는 고전압 증폭기에 의해 생성될 수도 있다. 다른 실시예들에 있어서, 용량성 커플링은 터치 표면(116)의 표면 상의 마찰 계수 또는 텍스처를 시뮬레이션할 수도 있다. 예를 들어, 일 실시예에 있어서, 터치 표면(116)의 표면은 평활할 수도 있지만, 용량성 커플링은 터치 표면(116)의 표면 근방의 오브젝트 사이에 인력을 생성할 수도 있다. 일부 실시예들에 있어서, 오브젝트와 전도층 간의 인력의 레벨들을 변경하는 것은 터치 표면(116)의 표면을 가로질러 이동하는 오브젝트 상의 시뮬레이션된 텍스처를 변경하거나, 또는 오브젝트가 터치 표면(116)의 표면을 가로질러 이동함에 따라 느껴지는 마찰 계수를 변경할 수 있다. 더욱이, 일부 실시예들에 있어서, 정전 액추에이터는 종래의 액추에이터들과 함께 사용되어, 터치 표면(116)의 표면 상의 시뮬레이션된 텍스처를 변경할 수도 있다. 예를 들어, 액추에이터들은 터치 표면(116)의 표면의 텍스처에서의 변화를 시뮬레이션하기 위해 진동할 수도 있지만, 동시에, 정전 액추에이터는 터치 표면(116)의 표면 상의 상이한 텍스처 또는 다른 효과들을 시뮬레이션할 수도 있다.
당업자는, 마찰 계수를 변경하는 것에 부가하여, 다른 기술들 또는 방법들이 예를 들어 표면 상의 텍스처를 시뮬레이션하는데 이용될 수 있음을 인식할 것이다. 일부 실시예들에 있어서, 텍스처는, 표면 재구성가능 햅틱 기판(예를 들어, 파이버들, 나노튜브들, 전기활성 폴리머들, 압전 엘리먼트들, 또는 형상기억 합금들을 포함하지만 이에 한정되지 않음) 또는 자기 유변 유체로부터의 접촉에 기초하여 그 텍스처를 변경하도록 구성된 플렉시블 표면층을 사용하여 시뮬레이션되거나 출력될 수도 있다. 다른 실시예에 있어서, 표면 텍스처는, 예를 들어, 변형 메커니즘, 에어 또는 유체 포켓들, 재료들의 국부적인 변형, 공진 기계 엘리먼트들, 압전 재료들, 마이크로 전자기계 시스템즈("MEMS") 엘리먼트들, 열적 유체 포켓들, MEMS 펌프들, 가변 다공성 멤브레인들, 또는 층류 변조로, 하나 이상의 표면 피처들을 상승 또는 하강함으로써 변경될 수도 있다.
일부 실시예들에 있어서, 정전 액추에이터는, 터치 표면(116)과 접촉하거나 그 근방에 있는 보디의 부분들을 자극함으로써 햅틱 효과를 생성하도록 사용될 수도 있다. 예를 들어, 일부 실시예들에 있어서, 정전 액추에이터는 사용자의 손가락의 피부의 신경 말단들 또는 정전 액추에이터에 응답할 수 있는 스타일러스의 컴포넌트들을 자극할 수도 있다. 피부의 신경 말단들은, 예를 들어, 자극될 수 있고, 진동 또는 일부 더 특정한 감각으로서 정전 액추에이터(예를 들어, 용량성 커플링)를 감지할 수도 있다. 예를 들어, 일 실시예에 있어서, 정전 액추에이터의 전도층은, 사용자의 손가락의 전도 부분들과 커플링하는 AC 전압 신호를 수신할 수도 있다. 사용자가 터치 표면(116)을 터치하고 그 손가락을 터치 표면 상에서 이동함에 따라, 사용자는 따끔거림, 오돌토돌함, 울퉁불퉁함, 거칠거칠함, 끈적끈적함의 텍스처, 또는 기타 다른 텍스처를 감지할 수도 있다.
추가로, 일부 실시예들에 있어서, 다중의 액추에이터들이 햅틱 효과들을 출력하는데 사용될 수도 있다. 이는, 햅틱 출력 디바이스들(118)이 출력할 수 있는 효과들의 범위를 증가시키도록 기능할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 진동 액추에이터들은 정전 액추에이터들과 협력하여 사용되어, 넓은 범위의 효과들을 생성할 수도 있다. 더 추가의 실시예들에 있어서, 터치 표면을 변형하도록 구성된 디바이스들과 같은 부가적인 타입들의 햅틱 출력 디바이스들이 진동 액추에이터들과 같은 다른 햅틱 출력 디바이스들과 협력하여 사용될 수도 있다.
메모리(104)로 돌아가면, 예시적인 프로그램 컴포넌트들(124, 126 및 128)은, 어떻게 디바이스가 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하도록 구성될 수 있는지를 예시하기 위해 도시된다. 이 예에 있어서, 검출 모듈(124)은 터치의 포지션을 결정하기 위해 센서(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부재를 추적하고, 터치가 존재한다면, 시간에 걸친 터치의 위치, 경로, 속도, 가속도, 압력, 및/또는 다른 특성 중 하나 이상을 추적하기 위해 센서(108)를 샘플링할 수도 있다.
햅틱 효과 결정 모듈(126)은 햅틱 효과를 선택하여 생성하기 위해 오디오 효과로부터의 데이터와 같은 오디오 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 특히, 모듈(126)은, 오디오 데이터에 기초하여 햅틱 효과의 타입을 결정하여 출력하는 코드를 포함한다.
햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하여 햅틱 출력 디바이스(118)로 송신하게 하는 프로그래밍을 나타내며, 이 햅틱 신호는 햅틱 출력 디바이스(118)로 하여금 선택된 햅틱 효과를 생성하게 한다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)로 전송하기 위해 저장된 파형들 또는 커맨드들에 액세스할 수도 있다. 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 효과를 수신하고 신호 프로세싱 알고리즘들을 활용하여, 햅틱 출력 디바이스(118)로 전송하기 위한 적절한 신호를 생성할 수도 있다. 일부 실시예들은 다중의 햅틱 출력 디바이스들을 일제히 활용하여 햅틱 효과를 출력할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 햅틱 신호를 햅틱 출력 디바이스(118)로 스트리밍 또는 송신할 수도 있다.
터치 표면은 컴퓨팅 시스템의 특정 구성에 의존하여 디스플레이를 오버레이(또는 그렇지 않으면, 디스플레이에 대응)할 수도 있거나 하지 않을 수도 있다. 도 1b에 있어서, 컴퓨팅 시스템의 외부도(100B)가 도시된다. 컴퓨팅 디바이스(101)는 그 디바이스의 터치 표면과 디스플레이를 결합한 터치 가능식 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외부, 또는 실제 디스플레이 컴포넌트들 위의 하나 이상의 재료층들에 대응할 수도 있다.
도 1c는, 터치 표면이 디스플레이를 오버레이하지 않는 터치-가능식 컴퓨팅 시스템(100C)의 다른 예를 도시한다. 이 예에 있어서, 컴퓨팅 디바이스(101)는, 디바이스(101)에 인터페이싱된 컴퓨팅 시스템(120)에 포함된 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 매핑될 수도 있는 터치 표면(116)을 포함한다. 예를 들어, 컴퓨팅 디바이스(101)는 마우스, 트랙패드, 또는 다른 디바이스를 포함할 수도 있지만, 컴퓨팅 시스템(120)은 데스크탑 또는 랩탑 컴퓨터, 셋탑 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스), 또는 다른 컴퓨팅 시스템을 포함할 수도 있다. 다른 예로서, 터치 표면(116) 및 디스플레이(122)는, 디스플레이(122)를 포함하는 랩탑 컴퓨터에서의 터치 가능식 트랙패드와 같이 동일 디바이스에 배치될 수도 있다. 디스플레이와 통합되든 아니든, 본 명세서에서의 예들에 있어서의 평면형 터치 표면들의 도시는 한정적인 것으로 의미되지 않는다. 다른 실시예들은, 표면 기반 햅틱 효과들을 제공하도록 더 구성되는 곡선형 또는 부정형(irregular) 터치 가능식 표면들을 포함한다.
도 2a 및 도 2b는 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성할 수도 있는 디바이스들의 일 예를 도시한다. 도 2a는, 터치 가능식 디스플레이(202)를 포함하는 컴퓨팅 디바이스(201)를 포함한 시스템(200)의 외부도를 도시한 다이어그램이다. 도 2b는 디바이스(201)의 단면도를 도시한다. 프로세서, 메모리, 센서들 등과 같은 컴포넌트들이 명료화를 위해 이 도면에 도시되지 않지만, 디바이스(201)는 도 1a의 디바이스(101)와 유사하게 구성될 수도 있다.
도 2b에서 볼 수 있는 바와 같이, 디바이스(201)는 복수의 햅틱 출력 디바이스들(218) 및 부가의 햅틱 출력 디바이스(222)를 특징으로 한다. 햅틱 출력 디바이스(218-1)는 수직력을 디스플레이(202)에 주도록 구성된 액추에이터를 포함할 수도 있지만, 햅틱 출력 디바이스(218-2)는 디스플레이(202)를 측방향으로 이동할 수도 있다. 이 예에 있어서, 햅틱 출력 디바이스들(218 및 222)은 디스플레이에 직접 커플링되지만, 햅틱 출력 디바이스들(218 및 222)이 디스플레이(202)의 상부 상의 재료의 층과 같은 다른 터치 표면에 커플링될 수 있음을 이해해야 한다. 더욱이, 햅틱 출력 디바이스들(218 및 222) 중 하나 이상은 상기 논의된 바와 같은 정전 액추에이터를 포함할 수도 있음을 이해해야 한다. 게다가, 햅틱 출력 디바이스(222)는, 디바이스(201)의 컴포넌트들을 포함하는 하우징에 커플링될 수도 있다. 도 2a 및 도 2b의 예들에 있어서, 디스플레이(202)의 영역은 터치 영역에 대응하지만, 그 원리들은 디스플레이로부터 완전히 분리된 터치 표면에 적용될 수 있다.
일 실시예에 있어서, 햅틱 출력 디바이스들(218) 각각은 압전 액추에이터를 포함하지만, 부가의 햅틱 출력 디바이스(222)는 편심 회전 질량 모터, 선형 공진 액추에이터, 또는 다른 압전 액추에이터를 포함한다. 햅틱 출력 디바이스(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉감 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉감 햅틱 효과는 표면 기반 햅틱 효과들과 함께 및/또는 다른 목적으로 활용될 수 있다. 예를 들어, 각각의 액추에이터는, 진동을 출력하거나 텍스처를 시뮬레이션하거나 또는 디스플레이(202)의 표면 상의 마찰 계수를 변경하기 위해 함께 사용될 수도 있다.
일부 실시예들에 있어서, 햅틱 출력 디바이스들(218-1 및 218-2) 중 어느 하나 또는 그 양자가 압전 액추에이터와는 다른 액추에이터를 포함할 수 있다. 액추에이터들 중 임의의 액추에이터는, 예를 들어, 압전 액추에이터, 전자기 액추에이터, 전기활성 폴리머, 형상기억 합금, 플렉시블 복합 압전 액추에이터(예를 들어, 플렉시블 재료를 포함한 액추에이터), 정전기, 및/또는 자기변형 액추에이터들을 포함할 수 있다. 부가적으로, 다중의 다른 햅틱 출력 디바이스들이 디바이스(201)의 하우징에 커플링될 수 있고/있거나 햅틱 출력 디바이스(222)가 다른 곳에 커플링될 수도 있지만, 햅틱 출력 디바이스(222)가 도시된다. 디바이스(201)는 또한, 상이한 위치들에서 터치 표면에 커플링된 다중의 햅틱 출력 디바이스들(218-1/218-2)을 포함할 수도 있다.
이제, 도 3으로 돌아가면, 도 3은 본 개시에 따른, 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 시스템의 일 실시예를 도시한다. 도 3에 도시된 시스템(300)은, 기차를 포함하는 비디오(304)를 도시한 디스플레이(302)를 갖는 컴퓨팅 디바이스(301)를 포함한다. 일부 실시예들에 있어서, 컴퓨팅 디바이스(301)는 핸드헬드 컴퓨팅 디바이스, 예를 들어, 모바일 폰, 태블릿, 뮤직 플레이어, 또는 랩탑 컴퓨터를 포함할 수도 있다. 다른 실시예에 있어서, 컴퓨팅 디바이스(301)는 다기능 제어기를 포함할 수도 있다. 예를 들어, 제어기는 키오스크, ATM, 또는 다른 컴퓨팅 디바이스에서 사용하기 위한 것이다. 추가로, 일 실시예에 있어서, 컴퓨팅 디바이스(301)는 차량에서 사용하기 위한 제어기를 포함할 수도 있다.
비디오(304)는 컴퓨팅 디바이스(301)에 커플링된 오디오 출력 디바이스들(예를 들어, 스피커들 또는 헤드폰들)(도 3에 도시 안됨)에 의해 플레이된 가청 효과들을 더 포함할 수도 있다. 본 개시의 실시예들은 오디오 신호에 기초하여 햅틱 효과들을 결정하는 방법들을 포함한다. 예를 들어, 일부 실시예들은 오디오 신호를 비디오 신호로부터 분리하고, 그 후, 하기에서 더 상세히 논의되는 다양한 동작들을 수행하여 오디오 트랙과 함께 출력하기 위한 햅틱 효과들을 결정할 수도 있다.
일부 실시예들에 있어서, 디스플레이(302)는 터치 가능식 디스플레이를 포함할 수도 있다. 추가로, 비디오를 디스플레이하는 것보다, 디스플레이(302)는 그래픽 사용자 인터페이스, 예를 들어, 키오스크, ATM, 스테레오 시스템, 차량 대시보드, 전화기, 컴퓨터, 뮤직 플레이어를 위한 그래픽 사용자 인터페이스, 또는 당업계에 공지된 기타 다른 그래픽 사용자 인터페이스를 사용자에게 제공할 수도 있다. 그러한 실시예에 있어서, 컴퓨팅 디바이스(301)는 그래픽 사용자 인터페이스와 연관된 오디오 신호들에 기초하여 햅틱 효과들을 결정할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 그래픽 사용자 인터페이스는, 사용자가 아이콘들, 버튼들, 또는 다른 인터페이스 엘리먼트들과 상호작용할 경우에 출력되는 오디오 효과들을 포함할 수도 있다. 일부 실시예들에 있어서, 컴퓨팅 디바이스(301)는 추가로, 이들 오디오 효과들 중 하나 이상의 오디오 효과와 연관된 햅틱 효과들을 결정할 수도 있다. 일부 실시예들에 있어서, 컴퓨팅 디바이스(301)는 오디오 신호 또는 임의의 다른 센서 도출형 신호, 예를 들어, 사용자 인터페이스들, 가속도계들, 자이로스코프들, 관성 측정 유닛들 등과 같은 센서들로부터의 신호들에서의 엔벨로프로부터 햅틱 효과들을 도출할 수도 있다.
일부 실시예들에 있어서, 비디오 신호는 포함되지 않을 수도 있다. 예를 들어, 일부 실시예들에 있어서, 햅틱 효과들은, 비디오와 연관되지 않은 오디오 트랙과 함께 플레이될 수도 있다. 그러한 실시예에 있어서, 본 명세서에 개시된 시스템들 및 방법들은 오디오 신호에 대해, 실시간으로, 그 신호가 플레이되고 있을 때에, 또는 그 신호가 플레이되고 있기 이전의 시간에 동작할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 오디오 신호는, 추후에 플레이하기 위해 데이터 저장부에 저장되는 햅틱 트랙을 결정하기 위해 프로세싱될 수도 있다. 그러한 실시예에 있어서, 햅틱 트랙은, 햅틱 트랙을 플레이하는 컴퓨팅 디바이스에 의해 결정될 수도 있다. 다른 실시예들에 있어서, 햅틱 트랙은 오디오 트랙의 저자 또는 배포자에 의해 생성될 수도 있다. 그러한 실시예에 있어서, 저자 또는 배포자는 오디오 트랙과 함께 햅틱 트랙을 배포할 수도 있다.
오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 방법들
도 4는 오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 예시적인 방법(400)을 도시한 플로우차트이다. 일부 실시예들에 있어서, 플로우차트(400)에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버에서의 프로세서에 의해 실행된 프로그램 코드에서 구현될 수도 있다. 일부 실시예들에 있어서, 이들 단계들은 프로세서들의 그룹에 의해 구현될 수도 있다. 일부 실시예들에 있어서, 도 4에 도시된 단계들은 상이한 순서로 수행될 수도 있다. 대안적으로, 일부 실시예들에 있어서, 도 4에 도시된 단계들 중 하나 이상은 스킵될 수도 있거나 도 4에 도시되지 않은 부가적인 단계들이 수행될 수도 있다. 도 4에서의 단계들은 오디오 신호에 관하여 설명된다. 하지만, 일부 실시예들에 있어서, 그 방법은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다. 하기의 단계들은 도 1a에 도시된 시스템(100)에 관하여 상기 설명된 컴포넌트들을 참조하여 설명된다.
방법(400)은 프로세서(102)가 오디오 신호를 수신하는 경우(402)에 시작한다. 일부 실시예들에 있어서, 오디오 신호는 컴퓨팅 디바이스(101) 상에서 플레이하는 비디오와 연관된 신호를 포함할 수도 있다. 다른 실시예들에 있어서, 오디오 신호는 컴퓨팅 디바이스(101) 상에서 현재 플레이하고 있는 오디오 파일과 연관된 신호를 포함할 수도 있다. 또 다른 실시예들에 있어서, 오디오 신호는, 컴퓨팅 디바이스(101) 상에 국부적으로 저장되거나 원격 서버 상에 저장된 오디오 파일과 연관될 수도 있다. 예를 들어, 일부 실시예들에 있어서, 오디오 신호는, 서버 상에 저장되고 요청 시 사용자에게 다운로드되는 오디오 파일을 포함할 수도 있다.
방법(400)은 프로세서(102)가 오디오 신호와 연관된 엔벨로프를 결정하는 경우(404)에 계속된다. 그러한 실시예에 있어서, 엔벨로프는 오디오 신호의 시간 및 주파수 콘텐츠를 근접하게 따르는 곡선을 포함할 수도 있다. 그 후, 그러한 시스템은 이 엔벨로프를 다른 신호로 승산할 수도 있다. 오디오 신호의 엔벨로프를 결정하는 것은 오디오-햅틱 시스템으로 하여금 오디오 신호가 잡음에 근접하거나 그 크기가 매우 작은 영역들의 위치를 찾을 수 있게 할 수도 있다. 오디오 신호의 엔벨로프를 결정하기 위한 실시예들이 하기에서 더 상세히 설명된다.
방법(400)은 프로세서(102)가 엔벨로프에 기초하여 햅틱 효과를 결정하는 경우(406)에 계속된다. 일부 실시예들에 있어서, 햅틱 효과는 하나 이상의 햅틱 출력 디바이스(들)(118)에 의해 출력된 진동을 포함할 수도 있다. 일부 실시예들에 있어서, 이 진동은 컴퓨팅 디바이스(101) 상에서 플레이하는 오디오 트랙의 사용자의 인식을 향상시키는데 사용될 수도 있다. 유사하게, 일부 실시예들에 있어서, 제1 햅틱 효과는 터치 표면(116) 상의 마찰 계수의 변동을 포함할 수도 있다. 다른 실시예들에 있어서, 햅틱 효과는 터치 표면(116)의 표면 상의 시뮬레이션된 텍스처(예를 들어, 물, 풀, 얼음, 금속, 모래, 자갈, 벽돌, 모피, 가죽, 피부, 직물, 고무, 잎사귀, 또는 임의의 다른 가용 텍스처 중 하나 이상의 텍스처)를 포함할 수도 있다.
일부 실시예들에 있어서, 프로세서(102)는 햅틱 효과를 결정하기 위한 햅틱 효과 결정 모듈(126)에 포함된 프로그래밍에 의존할 수도 있다. 예를 들어, 프로세서(102)는, 메모리(104)에 저장되고 특정 햅틱 효과들과 연관된 구동 신호들에 액세스할 수도 있다. 다른 예로서, 신호는 저장된 알고리즘에 액세스하고 또한 효과와 연관된 파라미터들을 입력함으로써 생성될 수도 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터들에 기초하여 구동 신호를 생성함에 있어서 사용하기 위한 데이터를 출력할 수도 있다. 다른 예로서, 햅틱 신호는 액추에이터에 의해 디코딩될, 액추에이터로 전송된 데이터를 포함할 수도 있다. 예를 들어, 액추에이터는 그 자체가, 진폭 및 주파수와 같은 파라미터들을 명시하는 커맨드들에 응답할 수도 있다.
추가로, 일부 실시예들에 있어서, 사용자들은 컴퓨팅 디바이스(101)를 커스터마이징하기 위해 진동, 텍스처, 마찰 계수의 변동 또는 오디오 파일과 연관된 다른 햅틱 효과를 선택할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 사용자는 터치 인터페이스의 느낌의 개인화를 허용하기 위해 표면 텍스처와 같은 햅틱 효과를 선택할 수도 있다. 다른 실시예들에 있어서, 이러한 햅틱 효과는, 예를 들어, 착신 호, 이메일, 텍스트 메시지, 알람, 또는 다른 이벤트를 위한 링톤과 연관될 수도 있다. 일부 실시예들에 있어서, 사용자는 특정 효과들과 연관된 세팅들을 변경하거나 소프트웨어를 다운로드함으로써 개인화된 햅틱 효과들 또는 표면 텍스처들을 선택할 수도 있다. 다른 실시예들에 있어서, 사용자는 디바이스와의 검출된 상호작용을 통해 효과들을 지정할 수도 있다. 일부 실시예들에 있어서, 햅틱 효과들의 이러한 개인화는 사용자와 그 디바이스 간의 연결 및 사용자의 소유감을 증가시킬 수도 있다.
또 다른 실시예들에 있어서, 디바이스 제조자들, 아티스트들, 비디오 그래퍼들, 또는 소프트웨어 개발자들은 그들의 디바이스들, 사용자 인터페이스들, 또는 예술 작품들(예를 들어, 노래들, 비디오들, 또는 오디오 트랙들)을 브랜딩(branding)하기 위해 표면 텍스처들과 같은 독특한 햅틱 효과들을 선택할 수도 있다. 일부 실시예들에 있어서, 이들 햅틱 효과들은 브랜딩된 디바이스들에 고유하고, 브랜드 인식을 증가시킬 수도 있는 다른 독특한 엘리먼트들과 유사할 수도 있다. 예를 들어, 다수의 모바일 디바이스들 및 태블릿들은 커스텀 또는 브랜딩된 홈 스크린 환경을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 상이한 제조자들에 의해 생산된 디바이스들은 동일한 오퍼레이팅 시스템을 포함할 수도 있지만, 제조자들은 이러한 홈 스크린 환경을 변경함으로써 그 디바이스들을 구별할 수도 있다. 유사하게, 특정 회사에 의해 생산된 비디오들 또는 오디오 트랙들은 특정 타입의 햅틱 효과를 포함할 수도 있다. 따라서, 일부 실시예들에 있어서, 일부 디바이스 제조자들, 생산 회사들, 또는 소프트웨어 개발자들은 고유하고 차별된 사용자 경험을 생성하기 위해 텍스처들 또는 마찰 기반 효과들과 같은 햅틱 효과들을 사용할 수도 있다.
일부 실시예들에 있어서, 엔벨로프는 햅틱 효과들을 출력하는지 여부를 결정하는데 사용될 수도 있다. 예를 들어, 일부 실시예들에 있어서, 햅틱 효과들은 오디오 트랙으로부터 자동으로 생성될 수도 있다. 하지만, 햅틱 효과들을 오직 특정한 가청 효과들과 연관시키는 것이 바람직할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 대화, 배경 잡음, 테마 뮤직, 또는 다른 타입의 가청 효과가 햅틱 효과와 연관되지 않을 수도 있다. 엔벨로프 결정은 이들 타입들의 가청 효과들을 결정하고, 그 후, 어떠한 햅틱 효과들도 그 가청 효과들과 연관되지 않음을 보장하도록 사용될 수도 있다. 예를 들어, 배경 잡음은 엔벨로프에 있어서 임계 레벨 미만일 수도 있다. 따라서, 자동 햅틱 변환 유닛은 이러한 배경 잡음과 연관된 햅틱 효과를 출력하지 않도록 결정할 수도 있다. 유사하게, 자동 햅틱 변환 유닛은 특정 소스(예를 들어, 악기, 스피커, 효과 유닛 등)에 의해 생성된 스피치, 특수 효과들, 또는 가청 효과들과 연관된 햅틱 효과를 출력하지 않도록 결정할 수도 있다.
일부 실시예들에 있어서, 프로세서(102)는 엔벨로프를 공지의 주파수로 승산함으로써 햅틱 효과를 결정할 수도 있다. 일부 실시예들에 있어서, 이는 액추에이터의 타입에 의존할 수도 있다. 예를 들어, LRA의 경우, 엔벨로프는 햅틱 신호를 결정하기 위해 예를 들어 125, 150, 175, 또는 200Hz의 주파수로 승산될 수 있다. 추가로, 일부 실시예들에 있어서, 엔벨로프 자체가 햅틱 신호로서 출력될 수도 있다. 예를 들어, ERM의 경우, 엔벨로프는 그대로 햅틱 효과로 전송될 수 있다. 추가로, 상기 설명된 바와 같이, 엔벨로프 신호는 다른 타입들의 햅틱 효과들을 위해 사용될 수 있으며; 예를 들어, 엔벨로프 신호는 터치 표면 상에 텍스처를 출력하기 위해 사용자의 손가락의 속도 또는 가속도에 기초하여 변형될 수 있다. 유사하게, 엔벨로프는, 터치 표면 상의 인지된 마찰 계수를 변동시키도록 구성된 액추에이터에 의해 사용될 수 있다.
방법(400)은 프로세서(102)가 햅틱 효과와 연관된 햅틱 신호를 출력하는 경우(408)에 계속된다. 프로세서(102)는 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스(118)로 햅틱 신호를 출력한다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 햅틱 효과를 터치 표면(116) 상으로 출력할 수도 있다. 일부 실시예들에 있어서, 햅틱 출력 디바이스(118)는 터치 표면(116)에 커플링된 압전 액추에이터들 또는 전기 모터들과 같은 종래의 액추에이터들, 또는 컴퓨팅 디바이스(101) 내의 다른 컴포넌트들을 포함할 수도 있다. 다른 실시예들에 있어서, 햅틱 출력 디바이스(118)는, 정전계들을 이용하여 텍스처들을 시뮬레이션하거나 마찰 계수들을 변경하도록 구성된 정전 액추에이터들을 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 복수의 햅틱 출력 디바이스들을 제어하여 다수의 햅틱 효과들을 시뮬레이션할 수도 있다. 예를 들어, 일 실시예에 있어서, 프로세서(102)는 정전 액추에이터를 제어하여 터치 표면(116)의 표면 상의 텍스처를 시뮬레이션할 수도 있고, 프로세서(102)는 또한 다른 햅틱 출력 디바이스들(118)을 제어하여 다른 피처들을 시뮬레이션할 수도 있다. 예를 들어, 햅틱 출력 디바이스들(118)은, 터치 표면(116) 상의 배리어들, 디텐트들, 움직임, 또는 충돌들을 시뮬레이션하도록 구성된 진동들과 같은 다른 효과들을 출력하도록 구성된 액추에이터들을 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는 효과들을 조화시켜, 사용자가 터치 표면(116)과 상호작용할 경우에 복수의 효과들을 함께 느낄 수 있게 한다.
그 후, 프로세서(102)는 오디오 신호를 출력한다(410). 일부 실시예들에 있어서, 프로세서(102)는 오디오 신호를, 스피커, 헤드폰, 또는 이어 버드(ear bud)와 같은 오디오 출력 디바이스로 출력할 수도 있다. 일부 실시예들에 있어서, 오디오 출력 디바이스는 컴퓨팅 디바이스(101)에 통합될 수도 있다. 다른 실시예들에 있어서, 오디오 출력 디바이스는 컴퓨팅 디바이스(101)에 커플링될 수도 있다. 추가로, 일부 실시예에 있어서, 오디오 신호는 햅틱 효과들에 동기화될 수도 있으며, 예를 들어, 일부 실시예들에 있어서, 햅틱 효과는 대응하는 오디오 효과와 실질적으로 동시에 출력될 수도 있다.
오디오 신호들에서의 엔벨로프들을 식별하는 예시적인 방법들
도 5는 오디오 신호에서의 엔벨로프를 식별하는 예시적인 방법(500)을 도시한 플로우차트이며, 이는 오디오 신호와 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다. 일부 실시예들에 있어서, 도 5에 도시된 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버에서의 프로세서에 의해 실행된 프로그램 코드에서 구현될 수도 있다. 일부 실시예들에 있어서, 이들 단계들은 프로세서들의 그룹에 의해 구현될 수도 있다. 일부 실시예들에 있어서, 도 5에 도시된 단계들은 상이한 순서로 수행될 수도 있다. 대안적으로, 일부 실시예들에 있어서, 도 5에 도시된 단계들 중 하나 이상은 스킵될 수도 있거나 도 5에 도시되지 않은 부가적인 단계들이 수행될 수도 있다. 도 5에서의 단계들은 오디오 신호에 관하여 설명된다. 하지만, 일부 실시예들에 있어서, 그 방법은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다.
도 5에 도시된 바와 같이, 방법(500)은 단계 502에서, 프로세서(102)가 오디오 신호 내의 하나 이상의 세그먼트들 또는 시간 윈도우들의 고속 푸리에 변환(FFT)을 결정하는 경우에 시작한다. 일부 실시예들에 있어서, 세그먼트는 특정 시간 윈도우에 있어서 오디오 신호의 샘플들에 대응할 수도 있다. 추가로, 일부 실시예들에 있어서, 세그먼트들은 별개일 수 있거나, 대안적으로, 중첩하고 있을 수 있다. 작은 시간 윈도우들에서 취해진 오디오 신호의 고속 푸리에 변환(FFT)은 오디오 신호의 스펙트로그램의 기반이다. 일부 실시예들에 있어서, 스펙트로그램은 일 축에서의 시간, 다른 축에서의 주파수, 및 또 다른 축에서의 특정 주파수들의 진폭을 갖는 3D 플롯으로 표현될 수도 있다. 오디오 신호에 대한 스펙트로그램은 하기에서 더 상세히 설명되는 도 6의 플롯(600)으로서 도시된다.
다음으로, 단계 504에서, 프로세서(102)는 각각의 세그먼트 또는 각각의 시간 윈도우에 대한 FFT로부터의 크기를 결정한다. 일부 실시예들에 있어서, 프로세서(102)는 크기를 로그 스케일로 결정할 수도 있다. 추가로, 일부 실시예들에 있어서, 이는 모든 FFT 주파수 크기들의 합 또는 모든 이들 값들에 대한 평균일 수도 있다.
그 후, 단계 506에서, 프로세서(102)는 크기들을 정규화한다. 일부 실시예들에 있어서, 프로세서(102)는 그 값들을 -1과 1 사이로 정규화할 수도 있다. 정규화된 신호는 도 6에서 플롯(650)에서의 신호(654)로서 도시된다.
다음으로, 단계 508에서, 프로세서(102)는 포지티브 값들을 결정한다. 예를 들어, 프로세서는 제로 미만이 값들 모두를 제로로 설정하고, 그 후, 오직 비-제로 값들만을 분석할 수도 있다. 결과적인 포지티브 값들은 신호의 엔벨로프에 대응한다.
도 6은 오디오 신호의 스펙트로그램 및 동일 오디오 신호의 시간 도메인의 그래프를 도시한다. 도 6에 도시된 바와 같이, 오디오 신호의 스펙트로그램이 그래프(600)로서 도시된다. 스펙트로그램은 작은 시간 윈도우들에 있어서 오디오 신호의 세그먼트들의 단시간 푸리에 변환(STFT)의 플롯을 포함한다. 일부 실시예들에 있어서, 스펙트로그램은 일 축에서의 시간, 다른 축에서의 주파수, 및 제3 축에서의 특정 주파수들의 진폭을 갖는 3차원 플롯으로 표현된다. 플롯(600)은 오디오 신호의 2차원 스펙트로그램의 예를 포함한다. 플롯(600)에 있어서, 3차원은 플롯의 흑색에 의해 도시되며 더 흑색 컬러들은 더 큰 크기를 의미한다. 플롯에 도시된 바와 같이, (화살표들(602)에 의해 하일라이트된) 적은 크기들에서의 흑색 플롯에 의해 표현되는 더 낮은 주파수들에서의 더 높은 강도가 존재한다. 주파수가 증가함에 따라, 강도는 감소하고, 따라서, 컬러는 더 밝아지게 된다(화살표들(604)에 의해 하일라이트됨).
추가로, 도 6에 도시된 바와 같이, 플롯(650)은 흑색 라인(652)에 의해 표현된 오디오 신호의 시간 도메인을 포함한다. 정규화된 오디오 신호는 회색 라인(654)에 의해 도시된다. 엔벨로프 신호는 밝은 회색 라인(656)에 의해 도시된다. 일부 실시예들에 있어서, 이러한 엔벨로프는 오디오 신호에서의 이벤트들에 대응할 것이다. 일부 실시예들에 있어서, 프로세서(102)는 이들 이벤트들을 사용하여, 오디오 신호와 연관된 햅틱 효과들에 대한 위치들을 결정할 수도 있다.
이제, 도 7로 돌아가면, 도 7은 일 실시예에 따른, 오디오 신호의 엔벨로프를 결정하는 방법(700)에 대한 플로우 차트를 도시한다. 도 7은 오디오 신호에서의 엔벨로프를 식별하는 예시적인 방법(700)을 도시한 플로우차트이며, 이는 오디오 신호와 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다. 일부 실시예들에 있어서, 도 7에 도시된 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버에서의 프로세서에 의해 실행된 프로그램 코드에서 구현될 수도 있다. 일부 실시예들에 있어서, 이들 단계들은 프로세서들의 그룹에 의해 구현될 수도 있다. 일부 실시예들에 있어서, 도 7에 도시된 단계들은 상이한 순서로 수행될 수도 있다. 대안적으로, 일부 실시예들에 있어서, 도 7에 도시된 단계들 중 하나 이상은 스킵될 수도 있거나 도 7에 도시되지 않은 부가적인 단계들이 수행될 수도 있다. 도 7에서의 단계들은 오디오 신호에 관하여 설명된다. 하지만, 일부 실시예들에 있어서, 그 방법은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다.
도 7에 도시된 바와 같이, 방법(700)은 단계 702에서, 프로세서(102)가 오디오 신호의 하나 이상의 세그먼트들의 파워 스펙트럼 밀도를 결정하는 경우에 시작한다. 일부 실시예들에 있어서, 프로세서(102)는, 오디오 신호에서의 주파수들의 대부분을 커버하는 주파수들의 범위에 대해, 오디오 신호의 인접한 시간 윈도우들 각각에 대한 파워 스펙트럼 밀도를 결정할 수도 있다. 다른 실시예들에 있어서, 프로세서(102)는, 오디오 신호에서의 주파수들의 더 좁은 범위에 대한 파워 스펙트럼 밀도를 결정할 수도 있다.
단계 704에서, 프로세서(102)는, 각각의 시간 세그먼트에 대한 파워 스펙트럼 밀도 값들을 합산함으로써 합산 신호를 결정한다. 일부 실시예들에 있어서, 시간 윈도우는 가변 시간 길이들을 포함할 수도 있다. 일부 실시예들에 있어서, 이 시간 길이는 100ms 미만을 포함할 수도 있다. 일부 실시예들에 있어서, 프로세서(102)는, 각각의 시간 윈도우에 대해, 주파수들의 범위에 있어서 모든 주파수들에 대한 파워 스펙트럼 밀도를 합산할 수도 있다. 일부 실시예들에 있어서, 각각의 시간 윈도우에 대한 파워 스펙트럼 밀도 값들을 합산하는 것은 각각의 시간 윈도우가 단일 값으로서 표현되게 할 수 있다. 예를 들어, 일부 실시예들에 있어서, 각각의 윈도우는 단일 수치 값으로서 표현될 수도 있다. 추가로, 일부 실시예들에 있어서, 프로세서(102)는 이들 값들을 나타내는 신호(S), 예를 들어, 파워 스펙트럼 밀도 값들의 합을 나타내는 신호를 결정할 수도 있다.
그 후, 단계 706에서, 프로세서(102)는 합산 신호를 재샘플링한다. 일부 실시예들에 있어서, 프로세서(102)는 시간 윈도우의 소정의 길이에 대해 신호(S)를 샘플링할 수도 있다. 일부 실시예들에 있어서, 샘플링 주파수는 각각의 시간 윈도우의 길이에 부분적으로 기초할 수도 있다. 예를 들어, 일 실시예에 있어서, 시간 윈도우가 X ms이고 샘플링 주파수가 Fs이라면, 각각의 값은 (X*Fs/1000) 값들로 대체/샘플링될 것이다.
다음으로, 단계 708에서, 프로세서(102)는 샘플 신호를 보간 및 정규화한다. 프로세서(102)는 보간을 위한 다수의 공지된 종래 기술들, 예를 들어, 선형, 다항식, 스플라인, 최근접(closest) 중 하나를 사용할 수도 있다. 일부 실시예들에 있어서, 상이한 보간 방법들의 사용은 상이한 값들, 결과적으로, 상이한 햅틱 트랙들을 발생시킬 것이다. 일부 실시예들에 있어서, 프로세서(102)는 오디오 신호의 샘플링 주파수에 일치시키기 위하여 보간할 수도 있다. 추가로, 일부 실시예들에 있어서, 그 후, 프로세서(102)는 보간된 신호의 제곱근을 결정할 수도 있다. 일부 실시예들에 있어서, 결과적인 신호는 오리지널 오디오 신호의 엔벨로프를 나타낸다.
도 8은 도 7에 도시된 단계들(702-708)에 관하여 설명된 방법(700)에 따라 결정된 엔벨로프(800)의 플롯을 도시한다. 도 8에 도시된 바와 같이, 플롯(800)은 오디오 신호를 회색 라인(802)으로서 도시하고, 이 오디오 신호에 대한 결정된 엔벨로프는 흑색 라인(804)으로서 도시된다.
식별된 엔벨로프 신호를 클리닝하는 예시적인 방법
도 9는 엔벨로프 신호를 클리닝하는 예시적인 방법(900)을 도시한 플로우차트이며, 이는 오디오 신호와 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다. 일부 실시예들에 있어서, 도 9에 도시된 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버에서의 프로세서에 의해 실행된 프로그램 코드에서 구현될 수도 있다. 일부 실시예들에 있어서, 이들 단계들은 프로세서들의 그룹에 의해 구현될 수도 있다. 일부 실시예들에 있어서, 도 9에 도시된 단계들은 상이한 순서로 수행될 수도 있다. 대안적으로, 일부 실시예들에 있어서, 도 9에 도시된 단계들 중 하나 이상은 스킵될 수도 있거나 도 9에 도시되지 않은 부가적인 단계들이 수행될 수도 있다. 도 9에서의 단계들은 오디오 신호에 관하여 설명된다. 하지만, 일부 실시예들에 있어서, 그 방법은 다른 타입들의 신호들, 예를 들어, 압력, 가속도, 속도, 또는 온도 신호들과 연관된 햅틱 효과들을 결정하는데 사용될 수도 있다.
도 9에 도시된 바와 같이, 방법(900)은 단계 902에서, 프로세서(102)가 임계치를 사용하여 엔벨로프 신호를 필터링하는 경우에 시작한다. 이 임계치는 엔벨로프의 하한을 포함할 수도 있으며, 그 하한 미만에서, 신호들은 무시되거나 제로로 설정된다. 일부 실시예들에 있어서, 임계치는 0과 1 사이의 값을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 임계치는 0.1 또는 0.2의 값을 포함할 수도 있다. 일부 실시예들에 있어서, 임계치는 미리설정된 임계치를 포함할 수도 있다. 일부 실시예들에 있어서, 필터링 동안, 프로세서(102)는, 임계치 미만인 값들 모두 또는 실질적으로 모두를 무효로 한다. 예를 들어, 일 실시예에 있어서, 오디오 파일에 있어서의 배경 잡음은 엔벨로프에 있어서의 임계 레벨 미만일 수도 있다. 따라서, 자동 햅틱 변환 유닛은 이러한 배경 잡음과 연관된 햅틱 효과를 출력하지 않도록 결정할 수도 있다. 유사하게, 자동 햅틱 변환 유닛은 특정 소스(예를 들어, 악기, 스피커, 효과 유닛 등)에 의해 생성된 스피치, 특수 효과들, 또는 가청 효과들과 연관된 햅틱 효과를 출력하지 않도록 결정할 수도 있다.
다음으로, 단계 904에서, 프로세서(102)는 묵음의 레벨을 이용하여 엔벨로프 신호를 필터링한다. 일부 실시예들에 있어서, 묵음의 레벨은 오디오-햅틱 변환의 파라미터로서 사용자 또는 설계자에 의해 설정된 퍼센티지 값을 포함할 수도 있다. 예를 들어, 일부 실시예들에 있어서, 묵음의 레벨은 퍼센티지, 예를 들어, 30%, 40%, 또는 50%를 포함할 수도 있다. 일부 실시예들에 있어서, 이러한 퍼센티지는 햅틱 트랙에서 필터링-아웃(무효화)될 햅틱 신호 샘플들의 퍼센티지에 대응한다. 그러한 실시예에 있어서, 이러한 퍼센티지에 대응하는 임계치 미만의 샘플 값들은 제거될 수도 있다. 예를 들어, 일 실시예에 있어서, 엔벨로프 신호 샘플들의 샘플 값들이 오름차순으로 소팅될 수도 있다. 묵음 레벨(예를 들어, X %)에 대응하는 임계치는, 엔벨로프 신호에 있어서 샘플들의 총수*(X/100)로 랭킹된 값으로서 추정될 수 있다. 그 후, 이 값 미만의 샘플들은 필터링-아웃(무효화)될 수 있다. 예를 들어, 60%의 햅틱 묵음 값에 대해, 프로세서(102)는, 60% 햅틱 묵음 레벨에 대응하는 임계치 미만인 값들을 갖는 모든 샘플들을 무효화할 수도 있다.
도 10은 클리닝된 엔벨로프 신호의 플롯(1000)을 도시한다. 도 10에 도시된 바와 같이, 플롯(1000)은 회색 라인(1002)으로서 도시된 오디오 신호를 포함한다. 클리닝된 엔벨로프 신호는 흑색 라인(1004)으로서 도시된다. 도 10에 도시된 바와 같이, 클리닝된 엔벨로프 신호는 60% 햅틱 묵음 임계치를 포함하고, 따라서, 프로세서(102)는, 60% 임계치 미만인 모든 값들을 무효화할 수도 있다.
오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 시스템들 및 방법들의 이점들
오디오 신호들에서의 엔벨로프와 연관된 햅틱 효과들을 생성하는 시스템들 및 방법들의 다수의 이점들이 존재한다. 과거, 엔벨로프는 특정 시간 지속기간에 걸쳐 오디오 신호의 절대값을 취하고, 그 후, 그 신호를 저역 통과시키거나 최대값을 취함으로써 산출되었다. 하지만, 이러한 접근법은, 오디오 신호가 매우 작거나 잡음성인 장소에서 햅틱 효과들을 생성한다. 따라서, 햅틱 효과들은, 예를 들어, 낮은 품질이거나 오디오 파일에서의 적절한 이벤트들과 연관되지 않기 때문에, 바람직하지 않다.
일부 실시예들에 있어서, 엔벨로프는 오디오 이벤트의 크기, 타이밍 및 잡음 플로어에 관한 중요 정보를 포함한다. 이는, 엔벨로프를 정확하게 결정하는 것이 더 깨끗한 신호를 갖기 위한 자동 변환을 허용하기 때문에, 신호의 자동 햅틱 변환을 위해 사용될 수도 있다. 추가로, 적절하게 결정된 엔벨로프는 더 많은 콘트라스트를 포함할 수도 있으며, 이는 햅틱 효과들로 하여금 오디오 신호에서의 중요 이벤트들과 함께 출력될 수 있게 하고 덜 중요한 이벤트들, 예를 들어, 배경 잡음과 함께 출력하지 않게 한다. 본 명세서에서 설명된 시스템들 및 방법들은 적절한 콘트라스트 레벨을 결정할 수 있으며, 이는 강렬한 햅틱 효과들을 결정하는데 사용될 수 있다. 더욱이, 상기 설명된 시스템들 및 방법들은 설계자/사용자로 하여금 햅틱 묵음 임계치를 선택하게 하며, 이는 설계자/사용자로 하여금 어떻게 햅틱 효과들이 생성될 것인지를 제어할 수 있게 한다. 이는 다시 더 강렬한 햅틱 효과들을 유도할 수도 있다.
일반적인 고려사항들
상기 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들이 다양한 절차들 또는 컴포넌트들을 적절하게 생략, 치환, 또는 부가할 수도 있다. 예를 들어, 대안적인 구성들에 있어서, 방법들은 설명된 것과 상이한 순서로 수행될 수도 있고/있거나 다양한 단계들이 부가, 생략, 또는 결합될 수도 있다. 또한, 특정 구성들에 관하여 설명된 피처들은 다양한 다른 구성들에서 결합될 수도 있다. 구성들의 상이한 양태들 및 엘리먼트들이 유사한 방식으로 결합될 수도 있다. 또한, 기술은 진화하고, 따라서, 엘리먼트들의 다수는 예들이며 본 개시 또는 청구항의 범위를 한정하지 않는다.
특정 상세들이 (구현들을 포함하여) 예시적인 구성들의 철저한 이해를 제공하기 위해 설명에 있어서 주어진다. 하지만, 구성들은 이들 특정 상세들없이도 실시될 수도 있다. 예를 들어, 널리 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기술들은, 구성들을 불명료하게 하는 것을 회피하기 위해 불필요한 상세없이 도시되었다. 이 설명은 오직 예시적인 구성들을 제공할 뿐, 청구항의 범위, 적용가능성, 또는 구성들을 한정하지 않는다. 오히려, 구성들의 전술한 설명은, 설명된 기술들을 구현하기 위해 가능한 설명을 당업자에게 제공할 것이다. 본 개시의 사상 또는 범위로부터의 일탈함없이 엘리먼트들의 기능 및 배열에 있어서 다양한 변경들이 행해질 수도 있다.
또한, 구성들은, 플로우 다이어그램 또는 블록 다이어그램으로서 도시된 프로세스로서 설명될 수도 있다. 각각이 동작들을 순차적인 프로세스로서 기술할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서가 재배열될 수도 있다. 프로세스는, 도면에 포함되지 않은 부가적인 단계들을 가질 수도 있다. 더욱더, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어들, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비-일시적인 컴퓨터 판독가능 매체에 저장될 수도 있다. 프로세서들은 설명된 태스크들을 수행할 수도 있다.
수개의 예시적인 구성들을 설명했을 때, 다양한 변형들, 대안적인 구성들, 및 균등물들이 본 개시의 사상으로부터 일탈함없이 사용될 수도 있다. 예를 들어, 상기 엘리먼트들은 더 큰 시스템의 컴포넌트들일 수도 있으며, 여기서, 다른 룰들이 우선권을 인수하거나 그렇지 않으면 본 발명의 어플리케이션을 변형할 수도 있다. 또한, 다수의 단계들이, 상기 엘리먼트들이 고려되기 전, 그 동안, 또는 그 이후에 착수될 수도 있다. 이에 따라, 상기 설명은 청구항의 범위를 한정하지 않는다.
본 명세서에서의 "~에 적응된" 또는 "~하도록 구성된" 의 사용은, 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 구성된 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의미된다. 부가적으로, "~에 기초한"의 사용은, 하나 이상의 인용된 조건들 또는 값들에 "기초한" 프로세스, 단계, 계산, 또는 다른 액션이 실제로 그 인용된 것들을 넘는 부가적인 조건들 또는 값들에 기초할 수도 있다는 점에 있어서 개방적이고 포괄적인 것으로 의미된다. 본 명세서에 포함된 헤딩들, 리스트들, 및 넘버링은 단지 설명의 용이를 위한 것일 뿐, 한정적인 것으로 의미되지 않는다.
본 주제의 양태들에 따른 실시예들은 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 이들의 조합들에서 구현될 수 있다. 일 실시예에 있어서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수도 있다. 프로세서는, 프로세서에 커플링된 랜덤 액세스 메모리(RAM)와 같은 컴퓨터 판독가능 매체를 포함하거나 그 컴퓨터 판독가능 매체로의 액세스를 갖는다. 프로세서는, 상기 설명된 방법들을 수행하기 위한 센서 샘플링 루틴, 선택 루틴들, 및 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령들을 실행한다.
그러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그램가능 게이트 어레이들(FPGAs), 및 상태 머신들을 포함할 수도 있다. 그러한 프로세서들은 PLC들, 프로그램가능 인터럽트 제어기들(PICs), 프로그램가능 로직 디바이스들(PLDs), 프로그램가능 판독전용 메모리들(PROMs), 전자적으로 프로그램가능 판독전용 메모리들(EPROMs 또는 EEPROMs), 또는 다른 유사한 디바이스들과 같은 프로그램가능 전자 디바이스들을 더 포함할 수도 있다.
그러한 프로세서들은, 프로세서에 의해 실행될 경우, 프로세서로 하여금, 프로세서에 의해 실행되거나 보조되는 것으로서 본 명세서에서 설명된 단계들을 수행하게 할 수 있는 명령들을 저장할 수도 있는 매체, 예를 들어, 유형의 컴퓨터 판독가능 매체를 포함할 수도 있거나 그 매체와 통신할 수도 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서와 같은 프로세서에게 컴퓨터 판독가능 명령들을 제공하는 것이 가능한 모든 전자적, 광학적, 자기적, 또는 다른 저장 디바이스들을 포함할 수도 있지만 이에 한정되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만 이에 한정되지 않는다. 또한, 라우터, 사설 또는 공개 네트워크, 또는 다른 송신 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수도 있다. 설명된 프로세서 및 프로세싱은 하나 이상의 구조들 내에 있을 수도 있고, 하나 이상의 구조들을 통해 분산될 수도 있다. 프로세서는 본 명세서에서 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수도 있다.
본 주제가 그 특정 실시예들에 관하여 상세히 설명되었지만, 당업자는, 전술한 바의 이해를 얻을 시, 그러한 실시예들에 대한 변경예들, 변동예들, 및 균등물들을 용이하게 생성할 수도 있음이 인식될 것이다. 따라서, 본 개시는 한정이라기 보다는 예시의 목적으로 제시되었으며, 당업자에게 용이하게 자명할 바와 같이 본 주제에 대한 그러한 변형예들, 변동예들 및/또는 부가예들의 포함을 배제하지 않음을 이해해야 한다.

Claims (33)

  1. 햅틱 효과를 출력하는 시스템으로서,
    프로세서를 포함하고,
    상기 프로세서는,
    오디오 신호를 수신하고;
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하고;
    상기 엔벨로프 신호에 부분적으로 기초하여 햅틱 효과를 결정하며; 그리고
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하도록
    구성되는, 햅틱 효과를 출력하는 시스템.
  2. 제1항에 있어서,
    상기 오디오 신호를 수신하고 가청 효과를 출력하도록 구성된 오디오 출력 디바이스; 및
    상기 프로세서와 통신하며, 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성된 햅틱 출력 디바이스를 더 포함하는, 햅틱 효과를 출력하는 시스템.
  3. 제1항에 있어서,
    상기 햅틱 신호를 수신하고 상기 햅틱 효과를 햅틱 트랙에 저장하도록 구성된 데이터 저장부를 더 포함하는, 햅틱 효과를 출력하는 시스템.
  4. 제1항에 있어서,
    상기 햅틱 효과는 마찰 계수의 변동, 시뮬레이션된 텍스처, 또는 진동 중 하나 이상을 포함하는, 햅틱 효과를 출력하는 시스템.
  5. 제1항에 있어서,
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하는 것은,
    2 이상의 시간 윈도우들 내에서 상기 오디오 신호의 고속 푸리에 변환(FFT)을 결정하는 것;
    각각의 시간 윈도우에 대해 상기 고속 푸리에 변환에 대한 크기를 결정하는 것;
    상기 크기들을 정규화함으로써 정규화된 신호를 결정하는 것; 및
    상기 정규화된 신호로부터 포지티브 값들을 결정하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  6. 제5항에 있어서,
    상기 시간 윈도우들은 중첩하고 있는, 햅틱 효과를 출력하는 시스템.
  7. 제6항에 있어서,
    상기 엔벨로프 신호는 상기 정규화된 신호의 포지티브 값들인, 햅틱 효과를 출력하는 시스템.
  8. 제1항에 있어서,
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하는 것은,
    2 이상의 시간 윈도우들 내에서 상기 오디오 신호의 파워 스펙트럼 밀도를 결정하는 것;
    각각의 시간 윈도우에 대해 파워 스펙트럼 밀도 값들을 합산함으로써 합산 신호를 결정하는 것;
    상기 합산 신호를 샘플링하여 샘플 신호를 결정하는 것; 및
    상기 샘플 신호를 보간 및 정규화하는 것을 포함하는, 햅틱 효과를 출력하는 시스템.
  9. 제8항에 있어서,
    상기 엔벨로프 신호는 보간 및 정규화된 샘플 신호인, 햅틱 효과를 출력하는 시스템.
  10. 제1항에 있어서,
    상기 프로세서는 또한, 상기 엔벨로프 신호를 필터링하도록 구성되는, 햅틱 효과를 출력하는 시스템.
  11. 제10항에 있어서,
    상기 엔벨로프 신호를 필터링하는 것은
    임계치를 이용하여 상기 엔벨로프 신호를 필터링하는 것 및 햅틱 묵음의 레벨을 이용하여 상기 엔벨로프 신호를 필터링하는 것
    중 하나 이상을 포함하는, 햅틱 효과를 출력하는 시스템.
  12. 햅틱 효과를 출력하는 방법으로서,
    오디오 신호를 수신하는 단계;
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하는 단계;
    상기 엔벨로프 신호에 부분적으로 기초하여 햅틱 효과를 결정하는 단계; 및
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하는 단계
    를 포함하는, 햅틱 효과를 출력하는 방법.
  13. 제12항에 있어서,
    가청 효과를 출력하는 단계; 및
    상기 햅틱 효과를 출력하는 단계를 더 포함하는, 햅틱 효과를 출력하는 방법.
  14. 제12항에 있어서,
    상기 햅틱 신호를 햅틱 트랙에 저장하는 단계를 더 포함하는, 햅틱 효과를 출력하는 방법.
  15. 제12항에 있어서,
    상기 햅틱 효과는 마찰 계수의 변동, 시뮬레이션된 텍스처, 또는 진동 중 하나 이상을 포함하는, 햅틱 효과를 출력하는 방법.
  16. 제12항에 있어서,
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하는 단계는,
    2 이상의 시간 윈도우들 내에서 상기 오디오 신호의 고속 푸리에 변환을 결정하는 단계;
    각각의 시간 윈도우에 대해 상기 고속 푸리에 변환에 대한 크기를 결정하는 단계;
    상기 크기들을 정규화함으로써 정규화된 신호를 결정하는 단계; 및
    상기 정규화된 신호로부터 포지티브 값들을 결정하는 단계를 포함하는, 햅틱 효과를 출력하는 방법.
  17. 제16항에 있어서,
    상기 시간 윈도우들은 중첩하고 있는, 햅틱 효과를 출력하는 방법.
  18. 제16항에 있어서,
    상기 엔벨로프 신호는 상기 정규화된 신호의 포지티브 값들인, 햅틱 효과를 출력하는 방법.
  19. 제12항에 있어서,
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하는 단계는,
    2 이상의 시간 윈도우들 내에서 상기 오디오 신호의 파워 스펙트럼 밀도를 결정하는 단계;
    각각의 시간 윈도우에 대해 파워 스펙트럼 밀도 값들을 합산함으로써 합산 신호를 결정하는 단계;
    상기 합산 신호를 샘플링하여 샘플 신호를 결정하는 단계; 및
    상기 샘플 신호를 보간 및 정규화하는 단계를 포함하는, 햅틱 효과를 출력하는 방법.
  20. 제19항에 있어서,
    상기 엔벨로프 신호는 보간 및 정규화된 샘플 신호인, 햅틱 효과를 출력하는 방법.
  21. 제12항에 있어서,
    프로세서가 추가로, 상기 엔벨로프 신호를 필터링하도록 구성되는, 햅틱 효과를 출력하는 방법.
  22. 제21항에 있어서,
    상기 엔벨로프 신호를 필터링하는 것은
    임계치를 이용하여 상기 엔벨로프 신호를 필터링하는 것 및 햅틱 묵음의 레벨을 이용하여 상기 엔벨로프 신호를 필터링하는 것
    중 하나 이상을 포함하는, 햅틱 효과를 출력하는 방법.
  23. 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 경우, 상기 프로세서로 하여금
    오디오 신호를 수신하게 하고;
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하게 하고;
    상기 엔벨로프 신호에 부분적으로 기초하여 햅틱 효과를 결정하게 하며; 그리고
    상기 햅틱 효과와 연관된 햅틱 신호를 출력하게 하도록
    구성되는, 비-일시적인 컴퓨터 판독가능 매체.
  24. 제23항에 있어서,
    프로세서에 의해 실행될 경우, 상기 프로세서로 하여금
    가청 효과를 출력하게 하고; 그리고
    상기 햅틱 효과를 출력하게 하도록
    구성된 프로그램 코드를 더 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  25. 제23항에 있어서,
    프로세서에 의해 실행될 경우, 상기 프로세서로 하여금 상기 햅틱 신호를 햅틱 트랙에 저장하게 하도록 구성된 프로그램 코드를 더 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  26. 제23항에 있어서,
    상기 햅틱 효과는 마찰 계수의 변동, 시뮬레이션된 텍스처, 또는 진동 중 하나 이상을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  27. 제23항에 있어서,
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하는 것은,
    2 이상의 시간 윈도우들 내에서 상기 오디오 신호의 고속 푸리에 변환을 결정하는 것;
    각각의 시간 윈도우에 대해 상기 고속 푸리에 변환에 대한 크기를 결정하는 것;
    상기 크기들을 정규화함으로써 정규화된 신호를 결정하는 것; 및
    상기 정규화된 신호로부터 포지티브 값들을 결정하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  28. 제27항에 있어서,
    상기 시간 윈도우들은 중첩하고 있는, 비-일시적인 컴퓨터 판독가능 매체.
  29. 제27항에 있어서,
    상기 엔벨로프 신호는 상기 정규화된 신호의 포지티브 값들인, 비-일시적인 컴퓨터 판독가능 매체.
  30. 제23항에 있어서,
    상기 오디오 신호와 연관된 엔벨로프 신호를 결정하는 것은,
    2 이상의 시간 윈도우들 내에서 상기 오디오 신호의 파워 스펙트럼 밀도를 결정하는 것;
    각각의 시간 윈도우에 대해 파워 스펙트럼 밀도 값들을 합산함으로써 합산 신호를 결정하는 것;
    상기 합산 신호를 샘플링하여 샘플 신호를 결정하는 것; 및
    상기 샘플 신호를 보간 및 정규화하는 것을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
  31. 제30항에 있어서,
    상기 엔벨로프 신호는 보간 및 정규화된 샘플 신호인, 비-일시적인 컴퓨터 판독가능 매체.
  32. 제23항에 있어서,
    상기 프로세서는 또한, 상기 엔벨로프 신호를 필터링하도록 구성되는, 비-일시적인 컴퓨터 판독가능 매체.
  33. 제32항에 있어서,
    상기 엔벨로프 신호를 필터링하는 것은
    임계치를 이용하여 상기 엔벨로프 신호를 필터링하는 것 및 햅틱 묵음의 레벨을 이용하여 상기 엔벨로프 신호를 필터링하는 것
    중 하나 이상을 포함하는, 비-일시적인 컴퓨터 판독가능 매체.
KR20140115944A 2013-09-06 2014-09-02 오디오 신호에서의 엔벨로프와 연관된 햅틱 효과를 생성하는 시스템 및 방법 KR20150028725A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874933P 2013-09-06 2013-09-06
US61/874,933 2013-09-06
US14/078,442 2013-11-12
US14/078,442 US9576445B2 (en) 2013-09-06 2013-11-12 Systems and methods for generating haptic effects associated with an envelope in audio signals

Publications (1)

Publication Number Publication Date
KR20150028725A true KR20150028725A (ko) 2015-03-16

Family

ID=51492232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140115944A KR20150028725A (ko) 2013-09-06 2014-09-02 오디오 신호에서의 엔벨로프와 연관된 햅틱 효과를 생성하는 시스템 및 방법

Country Status (5)

Country Link
US (3) US9576445B2 (ko)
EP (2) EP3667465A1 (ko)
JP (2) JP6494221B2 (ko)
KR (1) KR20150028725A (ko)
CN (2) CN104423592B (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2167008B1 (en) 2007-06-18 2017-03-15 Brock Seiler Vibrating footwear device and entertainment system for use therewith
US9402133B2 (en) 2009-02-12 2016-07-26 Brock Maxwell SEILER Multi-channel audio vibratory entertainment system
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
EA032658B1 (ru) * 2013-07-15 2019-06-28 Вр Электроникс Лимитид Способ интерактивной физиологической синхронизации пользователя с виртуальной средой
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
US10545604B2 (en) 2014-04-21 2020-01-28 Apple Inc. Apportionment of forces for multi-touch input devices of electronic devices
EP3195088A2 (en) 2014-09-02 2017-07-26 Apple Inc. Haptic notifications
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9996156B2 (en) 2014-12-23 2018-06-12 Immersion Corporation Feedback reduction for a user input element associated with a haptic output device
SG11201706527QA (en) 2015-02-20 2017-09-28 Ultrahaptics Ip Ltd Algorithm improvements in a haptic system
US9841819B2 (en) 2015-02-20 2017-12-12 Ultrahaptics Ip Ltd Perceptions in a haptic system
US10353467B2 (en) * 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US10729974B2 (en) 2015-04-03 2020-08-04 SonicSensory, Inc. Modular system for building variable interactive platforms and enclosures for deep multisensory immersion into audio and audio-visual entertainment
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10904664B2 (en) 2016-03-02 2021-01-26 SonicSensory, Inc. Device for generating chest-chamber acoustic resonance and delivering the resultant audio and haptic to headphones
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
WO2017196666A1 (en) * 2016-05-09 2017-11-16 Subpac, Inc. Tactile sound device having active feedback system
US10531212B2 (en) 2016-06-17 2020-01-07 Ultrahaptics Ip Ltd. Acoustic transducers in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10755538B2 (en) 2016-08-09 2020-08-25 Ultrahaptics ilP LTD Metamaterials and acoustic lenses in haptic systems
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
KR20190079613A (ko) 2016-09-14 2019-07-05 소닉센서리, 인크. 동기화를 구비한 멀티-디바이스 오디오 스트리밍 시스템
US10104471B2 (en) * 2016-11-30 2018-10-16 Google Llc Tactile bass response
US10943578B2 (en) * 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10497358B2 (en) 2016-12-23 2019-12-03 Ultrahaptics Ip Ltd Transducer driver
US10495693B2 (en) 2017-06-01 2019-12-03 General Electric Company Wind turbine fault detection using acoustic, vibration, and electrical signals
US10942569B2 (en) * 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
DE102017116012A1 (de) * 2017-07-17 2019-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anzeigevorrichtungen und pixel für eine anzeigevorrichtung
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
US11360546B2 (en) 2017-12-22 2022-06-14 Ultrahaptics Ip Ltd Tracking in haptic systems
US11704983B2 (en) 2017-12-22 2023-07-18 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
US10360774B1 (en) * 2018-01-05 2019-07-23 Immersion Corporation Method and device for enabling pitch control for a haptic effect
US10911861B2 (en) 2018-05-02 2021-02-02 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US11120673B2 (en) 2018-06-07 2021-09-14 Lofelt Gmbh Systems and methods for generating haptic output for enhanced user experience
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US10360775B1 (en) 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
CN109559758B (zh) * 2018-11-05 2023-01-24 清华大学 一种基于深度学习的将纹理图像转换成触觉信号的方法
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US11550395B2 (en) 2019-01-04 2023-01-10 Ultrahaptics Ip Ltd Mid-air haptic textures
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
CN110096147B (zh) * 2019-04-17 2020-12-18 北京航空航天大学 一种基于高密度柔性电磁线圈阵列驱动的主动纹理呈现装置
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
EP4042413A1 (en) 2019-10-13 2022-08-17 Ultraleap Limited Dynamic capping with virtual microphones
WO2021090028A1 (en) 2019-11-08 2021-05-14 Ultraleap Limited Tracking techniques in haptics systems
US11126267B2 (en) * 2019-12-19 2021-09-21 Giantplus Technology Co., Ltd Tactile feedback device and operation method thereof
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
CN112506341B (zh) * 2020-12-01 2022-05-03 瑞声新能源发展(常州)有限公司科教城分公司 一种振动效果的生成方法、装置、终端设备及存储介质
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
CN116185165B (zh) * 2022-06-17 2024-04-02 武汉市聚芯微电子有限责任公司 一种触觉生成方法、***、设备以及计算机存储介质

Family Cites Families (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4250637A (en) * 1979-06-13 1981-02-17 Scott Instruments Company Tactile aid to speech reception
US4382251A (en) * 1980-09-23 1983-05-03 Casio Computer Co., Ltd. Envelope control device for piezoelectric buzzer
US5056251A (en) 1989-07-07 1991-10-15 Collector's Products Corporation Card display apparatus
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US20030040361A1 (en) 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
AU7097298A (en) 1996-12-18 1998-07-17 Sanderford, Hugh Britton Power spectral density technique
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US6332120B1 (en) 1999-04-20 2001-12-18 Solana Technology Development Corporation Broadcast speech recognition system for keyword monitoring
US7020701B1 (en) 1999-10-06 2006-03-28 Sensoria Corporation Method for collecting and processing data using internetworked wireless integrated network sensors (WINS)
US6408696B1 (en) 1999-12-06 2002-06-25 Ai Signal Research, Inc. Coherent phase line enhancer spectral analysis technique
US7159008B1 (en) 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US6397154B1 (en) 2000-07-07 2002-05-28 Research Electronics International Correlation method for surveillance device detection
US7069208B2 (en) 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7739601B1 (en) 2002-01-23 2010-06-15 Microsoft Corporation Media authoring and presentation
FR2835125B1 (fr) 2002-01-24 2004-06-18 Telediffusion De France Tdf Procede d'evaluation d'un signal audio numerique
US20030188020A1 (en) 2002-03-29 2003-10-02 Steven Barile Tangible artifact referencing digital content
WO2003089100A1 (en) 2002-04-22 2003-10-30 Intellocity Usa, Inc. Method and apparatus for data receiver and controller
WO2003096669A2 (en) 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
ATE426297T1 (de) 2002-09-30 2009-04-15 Gracenote Inc Fingerabdruckextraktion
US8027482B2 (en) 2003-02-13 2011-09-27 Hollinbeck Mgmt. Gmbh, Llc DVD audio encoding using environmental audio tracks
KR100581060B1 (ko) 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
CN1318191C (zh) 2003-12-01 2007-05-30 东南大学 时空双通道机器人触觉再现电流刺激方法及装置
US8064752B1 (en) 2003-12-09 2011-11-22 Apple Inc. Video encoding
EP1560199B1 (en) 2004-01-29 2008-07-09 Harman Becker Automotive Systems GmbH Multimodal data input
EP1582965A1 (en) 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
US8751616B2 (en) 2004-06-08 2014-06-10 Siemens Industry, Inc. System for accessing and browsing a PLC provided within a network
JP4654621B2 (ja) * 2004-06-30 2011-03-23 ヤマハ株式会社 音声処理装置およびプログラム
US20060017691A1 (en) 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
WO2006043511A1 (ja) 2004-10-18 2006-04-27 Nsk Ltd. 機械設備の異常診断システム
US10741089B2 (en) 2004-12-23 2020-08-11 Carl Wakamoto Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
US20080098331A1 (en) 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US7650192B2 (en) 2005-12-02 2010-01-19 Medtronic, Inc. Passive charge of implantable medical device utilizing external power source and method
US20070178942A1 (en) * 2006-01-30 2007-08-02 Sadler Daniel J Method for abruptly stopping a linear vibration motor in portable communication device
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
JP4965891B2 (ja) * 2006-04-25 2012-07-04 キヤノン株式会社 信号処理装置およびその方法
WO2007144823A1 (en) 2006-06-13 2007-12-21 Koninklijke Philips Electronics N.V. Distribution of ambience and content
US7567165B2 (en) * 2006-10-27 2009-07-28 At&T Intellectual Property, I, L.P. Methods, devices, and computer program products for providing ambient noise sensitive alerting
US20080103558A1 (en) 2006-10-30 2008-05-01 Stuart Wenzel Focused electromagnetic-wave and ultrasonic-wave structures for tissue stimulation
CN101237317B (zh) 2006-11-27 2010-09-29 华为技术有限公司 确定发送频谱的方法和装置
US7882442B2 (en) 2007-01-05 2011-02-01 Eastman Kodak Company Multi-frame display system with perspective based image arrangement
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US8095646B2 (en) 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US8325144B1 (en) * 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
JP5147851B2 (ja) * 2007-10-26 2013-02-20 株式会社ディーアンドエムホールディングス オーディオ信号補間装置及びオーディオ信号補間方法
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US8875212B2 (en) 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7816838B2 (en) 2007-12-11 2010-10-19 Nokia Corporation Piezoelectric force sensing
JP2009159125A (ja) 2007-12-25 2009-07-16 Casio Hitachi Mobile Communications Co Ltd 字幕付き映像再生装置、字幕付き映像再生装置の検索結果通知方法及びプログラム
KR101630864B1 (ko) 2008-05-09 2016-06-16 코닌클리케 필립스 엔.브이. 감정을 전달하는 방법 및 시스템
US8831948B2 (en) 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
KR101474963B1 (ko) 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
EP2723107B1 (en) 2008-07-15 2019-05-15 Immersion Corporation Systems and methods for transmitting haptic messages
KR20100008777A (ko) 2008-07-16 2010-01-26 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20100008775A (ko) 2008-07-16 2010-01-26 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20100008774A (ko) 2008-07-16 2010-01-26 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
US20110125788A1 (en) 2008-07-16 2011-05-26 Electronics And Telecommunications Research Institute Method and apparatus for representing sensory effects and computer readable recording medium storing sensory device capability metadata
US8581954B2 (en) 2008-09-05 2013-11-12 Sk Telecom Co., Ltd. Mobile communication terminal that delivers vibration information, and method thereof
KR20100033954A (ko) 2008-09-22 2010-03-31 한국전자통신연구원 실감 효과 표현 방법 및 장치
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US20100153995A1 (en) 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Resuming a selected viewing channel
HUE041944T2 (hu) 2008-12-19 2019-06-28 Medicis Pharmaceutical Corp Alacsony dózisú imiquimod készítmények és rövid adagolási módszer aktinikus keratózis kezelésére
WO2010078577A2 (en) 2009-01-05 2010-07-08 Services Petroliers Schlumberger Processing time series data embedded in high noise
US9402133B2 (en) 2009-02-12 2016-07-26 Brock Maxwell SEILER Multi-channel audio vibratory entertainment system
US20130044049A1 (en) 2009-03-10 2013-02-21 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
EP2419808B1 (en) 2009-04-15 2015-06-10 Koninklijke Philips N.V. A foldable tactile display
US20100268745A1 (en) 2009-04-16 2010-10-21 Bum-Suk Choi Method and apparatus for representing sensory effects using sensory device capability metadata
KR20100114857A (ko) 2009-04-16 2010-10-26 한국전자통신연구원 사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치
US20120059697A1 (en) 2009-05-08 2012-03-08 University Of Washington Advertising during accelerated media playback
US8068025B2 (en) 2009-05-28 2011-11-29 Simon Paul Devenyi Personal alerting device and method
US8634928B1 (en) 2009-06-16 2014-01-21 The Board Of Trustees Of The Leland Stanford Junior University Wireless power transmission for implantable medical devices
WO2011011552A1 (en) 2009-07-22 2011-01-27 Immersion Corporation Interactive touch screen gaming metaphors with haptic feedback across platforms
CN102341766B (zh) * 2009-09-03 2014-09-24 松下电器产业株式会社 触感再现方法和装置
GB2474047B (en) * 2009-10-02 2014-12-17 New Transducers Ltd Touch sensitive device
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US20110099596A1 (en) 2009-10-26 2011-04-28 Ure Michael J System and method for interactive communication with a media device user such as a television viewer
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US20130316826A1 (en) 2009-11-23 2013-11-28 Ofer LEVANON Haptic-simulation home-video game
US20110124413A1 (en) 2009-11-23 2011-05-26 Levanon Ofer Haptic-simulation home-video game
KR101303648B1 (ko) 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
EP2539883A1 (en) 2010-02-24 2013-01-02 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
CN107102721A (zh) * 2010-04-23 2017-08-29 意美森公司 用于提供触觉效果的***和方法
US8934857B2 (en) 2010-05-14 2015-01-13 Qualcomm Incorporated Controlling field distribution of a wireless power transmitter
KR101635029B1 (ko) 2010-06-28 2016-06-30 엘지전자 주식회사 이동 단말기
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
CA2841802C (en) 2010-07-21 2018-08-28 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
CN102385571B (zh) 2010-09-06 2016-03-30 联想(北京)有限公司 一种显示方法及显示装置
KR101719653B1 (ko) 2010-09-16 2017-03-24 엘지전자 주식회사 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법
US9058728B2 (en) 2010-11-05 2015-06-16 Georgia Tech Research Corporation Haptic systems, devices, and methods using transmission of pressure through a flexible medium
CN102480612A (zh) 2010-11-21 2012-05-30 余浪 用于传输视频数据和触觉数据的方法以及视频采集装置
US10598539B2 (en) 2010-11-23 2020-03-24 Feather Sensors Llc Method and apparatus for intelligent airflow sensors
US20120150928A1 (en) 2010-12-09 2012-06-14 Peter Ward Method and system for identifying media assets
JP5543615B2 (ja) 2010-12-22 2014-07-09 京セラ株式会社 電子機器
JP5593244B2 (ja) 2011-01-28 2014-09-17 日本放送協会 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP5602653B2 (ja) 2011-01-31 2014-10-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理方法、情報処理システム、およびプログラム
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8872011B2 (en) 2011-02-25 2014-10-28 Mark Fresolone Visual, tactile and motion-sensation system for representing music for an audience
US8593420B1 (en) 2011-03-04 2013-11-26 Amazon Technologies, Inc. Providing tactile output and interaction
JPWO2012127837A1 (ja) 2011-03-18 2014-07-24 パナソニック株式会社 表示装置、３ｄ眼鏡、及び３ｄ映像視聴システム
US8849663B2 (en) * 2011-03-21 2014-09-30 The Intellisis Corporation Systems and methods for segmenting and/or classifying an audio signal from transformed audio information
US8948892B2 (en) 2011-03-23 2015-02-03 Audible, Inc. Managing playback of synchronized content
US8976980B2 (en) * 2011-03-24 2015-03-10 Texas Instruments Incorporated Modulation of audio signals in a parametric speaker
GB2504419A (en) 2011-03-30 2014-01-29 Hunt Energy Entpr Llc Method and system for passive electroseismic surveying
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
KR101840644B1 (ko) 2011-05-31 2018-03-22 한국전자통신연구원 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법
US8892391B2 (en) 2011-06-03 2014-11-18 Apple Inc. Activity detection
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9762719B2 (en) 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
US8694375B2 (en) 2011-09-30 2014-04-08 Microsoft Corporation Determining whether to display message to user in application based on user message viewing history
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101869562B1 (ko) 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
EP3557388A1 (en) 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
EP2629178B1 (en) 2012-02-15 2018-01-10 Immersion Corporation High definition haptic effects generation using primitives
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8847913B2 (en) 2012-04-04 2014-09-30 Kohler Co. User interface device for a bath or shower
JP6269480B2 (ja) 2012-04-06 2018-01-31 株式会社ニコン データ処理装置、及びデータ処理プログラム
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US20130307829A1 (en) 2012-05-16 2013-11-21 Evernote Corporation Haptic-acoustic pen
US20130311881A1 (en) 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US8861858B2 (en) 2012-06-01 2014-10-14 Blackberry Limited Methods and devices for providing companion services to video
US9831551B2 (en) 2012-06-22 2017-11-28 Adant Technologies, Inc. Reconfigurable antenna system
WO2014018974A1 (en) 2012-07-27 2014-01-30 Thoratec Corporation Magnetic power transmission utilizing phased transmitter coil arrays and phased receiver coil arrays
GB2519475A (en) * 2012-08-21 2015-04-22 Immerz Inc Systems and methods for a vibrating input device
US8896524B2 (en) 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9414779B2 (en) 2012-09-12 2016-08-16 International Business Machines Corporation Electronic communication warning and modification
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9352226B2 (en) 2012-12-21 2016-05-31 Sony Interactive Entertainment America Llc Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9182890B2 (en) 2013-01-31 2015-11-10 Lg Electronics Inc. Image display apparatus and method for operating the same
KR102099086B1 (ko) 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
EP2962172B1 (en) 2013-03-01 2020-04-29 Nokia Technologies Oy Control apparatus for a tactile audio display
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9363131B2 (en) 2013-03-15 2016-06-07 Imagine Communications Corp. Generating a plurality of streams
US9489965B2 (en) 2013-03-15 2016-11-08 Sri International Method and apparatus for acoustic signal characterization
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9064385B2 (en) 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9437087B2 (en) 2013-05-24 2016-09-06 Immersion Corporation Method and system for haptic data encoding and streaming using a multiplexed data stream
US20140368349A1 (en) 2013-06-14 2014-12-18 Revolution Display Sensory element projection system and method of use
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898086B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals

Also Published As

Publication number Publication date
US20180190088A1 (en) 2018-07-05
EP2846228A2 (en) 2015-03-11
CN109375767A (zh) 2019-02-22
JP2015053053A (ja) 2015-03-19
US9576445B2 (en) 2017-02-21
JP2019133686A (ja) 2019-08-08
CN104423592B (zh) 2018-10-19
US10395488B2 (en) 2019-08-27
JP6794483B2 (ja) 2020-12-02
EP3667465A1 (en) 2020-06-17
EP2846228B1 (en) 2020-03-04
US9934660B2 (en) 2018-04-03
CN104423592A (zh) 2015-03-18
US20170162009A1 (en) 2017-06-08
US20150070147A1 (en) 2015-03-12
EP2846228A3 (en) 2015-04-22
JP6494221B2 (ja) 2019-04-03

Similar Documents

Publication Publication Date Title
US10395488B2 (en) Systems and methods for generating haptic effects associated with an envelope in audio signals
US10276004B2 (en) Systems and methods for generating haptic effects associated with transitions in audio signals
JP6557396B2 (ja) 低周波数効果ハプティック変換システム
US10388122B2 (en) Systems and methods for generating haptic effects associated with audio signals
JP6355642B2 (ja) プログラム可能な表面テクスチャによってモードまたは状態認識を提供するシステムおよび方法
JP6541945B2 (ja) 触覚効果の知覚正規化のためのシステム及び方法
JP2016024826A (ja) マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right