KR102534258B1 - 감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치 및 방법 - Google Patents

감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치 및 방법 Download PDF

Info

Publication number
KR102534258B1
KR102534258B1 KR1020197021066A KR20197021066A KR102534258B1 KR 102534258 B1 KR102534258 B1 KR 102534258B1 KR 1020197021066 A KR1020197021066 A KR 1020197021066A KR 20197021066 A KR20197021066 A KR 20197021066A KR 102534258 B1 KR102534258 B1 KR 102534258B1
Authority
KR
South Korea
Prior art keywords
signal
force
digital
processing unit
auditory
Prior art date
Application number
KR1020197021066A
Other languages
English (en)
Other versions
KR20190111936A (ko
Inventor
로저 나우어
토마스 러프
롤프 헬라
마르쿠스 샤웁
Original Assignee
마이크티크 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크티크 아게 filed Critical 마이크티크 아게
Publication of KR20190111936A publication Critical patent/KR20190111936A/ko
Application granted granted Critical
Publication of KR102534258B1 publication Critical patent/KR102534258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/161—Memory and use thereof, in electrophonic musical instruments, e.g. memory map
    • G10H2240/165—Memory card, i.e. removable module or card for storing music data for an electrophonic musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201—Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/211—Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/285—USB, i.e. either using a USB plug as power supply or using the USB protocol to exchange data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/311—MIDI transmission
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/321—Bluetooth
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/371—Gensound equipment, i.e. synthesizing sounds produced by man-made devices, e.g. machines

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Toys (AREA)

Abstract

본 발명은 검출된 적어도 하나의 힘을 감지 유닛의 움직임으로부터 청각 신호로 변환하기 위한 장치에 관한 것이다. 이 장치는 검출된 적어도 하나의 힘으로부터 힘 신호를 생성하는 적어도 하나의 센서를 포함하고, 힘 신호를 디지털 청각 신호로 변환하는 처리 유닛을 더 포함한다. 장치는 디지털 청각 신호를 청각 신호로 변환하는 출력 유닛을 더 포함하고, 디지털 청각 신호는 단일 검출된 힘의 가속도, 강도 및 지속 시간의 형성을 포함하는 것을 특징으로 한다. 또한 본 발명은 다양한 엔터테인먼트 및/또는 치료 목적을 위한 본 발명에 따른 장치의 용도뿐만 아니라, 물체에 영향을 주는 검출된 적어도 하나의 힘을 청각 신호로 변환하는 방법에 관한 것이다.

Description

감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치 및 방법
본 발명은 검출 가능한 힘, 특히 물체의 움직임으로 생긴 힘을, 바람직하게는 엔터테인먼트 목적의 청각 신호로 변환하는 것에 관한 것이다. 또한, 본 발명은 모두 독립항의 전제부에 따라, 특히 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치, 이를 위한 모션 센서의 용도, 및 물체에 영향을 주는 검출된 적어도 하나의 힘을 청각 신호로 변환하는 각각의 방법에 관한 것이다.
사람의 움직임으로 생긴 검출된 힘을 디지털 신호로 변환할 수 있는 디바이스가 엔터테인먼트 산업계에 공지되어 있다. 오늘날 게임 콘솔은 제어기의 공간적 움직임을 콘솔에 의해 처리되는 디지털 신호로 변환할 수 있는 한가지 유형 또는 또 다른 유형의 제어기를 구비하게 된다. 이들 제어기는 제스처 인식과 모션 감도를 구현하여 전자 디바이스와 상호 작용한다.
대개, 제어기는 상기 움직임 검출로부터 수집한 정보가 전달되는 게임 콘솔 같은 기지국과 무선 연결을 유지한다.
한가지 주요 문제는, 그럼에도 이들 모든 디바이스는 특정 임계값을 초과하는 지연이 게임 환경으로의 몰입을 저하시키는 것이다.
엔터테인먼트 디바이스 분야의 추가적인 하나의 응용으로는 검출 가능한 힘 신호를 음향 신호로 변환하는 것이 있다. US 2012/02 97961 A1에는 타격 패드 및 가속도계를 구비한 키타(keytar) 제어기가 개시되어 있다. 키타는 전면에 다수의 키와 일측으로부터 연장되는 네크를 갖는 피아노 스타일의 키보드를 포함한다. 추가로, 다수의 드럼 패드가 키보드 몸체의 전면에 배열된다. 키타는 각각의 드럼 패드의 상태를 스캔하고 드럼 패드의 상태에 대응하는 MIDI 노트 신호를 생성하는 마이크로프로세서를 더 포함한다. 이 장치는 키타의 틸트에 관한 정보를 마이크로프로세서에 제공하는 가속도계를 더 포함한다. 이 정보는 MIDI 연속 제어기 값으로 변환되며, 이는 키타에서 출력되어 외부 신시사이저 또는 컴퓨터를 제어한다. 이들 모든 기능은 상기 키타에서 구현되어, 더욱 다용도의 기구를 제공한다.
한편, US 2010/0132536 A1에는 보통 사람에게 보다 직관적이고 액세스가능한 믹싱 같은 음악 상호 작용을 만드는 것을 목표로 하는 증가된 음향 상호 작용을 위한 파일 생성 프로세스 및 각각의 장치가 개시되어 있다. 추가의 목적으로서, 상기 발명은 텔레비전 방송과 같은 일방향 정적 환경으로부터의 음악 재생을 쌍방향이면서 동적이고 협업적인 엔터테인먼트 체험으로 변경하는 것을 목표로 한다. 이를 위해, 음향 웨이브 형식의 노래가 MIDI 시간대와 결합된다. 상기 발명은 특정 측면으로서 소위 "쌍방향 협업 디바이스"를 더 포함한다.
이것은 레트로 파일 형식을 갖는 아이폰의 가속도계를 사용하여 새로운 형태의 사운드를 달성하기 위해 아이폰 같은 스마트폰 형식을 취할 수 있다. 본 문서에서 제안하는 특정 예는 특정 음향 신호의 각 이동 축을 할당한 다음, 그 축에서 아이폰의 각 움직임에 의해 촉발될 수 있는 아이폰의 3축 가속도계를 사용하는 것이다. 이것은 여전히 백그라운드에서 처리되는 레트로 적합 노래(retro fit song)에 의존한다.
그러므로, 상기 디바이스의 움직임으로 생긴 검출 가능한 힘을 청각 신호로 변환할 수 있는 전자 엔터테인먼트 분야에서 사용하기 위한 장치가 필요하다. 이러한 장치는, 바람직하게는 몰입 청각 체험을 가능하게 하고 생생한 사운드 체험을 생성해야 하는데, 이는 바람직하게는 사용자의 재량에 따라 규정될 수 있고 미리 결정된 사운드 패턴을 따라서 가능한 한 촉발링 움직임과 밀접하게 관련되어 있다.
그러므로, 본 발명의 목적은 종래 기술의 적어도 한가지 단점을 극복하는, 디바이스의 움직임으로 생긴 검출된 적어도 하나의 힘을 청각 신호로 변환하기 위한 장치를 제공하는데 있다. 특히, 본 발명의 목적은 효과적이며 사용자에게 증가된 몰입을 제공하는 각각의 센서의 장치, 방법 및 용도를 제공하는데 있다. 본 발명의 특정 및 추가적인 목적은 신뢰성이 높고 제조 비용이 저렴한 그러한 디바이스를 제공하는데 있다.
이러한 센서의 장치, 방법 및 용도는 독립항의 특징부에 따라 제공된다.
본 발명의 일 측면은 감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치와 관련된다. 이 장치는 검출된 적어도 하나의 힘으로부터 힘 신호를 생성하는 적어도 하나의 센서를 포함한다. 적어도 하나의 센서는 감지 유닛에 포함되는 것이 바람직하다. 이 장치는 힘 신호를 디지털 청각 신호로 변환하는 처리 유닛을 더 포함한다.
처리 유닛은, 바람직하게는 감지 유닛에도 포함된다. 장치는 디지털 청각 신호를 청각 신호로 변환하는 출력 유닛을 더 포함한다.
출력 유닛은 감지 유닛에 포함될 수도 있지만, 대안으로 별도 아이템의 형태로 감지 유닛으로부터 분리될 수 있다.
출력 유닛은 특정 구현예에서, 청각 신호를 출력하는 각각의 수단을 갖는 노트북, 데스크탑 컴퓨터, 스마트폰 및/또는 태블릿 등의 컴퓨터 시스템의 일부일 수 있다. 기본 형태에서, 출력 유닛은 라우드 스피커를 지닌 스마트폰, 및 디지털 청각 신호를 청각 신호로 변환하는 각각의 인터페이스이다. 본 발명에 따른 이러한 장치에서, 디지털 청각 신호는 검출된 단일 힘의 가속도, 강도 및 지속 시간에 대한 정보를 포함한다.
본 발명의 의미에서, 움직임으로 생긴 힘을 검출할 수 있는 적절한 적어도 하나의 센서는 가장 기본적인 구현에 있어서 가속도계일 수 있다. 바람직하게는, 가속도계는 적어도 가속도계가 달려있는 물체가 받는 가속도를 측정할 수 있어야 한다. 가속도계는, 가속도계가 받는 가속도의 표시로서 변위가 측정되고, 검출된 기계적 모션을 전기 신호로 변환하기 위한 피에조 전기, 피에조 저항성 및/또는 용량성 소자에 의해 디지털 신호로 전환되는 관성 질량을 갖는다.
본 발명의 맥락에서, 디지털 청각 신호는 음향 데이터를 포함할 필요가 없다. 가장 바람직한 구현예에서, 디지털 청각 신호는 음향 신호 생성 요소를 제어하기 위한 조종 신호이며, 더욱 바람직하게는 디지털 청각 신호는 MIDI 신호이다.
바람직한 구현예에서, 가속도계는 적어도 3개의 축에서 가속도를 측정한다.
특정 구현예에서, 디지털 청각 신호는 8비트 신호이다.
특정 구현예에서, 장치는 미리 학습된 움직임 시퀀스를 인식하고 이를 디지털 청각 신호로 변환하는 기계 학습 알고리즘을 적용하며, 보다 구체적으로는, 프로세서는 상기 기계 학습 알고리즘을 적용한다. 예를 들어, 프로세서는 힘 신호를 분석하여 장치의 움직임 시퀀스를 인식하고, 그 움직임 시퀀스를 미리 학습된 움직임 시퀀스와 일치시킬 수 있다. 이 특정 예에서, 미리 학습된 움직임 시퀀스는 유사한 힘 센서에 의해 검출된 통계적으로 관련된 수의 기준 움직임을 기반으로 생성된 다수의 파라미터로 구성될 수 있다. 이들 파라미터는 검출된 힘 신호와 결과로 생긴 움직임 시퀀스를 미리 학습된 것과 일치시키는데 사용하는 장치 및 기계 학습 알고리즘에 내장된다. 일치시에, 프로세서는 상기 움직임 시퀀스를 반영하는 특정 디지털 청각 신호를 생성한다.
특정 구현예에서, 장치는 적어도 하나의 센서 및 처리 유닛이 수용되는 제 1케이싱과, 출력 유닛이 수용되는 제 2케이싱을 포함한다. 이 장치는 처리 유닛과 출력 유닛 사이에서 상기 디지털 청각 신호를 전송하기 위한 데이터 교환 유닛을 더 포함하며, 바람직하게는 데이터 교환 유닛은 처리 유닛과 출력 유닛 사이에서 상기 디지털 청각 신호를 무선 전송한다. 특정 구현예에서, 상기 데이터 교환 유닛은 처리 유닛과 출력 유닛 사이에서 상기 디지털 청각 신호를 무선으로 전송한다. 추가의 특정 구현예에서, 장치는 처리 유닛과 출력 유닛 사이에서 상기 디지털 청각 신호를 전송하기 위한 포트를 포함한다. 특히 바람직한 구현예에서, 처리 유닛과 출력 유닛 사이에서 디지털 청각 신호의 무선 전송은 블루투스 통신 프로토콜을 기반으로 한다.
다른 구현예에서, 센서 유닛은 적어도 하나의 센서를 포함하고, 출력 유닛뿐만 아니라 처리 유닛은 본 발명에 따른 장치의 모든 구성요소가 배열되는 단일 케이싱 내에 배열된다. 이 구현예에서, 처리 유닛과 출력 유닛 사이에서 디지털 청각 신호를 전송하는 수단은 물리적 연결 같은 2개의 유닛 사이의 간단한 연결일 수 있고/있거나 전술한 바와 같은 무선 통신 수단을 포함할 수 있다.
특정 구현예에서, 출력 유닛은 스마트폰이다. 놀랍게도, 디지털 청각 신호로서 8비트 신호를 사용함으로써, 센서에 대한 힘 효과와 청각 신호의 실제 출력 간의 지연이 일정 수준으로 줄어들어, 사용자에 대한 몰입과 센서의 움직임으로 생긴 음향 피드백이 최상의 가능한 재현을 제공하는 것으로 밝혀졌다. 바람직하게는, 상기 힘 신호의 검출에 의해 생성된 디지털 청각 신호를 기반으로 힘 검출과 음향 신호의 출력 간의 지연 시간은 최대 30밀리초이다.
또한, 청각 디지털 신호로서 8비트 신호를 사용함으로써, 필적하는 출력 유닛의 더 넓은 대역폭을 본 발명의 장치와 관련하여 사용할 수 있는 것으로 밝혀졌다. 이들 출력 유닛은 사용자의 희망에 따라 다양한 청각 신호를 제공할 수 있다.
특정 구현예에서, 상기 제 1케이싱 및 상기 제 2케이싱은 착탈 가능하게 결합된다. 바람직하게는, 어느 하나 또는 2개의 케이싱은 이를 다른 케이싱에 부착하기 위한 수단을 제공하는 요소를 구비하게 된다. 이러한 수단의 예는 형태 끼워맞춤, 스냅 끼워맞춤, 자석 및/또는 후크와 파일 파스너일 수 있다.
이 특정 구현예에서, 어느 하나 또는 2개의 케이싱은 사용자가 이들 케이싱을 함께 유지하거나 2개의 케이싱 중 어느 하나를 추가 물체에 부착하는 방식으로 2개의 케이싱을 결합할 수 있게 하는 각각의 억지 끼워맞춤 또는 헐거운 끼워맞춤 구조를 구비할 수 있다. 제 1케이싱이, 예를 들어 움직임을 받는 물체에 부착 가능한 경우에, 특히 바람직한 것으로 밝혀졌다. 특정 구현예에서, 제 1케이싱은 스트랩(strap) 또는 래시(lash)를 구비하게 되어 사람에게, 바람직하게는 림프 연장부에 부착 가능하며, 상기 림프 연장부의 움직임으로 인한 힘 신호를 제공할 수 있다.
특정 구현예에서, 제 1케이싱은 스포츠 도구와 같은 이동 디바이스에 착탈 가능하게 부착될 수 있게 하는 수단을 구비한다. 스포츠 도구는 자전거, 하키채, 골프채, 야구 장갑과 배트, 축구 골키퍼의 장갑, 운동화, 펜싱검, 스키, 스노우보드, 스포츠 총, 탁구 또는 테니스 라켓 등으로 이루어진 군에서 선택되며, 이들 모두는 본 발명에 따른 장치에 의해 디지털 청각 신호로 변환될 수 있고 궁극적으로 청각 신호로 변환될 수 있는 특히 재미있는 힘 신호원을 제공하는 것으로 밝혀졌다.
특정 구현예에서, 장치는 하나 이상의 에너지원, 특히 하나 이상의 재충전식 에너지원을 포함한다. 장치는 본 발명에 따른 장치 및 전술한 구현예의 임의의 장치를 구성하는 어느 하나, 둘 모두 또는 임의 수의 케이싱 상에 하나 이상의 USB 또는 마이크로 USB 충전식 에너지원을 구비할 수 있다. 적절한 에너지원은 마이크로 디바이스 및 스마트폰 시장에서 이용 가능한 리튬 이온 배터리 중에서 당업자가 선택할 수 있다.
특정 구현예에서, 장치는 적어도 하나의 통신 시스템, 바람직하게는 버스 시스템 및 각각의 연결부를 포함한다. 보다 바람직한 구현예에서, 장치는 적어도 하나의 USB 시스템을 포함한다.
특정 구현예에서, 처리 유닛은 제 1디지털 정보를 제 1힘 신호 차원으로, 제 2디지털 정보를 제 2힘 신호 차원으로, 제 3디지털 정보를 제 3힘 신호 차원으로 귀속시키고(attributing), 특히 제 1디지털 정보를 가속도로, 제 2디지털 정보를 세기로, 제 3디지털 정보를 단일 검출된 힘의 지속 기간으로 귀속시킴으로써, 힘 신호를 디지털 청각 신호로 변환한다. 이 특정 구현예에서, 디지털 청각 신호는 상기 3가지 값으로 구성된 MIDI 신호 같은 8비트 신호를 포함할 수 있다. 본 발명의 잠재적인 응용에서, 이러한 신호의 진행(progression)은 센서에 의해 검출된 원래의 움직임을 연상시키는 사운드가 생성되도록 청각 신호의 각각의 진행으로 변환될 수 있다. 이 청각 신호는 디지털 청각 신호를 청각 신호로 변환하는 방법에 대한 특정 알고리즘을 각각 포함하는 미리 결정된 사운드 패키지 세트로부터 선택함으로써, 사람의 희망에 따라 톤(tone), 리듬 및 변조로 선택될 수 있다. 가장 일반적으로, 이들 디지털 청각 신호는 MIDI 처리 가능한 신호의 형태를 취한다.
특정 구현예에서, 출력 유닛은 음향 출력 및/또는 음향 출력 커넥터를 더 포함한다. 음향 출력은, 예를 들어 라우드 스피커 및/또는 증폭기 내에 있을 수 있다. 음향 출력 커넥터에 대한 특정한 하나의 적절한 예는 음향 잭 소켓일 수 있다.
특정 구현예에서, 장치는 특히 디지털 청각 신호를 저장하는 저장 매체를 포함한다. 저장 유닛은 센서에 의해 검출되고 처리 유닛에 의해 디지털 청각 신호로 변환된 디지털 청각 신호의 시퀀스를 저장할 수 있거나, 또는 특정 디지털 청각 신호가 프로세서에 의해 생성되면 출력될 수 있는 디지털 청각 신호에 기인할 수 있는 일련의 청각 신호를 구비하게 될 수 있다. 또한, 적절한 저장 매체는 장치의 어느 하나의 요소 상에서 각각의 슬롯에 끼워맞춤되는 메모리 카드 및 플래시 메모리 카드 등의 착탈식 유형일 수도 있다. 특정 예에서, 이러한 착탈식 저장 매체는 각각의 디지털 청각 신호가 검출되는 경우, 출력되는 특정의 미리 결정된 청각 신호로 채워질 수 있으므로, 검출된 움직임에 따라서 중첩된 분위기 또는 사운드 유형이 재생될 수 있다. 기타 방법을 생각할 수도 있지만, 전술한 구현예와 조합하여 사용할 수도 있다. 이 작동 모드에서, 일련의 디지털 청각 신호는 센서에 의해 검출된 일련의 움직임 시퀀스에 따라서 메모리 카드에 녹음된다. 다음에, 이 녹음은 또 다른 디바이스 또는 출력으로 전송되어 청각 신호 형태로 출력될 수 있다.
또 다른 특정 구현예에서, 저장 매체는 미리 학습된 움직임 시퀀스를 파라미터의 형태로 저장한다. 작동 중에 프로세서는 움직임 시퀀스를 일치시키고 저장된 미리 학습된 움직임 시퀀스를 사용하여 이를 디지털 청각 신호로 변환한다. 이는 사용자의 움직임 시퀀스를 미리 학습된 움직임 시퀀스와 일치시키기 위한 기계 학습 알고리즘을 이용함으로써, 추가로 향상될 수 있다. 미리 학습된 움직임 시퀀스 및 기계 학습 알고리즘을 활용함으로써, 힘 신호를 디지털 청각 신호로 변환하는데 걸리는 지연 시간을 더욱 줄일 수 있다.
특정 구현예에서, 파라미터는 힘을 검출할 수 있는 센서에 의해 검출된 이동 벡터로 구성된다. 실제로, 예를 들어, 센서는 가속도계 및 자력계를 포함할 수 있으며, 각각은 특정 움직임을 위해 각각의 이동 축에 대해 1개씩 최대 3개의 입력 벡터에 공급한다. 이들 벡터를 사용하여, 이러한 측정값의 큰 세트를 기반으로 파라미터 세트를 규정하고, 이들 세트를 계산하기 위해 신경망을 적용한다.
다음에 파라미터는 장치의 실행 가능한 소프트웨어에 내장된 고정 상수로 사용되며, 이로 인해 움직임 시퀀스의 인식을 가속화하고 그들로부터 디지털 청각 신호를 생성한다.
특정 구현예에서, 장치는 처리 유닛의 작동 및 장치의 다양한 전자 구성요소의 상호 운용성을 위해 필요한 저장 버퍼를 포함하지만, 배제하지 않는 다수의 저장 매체를 포함할 수 있다.
특정 구현예에서, 저장 버퍼를 사용하여 청각 신호의 형태로 순서대로 출력되는 다수의 동시 디지털 청각 신호의 시간을 맞출 수 있다. 이 작동 모드는 매우 복잡한 움직임을 3개의 모든 기록 가능한 축에서 변화하는 가속도에 의해 각각의 사운드 성분으로 변환할 수 있다.
특정 구현예에서, 처리 유닛은 규정된 알고리즘에 따라 연속으로 검출된 힘 신호의 시퀀스를 디지털 청각 신호의 시퀀스로 변환한다. 예를 들어, 알고리즘은 미리 결정된 제 1톤의 출력을 갖는 특정한 힘 신호를 제공할 수 있다. 예를 들어, 연속으로 검출된 힘 신호가 우측으로의 움직임인 경우, 제 1톤으로부터 시작하는 알고리즘은 제 2톤을 갖는 제 2검출된 움직임을 제공한다. 반대로 좌측으로의 움직임인 경우, 알고리즘은 좌측으로 그 움직임을 반사시키는 다른 제 2톤을 제공한다. 이러한 알고리즘을 통해, 다양한 유형의 움직임과 각각의 방향은 움직임 유형을 인식할 수 있게 하는 사운드 패턴을 생성할 수 있다. 특정 구현예에서, 알고리즘은 재생 가능한 방식으로 특정 유형의 움직임에 동일한 로직을 제공한다. 이 구현예에서, 본질적으로 동일한 움직임은 본질적으로 동일한 청각 신호를 생성한다. 대안으로, 알고리즘은 규정된 난수 생성에 따라 랜덤 패턴을 제공하도록 프로그램화될 수 있다. 이 구현예에서, 2개의 동일하거나 본질적으로 동일한 움직임은 상이한 청각 신호를 제공한다.
특정 구현예에서, 힘 센서는 적어도 3번의 액세스에서 가속을 감지한다. 특정 구현예에서, 장치는 중력, 진동 및 움직임 같은 가속의 정적 및/또는 동적 힘을 감지하게 되는 가속도계를 포함한다.
특정 구현예에서, 장치는 다수의 검출된 힘으로부터 각각 및 동시에 힘 신호를 생성하는 다수의 센서를 포함한다. 다음에, 프로세서는 다수의 힘 신호를 하나의 디지털 청각 신호로 융합할 수 있다. 이러한 센서는, 예를 들어 자이로스코프, 가속도계 및 자력계를 포함하는 관성 센서일 수 있으며, 각각 단일 움직임으로부터 데이터를 수집한다. 다음에, 이 단일 움직임은 본 발명에 따른 장치에 의해 서로 연동하여 작동하는 이들 모든 센서로부터의 데이터를 기반으로 청각 신호로 변환된다.
특정 구현예에서, 프로세서는 시간 간격당 처리된 힘 신호로부터 디지털 청각 신호의 스트링을 생성한다. 대부분의 움직임은 특정 시간 간격으로 일련의 개별 가속으로 나뉠 수 있다. 이러한 연속적인 시간 간격은 장치에 의해 등록되어 특수 간격 설정 루틴을 따를 수 있다. 따라서 일련의 가속도 및 이들이 발생한 각각의 시간 간격을 반영하는 청각 신호를 생성한다. 다시 말해, 특정 시간 간격의 일련의 움직임은 처리된 청각 디지털 신호를 기반으로 출력되는 리듬으로 처리될 수 있다.
특정 구현예에서, 적어도 하나의 센서는 장치에 영향을 주는 힘을 검출하는 센서이며, 이 힘은 장치에 영향을 주는 움직임 및/또는 충격이다. 바람직하게는, 적어도 하나의 센서는 자이로스코프, 가속도계 및/또는 자력계로 이루어진 군으로부터 선택된 센서이다. 모든 센서 요소를 포함하는 센서가 특히 적합하다.
본 발명의 구현예에서, 처리 유닛은 결정된 변환 프로토콜을 기반으로 힘 신호를 디지털 청각 신호로 변환한다. 예를 들어, 이 변환 프로토콜은 특정 MIDI 사운드를 특정 유형의 움직임으로 귀속할 수 있다.
바람직한 구현예에서, 결정된 변환 프로토콜은 일련의 변환 프로토콜 중에서 미리 선택된 변환 프로토콜이다. 예를 들어, 저장 매체는 재즈, 락앤롤, 힙합 등의 사운드 유형을 기반으로 일련의 결정된 변환 프로토콜을 저장할 수 있으며, 그 선택을 기반으로 적절한 청각 신호가 생성된다.
특정 구현예에서, 프로세서는 힘 신호를 분류하고, 상기 분류를 토대로 결정된 변환 프로토콜을 기반으로 상기 힘 신호를 디지털 청각 신호로 변환한다. 예를 들어, 장치의 급격한 감속은 단단한 물체를 갖는 장치의 충격으로서 검출될 수 있고, 장치로 하여금 예를 들어 징 또는 드럼 비트와 같은 그러한 충격을 반영하는 디지털 청각 신호를 선택하도록 할 수 있다.
특정 구현예에서, 프로세서는 힘 신호를 5 내지 35 밀리초, 특히 10 내지 20 밀리초, 더욱 특히 20 밀리초보다 낮은 지연 시간을 갖고 디지털 청각 신호로 변환시킨다. 힘 신호 검출과 청각 신호 출력 간의 총 지연 시간은 30밀리초 이하인 것이 특히 바람직하다.
특정 구현예에서, 장치는 마이크로폰을 더 포함한다. 이 마이크로폰은 주변 사운드를 저장 매체에 녹음하도록 조절할 수 있음과 동시에, 장치에 의해 검출된 움직임도 저장 매체에 녹화된다. 이는 장치가 증강 현실 가능자로서 사용되는 응용에서 특히 유용하다. 예를 들어, 테니스 경기의 사운드는 움직임에서 파생된 특정 힘 신호의 검출을 기반으로 특정 청각 신호에 의해 녹음되고 추가로 향상될 수 있다. 본 발명에 따른 센서 유닛은 네트, 플레이어의 라켓, 그들의 신발, 심지어 지면의 특정 영역에 부착될 수 있으며, 시합의 자연스러운 사운드를 향상시키는 청각 신호로 변환되는 디지털 청각 신호를 제공할 수 있다.
특정 구현예에서, 마이크로폰은 센서 유닛에 의해 검출된 움직임을 기반으로 디지털 청각 신호로부터 유래된 청각 신호와 동시에 출력 유닛으로부터 이것이 녹음한 사운드의 라이브 송신을 제공한다. 이러한 도구를 통해, 장치가 센서 유닛으로부터 착탈 가능하고 다른 위치에 배치되는 출력 유닛을 포함하는 경우, 움직임 동작을 일정 거리에서 모니터링하고 체험할 수 있다.
특정 예에서 권투 글러브는 센서 유닛을 구비할 수 있다. 출력 유닛은 움직임을 녹화하고 이를 출력 유닛에 의해 판독 가능하며, 마이크로폰으로부터의 라이브 사운드의 체험을 향상시키는데 사용할 수 있는 디지털 청각 신호로 변환하는 센서 유닛에 의해 제공되는 향상과 동시에 장갑에 직접 녹음된 사운드를 출력한다.
본 발명에 따른 장치를 통해, 전자 엔터테인먼트 분야의 디바이스는 그의 채용 모드가 다용도이며, 움직임 활동으로 향상된 정도의 재현을 제공한다.
특정 구현예에서, 본 발명은 일반적으로 사운드가 없거나 사운드가 특정 움직임을 모니터링하는 유일한 방식인 분위기에서 사운드를 제공하는데 사용할 수 있다.
본 발명의 일 측면은, 흰 지팡이의 움직임을 반사시키는 청각 신호를 사람에게 제공하는 흰 지팡이에서 전술한 바와 같은 장치의 용도와 관련된다. 이 구현예에서, 감지 유닛은 흰 지팡이의 선단에 또는 그 근처에 설치될 수 있는 한편, 출력 유닛은 귀 내부에 은밀하게 배치될 수 있다. 2개의 유닛 간의 블루투스 연결은 감지 유닛으로부터의 디지털 청각 신호를 이어 마이크로폰에 전달하고, 흰 지팡이의 진동, 저항 및 모션에 대한 추가 정보를 제공한다. 이를 통해, 시각 장애인용 흰 지팡이를 만들어 보다 정확하고 추가적인 정보를 제공함으로써, 시각 장애인이 환경을 탐색할 수 있도록 도울 수 있다. 특정 구현예에서, 추가 마이크로폰은 주변 사운드를 검출하고 처리하거나, 흰 지팡이를 조작하는 사람의 청각 지각 수단을 증가시키는 등의 각각의 필터를 제공한다.
본 발명의 일 측면은 물체에 영향을 주는 검출된 적어도 하나의 힘을 청각 신호로 변환하는 방법과 관련된다. 바람직하게는, 상기 청각 신호는 그것을 촉발한 상기 힘의 성질 및 유형에 대해 어떻게든 반사적이다. 이 방법은 검출된 적어도 하나의 힘을 청각 신호로 변환하기 위한 장치를 제공하는 단계를 포함한다.
바람직하게는, 전술한 바와 같은 장치가 제공된다.
이 방법은 검출된 적어도 하나의 힘으로부터 힘을 생성하는 적어도 하나의 센서와, 힘 신호를 디지털 청각 신호로 변환하는 처리 유닛을 상기 물체에 부착하는 단계를 더 포함한다. 센서와 처리 유닛은 모두 그 장치의 필수적인 부분이다.
본 발명의 방법은 물체에 영향을 주는 힘을 센서로 감지하고 상기 힘 신호를 디지털 청각 신호로 변환하는 단계를 더 포함한다. 바람직하게는, 상기 디지털 청각 신호는 MIDI 신호이고, 훨씬 더 바람직한 구현예에서, 발생하는 지연 시간은 30 밀리초의 임계값 미만이다.
본 발명에 따른 방법은 출력 유닛에 의해 디지털 청각 신호를 청각 신호로 변환하는 단계를 더 포함한다.
특정 구현예에서, 각 힘 신호를 특정 디지털 청각 신호로 귀속시키는 알고리즘이 제공된다.
본 발명의 일 측면은 전술한 방법을 실행하기 위한 컴퓨터 실행 가능 명령을 포함하는 컴퓨터 프로그램 제품과 관련된다. 특정 구현예에서, 컴퓨터 프로그램 제품은 본 발명에 따른 장치에 내장된다.
본 발명의 추가적인 일 측면은, 상기 힘 신호를 출력 디바이스에 의해 청각 신호로 변환될 수 있는 디지털 청각 신호로 변환시키는 장치에서 힘 신호를 생성하기 위해, 검출된 적어도 하나의 힘으로부터 힘 신호를 생성하는 모션 센서의 사용방법과 관련된다. 바람직하게는, 상기 센서는 자이로스코프, 가속도계, 자력계, 컴파스, 관성 센서, 절대 배향 센서 및/또는 전자기 센서로 이루어진 군으로부터 선택된 하나 이상의 힘 검출 센서를 포함한다.
본 발명의 일 측면은 처음에 설명한 바와 같은 장치, 특히 감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치의 사용방법과 관련되며, 상기 장치는 적어도 하나의 센서, 처리 유닛, 출력 유닛을 포함하며, 디지털 청각 신호는 단일 검출된 힘의 가속도, 강도 및 지속 시간에 관한 정보를 포함하고, 상기 장치는 검출된 적어도 하나의 힘을 30 밀리초 이하, 바람직하게는 20 밀리초 이하의 지연 시간을 갖고 청각 신호로 변환할 수 있는 것을 특징으로 한다.
본 발명의 맥락에서, 증강 현실은 본 발명에 따른 장치에 의해 생성된 사운드에 의해 풍부해지는 것이지만, 상기 장치에 의해 검출된 움직임을 기반으로 기원되고 처리되는 특정 움직임을 수반하는 자연 발생 사운드로서 규정될 수 있다. 이 청각 증강 현실은, 예를 들어 스마트폰 또는 가상 현실 헤드셋에 의해 제공되는 시각적 증강 현실과 함께 사용할 수 있다.
특정 구현예에서, 장치는 그의 움직임을 청각 신호에 반영해야 하는 물체에 부착된다.
본 발명의 또 다른 측면은 스포츠 디바이스로 실행된 움직임을 청각 신호로 보완하기 위한 전술한 장치의 용도와 관련된다. 전술한 장치는 하키채, 야구 배트, 탁구채, 펜싱 검 등의 스포츠 디바이스에 장치, 특히 이러한 장치의 감지 유닛을 고정하기 위한 수단을 구비한다. 대안으로, 스포츠 디바이스를 보완하기 위한 본 발명에 따른 장치의 용도는, 장치와 관련하여 전술한 바와 같은 감지 유닛을 갖는 이러한 스포츠 디바이스를 제공함으로써 실현될 수도 있다. 이 구현예에서, 감지 유닛은 적어도 하나의 센서가 스포츠 디바이스의 움직임을 검출하게 된다.
본 발명의 또 다른 측면은 움직임 코칭을 위한 전술한 바와 같은 장치의 용도와 관련된다. 이 목적을 위해, 움직임은 전술한 바와 같이, 감지 유닛 및 각각의 청각 신호에 의해 검출되거나, 출력 유닛에 의해 출력된다. 처리 유닛은 움직임에 대한 상기 특정 경계에 배치될 수 있는데, 이는 움직임을, 상기 경계 내에서 사용자의 움직임이 실행되었는지에 대한 피드백을 사용자에게 제공하는 특정 사운드 패턴을 생성하는 디지털 청각 신호로 변환시킨다. 이 응용을 통해, 움직임의 조정은 움직임의 라이브 및 각 위치에 이어질 수 있는 청각 피드백의 지원으로 처리된다. 특정 예에서, 처리 유닛은 움직임이 특정 임계값 내에서 일어나기 위해 힘 신호를 디지털 청각 신호로 변환하는 것을 생략할 수 있다. 임계값을 초과하면, 즉 의미상 움직임이 모션의 특정 범위 내에서 너무 빠르거나 그 범위 내에 없으면, 처리 유닛은 검출된 힘에서 디지털 청각 신호를 생성하며, 이는 청각 신호의 형태로 사운드를 생성하여, 사용자가 그와 같이 규정된 경계를 벗어난 움직임의 정확한 시점과 페이스에 대한 피드백을 사용자에게 제공한다.
이 측면의 특정한 구현예에서, 특정 움직임 패턴은 힘 센서에 의해 하강함에 따라서 처리 유닛에 의해 인식된다. 처리 유닛은 자신의 조화로운 청각 신호에 해당하는 일련의 디지털 청각 신호를 생성한다. 움직임이 상기 움직임 패턴으로부터 멀어지면, 데스캔트 톤 (descant tone)이 청각 신호로서 생성됨으로써, 이상적인 움직임 패턴이 남았음을 알리는 피드백을 사용자에게 제공한다.
이 측면의 특정 구현예에서, 다수의 감지 유닛은 다수의 물체가 각각, 예를 들어 상기 물체의 움직임이 특정 패턴을 따르는지의 여부를 개별적으로 측정한다. 하나의 가능한 응용은 다수의 움직임의 동시성에 대한 실시간 검토를 갖는 것이다. 이 응용은 댄싱에 특히 흥미롭다.
이 측면의 특정 구현예에서, 처리 유닛은 각각 별도의 힘 센서로부터 기원하는 다수의 힘 신호를 처리하고, 다수의 힘 신호가 서로에 대해 미리 규정된 특수한 관계를 따르는지의 여부를 분석하게 된다. 이 측면에 대한 대안적인 구현예에서, 처리 유닛은 다수의 감지 유닛으로부터 힘 신호를 분석하고, 개별 검출로부터 다수의 디지털 청각 신호를 생성하게 된다.
본 발명의 또 다른 측면은 시각 영상을 녹화할 수 있는 비디오 카메라와 관련하여 전술한 바와 같은 장치의 용도와 관련된다. 이 용도의 특히 바람직한 구현예에서, 비디오 카메라는 움직임이 실행된 동안 상기 움직임을 등록하고 촬영할 수 있는 소위 액션 캠코더이다. 이 구현예에서, 본 발명의 장치는 움직임이 실행되고 액션 카메라에 의해 녹화되는 동안 움직임으로부터의 힘 신호를 디지털 청각 신호로 변환하는 것을 조정하게 된다. 따라서, 프로세서는 움직임을 특정 사운드 패턴과 연결시키게 된다.
이러한 용도로, 움직임으로부터 녹화된 필름을 디바이스의 움직임과 관련하여 본 발명에 따른 장치에 의해 생성된 청각 신호로 생긴 음향 트랙과 직접 결합시킬 수 있다. 결과로 생긴 조합 제품은 녹화된 비디오의 움직임을 반영하는 개별 사운드 트랙을 갖는 비디오이다.
특정 구현예에서, 그러므로 만들어진 사운드 트랙은 미리 결정되고 사용자가 선택할 수 있는 디지털 청각 신호 세트를 기반으로 생성된다. 예를 들어, 하드 록, 재즈 또는 힙합의 미리 결정된 사운드 트랙에서 선택할 수 있으므로, 프로세서는 감지 유닛이 검출한 움직임을 기반으로 선택한 음악 스타일을 반영한 디지털 청각 신호를 생성한다.
본 발명의 특정 구현예에서, 특정 움직임 패턴은 특정 사운드 효과에 기인하고 감지 유닛에 의해 이들이 검출됨에 따라, 동적으로 생성된다. 움직임 충격의 속도 또는 강도 같은 세기는 감지 유닛의 측정값에 따라 출력 유닛의 볼륨, 피치 또는 베이스 세기에 의해 반영될 수도 있다.
본 용도의 특정 구현예에서, 장치는 액션 카메라에 분리 가능하게 부착될 수 있으므로, 상기 카메라가 실행하는 모든 움직임이 감지 유닛에 의해 녹화되고 출력 유닛에 의해 실시간으로 출력될 수 있다.
이 용도의 특정 구현예에서, 본 발명에 따른 장치는 비디오 파일의 등록과 동시에 움직임을 녹화함으로써, 직접 처리되고 업로드 및 재생되거나, 미래의 사용을 위해 저장될 수 있다. 이 응용은 추가의 비디오 처리 기술이나 사운드 트랙을 수동으로 추가할 필요가 없는 동작 움직임을 형성하는 사운드 트랙의 향상된 비디오 클립을 생성할 수 있다.
이 용도의 특정 구현예에서, 움직임에 의해 생성된 사운드 트랙에 필적하여 녹음하는 것이 움직임의 목적이므로, 프로세서는 마이크로폰에 의해 녹음된 사운드를 디지털 청각 신호로 더 변환시킬 수 있다.
특정의 바람직한 구현예에서, 마이크로폰에 의해 조절된 라이브 사운드는 장치가 부착된 물체의 움직임으로 생긴 디지털 청각 신호로 향상된다.
이 용도는 자전거 타기, 활강, 스키, 패러글라이딩, 달리기, 수영, 연날리기 등과 같이, 액션 카메라가 사용되는 모든 분야와 결합하여 특히 흥미롭다. 이 용도의 특정 구현예에서, 프로세서로부터 생성된 디지털 청각 신호에 의해 실현 가능한 미리 결정된 사운드 트랙의 선택은 특정 유형의 스포츠에 적합하다. 이 장치는 특정 유형의 스포츠에 적합하거나 각 스포츠 도구에 이미 구현된 것으로 생각할 수 있다.
이 용도의 특정 구현예에서, 장치는 출력 유닛과의 블루투스 연결이거나 케이블 및 음향 잭에 의해 연결된 이어폰을 더 포함함으로써, 사용자는 출력 유닛의 출력을 실시간 라이브로 체험할 수 있다.
본 발명의 추가 측면은 웰빙 목적을 위한 전술한 바와 같은 장치의 용도와 관련된다. 이 장치는 요가나 태국 무술 같은 느긋한 움직임에서 사용할 수 있으며, 상기 움직임의 휴식과 명상 깊이를 향상시키는 상응하는 명상 청각 신호 트랙을 제공할 수 있다.
이 용도의 특정 구현예에서, 장치는 주변 사운드를 필터링하기 위한 노이즈 필터를 포함하는 헤드셋을 더 구비하게 된다. 이는 편안한 움직임의 명상적인 연습을 가능케 하여, 산만한 주변 사운드를 가리는 한편, 본 발명의 장치에서 발생하는 각각의 사운드 피드백을 듣기만 하는 것으로도, 움직임에 충분히 집중할 수 있다.
스포츠, 의료, 엔터테인먼트 및 휴식 목적을 위한 본 발명에 따른 장치의 응용 대역폭은 매우 광범위하다. 본 발명의 장치의 모든 응용에서 공통적인 것은 상기 움직임의 유형, 세기 및 방향을 반영하는 사운드 트랙과 움직임의 실시간 반주를 가능하게 하는 것이다. 이것은 사용자가 행동으로 높은 수준의 재현에 도달할 수 있게 함으로써, 그의 응용 분야에서 다용도인 엔터테인먼트 디바이스를 제공하는 장치 및 상기 장치의 용도를 제공한다.
설명한 특정 구현예들 중 임의의 구현예를, 상호 배타적이지 않거나 대안으로서 명시적으로 언급하지 않는 한, 임의의 조합으로 본 발명에 따른 장치 또는 그의 사용에서 실현할 수 있음은 당업자에게 자명하다.
다음에, 그에 제한됨이 없이, 개략적인 도면 및 특수 실시예에 의해 본 발명을 추가로 설명한다.
이들 실시예 및 도면은 당업자에게 본 발명의 구현예에 관한 추가의 장점을 제공한다.
도 1은 본 발명에 따른 장치의 기능을 도시하는 개략적인 블록도이다.
도 1은 본 발명에 따른 장치(10)의 2가지 기능 모드를 나타내는 블록도를 개략적으로 도시한다. 도 1에 도시된 바와 같이, 장치(10)는 감지 유닛(11)과, 이 경우에 다수의 출력 유닛(3)으로 분리될 수 있다. 감지 유닛(11)은 센서(1)를 포함하며, 또는 이 특수 실시예의 경우에 센서 어레이(1)는 가속, 회전 및 자기장에 대해 x, y, z의 3개 축을 각기 갖는 9개의 센서 축을 포함한다. 보쉬사의 BNO 055같은 적절한 센서를 사용할 수 있으며, 이는 통합 가속도계, 자이로스코프 및 직선 운동과 중력을 측정하기 위한 자력계, 공간에서의 회전 속도 (롤, 피치, 요잉), 지상 지구 자계를 제공하며, 상기 정보를 제공하고 이를 디지털 판독 가능한 힘 신호로 처리하여, 이 구현예에서는 감지 유닛(11)의 필수적인 부분을 형성하는 처리 유닛(2)에 의해 처리될 수 있도록 하는 모든 센서를 구비하는 절대 배향 센서를 제공한다. 다음에, 처리 유닛은 센서(1)에 의해 측정된 힘 신호를 블루투스 모듈(15)에 의해 전달될 디지털 청각 신호로 변환한다. 이 특정 예에서, 블루투스 모델은 힘 신호를 처리하기 위해 필요한 마이크로프로세서를 구비하며, 따라서 처리 유닛(2) 및 블루투스 모듈(15)은 모두 동일한 통합 모듈의 일부일 수 있다.
본 예에서, 블루투스 모듈(15)로부터의 전송은 MIDI 포맷의 디지털 청각 신호의 형태로 일어난다.
제 1작동 모드에서, 출력 유닛은 이 감지 유닛과 결합될 수 있어, 전체 장치는 일체로 만들어진다. 본 예에서, 출력 유닛(3)은 감지 유닛(11)과 일체로 형성될 수 있거나, 또는 별도 부분의 장비일 수 있다. 두번째 경우에, 출력 유닛(3)은 감지 유닛(11)의 블루투스 모듈(15)로부터 디지털 청각 신호를 수신하기 위한 추가의 블루투스 모듈을 필요로 하게 된다. 출력 유닛(3)은 사운드 생성 모듈(16) 및 라우드 스피커(17)를 포함한다.
대안으로, 또는 부가적으로 출력 유닛(3')의 기능은 스마트폰에 의해 실행될 수 있다. 본 예에서, 스마트폰은 출력 유닛(3')의 형태를 취한다. 스마트폰은 감지 유닛(11)의 블루투스 모듈(15)로부터 MIDI 신호의 형태로 디지털 청각 신호를 수신할 수 있는 블루투스 모듈(15')을 구비하게 된다. 개별 또는 일체형 출력 유닛(3)의 기능과 유사하게, 스마트폰 출력 유닛(3')은 다음에 라우드 스피커(17')에 의해 사운드 출력을 생성하는 사운드 생성 모듈(16')로 MIDI 파일을 처리한다. 통합된 또는 별도의 출력 유닛(3)의 가장 간단한 실시예에 의해 제공되는 기능에 부가하여, 스마트폰 출력 유닛(3')은 미리 선택된 범위의 사운드 유형으로부터 특정 변조를 선택하는 수단을 제공하는 구성 수단(18)을 구비하게 되며, 특정 변조는 다음에, 사운드 생성 모듈(16')에 의해 MIDI 파일에서 실행되어, 라우드 스피커(17')에 의해 상이한 유형의 사운드 출력을 생성할 수 있다.
이 구성 모듈(18)은 사용자에게 증가된 기능성을 제공하는 스마트폰 앱에 의해 제어될 수 있다. 추가의 스마트폰 리소스를 사용하여, 사운드 파일을 적용하기 위한 다양한 구성 범위를 제공할 수 있게 된다. 이것은 디지털 다운로드 및/또는 미리 설정되고 미리 구성된 사운드 패턴의 형태일 수 있다. 물론, 스마트폰은 블록도에 도시하지 않았으나, 스크린에 의한 시각적인 표시, 메모리 저장 및 인터넷과의 무선 또는 USB 연결 등의 모든 최신 스마트폰에서 필수인 추가 기능을 제공한다.
본 발명에 따른 장치(10)에 의해 처리되는 움직임과의 추가적인 상호 작용을 가능하게 하도록 사운드가 발생되는 동안, 앱은 사운드를 직접 조작하고 변조하는 수단을 더 제공할 수 있다.
특정 예에서, 라우드 스피커(17, 17')는 인접한 라우드 스피커 또는 추가의 라우드 스피커와 연결될 수 있는 음향 잭에 의해 더 보완된다.
특정 예에서, 액션 카메라와 관련하여 장치를 사용하는 경우, 음향 출력잭은 장치(10)를 액션 카메라의 음향 입력잭과 연결하는데 사용함으로써, 액션 카메라에 의해 생성된 필름 파일 상에서 직접 본 발명의 장치(10)에 의해 사운드 처리를 제공할 수 있다.
이 특수 예에서, 움직임 감지 유닛으로부터의 힘으로서 라우드 스피커(17)에서 청각 신호의 생성까지 등록된 실제 움직임 간의 지연 시간은 30 밀리초 미만이다. 이것은 사운드 동반 움직임으로의 깊은 재현을 가능하게 한다. 디지털 청각 신호의 블루투스 전송은 최대 지연 시간이 15 밀리초인 반면, 힘의 검출 및 처리는 15 밀리초의 최대 지연 시간을 갖는다.
특정 예에서, 힘 신호를 디지털 청각 신호로 변환하기 위해 프로세서 상에서 실행되는 알고리즘은 갑작스러운 돌발 움직임과 연속적인 움직임을 구별할 수 있다. 갑작스러운 돌발 움직임의 경우에, 사운드에 의해 움직임의 갑작스러움을 전송하도록, 지연 시간을 가능한 한 낮게 유지해야 한다. 놀랍게도, 지연 시간은 연속적인 움직임의 전환과는 관련성이 적은 것으로 밝혀졌다. 갑작스런 돌발 움직임을 구별하도록 구비된 프로세서는 검출된 힘 신호를 디지털 청각 신호로 변환하는 각각의 우선 순위에 따라 갑작스런 돌발 움직임에 대한 우선 순위를 매김으로써 재현을 위태롭게 하지 않을 수 있다.
다음에, 본 발명에 따른 장치의 용도 및 구현을 위한 특수 실시예를 설명한다.
실시예 1: 레이저 검
이 특수 예에서, 본 발명에 따른 장치는 레이저 검을 시뮬레이션하는데 사용한다. 레이저 검은 가상적인 것으로, 취급시에 특유의 "휙하는" 소리를 내는 주지의 대중 매체 아이템이다. 이 예에서, 본 발명에 따른 장치는, 본 발명의 장치가 착탈 가능하게 부착될 수 있는 임의의 아이템으로, 이 사운드를 시뮬 레이션하는데 사용한다. 프로세서는, 전술한 설정에 따라 장치(10)의 각 감지유닛에 부착하여 사용할 수 있는 빗자루에 대한 그의 가장 기본적인 응용에서, 특히 지어낸 검의 자루의 움직임, 그의 위치, 검의 스윙, 지어낸 자루의 회전 및 2개의 검의 충돌을 검출하게 된다. 다음에, 하나 이상의 출력 유닛(3, 3')은 각 레이저 검의 사운드를 생성할 수 있다. 특정 검과 관련해서, 전투 중에 2개의 광검이 부딪칠 때 충돌하는 것과는 대조적으로 검의 자루를 흔들고 돌리는 연속적인 유체 움직임으로 사운드를 세분할 수 있다. 이 응용의 프로세서는 두가지 유형의 움직임을 구별하고, 아이템 상에서 검의 충돌 같은 즉각적인 사운드 효과를 필요로 하는 특정 우선 순위를 제공하게 된다. 전술한 센서 같은 일반적으로 사용 가능한 센서는 이러한 움직임을 구별하고 프로세서가 우선 순위를 실행하는데 필요한 정보를 프로세서에 제공할 수 있다.
본 발명에 따른 장치의 특정한 이점은 2개의 광검 사운드를 심지어 동시에 처리함으로써, 사용자의 체험을 향상시키고, 다수의 센서의 움직임을 측정하며 각각의 사운드 피드백을 제공하여 레이저 검 듀오로의 재현을 제공할 수 있는 것이다.
이 장치는 광검 및 레이저 검이 주지의 도플러 효과 사운드를 제공하게 되는 특수 소프트웨어 제품과 특수 사운드 파일을 구비할 수 있다.
실시예 2: 탁구채
상기 레이저 검을 갖는 것과 매우 유사한 이 특정 예에서, 2개의 감지 유닛은 탁구채에 각각 부착되거나 그와 일체로 형성된다. 대안으로, 탁구공이 감지 유닛을 구비할 수도 있지만, 탁구공의 가벼운 무게가 특수한 요건이라는 점을 고려하면, 탁구채에 구비하는 것이 더 바람직할 수 있다.
처리 유닛은 특히 충격, 충격 강도, 스윙 속도와 방향 및 탁구공의 포핸드/백핸드 타격을 감지하게 된다. 특정 예에서, 이 사운드는 컴퓨터 게임과 같은 아케이드의 형태를 취할 수 있다. 이것은 탁구를 보고 치는 것을 훨씬 더 재미있게 만든다.
본 발명의 장치의 특정 용도는 훈련 목적일 수 있다. 특정 타격 움직임의 완성 또는 특정 경계 내에서의 움직임의 매우 민감한 검출은 본 발명에 따른 모션 검출 및 감지에 의해 모니터할 수 있다. 이 실시예에서, 가령 탁구채와 함께 특정 라인을 무단 출입하면, 사용자 또는 코치에게 알려서 틸트 사운드를 이끌어 낼 수 있으므로, 움직임을 정확하게 검토할 수 있다.
실시예 3: 사운드 페인팅
이 실시예에서는, 하나 이상의 감지 유닛을 사용하여, 감지 유닛의 시작 위치, 움직임 속도 및 회전에 대한 위치를 비롯해, 특정 움직임 패턴에 대응하는 라이브 사운드를 생성하기 위한 감지 유닛의 비팅(beating)을 검출한다. 다음에, 댄스 및/또는 예술적인 움직임을 해당 사운드 효과로 직접 변환할 수 있다.
특히 사운드 페인팅의 경우, 기계 학습을 적용하여 힘 신호 또는 일련의 힘 신호를 미리 학습된 움직임 시퀀스와 일치시키고, 상기 움직임 시퀀스를 반영하는 특수 디지털 청각 신호를 생성할 수 있다. 장치는 미리 학습된 일련의 움직임 시퀀스를 구비할 수 있으며, 각 움직임 시퀀스는 춤추는 동작을 나타내며 각기 특수 청각 신호를 생성한다.
이를 위해, 전술한 바와 같이, 댄스 동작을 분석하여 파라미터를 만들 수 있다. 이들 파라미터는 춤추는 동작이 반복적으로 실행되는 동안, 예를 들어 가속도계, 자력계와 같은 다양한 센서 수단으로부터의 힘 신호를 인덱싱함으로써 생성될 수 있다. 이들 파라미터는 장치의 펌웨어에 내장된 후에, 댄스 동작으로 생긴 힘 신호와 일치될 수 있으며, 미리 학습된 움직임 시퀀스로 그 사운드가 검출되고 일치하는 경우, 매우 낮은 지연 시간의 사운드 효과가 발생할 수 있다. 이를 위해, 기계 학습 알고리즘을 사용할 수 있다.
본 발명에 따른 장치의 추가의 이점 구현은 본 발명의 종속항 및 상세한 설명으로부터 당업자가 용이하게 도출할 수 있다.

Claims (31)

  1. 감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치로서,
    a) 검출된 적어도 하나의 힘으로부터 힘 신호를 생성하는 적어도 하나의 센서;
    b) 상기 힘 신호를 디지털 청각 신호로 변환하는 처리 유닛으로, 여기서 상기 디지털 청각 신호는 MIDI 신호이며;
    c) 상기 디지털 청각 신호를 청각 신호로 변환하는 출력 유닛;
    d) 적어도 하나의 센서 및 처리 유닛을 수용하는 제1 케이싱;
    e) 출력 유닛을 수용하는 제2 케이싱; 및
    f) 처리 유닛과 출력 유닛 사이에서 디지털 청각 신호를 무선으로 전송하도록 구성된 데이터 교환 유닛;을 포함하며,
    상기 디지털 청각 신호는 단일 검출된 힘의 가속도, 강도 및 지속 시간에 대한 정보를 포함하고, 상기 처리 유닛은 힘 신호를 디지털 청각 신호로 변환하는데 걸리는 지연시간이 5ms 내지 35ms가 소요되며, 또한,
    상기 처리 유닛은 상기 힘 신호(들)로부터 미리 학습된 움직임 시퀀스를 인식하고, 상기 움직임 시퀀스를 디지털 청각 신호로 변환하도록 구성되는 것을 특징으로 하는 장치.
  2. 삭제
  3. 제 1항에 있어서, 상기 제1 케이싱 및 제2 케이싱은 서로 분리 가능하게 결합되도록 배치되는 것을 특징으로 하는 장치.
  4. 제 1항 또는 제 3항에 있어서, 제1 케이싱 및/또는 제2 케이싱은 각각의 케이싱을 하나 이상의 제3 장치에 부착하기 위한 하나 이상의 고정 장치를 갖는 장치.
  5. 제 1항 또는 제 3항에 있어서, 상기 장치는 하나 이상의 에너지원을 포함하는 장치.
  6. 제 1항 또는 제 3항에 있어서, 상기 장치는 적어도 하나의 통신 시스템을 포함하는 장치.
  7. 제 1항 또는 제 3항에 있어서, 처리 유닛은 제1 디지털 정보를 제1 힘 신호 차원에 귀속시키고 제2 디지털 정보를 제2 힘 신호 차원으로 귀속시키며, 또한 제3 디지털 정보를 제3 힘 신호 차원으로 귀속시킴으로써 힘 신호를 디지털 청각 신호로 변환하도록 배열되는 장치.
  8. 제 1항 또는 제 3항에 있어서, 출력 유닛은 오디오 출력 및/또는 오디오 출력 커넥터를 더 포함하는 장치.
  9. 제 1항 또는 제 3항에 있어서, 상기 장치는 저장 매체를 포함하는 장치.
  10. 제 1항 또는 제 3항에 있어서, 처리 유닛은 연속적으로 감지된 힘 신호(s)의 시퀀스를 정의된 알고리즘에 따라 디지털 청각 신호의 시퀀스로 변환하도록 구성되는 장치.
  11. 제 1항 또는 제 3항에 있어서, 힘 센서는 적어도 3개의 축에서 가속도를 감지하도록 구성되는 것인 장치.
  12. 제 1항 또는 제 3항에 있어서, 복수의 감지된 힘으로부터 각각의 힘 신호를 생성하기 위한 복수의 센서를 포함하고, 상기 처리 유닛은 복수의 힘 신호를 하나의 디지털 청각 신호로 융합하도록 구성되는 장치.
  13. 제 1항 또는 제 3항에 있어서, 상기 처리 유닛은 시간 간격마다 처리되는 힘 신호(s)로부터 디지털 청각 신호의 스트링을 생성하는 장치.
  14. 제 1항 또는 제 3항에 있어서, 적어도 하나의 센서는 장치에 영향을 미치는 힘을 검출하도록 구성된 센서이고, 상기 힘은 장치에 영향을 미치는 움직임 및/또는 충격인 장치.
  15. 제 1항 또는 제 3항에 있어서, 처리 유닛은 결정된 변환 프로토콜에 기초하여 힘 신호를 디지털 청각 신호로 변환하도록 구성되는 장치.
  16. 제 1항 또는 제 3항에 있어서, 상기 처리 유닛은 힘 신호를 분류하고 상기 분류에 기초하여 결정된 변환 프로토콜에 기반하여 상기 힘 신호를 디지털 청각 신호로 변환하도록 적용되는 장치.
  17. 삭제
  18. 물체에 영향을 미치는 적어도 하나의 감지된 힘을 청각 신호로 변환하는 방법으로서,
    a) 적어도 하나의 감지된 힘을 청각 신호로 변환하기 위해 제1항에 따른 장치를 제공하는 단계;
    b) 제1항에 따른 장치로부터 검출된 적어도 하나의 힘으로부터 힘 신호를 생성하는 적어도 하나의 센서가, 상기 힘 신호를 디지털 청각 신호로 변환하는 처리 유닛에 부착되는 단계;
    c) 상기 센서로 상기 물체에 영향을 주는 힘을 검출하고, 상기 힘 신호를 20ms 미만의 지연을 갖고 디지털 청각 신호로 변환하는 단계;
    d) 출력 유닛에 의해 상기 디지털 청각 신호를 청각 신호로 변환하는 단계; 및 각각의 힘 신호를 디지털 청각 신호에 귀속시키는 알고리즘의 제공을 포함하며;
    상기 처리 유닛은 기계 학습 알고리즘을 적용하고 상기 움직임 시퀀스를 MIDI 신호로 변환함으로써 힘 신호(들)로부터 미리 학습된 움직임 시퀀스를 인식하도록 구성되는 방법.
  19. 삭제
  20. 제 1항에 있어서, 상기 처리 유닛은 힘 신호를 디지털 청각 신호로 변환하는데 걸리는 지연시간이 10ms 내지 20ms가 소요되는 것을 특징으로 하는 장치.
  21. 제 1항에 있어서, 상기 처리 유닛은 힘 신호를 디지털 청각 신호로 변환하는데 걸리는 지연시간이 20ms 미만이 소요되도록 구성되는 것을 특징으로 하는 장치.
  22. 삭제
  23. 제 3항에 있어서, 상기 제1 케이싱과 상기 제2 케이싱은 형상 맞춤에 의해 서로 분리 가능하게 결합될 수 있도록 배열되는 것을 특징으로 하는 장치.
  24. 제 5항에 있어서, 상기 장치는 하나 이상의 재충전 가능한 에너지원을 포함하는 장치.
  25. 제 6항에 있어서, 상기 적어도 하나의 통신 시스템은 버스(bus) 시스템 및 각각의 연결부를 포함하는 장치.
  26. 제7항에 있어서, 상기 처리 유닛은 제1 디지털 정보를 가속도로, 제2 디지털 정보를 강도로 및 제3 디지털 정보를 감지된 단일 힘의 지속 시간으로 귀속시킴으로써 상기 힘 신호를 디지털 청각 신호로 변환하도록 배열되는 장치.
  27. 제 9항에 있어서, 상기 장치는 디지털 청각 신호를 저장하기 위한 저장 매체를 포함하는 장치.
  28. 제 14항에 있어서, 상기 적어도 하나의 센서는 자이로스코프, 가속도계 및 자력계로 이루어진 그룹으로부터 선택되는 센서인 장치.
  29. 제 15항에 있어서, 처리 유닛은 미리 선택되어 결정된 변환 프로토콜에 기초하여 힘 신호를 디지털 청각 신호로 변환하도록 구성되는 장치.
  30. 삭제
  31. 삭제
KR1020197021066A 2016-12-25 2017-12-22 감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치 및 방법 KR102534258B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CH17422016 2016-12-25
CH01742/16 2016-12-25
PCT/EP2017/084490 WO2018115488A1 (en) 2016-12-25 2017-12-22 Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal

Publications (2)

Publication Number Publication Date
KR20190111936A KR20190111936A (ko) 2019-10-02
KR102534258B1 true KR102534258B1 (ko) 2023-05-18

Family

ID=61027687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197021066A KR102534258B1 (ko) 2016-12-25 2017-12-22 감지 유닛의 움직임으로부터 검출된 적어도 하나의 힘을 청각 신호로 변환하는 장치 및 방법

Country Status (8)

Country Link
US (2) US11393437B2 (ko)
EP (1) EP3559940B1 (ko)
JP (1) JP7140447B2 (ko)
KR (1) KR102534258B1 (ko)
CN (1) CN110352454A (ko)
BR (1) BR112019012956A2 (ko)
CA (1) CA3048296C (ko)
WO (1) WO2018115488A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111729248A (zh) * 2019-03-25 2020-10-02 明跃国际健康科技股份有限公司 结合云端的打击健身装置及其侦测方法
KR20220035448A (ko) 2019-07-19 2022-03-22 마이크티크 아게 Midi 프로토콜을 통해 연속 동작으로부터 가상 악기를 에뮬레이팅하는 방법
KR20220100054A (ko) * 2019-11-22 2022-07-14 나이키 이노베이트 씨.브이. 모션 기반의 미디어 생성
EP3926298A1 (fr) * 2020-06-17 2021-12-22 ETA SA Manufacture Horlogère Suisse Instrument de navigation avec compensation d'inclinaison et méthode associée

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07113832B2 (ja) * 1990-01-09 1995-12-06 ヤマハ株式会社 電子楽器
US4980519A (en) * 1990-03-02 1990-12-25 The Board Of Trustees Of The Leland Stanford Jr. Univ. Three dimensional baton and gesture sensor
US5541358A (en) 1993-03-26 1996-07-30 Yamaha Corporation Position-based controller for electronic musical instrument
JP3307162B2 (ja) 1995-05-15 2002-07-24 ヤマハ株式会社 音楽制御装置
JP3627321B2 (ja) 1995-10-02 2005-03-09 ヤマハ株式会社 演奏制御装置
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
JP3646599B2 (ja) * 2000-01-11 2005-05-11 ヤマハ株式会社 演奏インターフェイス
EP1837858B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
EP1195742B1 (en) 2000-09-05 2008-02-27 Yamaha Corporation System and method for generating tone in response to movement of portable terminal
JP4694705B2 (ja) * 2001-02-23 2011-06-08 ヤマハ株式会社 楽音制御システム
US6388183B1 (en) * 2001-05-07 2002-05-14 Leh Labs, L.L.C. Virtual musical instruments with user selectable and controllable mapping of position input to sound output
US7038122B2 (en) 2001-05-08 2006-05-02 Yamaha Corporation Musical tone generation control system, musical tone generation control method, musical tone generation control apparatus, operating terminal, musical tone generation control program and storage medium storing musical tone generation control program
JP3867630B2 (ja) 2002-07-19 2007-01-10 ヤマハ株式会社 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法
KR100668298B1 (ko) * 2004-03-26 2007-01-12 삼성전자주식회사 움직임에 기반한 소리 발생 방법 및 장치
KR100617719B1 (ko) * 2004-08-27 2006-08-28 삼성전자주식회사 이동 통신 단말기에서 움직임에 종속한 사운드를 생성하는장치 및 방법
KR100738072B1 (ko) * 2005-02-01 2007-07-12 삼성전자주식회사 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법
KR20070009298A (ko) * 2005-07-15 2007-01-18 삼성전자주식회사 모션 감지에 의하여 효과 음향을 재생하고 제어하는 방법및 장치
US8618404B2 (en) 2007-03-18 2013-12-31 Sean Patrick O'Dwyer File creation process, file format and file playback apparatus enabling advanced audio interaction and collaboration capabilities
US20080250914A1 (en) 2007-04-13 2008-10-16 Julia Christine Reinhart System, method and software for detecting signals generated by one or more sensors and translating those signals into auditory, visual or kinesthetic expression
KR200443563Y1 (ko) * 2007-05-28 2009-02-24 주식회사 한국센시스 가속도 센서를 채용한 음악기구
US7939742B2 (en) * 2009-02-19 2011-05-10 Will Glaser Musical instrument with digitally controlled virtual frets
US8426719B2 (en) 2011-05-25 2013-04-23 Inmusic Brands, Inc. Keytar controller with percussion pads and accelerometer
CN103531188B (zh) * 2012-07-03 2015-12-02 上海斐讯数据通信技术有限公司 一种midi音乐发生器和演奏midi音乐的***及方法
US9799315B2 (en) * 2015-01-08 2017-10-24 Muzik, Llc Interactive instruments and other striking objects
CN107407961A (zh) * 2015-01-19 2017-11-28 寇夫音乐有限公司 计算机的手持式控制器、计算机的控制***和计算机***
US9812029B1 (en) * 2016-10-12 2017-11-07 Brianna Henry Evaluating a position of a musical instrument
US10152958B1 (en) * 2018-04-05 2018-12-11 Martin J Sheely Electronic musical performance controller based on vector length and orientation
US10748515B2 (en) * 2018-12-21 2020-08-18 Electronic Arts Inc. Enhanced real-time audio generation via cloud-based virtualized orchestra
US10643593B1 (en) * 2019-06-04 2020-05-05 Electronic Arts Inc. Prediction-based communication latency elimination in a distributed virtualized orchestra

Also Published As

Publication number Publication date
JP7140447B2 (ja) 2022-09-21
CA3048296C (en) 2023-06-13
US11393437B2 (en) 2022-07-19
JP2020503540A (ja) 2020-01-30
BR112019012956A2 (pt) 2022-03-03
WO2018115488A1 (en) 2018-06-28
US20190355335A1 (en) 2019-11-21
EP3559940B1 (en) 2022-12-07
KR20190111936A (ko) 2019-10-02
CA3048296A1 (en) 2018-06-28
CN110352454A (zh) 2019-10-18
US20220351708A1 (en) 2022-11-03
EP3559940A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
US20220351708A1 (en) Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal
US10376785B2 (en) Audio, video, simulation, and user interface paradigms
KR101625360B1 (ko) 모션 검출 시스템
US8686939B2 (en) System, method, and apparatus for three-dimensional input control
US7890199B2 (en) Storage medium storing sound output control program and sound output control apparatus
US9501158B2 (en) Storage medium having stored thereon information processing program and information processing apparatus
US20070265075A1 (en) Attachable structure for use with hand-held controller having tracking ability
JP2009536765A (ja) 加速度計データに基づいて、振りの衝撃の時期および／または振りの強度を検出するシステムおよび方法
KR101599303B1 (ko) 가상 현실 기반의 야구 게임 시스템 및 그것을 이용한 게임 진행 방법
TWI618048B (zh) Music and video production system
US10770046B2 (en) Interactive percussive device for acoustic applications
Nylander et al. Swing sound: experiencing the golf swing through sound
JPWO2020026443A1 (ja) 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法
WO2017023717A1 (en) Utilizing athletic activities to augment audible compositions
JP6603734B2 (ja) ゲームプログラムおよびゲーム装置
KR101840745B1 (ko) 호스트의 골프 시뮬레이션 방법 및 호스트와 통신하는 전자 퍼팅 장치
US10950138B1 (en) Drumming fitness system and method
GB2552744A (en) Musical sound and image generation system
JP2006175292A (ja) ゲーム装置および情報記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant