KR20200045473A - 신체 운동 동안 음향 피드백을 제어하기 위한 방법 및 장치 - Google Patents

신체 운동 동안 음향 피드백을 제어하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200045473A
KR20200045473A KR1020207004825A KR20207004825A KR20200045473A KR 20200045473 A KR20200045473 A KR 20200045473A KR 1020207004825 A KR1020207004825 A KR 1020207004825A KR 20207004825 A KR20207004825 A KR 20207004825A KR 20200045473 A KR20200045473 A KR 20200045473A
Authority
KR
South Korea
Prior art keywords
audio
sensor
sensor signal
clips
audio clip
Prior art date
Application number
KR1020207004825A
Other languages
English (en)
Inventor
토마스 프리츠
에릭 부슈
질피오 보르하르트
디르크 굼멜
Original Assignee
막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. filed Critical 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우.
Publication of KR20200045473A publication Critical patent/KR20200045473A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/008—Appliances for aiding patients or disabled persons to walk about using suspension devices for supporting the body in an upright walking or standing position, e.g. harnesses
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/0004—Exercising devices moving as a whole during exercise
    • A63B21/00043—Exercising devices consisting of a pair of user interfaces connected by flexible elements, e.g. two handles connected by elastic bands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/02—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices using resilient force-resisters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686—Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/46—Volume control
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/802—Ultra-sound sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025—Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/035—Crossfade, i.e. time domain amplitude envelope control of the transition between musical sounds or melodies, obtained for musical purposes, e.g. for ADSR tone generation, articulations, medley, remix

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

음향 피드백을 제공하는 기술들이 개시된다. 여러 오디오 클립들(21-23)은 동기화된 비트를 갖는다. 센서로부터 수신되는 센서 신호(16)는 제1 임계값(11) 및 제2 임계값(12)에 의해 적어도 3 개의 센서 신호 서브-범위들(13-15)로 나누어지는 센서 신호 범위를 갖는다. 상기 수신된 센서 신호에 응답하여 오디오 신호가 출력되며, 상기 출력되는 오디오 신호는 상기 오디오 클립들 중 하나 이상을 포함한다. 상기 수신된 센서 신호(16)가 상기 제1 임계값(11)을 초과한다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)는 중단되고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(22)은 상기 하나 이상의 오디오 클립들(21)과 동기하여 개시된다. 상기 수신된 센서 신호(16)가 상기 제2 임계값(12) 아래로 떨어진다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)는 중단되고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(23)은 상기 하나 이상의 오디오 클립들(21)과 동기하여 개시된다.

Description

신체 운동 동안 음향 피드백을 제어하기 위한 방법 및 장치
본 발명은 신체 운동 동안 음향 피드백을 제어하기 위한 기술에 관한 것이다. 본 발명은 특히 센서를 사용하여 캡처된 신체 운동의 특성에 기초하여 음향 피드백을 제어하기 위한 방법들 및 장치들에 관한 것이다.
신체 운동 활동은 개별적으로 또는 그룹 환경에서 수행될 수 있으며, 그리고 대중적이고, 그리고 체력 및 건강을 개선하도록 권장된다. 신체 운동을 수행하는 동안 사용자에게 동기를 부여하는 기술은 규칙적인 신체 운동이 건강에 미치는 유익한 효과를 고려하여 상당한 관심을 받고 있다. 사용자에게 주어진 운동을 반복하려는 동기가 없으면, 사용자는 자신의 신체 훈련 활동을 중단할 수 있으며, 이는 바람직하지 않다. 운동 기구의 제조업체들은 적어도 일부 신체 운동과 관련된 단조롭고 반복적인 특성을 적어도 부분적으로 보상하기 위해 운동 중에 오디오 신호들을 제공하는데 관심이 있다.
US 2010/0075806 A1은 사용자의 움직임을 평가하고 바이오 피드백을 제공하는 방법을 개시한다. 상기 방법은 : 사용자에 의한 이동에 대한 기준점을 설정하는 단계로서, 상기 기준점은 기준 리듬에 대응하는, 단계; 사용자가 기준점을 유지하는 것을 돕기 위해 사용자에게 기준 리듬을 제공하는 단계; 사용자의 움직임을 감지하는 단계; 사용자의 움직임을 기준점 움직임과 비교하는 단계; 및 상기 기준 리듬을 변형 리듬으로 변형함으로써 사용자의 움직임이 상기 기준점으로부터 멀어짐을 사용자에게 경고하는 단계를 포함한다.
US 2007/0060446 A1은 무산소성 역치(anaerobic threshold)를 획득하는 획득 유닛, 운동 강도에 관한 입력을 수신하는 수신 유닛, 획득된 무산소성 역치 및 수신된 운동 강도 입력에 기초하여 사용자의 목표 심박수를 나타내는 값을 계산하는 계산 유닛; 사용자에 의해 수행된 신체 운동의 현재 템포를 나타내는 값을 검출하는 검출 유닛; 및 상기 계산 유닛에 의해 계산된 목표 심박수 값과 상기 검출 유닛에 의해 검출된 현재 신체 운동 템포 값의 비교의 결과에 기초하여 사운드 출력을 제어하는 제어 유닛을 포함하는 사운드 출력 제어 장치를 개시하며, 이러한 장치에 의해, 사용자의 심박수가 목표 심박수에 도달하도록 사용자의 심박수를 리드한다.
US 2010/0075806 A1 및 US 2007/0060446 A1에 개시된 것과 같은 종래의 피드백 기술들은 목표 심박수와 같은 특정 생리학적 목표 조건이 달성되는 방식으로 운동을 수행하도록 사용자를 유발할 수 있지만, 이러한 종류의 피드백은 사용자의 동기를 유지하거나 향상시키는데 거의 도움이 되지 않는다. 또한, 많은 사용자들이 신체 운동의 리듬을 음악 비트에 맞추는 것(synchronizing)은 상당한 도전이 될 수 있다.
사용자가 제어할 수 있고 사용자의 신체 운동의 하나 이상의 파라미터들에 의해 영향을 받는 음향 출력을 제공하는 장치들 및 방법들은 추가적인 동기를 제공할 수 있다. 이러한 기술은 사용자가 신체 운동의 하나 이상의 파라미터들에 의해 제어되는 사운드를 생성할 수 있게 한다. WO 2011/147934 A1은 오디오 장치에 대한 제어 신호를 생성하기 위한 수단을 포함하는 운동 장치를 개시하며, 상기 제어 신호는 상기 운동 장치의 실제 구성에 적어도 부분적으로 기초한다.
US 9 697 813 B2는 식별된 음악적 문구 또는 테마가 변화하는 실제 이벤트들과 동기화되고 링크될 수 있게 하는 시스템을 개시한다. 동기화는 타이밍 오프셋을 사용하여 달성되는 원활한(seamless) 음악 전환을 포함한다.
US 2014/0254831 A1은 적응형 음악 재생 시스템을 개시한다. 시스템은 사용자 활동 레벨에 대응하는 정보를 수신하는 작곡 시스템을 포함한다. 상기 작곡 시스템은 사용자 활동의 변화에 응답하여 노래의 구성을 변형한다. 부드러운 음악 전환을 위해 한 세트의 작곡 규칙에 따라 변형이 이루어진다.
사용자가 신체 운동 중에 계속해서 동기부여를 받도록 도와주는 음향 피드백이 제공되면, 사용자가 음향 피드백 생성 시스템에 대한 광범위한 사전 경험을 필요로 하지 않으면서 흥미로운 음향 피드백을 용이하게 생성할 수 있는 것이 바람직하다. 학습 곡선의 시작에서 급격한 증가를 제공하고/하거나 사용자가 신체 운동 동안 만족스러운 음향 피드백을 생성하는 방법을 배우는데 필요한 시간을 감소시키는 기술을 제공하는 것이 특히 바람직할 것이다. 대안적으로 또는 추가적으로, 운동 세션 동안 사용자에 의해 탐색될 수 있는 가능한 사운드 및 조합의 공간은 동기 부여하는 음향 패턴의 생성을 지나치게 복잡하게 하지 않으면서 사용자가 계속해서 동기 부여 받을 수 있을 정도로 충분히 커야 한다.
상기의 관점에서, 본 발명의 목적은 신체 운동 동안 음향 피드백을 제어하기 위한 개선된 방법들, 장치들 및 시스템들을 제공하는 것이다. 특히, 본 발명의 목적은, 사용자가 신체 운동 동안 수행되는 움직임들과 음향 피드백의 비트를 동기화(synchronizing)하도록 요구하지 않으면서 사용자가 흥미로운 음향 피드백을 쉽게 생성할 수 있게 하는, 신체 운동 동안 음향 피드백을 제어하기 위한 방법들, 장치들 및 시스템을 제공하는 것이다. 대안적으로 또는 추가적으로, 본 발명의 목적은 사용자가 운동 중에 넓은 공간의 가능한 사운드 및 사운드의 조합을 탐색할 수 있게 하는, 신체 운동 동안 음향 피드백을 제어하기 위한 방법들, 장치들 및 시스템을 제공하는 것이다.
본 발명에 따르면, 독립항에 기재된 방법, 장치 및 컴퓨터 프로그램이 제공된다. 종속항은 바람직한 실시예들을 정의한다.
신체 운동 동안 음향 피드백을 제공하는 방법은 :
동기화된 비트를 갖는 여러 오디오 클립들을 제공하는 단계;
센서로부터 센서 신호를 수신하는 단계로서, 상기 센서 신호는 제1 임계값 및 제2 임계값에 의해 적어도 3 개의 센서 신호 서브-범위들로 나누어지는 센서 신호 범위를 갖는, 단계; 및
상기 수신된 센서 신호에 응답하여 오디오 신호를 출력하는 단계로서, 상기 출력되는 오디오 신호는 상기 오디오 클립들 중 하나 이상을 포함하는, 단계를 포함하며,
상기 수신된 센서 신호가 상기 제1 임계값을 초과한다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나는 중단되고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립은 상기 하나 이상의 오디오 클립들과 동기하여 개시된다. 상기 수신된 센서 신호가 상기 제2 임계값 아래로 떨어진다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나는 중단되고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립은 상기 하나 이상의 오디오 클립들과 동기하여 개시된다.
상기 여러 오디오 클립들은 각각 공통 비트에 동기화된 비트를 가질 수 있다. 상기 하나 이상의 오디오 클립들 중 적어도 하나가 중단되고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 오디오 클립이 개시될 때, 비트는 유지될 수 있다. 이 방법은 센서 신호가 제1 임계값 또는 제2 임계값에 도달하는 것에 응답하여 오디오 클립(들)의 빠른 변경을 용이하게 할 수 있다.
동기화된 비트를 갖는 몇몇 오디오 클립들은 동일한 템포를 가질 수 있으며 그리고 위상이 동일할 수 있다.
상기 하나 이상의 오디오 클립들 중 적어도 하나를 중단하는 것은 상기 하나 이상의 오디오 클립들 중 적어도 하나를 페이드-아웃(fading-out)하는 것을 포함할 수 있다.
상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립을 개시하는 것은 상기 적어도 하나의 추가 오디오 클립을 페이드-인하는 것을 포함할 수 있다.
상기 하나 이상의 오디오 클립들 중 적어도 하나를 중단하는 것 및/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립을 개시하는 것은 상기 하나 이상의 오디오 클립들 중 적어도 하나와 상기 적어도 하나의 추가 오디오 클립들 간의 크로스-페이드를 수행하는 것을 포함할 수 있다.
적어도 하나의 추가 오디오 클립을 개시하는 것은 상기 적어도 하나의 오디오 클립이 재생되는 오프셋 재생 위치를 결정하는 것을 포함할 수 있다.
상기 적어도 하나의 추가 오디오 클립의 오프셋 재생 위치는 상기 수신된 센서 신호가 상기 제1 임계값을 초과하거나 제2 임계값 아래로 떨어질 때 상기 하나 이상의 오디오 클립들 중 적어도 하나의 재생 위치에 기초하여 또는 상기 적어도 하나의 추가 오디오 클립이 개시될 때 상기 하나 이상의 오디오 클립들 중 적어도 하나의 재생 위치에 기초하여 결정될 수 있다.
상기 하나 이상의 오디오 클립들 중 적어도 하나와 상기 적어도 하나의 추가 오디오 클립이 상이한 길이를 가질 때, 상기 적어도 하나의 추가 오디오 클립의 오프셋 재생 위치는 상기 하나 이상의 오디오 클립들 중 적어도 하나의 길이와 상기 적어도 하나의 추가 오디오 클립의 길이의 비율에 기초하여 결정될 수 있다. 상기 오프셋 재생 위치는 또한 글로벌 카운트(예를 들어, 클록 또는 샘플 카운터)에 기초하여 결정될 수 있으며, 이로써, 오프셋 재생 위치는 글로벌 카운트를 분자로 하고 적어도 하나의 추가 오디오 클립 내의 샘플 수를 분모로 하는 모듈로 연산의 결과와 동일하다. 제한이 아닌 예시를 위해, 오프셋 재생 위치는 다음과 같이 결정될 수 있다 : 오프셋 재생 위치 = (글로벌 샘플 카운트) % (적어도 하나의 추가 오디오 클립 내의 샘플 수).
상기 하나 이상의 오디오 클립들 및 상기 적어도 하나의 추가 오디오 클립은 공통 비트에 동기화될 수 있다.
상기 방법은 신체 운동을 수행하는 사람의 적어도 하나의 생리학적 파라미터(physiological parameter)에 기초하여 공통 비트를 조정하는 단계를 포함할 수 있다.
오디오 신호를 출력하는 단계는 상기 수신된 센서 신호가 상기 제1 임계값을 초과하거나 상기 제2 임계값 아래로 떨어질 때까지 상기 하나 이상의 오디오 클립들을 루프 재생하는 단계를 포함할 수 있다. 대안적으로, 상기 하나 이상의 오디오 클립들은 미리 결정된 횟수만큼만, 예를 들어 단지 한번 또는 오직 n번(이 때, n은 1보다 큰 정수)만 재생될 수 있다.
오디오 신호를 출력하는 단계는 상기 수신된 센서 신호가 상기 제1 임계값을 초과하거나 상기 제2 임계값 아래로 떨어진 후 상기 적어도 하나의 추가 오디오 클립을 루프 재생하는 단계를 포함할 수 있다.
상기 방법은 상기 신체 운동의 시작 후 경과된 시간의 함수로서 상기 하나 이상의 오디오 클립들 또는 상기 추가 오디오 클립을 조정하는 단계를 더 포함할 수 있다. 상기 방법은 또한 상기 센서 신호에 기초하여 결정된 움직임 특성들의 함수로서 상기 하나 이상의 오디오 클립들 또는 상기 추가 오디오 클립을 조정하는 단계를 포함할 수도 있다. 상기 하나 이상의 오디오 클립들 또는 상기 추가 오디오 클립은 상기 움직임 특성의 함수로서 조정(예를 들어, 교환)될 수 있으며, 이에 의해, 제스처 인식 유형에 의해 상기 하나 이상의 오디오 클립들 또는 상기 추가 오디오 클립을 제어할 수 있다. 제스처 인식은 사람의 신체 부위의 위치(들)뿐만 아니라, 위치(들)의 변화, 즉 신체 부위의 움직임 패턴에 반응할 수 있다. 움직임 특성은 예를 들어 패턴 분류 알고리즘으로 구별될 수 있다. 상기 방법은 또한 신체 운동 동안 사용자의 움직임과 무관한 환경 변화로부터 도출된 파라미터들의 함수로서 상기 하나 이상의 오디오 클립들 또는 상기 하나 이상의 추가 오디오 클립들을 조정하는 단계도 포함할 수 있다. 상기 환경 파라미터들은 현실 세계 객체들 및/또는 가상현실 객체들의 위치들 및/또는 위치 변화들을 포함할 수 있다. 대안적으로 또는 추가적으로, 상기 방법은 신체 운동을 수행하는 사람의 적어도 하나의 생리학적 파라미터의 함수로서 상기 하나 이상의 오디오 클립들 또는 상기 추가 오디오 클립을 조정하는 단계를 더 포함할 수 있다. 심박수, 호흡 속도, 그리고 사람의 피부의 감지된 저항 또는 전도도는 단지 상기 하나 이상의 오디오 클립들 또는 추가 오디오 클립의 조정에 영향을 미칠 수 있는 생리학적 파라미터들에 대한 예시일 뿐이다.
상기 여러 오디오 클립들은 샘플링된 오디오 데이터를 포함할 수 있다. 대안적으로 또는 추가적으로, 상기 여러 오디오 클립들은 MIDI(Musical Instrument Digital Interface) 클립들을 포함할 수 있다. 대안적으로 또는 추가적으로, 상기 여러 오디오 클립들은 OSC(Open Sound Control) 클립들을 포함할 수 있다. 상기 여러 오디오 클립들은 샘플링된 오디오 데이터, MIDI 클립들 및/또는 OSC 클립들에 제한되지 않는다. 상기 여러 오디오 클립들은 샘플링된 오디오 데이터, MIDI 클립들 및 OSC 클립이 아닌 포맷(예를 들어, 독점 포맷(proprietary format))을 갖는 적어도 하나의 클립을 포함할 수 있다.
상기 여러 오디오 클립들 중 적어도 2 개는 각각 오디오 파일의 서브-범위들일 수 있다. 제한이 아닌 예시를 위해, 중단되는 적어도 하나의 오디오 클립은 오디오 파일의 제1 서브-범위일 수 있고, 개시되는 적어도 하나의 추가 오디오 클립은 오디오 파일의 제2 서브-범위일 수 있다. 오디오 파일의 제1 서브-범위 및 제2 서브-범위는 서로 상이할 수 있다. 상기 오디오 파일의 제1 서브-범위 및 제2 서브-범위는 서로 분리될 수 있다(disjoint). 따라서, 하나의 오디오 파일은 그로부터 몇 개의 오디오 클립들을 도출하는데 사용될 수 있다.
센서는 운동 장치상에 장착될 수 있다. 센서가 장착되는 운동 장치는 고정식 자전거, 러닝머신 또는 워킹머신(walking machine), 일립티컬 머신(elliptical machine), 글라이더 머신(glider machine), 등산 머신(climbing machine), 로잉 머신(rowing machine), 스키 머신, 덤벨, 케틀벨 또는 바벨과 같은 프리웨이트, 탄력 밴드(resistance band), 스택 머신(stack machine) 또는 플레이트 장착 머신(plate-loaded machine) 같은 헬스 기구, 그리고 플렉션 머신(flexion machine)으로 구성된 그룹으로부터 선택될 수 있다. 센서는 운동 장치에 분리 가능하게 장착될 수 있으며, 이로써 운동 장치 상으로의 센서의 반복적이고 가역적인 설치 및 제거가 용이할 수 있다.
센서는 운동 장치에 장착되지 않고 신체 운동의 적어도 하나의 파라미터를 캡처하도록 구성될 수 있다. 센서는 웨어러블 센서일 수 있다. 센서는 핸드-헬드 센서일 수 있거나 또는 핸드-헬드 장치에 통합될 수 있다. 센서는 운동 중에 움직임을 감지하는 것 외에 버튼 누름 및/또는 음성 명령과 같은 파라미터들을 감지하도록 동작하는 다목적 센서일 수 있다. 대안적으로 또는 추가적으로, 센서는 비접촉 방식으로 사용자의 움직임의 적어도 하나의 운동학적 파라미터를 캡처하도록 동작할 수 있다. 센서는 비접촉 방식으로 사용자의 움직임을 검출하기 위해 비디오 센서 또는 초음파 센서 중 하나를 포함할 수 있다. 센서는 하나, 둘 또는 셋 이상의 카메라들을 갖는 카메라 시스템을 포함할 수 있다. 카메라 시스템은 2차원 또는 3차원 카메라 시스템일 수 있다. 검출된 움직임은 사용자의 신체의 적어도 일부의 위치, 속도 및/또는 가속도와 같은 운동학적 파라미터를 도출하도록 처리될 수 있다. 대안적으로 또는 추가적으로, 검출된 움직임은 미리 결정된 움직임 패턴과의 검출된 움직임의 오버랩을 결정하도록 처리될 수 있다.
상기 방법은 센서 신호를 생성하기 위해 센서의 센서 출력을 처리하는 단계를 포함할 수 있다. 센서 신호는 센서 출력의 크기를 나타낼 수 있다. 대안적으로 또는 추가적으로, 센서 신호는 센서 출력의 변화율(예를 들어, 주기적 신체 운동 동안의 방향 변화율)을 나타낼 수 있다. 센서 신호는 예를 들어 속도를 나타내기 위해 센서 신호의 시간 미분을 나타낼 수 있다. 센서 신호는 센서 출력의 관련 부분의 온- 및 오프셋을 정의할 수 있다. 이는, 예를 들어, 하나 이상의 지정된 토큰들(예를 들어, 버튼 누름에 의해 트리거링될 수 있음)을 통해 정의될 수 있다 . 상기 센서는 사용자의 신체 움직임을 하나 이상의 미리-결정된 움직임 패턴들과 비교할 수 있고 그리고 하나 이상의 미리 결정된 움직임 패턴들과 사용자의 신체 운동의 유사성을 나타내는 센서 신호를 제공할 수 있다. 센서 또는 센서와 별개인 제어 회로는 유사성 함수를 사용하여 사용자의 물리적 움직임을 하나 이상의 미리 결정된 움직임 패턴과 비교할 수 있다. 대안적으로 또는 추가적으로, 센서 또는 센서와 별개인 제어 회로는 다른 센서들에 의해 캡처되고 다른 사용자들의 움직임을 나타내는 하나 이상의 움직임 패턴(들)과 사용자의 신체 움직임의 비교를 수행할 수 있다.
비교는 유사성 함수를 사용하여 정량적으로 수행될 수 있다. 유사성 함수는 하나 이상의 미리 결정된 움직임 패턴들에 대한 사용자의 신체 움직임의 유사도를 정량화하는 메트릭 함수 또는 범함수(functional)일 수 있다. 검출된 사용자의 신체 움직임은 예를 들어 고속 푸리에 변환(FFT) 알고리즘을 사용하여 푸리에 변환 또는 다른 스펙트럼 변환에 종속될 수 있고, 그리고 변환된 데이터는 유사성 함수에 입력될 수 있다. 유사성 함수는 예를 들어 이산 함수에 대한 상호 상관일 수 있다.
사용자의 신체 움직임을 다른 사용자들의 하나 이상의 움직임 패턴(들)과 비교하고 그에 기초하여 음향 피드백을 제어함으로써, 그룹 운동 효과가 구현될 수 있다. 예를 들어, 하나 이상의 오디오 클립들 중 적어도 하나가 중단되게 하고 그리고/또는 오디오 클립들 중 적어도 하나의 추가 오디오 클립이 개시되게 하기 위해, 둘 이상의 사용자들이 조정된 방식으로 이동해야 할 수 있다.
동기화된 비트를 갖는 상기 여러 오디오 클립들은 그들 사이의 동일한 간격과 관련된 반복되는 일시적 이벤트들 또는 최대 음향 진폭 또는 음색 이벤트의 반복 패턴을 나타낼 수 있다. 몇몇 오디오 클립들의 일시적 이벤트들은 공통 비트와 시간적으로 정렬될 수 있다.
동기화된 비트를 갖는 상기 여러 오디오 클립들은 그들 사이의 동일한 간격과 관련된 반복되는 일시적 이벤트들 또는 공통 비트와 시간적으로 정렬되는 최대 음향 진폭 또는 음색 이벤트의 반복 패턴을 나타낼 수 있다. 상기 적어도 하나의 추가 오디오 클립을 개시하는 것은 상기 적어도 하나의 추가 오디오 클립이 재생되는 오프셋 재생 위치를 결정하는 것을 포함할 수 있으며, 상기 적어도 하나의 추가 오디오 클립의 오프셋 재생 위치는 상기 하나 이상의 오디오 클립들 중 적어도 하나의 재생 위치에 기초하여 또는 상기 수신된 센서 신호가 제1 임계값을 초과하거나 제2 임계값 아래로 떨어질 때 글로벌 카운트에 기초하여, 또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립이 개시될 때 상기 하나 이상의 오디오 클립들 중 적어도 하나의 재생 위치에 기초하여 결정된다.
상기 센서 신호가 상기 제1 임계값에 도달하는 것에 응답하여 개시되는 적어도 하나의 추가 오디오 클립은 상기 센서 신호의 변화율 그리고 상기 제1 임계값이 교차되는 방향에 의존할 수 있다.
상기 여러 오디오 클립들 중 어느 것이 출력될 것인지를 결정하기 위해 3 개 이상의 센서 신호들이 처리될 수 있다.
상기 방법은 시각 신호들을 출력하는 단계를 더 포함할 수 있다. 상기 시각 신호들은 수행될 신체 운동에 대한 정보 및/또는 추가 운동을 필요로 하는 신체 부위에 대한 정보 및/또는 사용자가 신체 운동을 위해 운동 장치에 매달려 있어야 하는 방식에 대한 정보를 포함할 수 있다. 대안적으로 또는 추가적으로, 시각 신호들은 시각 효과들을 포함할 수 있다. 시각 효과들은 그래픽 애니메이션을 포함할 수 있다. 시각 신호는 오디오 피드백을 제어하는 동일한 센서 신호(들)에 의해 제어될 수 있다.
신체 운동은 사용자의 신체의 상이한 부분들을 선택적으로 운동하도록 3차원 현실 세계 공간에서의 사용자의 배향이 제어될 수 있게 하는 운동 장치 또는 레크레이션 장치에서 수행될 수 있다. 운동 장치 또는 레크레이션 장치는 3차원 현실 세계 공간에서 사용자의 배향을 설정하는 조이스틱과 같은 입력 요소를 통해 제어 가능할 수 있다. 상기 방법은 시각 신호들을 출력하는 단계를 포함할 수 있다. 상기 시각 신호들은 수행될 신체 운동에 대한 정보 및/또는 추가 운동을 필요로 하는 신체 부위에 대한 정보 및/또는 사용자가 신체 운동을 위해 운동 장치에 매달려 있어야 하는 방식에 대한 정보를 포함할 수 있다. 대안적으로 또는 추가적으로, 시각 신호들은 시각 효과들을 포함할 수 있다. 시각 효과들은 그래픽 애니메이션을 포함할 수 있다. 시각 신호는 오디오 피드백을 제어하는 동일한 센서 신호(들)에 의해 제어될 수 있다.
상기 센서 신호는 운동 장치의 탄성 부재에 부착 가능한 센서에 의해 캡처될 수 있다. 센서는 탄성 부재가 변형되거나 분해될 필요 없이 탄성 부재에 분리 가능하게(releasably) 부착될 수 있다. 탄성 부재는 탄성 밴드 또는 탄성 로프일 수 있다.
상기 센서는 상기 탄성 부재상에 클립핑되도록 구성될 수 있다. 상기 센서는 센서를 탄성 부재 상으로 클리핑하기 위해 브래킷이 장착되는 하우징을 포함할 수 있다. 상기 브래킷은 탄성 요부재 상에서 센서를 유지하기 위해 하우징쪽으로 편향될 수 있다.
상기 센서는 상기 탄성 부재의 장력(tension) 및/또는 압축을 검출하도록 구성될 수 있다. 대안적으로 또는 추가적으로, 상기 센서는 상기 탄성 부재의 배향을 검출하도록 구성될 수 있다.
상기 방법은 교정 루틴에서 센서 출력을 모니터링하는 단계를 더 포함할 수 있다. 센서 출력들을 처리하여 센서 신호들을 생성한 다음, 제1 임계값 및 제2 임계값과 비교하는 처리 루틴은 교정 루틴에서 모니터링되는 센서 신호에 기초하여 교정될 수 있다. 교정 루틴에서 모니터링되는 센서 출력은 스케일링 계수를 결정하는데 사용될 수 있으며, 센서 출력은 제1 임계값 및 제2 임계값과 비교되기 전에 이 스케일링 계수와 곱해진다. 대안적으로 또는 추가적으로, 센서 출력을 처리하여 이로부터 센서 신호를 생성하기 위해 더 복잡한 매핑 기술이 사용될 수 있다. 예를 들어, 상이한 함수들 또는 테이블들이 센서 출력을 센서 신호에 매핑하기 위해 사용될 수 있고, 그 다음 센서 신호는 제1 임계값 및 제2 임계값과 비교된다. 함수들 또는 테이블들은 교정 루틴에서 모니터링되는 센서 출력에 따라 조정될 수 있다. 다수의 오디오 클립들은 교정 루틴에서 센서 신호에 따라 선택될 수 있다.
교정은 사용자의 신체 운동과 최적의 방식으로 매칭하는 향상된 오디오 피드백을 제공하기 위해 수행될 수 있다.
상기 센서 출력은 상기 교정 루틴에서 최소 반복 횟수의 사용자의 움직임을 통해 모니터링될 수 있다. 상기 최소 반복 횟수는 사용되는 센서의 유형 및/또는 사용자의 움직임이 주기적 움직임인지의 여부에 의존할 수 있다.
상기 교정 루틴에서 센서 출력을 모니터링하는 것은 사용자의 움직임이 교정 루틴에서 적어도 한 번 수행되는 동안 사용자의 움직임의 시작점 및 종료점을 결정하는 것을 포함할 수 있다.
예를 들어, 3D 카메라 시스템의 경우에서와 같이, 센서가 공간에서 자유로운 움직임을 검출하도록 구성될 때, 교정 루틴은 사용자 움직임의 적어도 2 번의 반복을 통해 센서 출력을 모니터링하는 것을 포함할 수 있다.
신체 운동이 달리기 또는 사이클링의 경우에서와 같이 주기적 움직임 패턴을 수반하는 신체 운동인 경우, 상이한 교정 루틴이 사용될 수 있다. 예를 들어, 교정 루틴에서 사용자가 뛸 때 다리를 들어올리는 높이, 사용자가 뛸 때 다리를 들어올리는 빈도 및/또는 사이클링할 때 페달링 빈도가 모니터링될 수 있다. 가속도가 추가적으로 모니터링될 수 있다. 다양한 값들(예를 들어, 활동 값들)을 획득하기 위해 센서 출력이 처리될 수 있다.
교정된 움직임이 수행되는 동안, 즉 교정 후에, 제1 임계값 및 제2 임계값이 조정될 수 있다. 이는 특정 운동에 대해 또는 특정 운동 장치들에 대해 조정이 수행될 수 있게 한다.
상기 여러 오디오 클립들 중 하나, 적어도 2개 또는 전부는 시퀀서에 의해 제공될 수 잇다. 대안적으로 또는 추가적으로, 상기 오디오 신호 또는 상기 오디오 신호에 관한 데이터는 상기 시퀀서에게 제공될 수 있다. 시퀀서는 하드웨어 또는 소프트웨어에 의해 구현될 수 있다.
상기 시퀀서는 오디오 피드백 시스템을 제어하는데 사용될 수 있는 하나 이상의 데이터 스트림을 제공할 수 있다.
본 발명에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치는 다음을 포함한다 :
- 동기화된 비트를 갖는 여러 오디오 클립들을 저장하는 메모리;
- 제1 임계값 및 제2 임계값에 의해 적어도 3 개의 센서 신호 서브-범위들로 나누어지는 센서 신호 범위를 갖는 센서 신호를 수신하기 위한 입력부; 및
- 상기 수신된 센서 신호에 응답하여 오디오 신호를 출력하는 것을 제어하는 제어 회로로서, 상기 출력되는 오디오 신호는 동기화된 방식으로 출력되는 오디오 클립들 중 하나 이상을 포함하는, 제어 회로.
상기 제어 회로는 상기 수신된 센서 신호가 상기 제1 임계값을 초과한다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나가 중단되게 하고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립이 상기 하나 이상의 오디오 클립들과 동기하여 개시되게 하도록 구성된다. 상기 제어 회로는 상기 수신된 센서 신호가 상기 제2 임계값 아래로 떨어진다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나가 중단되게 하고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립이 상기 하나 이상의 오디오 클립들과 동기하여 개시되게 하도록 구성된다.
동기화된 비트를 갖는 여러 오디오 클립들은 동일한 템포를 가질 수 있으며, 위상이 동일할 수 있다.
상기 장치는 오디오 신호를 출력하기 위한 전기 음향 변환기를 더 포함할 수 있다. 상기 전기 음향 변환기는 라우드스피커, 이어스피커(ear speaker), 헤드폰 또는 다른 전기 음향 변환기를 포함할 수 있다.
상기 장치는 다수의 센서 신호들을 수신하도록 구성될 수 있으며, 상기 다수의 센서 신호들 각각은 다수의 센서들 중 연관된 센서로부터 수신된다. 상기 장치는 각각 상기 센서 신호들 중 적어도 하나와 개별적으로 연관된 다수의 오디오 신호들의 출력을, 개별적으로 연관된 센서 신호의 함수로서, 제어하도록 구성될 수 있다.
상기 장치는 시각 신호들을 출력하도록 구성될 수 있다. 상기 시각 신호들은 수행될 신체 운동에 대한 정보 및/또는 추가 운동을 필요로 하는 신체 부위에 대한 정보 및/또는 사용자가 신체 운동을 위해 운동 장치에 매달려 있어야 하는 방식에 대한 정보를 포함할 수 있다. 대안적으로 또는 추가적으로, 시각 신호들은 시각 효과들을 포함할 수 있다. 시각 효과들은 그래픽 애니메이션을 포함할 수 있다. 시각 신호는 오디오 피드백을 제어하는 동일한 센서 신호(들)에 의해 제어될 수 있다.
상기 센서는 운동 장치의 탄성 부재에 부착 가능할 수 있다. 센서는 탄성 부재가 변형되거나 분해될 필요 없이 탄성 부재에 분리 가능하게(releasably) 부착될 수 있다.
상기 센서는 상기 탄성 부재상에 클립핑되도록 구성될 수 있다. 상기 센서는 센서를 탄성 부재 상으로 클리핑하기 위해 브래킷이 장착되는 하우징을 포함할 수 있다. 상기 브래킷은 탄성 부재 상에서 센서를 유지하기 위해 하우징쪽으로 편향될 수 있다.
상기 센서는 상기 탄성 부재의 장력(tension) 및/또는 압축을 검출하도록 구성될 수 있다. 대안적으로 또는 추가적으로, 상기 센서는 상기 탄성 부재의 배향을 검출하도록 구성될 수 있다.
상기 제어 회로는 본원에 개시된 실시예들 중 임의의 실시예의 방법을 수행하도록 구성될 수 있다.
일 실시예에 따른 시스템은 신체 운동 동안 사용자의 동작들에 응답하는 센서 및 본원에 개시된 실시예들 중 어느 하나의 장치를 포함한다. 상기 센서는 신호 센서 범위를 갖는 출력 신호를 제공할 수 있다.
상기 시스템은 운동 장치를 더 포함할 수 있으며, 상기 센서는 상기 운동 장치에 장착될 수 있다. 전술한 바와 같이, 센서가 장착되는 운동 장치는 고정식 자전거, 러닝머신 또는 워킹머신(walking machine), 일립티컬 머신(elliptical machine), 글라이더 머신(glider machine), 등산 머신(climbing machine), 로잉 머신(rowing machine), 스키 머신, 덤벨, 케틀벨 또는 바벨과 같은 프리웨이트, 탄력 밴드(resistance band), 스택 머신(stack machine) 또는 플레이트 장착 머신(plate-loaded machine) 같은 헬스 기구, 그리고 플렉션 머신(flexion machine)으로 구성된 그룹으로부터 선택될 수 있다.
운동 장치 또는 레크레이션 장치는 사용자의 신체의 상이한 부분들을 선택적으로 운동하도록 3차원 현실 세계 공간에서의 사용자의 배향이 제어될 수 있게 할 수 있다. 운동 장치 또는 레크레이션 장치는 3차원 현실 세계 공간에서 사용자의 배향을 설정하는 조이스틱과 같은 입력 요소를 통해 제어 가능할 수 있다. 대안적으로 또는 추가적으로, 상기 운동 장치 또는 레크레이션 장치는 3차원 현실 세계 공간에서 일련의 배향들 및/또는 움직임들을 통해 자동으로 변하도록(transitioning) 구성될 수 있다. 상기 운동 장치 또는 레크레이션 장치는, 3차원 현실 세계 공간에서의 사용자의 배향이 제어될 수 있도록, 예를 들어 사용자의 엉덩이에서 또는 사용자의 엉덩이를 따라 사용자를 지지함으로써, 사용자를 매달도록(suspending) 구성될 수 있다.
3차원 현실 세계 공간에서의 사용자의 배향 또는 다른 센서 신호들에 응답하여, 오디오 정보를 출력하기 위한 장치는 추가적으로 시각 신호들을 제공할 수 있다. 상기 시각 신호들은 수행될 신체 운동에 대한 정보 및/또는 추가 운동을 필요로 하는 신체 부위에 대한 정보 및/또는 사용자가 신체 운동을 위해 운동 장치에 매달려 있어야 하는 방식에 대한 정보를 포함할 수 있다. 대안적으로 또는 추가적으로, 시각 신호들은 시각 효과들을 포함할 수 있다. 시각 효과들은 그래픽 애니메이션을 포함할 수 있다. 시각 신호는 오디오 피드백을 제어하는 동일한 센서 신호(들)에 의해 제어될 수 있다.
하나의 특히 바람직한 운동 장치는 탄성 요소에 의해 서로 연결된 2 개의 물체들을 포함한다. 이러한 물체들은 사용자의 손에 의해 쉽게 잡히거나 사용자의 손에 쉽게 고정될 수 있는 그립, 볼, 배턴(baton), 바벨, 또는 임의의 다른 종류의 물체일 수 있다. 탄성 요소는 예를 들어 탄성 밴드 또는 로프일 수 있다. 탄성 밴드 또는 로프는 이완된 상태(relaxed state)에서 10 cm 내지 1m, 바람직하게는 20 cm 내지 60 cm의 길이를 가질 수 있다. 허용 가능한 하중을 받을 때, 탄성 요소의 길이는 30 cm 미만, 바람직하게는 20 cm 미만, 더욱 더 바람직하게는 10 cm 미만으로 변할 수 있다. 바람직하게는, 탄성 요소는 20 N 내지 200 N, 바람직하게는 40 N 내지 100 N 범위의 신장력을 가하여 이완된 길이의 2 배 이상으로 신장될 수 있다. 바람직하게는, 이 경우 센서는 상기 두 개의 물체들 중 적어도 하나상에 또는 그 내부에 장착된 또는 상기 탄성 요소상에 또는 그 내부에 장착된 가속도계 및/또는 자이로미터 및/또는 스트레인 게이지 및/또는 로드 셀을 포함한다. 대안적으로, 상기 탄성 요소는 센서일 수 있다. 바람직하게는, 상기 탄성 요소가 장착되는 물체들 각각은 센서를 포함한다. 물체들 또는 탄성 요소 중 하나 또는 둘 다에 장착된 센서를 사용하거나 또는 탄성 요소를 센서로서 사용하여, 몇 가지 파라미터들이 본 발명의 센서 출력으로서 사용될 수 있다. 예를 들어, 센서 신호는 탄성 요소의 길이 연장(extension), 즉 탄성 요소에 가해지는 힘과 관련될 수 있다. 상기 센서 신호는 다수의 데이터 항목들을 포함할 수 있으며, 이로써 다차원 센서 신호 공간의 벡터를 표현할 수 있다. 다수의 데이터 항목들은 위치, 속도, 가속도, 좌표축, 움직임 방향 및 힘으로 구성된 그룹으로부터 선택된 적어도 2 개의 데이터 조각을 포함할 수 있다. 추가로 또는 대안적으로, 센서 신호는 상기 물체들 중 하나 또는 둘 모두를 움직이는 속도, 또는 상기 탄성 요소의 확장 속도 및/또는 상기 물체들이 이동되는 방향 및/또는 상기 탄성 요소가 확장되는 방향과 관련될 수 있다.
이를 통해 이 운동 장치를 특히 다양하게 사용할 수 있는데, 두 개의 물체들 또는 탄성 요소가 예를 들어 수평면 내에서 또는 수직면 내에서 이동되거나 신장되는 경우에 상이한 소리들이 생성될 수 있다. 다수의 상이한 사운드들(또는 클립들)이 두 개의 물체들의 다양한 상이한 움직임들 또는 탄성 요소에 할당되면, 이 특정 운동 장치는 악기(instrument)와 같이 "연주(playing)"될 수 있으며, 이는 그러한 장치를 이용하여 운동하는 사람에게 특히 동기를 부여하는 것으로 보여진다.
상기 센서는 운동 장치에 장착될 필요가 없이 신체 운동의 적어도 하나의 파라미터를 캡처하도록 구성될 수 있다. 상기 센서는 웨어러블 센서를 포함할 수 있다. 상기 센서는 핸드-헬드 센서이거나 핸드-헬드 장치에 통합될 수 있다. 대안적으로 또는 추가적으로, 상기 센서는 비접촉 방식으로 사용자의 움직임을 캡처하도록 작동할 수 있다. 상기 센서는 비접촉 방식으로 사용자의 움직임을 검출하기 위해 비디오 센서 또는 초음파 센서 중 하나를 포함할 수 있다. 상기 센서는 2차원 또는 3차원 카메라 시스템을 포함할 수 있다.
상기 센서는 사용자의 신체 움직임을 하나 이상의 미리 결정된 움직임 패턴들과 비교하도록 구성될 수 있고, 그리고 사용자의 신체 움직임과 상기 하나 이상의 미리 결정된 움직임 패턴들의 유사성을 나타내는 센서 신호를 제공할 수 있다.
일 실시예에 따른 컴퓨터 프로그램은 프로세서에 의해 실행될 때 본원에 개시된 실시예들 중 임의의 실시예에 따른 방법을 수행하도록 적응되는 소프트웨어 코드를 포함한다.
신체 운동 동안 음향 피드백을 제어하기 위한 방법, 장치 및 컴퓨터 프로그램은 사용자가 운동 중에 넓은 공간의 사운드들 및 사운드들의 조합을 탐색할 수 있게 한다. 신체 운동 동안 음향 피드백을 제어하기 위한 방법, 장치 및 컴퓨터 프로그램은 사용자가 음향 피드백 메커니즘을 사용하는 것에 대해 광범위한 경험을 아직 수집하지 않은 경우에도, 동기 부여되는 것으로 간주되는 음향 피드백을 생성할 수 있게 한다.
적어도 일부 실시예들에 따른 음향 피드백을 제어하기 위한 방법, 장치 및 컴퓨터 프로그램은 중단된 클립의 재생 위치 및 비트를 존중(respecting)하면서 오디오 출력이 상이한 오디오 클립들 사이에서 전환될 수 있게 한다. 추가 오디오 클립은 예를 들어 크로스-페이딩에 의해 개시될 수 있으며, 중단된 오디오 클립의 재생 위치에 의존하는 재생 위치에서 시작한다. 다수의 오디오 클립들이 동기화되어, 즉 공통 비트를 가져서, 사용자가 신체 운동을 여러 오디오 클립들의 비트에 동기화할 필요 없이, 서로 다른 클립들 간의 부드러운 전환이 달성된다.
적어도 일부 실시예들에 따른 음향 피드백을 제어하기 위한 방법, 장치 및 컴퓨터 프로그램은 오디오 출력이 센서 출력의 크기에 의존할 뿐만 아니라, 센서 출력의 변화율 및/또는 변화 방향에 의존하여 생성될 수 있게 한다.
음향 피드백을 제어하기 위한 방법, 장치 및 컴퓨터 프로그램은 운동 중인 다수의 사람들을 위해 음향 피드백을 동시에 생성하기 위해 사용될 수 있으며, 이에 따라, 그룹 운동 환경에서 사용하기에 적합하다. 그러나 본 발명은 이에 제한되지 않는다.
본 발명의 바람직한 실시예들은 첨부 도면과 함께 다음의 상세한 설명을 읽음으로써 보다 완전히 이해되고 인식될 것이다.
도 1은 바람직한 실시예에 따라 신체 운동 동안 음향 피드백을 제어하기 위한 장치를 포함하는 시스템의 개략도이다.
도 2, 도 3 및 도 4는 바람직한 실시예에 따른 장치의 동작을 도시하는 다이어그램들이다.
도 5는 신체 운동 동안 센서 신호에 응답하여 오디오 클립을 페이드-인(fading-in)하고 페이드-아웃(fading-out) 하기 위한 예시적인 가중치 부여 기능을 도시한 도면이다.
도 6은 신체 운동 동안 수행되는 크로스-페이드(cross-fade) 동안 오디오 진폭의 예시적인 변화를 도시한 도면이다.
도 7은 신체 운동 동안 센서 신호에 응답하여 오프셋 플레이 위치를 결정하는 것을 나타내는 도면이다.
도 8은 신체 운동 동안 센서 신호에 응답하여 오프셋 플레이 위치를 결정하는 것을 나타내는 도면이다.
도 9는 바람직한 실시예에 따른 방법의 흐름도이다.
도 10은 신체 운동 동안 센서 신호에 응답하여 오프셋 플레이 위치를 결정하는 것을 나타내는 도면이다.
도 11은 신체 운동 동안 센서 신호에 응답하여 오프셋 플레이 위치를 결정하는 것을 나타내는 도면이다.
도 12는 바람직한 실시예에 따른 장치의 동작 동안 오디오 클립의 시간에 따른 변화를 도시한 도면이다.
도 13은 바람직한 실시예에 따른 장치의 동작 동안 액세스되는 오디오 클립들의 2차원 어레이를 도시한 도면이다.
도 14는 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치의 블록도이다.
도 15는 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치의 블록도이다.
도 16은 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치를 포함하는 시스템의 블록도이다.
도 17은 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치를 포함하는 시스템의 블록도이다.
도 18은 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치를 포함하는 시스템의 블록도이다.
도 19는 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치를 포함하는 시스템의 블록도이다.
도 20은 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치를 포함하는 시스템의 블록도이다.
도 21은 바람직한 실시예에 따라 음향 피드백을 제어하고 신체 운동 동안 시각 신호를 제공하기 위한 장치를 포함하는 시스템의 블록도이다.
도 22는 바람직한 실시예에 따른 신체 운동 동안 음향 피드백을 제어하기 위한 장치를 포함하는 시스템의 블록도이다.
도 23은 도 22의 시스템에 사용될 수 있는 센서의 평면도이다.
도 24는 교정 루틴을 포함하는 실시예에 따른 방법의 흐름도이다.
도 25는 바람직한 실시예에 따른 시스템의 블록도이다.
본 발명의 예시적인 실시예들은 도면을 참조하여 설명될 것이며, 도면들에서, 동일하거나 유사한 참조 부호는 동일하거나 유사한 요소들을 나타낸다. 도면들에 도시되고/되거나 본원에 설명된 기능적 또는 구조적 요소들 사이의 임의의 결합 또는 연결은 물리적 연결 또는 무선 신호 전송 기술을 사용하여 직접 또는 간접 연결로서 구현될 수 있다.
예시적 실시예들은 고정식 자전거, 러닝머신 또는 워킹머신(walking machine), 일립티컬 머신(elliptical machine), 글라이더 머신(glider machine), 등산 머신(climbing machine), 로잉 머신(rowing machine), 스키 머신, 덤벨, 케틀벨 또는 바벨과 같은 프리웨이트, 탄력 밴드(resistance band), 스택 머신(stackt machine) 또는 플레이트 장착 머신(plate-loaded machine) 같은 헬스 기구, 그리고 플렉션 머신(flexion machine)과 같은 운동 장치를 참조하여 설명될 것이지만, 본 발명의 실시예들은 이러한 예시적인 사용으로 제한되지 않는다. 오히려, 바람직한 실시예들에 따른 방법들, 장치들, 시스템들 및 컴퓨터 프로그램들은 센서에 의해 제공되는 센서 신호에 기초하여 신체 운동 동안 사용자에게 음향 피드백을 제공하기 위해 사용될 수 있으며, 이 때, 이러한 센서는 운동 장치에 장착될 수 있지만, 반드시 장착될 필요는 없다. 본 발명의 실시예들은 특히 비-주기적이거나 비-주기적인 움직임들을 포함하는 신체 운동에 응답하여 오디오 출력을 생성하는데 사용될 수 있다. 또 다른 실시예들에서, 차량 좌석, 사무실 좌석, 또는 거주지 좌석과 같은 좌석에 설치된 센서의 센서 신호에 응답하여 제어될 수 있다.
본 발명의 바람직한 실시예들에 따르면, 오디오 출력은 센서 신호에 따라 제어된다. 센서 신호는 사용자 또는 운동 장치의 움직임을 감지하는 센서의 출력 신호일 수 있다. 대안적으로, 센서 신호는 위치 센서로부터의 출력 신호로부터 속도를 도출하는 것과 같은 추가 처리에 의해 센서의 출력 신호로부터 도출될 수 있다. 신체 운동 동안 출력되는 오디오 클립(들)은 신체 운동 동안의 사용자의 신체의 일부 또는 운동 장치의 일부의 위치, 속도 및/또는 가속도와 같은 적어도 하나의 운동학적(kinematic) 파라미터에 기초하여 선택될 수 있다. 움직임의 진폭 및 방향은 출력될 오디오 클립(들)을 선택하는 과정에서 고려될 수 있다.
본 발명의 바람직한 실시예들에 따르면, 신체 운동 중에 오디오 신호가 제공될 수 있다. "신체 운동(physical exercise)"이란 용어는 사용자의 신체의 일부를 운동시키기 위해 수행될 수 있는 신체 활동을 포함할 수 있다. 신체 운동은 전용 신체 운동 환경에서 수행될 수 있거나, 또는 예를 들어 레크리에이션 또는 작업 활동(work activities) 동안 다른 사용자 활동과 통합될 수 있다. 작업 활동은 의자 또는 다른 좌석 가구에 앉아있는 동안 사용자의 움직임, 가사, 또는 다른 작업 활동들을 포함할 수 있다. 레크리에이션 활동은 롤러코스터와 같은 놀이기구를 타는 것을 수반하는 활동을 포함할 수 있다.
본 발명의 바람직한 실시예들에 따르면, 출력되는 오디오 클립(들)은 센서 신호에 응답하여 변경될 수 있다. 오디오 클립(들)의 변경은 다음을 포함하지만 이에 제한되지 않는 다양한 형태를 가질 수 있다 :
- 센서 신호가 임계값에 도달할 때 제2 오디오 클립에 의해 제1 오디오 클립을 교환하는 것; 그리고/또는
- 센서 신호가 임계값에 도달할 때 제1 오디오 클립에 더하여 제2 오디오 클립의 출력을 개시하는 것.
오디오 클립(들)의 변경은 적어도 하나의 오디오 클립을 페이드-인하는 것, 적어도 하나의 추가 오디오 클립을 페이드-아웃하는 것, 또는 오디오 클립들 간의 크로스-페이딩을 포함할 수 있다.
오디오 클립들은 동일한 템포를 가질 수 있으며, 위상이 동일할 수 있다.
센서 신호가 임계값에 도달하는 것에 응답하여 개시되는 하나 이상의 추가 오디오 클립들은 센서 신호 변경의 변화율 및/또는 임계값이 교차되는 방향에 의존할 수 있다. 예를 들어, 서로 다른 추가 오디오 클립(들)은 임계값이 도달될 때 센서 신호의 변화율에 따라, 그리고/또는 센서 신호가 임계값을 초과하는지 또는 임계값 아래로 떨어지는지 여부에 따라 개시될 수 있다.
임계값에 도달하는 센서 신호에 응답하여 중단되는 오디오 클립(들) 그리고 개시되는 추가 오디오 클립(들)은 동기화된 비트를 가질 수 있다. 중단되는 오디오 클립(들)의 비트와 추가 오디오 클립(들)의 비트는 시간적으로 정렬될 수 있다. 중단되는 오디오 클립(들)의 비트와 개시되는 추가 오디오 클립(들)의 비트 모두는 공통 비트로 동기화될 수 있으며, 이로써, 예를 들어, 중단된 오디오 클립(들)의 음향 볼륨의 크기와 개시된 추가 오디오 클립(들)의 음향 볼륨의 크기는 각각 공통 비트와 시간적으로 정렬되는 반복 시간 패턴을 갖는다.
오디오 클립(들)의 변화는 오디오 클립(들)의 변경이 발생하는 시점에서의 재생 위치와 관련될 수 있다(respect). 예를 들어, 센서 신호가 임계값에 도달하기 전에 제1 오디오 클립이 출력되고 센서 신호가 임계값에 도달하는 것에 응답하여 제2 오디오 클립이 개시된다면, 제2 오디오 클립이 출력되는 오프셋 재생 위치(여기서는 플레이헤드 오프셋이라고도 함)는 제2 오디오 클립이 시작될 때 제1 오디오 클립의 재생 위치에 의존할 수 있다.
오디오 클립(들)은 이벤트가 발생할 때까지 루프로 재생될 수 있다. 이벤트는 센서 신호가 임계값에 도달하여 오디오 클립(들)의 변화를 트리거하는 것을 포함할 수 있다. 이벤트는 패턴 분류에 의해 결정된 바와 같이, 센서 신호에서의 특정 움직임 패턴의 검출을 포함할 수 있다. 이벤트는 미리 정의된 시간 기간의 만료를 포함하여, 센서 신호가 임계값들 중 어느 하나에 도달하지 않더라도 오디오 클립(들)을 시간의 함수로서 교환되게 할 수 있다. 대안적으로 또는 추가적으로, 센서 서브-범위의 경계를 정의하는 임계값들은 시간의 함수로서 또는 센서에 의해 검출된 이벤트들에 의존하여 변할 수 있다. 이벤트는 패턴 분류 알고리즘을 이용한 움직임 패턴의 인식 또는 신체 운동 동안 사용자의 움직임과 관련이 없는 환경 변화로부터 유도된 다른 이벤트들을 포함할 수 있다. 환경 변화는 예를 들어 현실 세계 객체 및/또는 가상현실 객체의 위치 변화를 포함할 수 있다.
루프 길이는 가변적일 수 있다. 루프 길이는 센서 신호의 함수로서, 신체 운동이 수행된 기간의 함수로서, 또는 신체 운동과 무관한 환경 조건과 같은 다른 파라미터들의 함수로서 변경될 수 있다.
아래에서 더 상세히 설명되는 예시적인 실시예들의 상기 및 추가 특징들은 오디오 출력이 상이한 오디오 클립들 사이에서 빠르게 전환될 수 있게 한다. 특정 센서 입력 값들에서 오디오 클립들 간에 즉각적이고 사용자가 예측할 수 있는 변화를 통해, 사용자는 함수로서 그리고 자신의 신체 움직임의 제어 하에 상이한 사운드들을 탐색할 수 있다. 사용자는 사용자의 움직임을 음향 출력의 비트와 조정할 필요 없이 다양한 사운드를 생성할 수 있다. 상기 방법들 및 시스템들은 사용자가 시스템 작동 방법을 배우는데 오랜 시간을 소비할 필요 없이, 동기 부여하는 것으로 고려되는 음향 출력을 생성할 수 있게 한다.
도 1은 바람직한 실시예에 따라 음향 피드백을 제어하기 위한 제어 장치(4)를 포함하는 시스템(1)의 개략도이다. 시스템(1)은 일반적으로 센서(3), 제어 장치(4) 및 전기 음향 변환기(9)를 포함한다. 제어 장치(4)는 휴대용 또는 고정식 컴퓨팅 장치를 포함할 수 있다. 제어 장치(4)는 센서(3)의 센서 출력에 기초한 센서 신호에 의존하여 오디오 클립(들)의 출력을 제어하도록 동작한다.
센서(3)는 운동 장치(2)에 장착될 수 있다. 운동 장치(2)는 고정식 운동 장치일 수 있으며, 그러한 고정식 운동 장치는 고정식 자전거, 러닝머신 또는 워킹머신(walking machine), 일립티컬 머신(elliptical machine), 글라이더 머신(glider machine), 등산 머신(climbing machine), 로잉 머신(rowing machine), 스키 머신, 덤벨, 케틀벨 또는 바벨과 같은 프리웨이트, 탄력 밴드(resistance band), 스택 머신(stack machine) 또는 플레이트 장착 머신(plate-loaded machine) 같은 헬스 기구, 그리고 플렉션 머신(flexion machine)과 같은 것들이 있지만, 이들에 제한되지는 않는다. 운동 장치(2)는 사용자가 비순환적이거나 비-순환적 움직임을 포함하는 신체 운동을 수행하게 할 수 있다.
센서(3)는 운동 장치에 연결될 필요가 없다. 예를 들어, 센서(3)는 사용자의 움직임을 캡처하기 위해, 손목 스트랩 또는 다른 웨어러블 장치에 장착된 가속 센서와 같은 웨어러블 센서일 수 있다. 대안적으로 또는 추가적으로, 센서(3)는 사용자의 신체 또는 운동 장치에 직접 부착될 필요 없이 사용자의 움직임의 운동학적 파라미터들을 캡처하도록 구성될 수 있다. 센서(3)는 이미지 처리 기술을 사용하여 사용자의 움직임을 캡처하기 위한 광학 이미지 센서를 포함할 수 있거나, 또는 센서(3)는 사용자의 움직임을 캡처하기 위해 초음파 센서 또는 다른 거리-감지 센서를 포함할 수 있다. 센서(3)는 하나 또는 여러 개의 2차원 또는 3차원 카메라를 포함할 수 있다. 2차원 또는 3차원 카메라에 의해 캡처된 비디오 프레임은 움직임 패턴을 도출하기 위해 제어 장치(4)에 의해 평가될 수 있다. 오디오 클립(들) 간의 전환은 움직임 패턴에 기초하여 제어될 수 있다.
제어 장치(4)는 센서(3)와의 단방향 또는 양방향 통신을 위한 입력 인터페이스(5)를 포함할 수 있다. 입력 인터페이스(5)는 센서(3)로부터 센서 출력을 수신하도록 구성될 수 있다. 제어 장치(4)는 제어 회로(6)를 포함할 수 있다. 제어 회로(6)는 하나 이상의 집적 회로를 포함할 수 있다. 제어 회로(6)는 ASIC(application specific integrated circuit), 제어기, 마이크로제어기, 프로세서, 마이크로프로세서, 또는 이들의 임의의 조합 중 하나 이상을 포함할 수 있다.
아래에서 더 상세히 설명되는 바와 같이, 제어 회로(6)는 어느 오디오 클립(들)이 출력될지 결정하고 출력 인터페이스(8)를 통해 출력하기 위한 오디오 샘플들을 제공하도록 동작한다. 출력 인터페이스(8)는 디지털-아날로그 변환기(DAC)를 포함할 수 있다. 제어 회로(6)는 센서 신호가 제1 임계값 및 제2 임계값에 도달하는 것에 응답하여 오디오 클립(들)을 교환하도록 동작할 수 있다. 오디오 클립(들)의 변화는 재생 위치를 보존하여, 센서 신호가 임계값(11, 12)에 도달하기 이전에 출력된 오디오 클립(들)의 재생 위치에 의존하는 오프셋 재생 위치로부터 적어도 하나의 추가 오디오 클립이 시작되게 할 수 있다.
제어 장치(4)는 여러 오디오 클립들을 저장하기 위한 메모리(7) 또는 저장 장치를 포함할 수 있다. 재생할 수 있는 모든 오디오 클립들이 제어 장치(4)에 로컬로 저장될 필요는 없다. 몇몇 오디오 클립들 중 적어도 일부는 데이터 저장소로부터 근거리 통신망 또는 광대역 통신망을 통해 검색될 수 있다. 제어 장치(4)의 동작 중에 필요에 따라 오디오 클립들의 검색이 수행될 수 있다. 예를 들어, 운동 시간이 길면, 새로운 오디오 출력이 계속 생성될 수 있도록 추가 오디오 클립들이 다운로드될 수 있다.
메모리(7)에 저장된 여러 오디오 클립들은 각각 동기화될 수 있다. 여러 오디오 클립들은 동기화된 비트를 가질 수 있다. 본원에 사용된 바와 같이, 비트(beat)라는 용어는 오디오 클립의 기본 시간 단위 또는 펄스를 말하며, 이는 오디오 클립이 출력될 때 반복되어 발생하는 동일한 간격들과 관련된 반복되는 시간적 이벤트들에 의해 반영될 수 있다.
메모리(7)에 저장된 여러 오디오 클립들은 동일한 템포를 가질 수 있으며, 위상이 동일할 수 있다.
시스템(1)은 전기 음향 변환기(9)를 포함하며, 이 전기 음향 변환기(9)는 전기 신호를 가청 사운드로 변환할 수 있는 라우드스피커, 이어스피커(ear speaker), 헤드폰 또는 다른 장치일 수 있다. 전기 음향 변환기(9)는 제어 장치(4)와 함께 공통 하우징에 통합될 수 있거나, 제어 장치(4)와 별도로 제공될 수 있다.
제어 장치(4)에 의해 자동으로 수행될 수 있는 방법이 아래에서 더 상세히 설명될 것이다.
도 2, 도 3 및 도 4는 신체 운동 동안의 음향 피드백의 제공을 나타내는 다이어그램이다. 센서 신호 범위(10)는 제1 임계값(11) 및 제2 임계값(12)에 의해 다수의 센서 신호 서브-범위들(13, 14, 15)로 세분된다. 예를 들어, 제1 센서 신호 서브-범위(13)는 제2 임계값(12) 및 제1 임계값(11) 사이에서 연장될 수 있다. 제2 센서 신호 서브-범위(14)는 제1 임계값(11)을 초과하는 센서 신호 값들을 포함할 수 있다. 제3 센서 신호 서브-범위(15)는 제2 임계값(12) 미만의 센서 신호 값들을 포함할 수 있다. 도 2에 도시되지 않았지만, 서브-범위들(13-15) 각각은 각각의 서브-범위의 경계들을 정의하는 하한 임계값 및 상한 임계값에 의해 개별적으로 정의될 수 있다.
센서 신호(16)가 제1 센서 신호 서브-범위(13) 내에 있는 값을 가질 때, 적어도 하나의 오디오 클립(21)이 출력된다. 적어도 하나의 오디오 클립(21)은 제1 센서 신호 서브-범위(13)와 연관될 수 있다. 제어 장치(30)는 선택 화살표(30)로 개략적으로 나타낸 바와 같이, 센서 신호(16)가 제1 센서 신호 서브-범위(13) 내에 있을 때 출력하기 위해 적어도 하나의 오디오 클립(21)을 선택할 수 있다.
도 3에 도시된 바와 같이, 센서 신호(16)가 제1 임계값(11)을 초과하도록 증가할 때, 적어도 하나의 추가 오디오 클립(22)의 출력이 개시될 수 있다. 상기 적어도 하나의 추가 오디오 클립(22)은 제2 센서 신호 서브-범위(14)와 연관될 수 있다. 대안적으로 또는 추가적으로, 상기 제1 센서 신호 서브-범위(13)와 관련된 적어도 하나의 오디오 클립(21)의 출력은 중단될 수 있다. 상기 적어도 하나의 오디오 클립(21)을 중단하는 것은 상기 적어도 하나의 오디오 클립(21)을 페이드-아웃하는 것을 포함할 수 있다. 상기 적어도 하나의 오디오 클립(22)을 개시하는 것은 상기 적어도 하나의 추가 오디오 클립(22)을 페이드-인하는 것을 포함할 수 있다. 오디오 출력의 변화는 적어도 하나의 오디오 클립(21)으로부터 적어도 하나의 추가 오디오 클립(22)으로 크로스-페이드를 수행하는 것을 포함할 수 있다. 크로스-페이드는 센서 신호(16)가 제1 임계값(14)을 초과한 후 1초 미만, 바람직하게는 0.5초 미만의 시간 내에 완료될 수 있다. 크로스-페이드는 크로스-페이딩이 전기 음향 변환기(9)에 의해 출력되는 음향 신호의 크기의 급격한 변화를 야기하지 않는 방식으로 수행될 수 있다. 제어 장치(4)는, 예를 들어 크로스-페이드가 전기 음향 변환기(9)에 의해 출력되는 음향 신호의 크기의 급격한 변화를 야기하지 않는 방식으로, 이득 설정을 조정함으로써 디지털 오디오 신호를 조정하도록 동작할 수 있다.
도 4에 도시된 바와 같이, 센서 신호(16)가 제2 임계값(12) 아래로 떨어지도록 감소하면, 적어도 하나의 추가 오디오 클립(23)의 출력이 개시될 수 있다. 대안적으로 또는 추가적으로, 상기 제1 센서 신호 서브-범위(13)와 연관된 적어도 하나의 오디오 클립(21)의 출력은 중단될 수 있다. 상기 적어도 하나의 추가 오디오 클립(23)은 상기 제3 센서 신호 서브-범위(15)와 연관될 수 있다. 상기 적어도 하나의 오디오 클립(21)을 중단하는 것은 상기 적어도 하나의 오디오 클립(21)을 페이딩-아웃하는 것을 포함할 수 있다. 상기 적어도 하나의 오디오 클립(23)을 개시하는 것은 상기 적어도 하나의 추가 오디오 클립(23)을 페이드-인하는 것을 포함할 수 있다. 오디오 클립의 변경은 적어도 하나의 오디오 클립(21)으로부터 적어도 하나의 추가 오디오 클립(23)으로 크로스-페이드를 수행하는 것을 포함할 수 있다. 크로스-페이드는 센서 신호(16)가 제1 임계값(14)을 초과한 후 1초 미만, 바람직하게는 0.5초 미만의 시간 내에 완료될 수 있다. 크로스-페이딩은 크로스-페이딩이 전자 음향 변환기(9)에 의해 출력되는 음향 크기의 급격한 변화를 야기하지 않는 방식으로 수행될 수 있다. 제어 장치(4)는 예를 들어 크로스-페이드가 전기 음향 변환기(9)에 의해 출력되는 음향 신호의 크기의 급격한 변화를 야기하지 않는 방식으로 이득 설정을 조정함으로써 디지털 오디오 신호를 조정하도록 동작할 수 있다.
하나 이상의 오디오 클립은 각각 적어도 하나의 센서 신호 서브-범위와 연관될 수 있다. 예를 들어, 다수의 추가 오디오 클립들(22)은 제2 센서 신호 서브-범위(14)와 연관될 수 있다. 센서 신호(16)가 제1 임계값(11)을 초과할 때 출력되는 추가 오디오 클립(들)(22)은 운동 동안 사용자의 움직임들의 속도에 기초하여 선택될 수 있으며, 이러한 사용자의 움직임들의 속도는 센서 출력의 변화율에 의해 반영될 수 있다. 대안적으로 또는 추가적으로, 센서 신호(16)가 제1 임계값(11)을 초과할 때 출력되는 추가 오디오 클립(들)(22)은 운동이 진행된 시간에 기초하여 선택될 수 있다. 이는 센서 신호(16)가 제1 임계값(11)을 초과하는 것에 응답하여 개시되는 적어도 하나의 추가 오디오 클립(22)이 신체 운동의 지속 시간의 함수로서 변화될 수 있게 한다.
대안적으로 또는 추가적으로, 센서 신호(16)가 제1 임계값(11)을 초과할 때 출력되는 추가 오디오 클립(들)(22)은 패턴 분류 알고리즘들을 가진 움직임 패턴의 인식 또는 신체 운동 동안 사용자의 움직임과 무관한 환경 변화로부터 도출된 다른 이벤트에 기초하여 선택될 수 있다.
대안적으로 또는 추가적으로, 다수의 추가 오디오 클립들(23)은 제2 센서 신호 서브-범위(15)와 연관될 수 있다. 센서 신호(16)가 제2 임계값(12) 아래로 떨어질 때 출력되는 추가 오디오 클립(들)(23)은, 센서 출력의 변화율에 의해 반영될 수 있는, 운동 중인 사용자의 움직임의 속도에 기초하여 선택될 수 있다. 대안적으로 또는 추가적으로, 센서 신호(16)가 제2 임계값(12) 아래로 떨어질 때 출력되는 추가 오디오 클립(들)(23)은 운동이 진행된 시간에 기초하여 선택될 수 있다. 이는 센서 신호(16)가 제2 임계값(12) 아래로 떨어지는 것에 응답하여 개시되는 적어도 하나의 추가 오디오 클립(23)이 신체 운동의 지속 시간의 함수로서 변화될 수 있게 한다.
대안적으로 또는 추가적으로, 센서 신호(16)가 제2 임계값(12) 아래로 떨어질 때 출력되는 추가 오디오 클립(들)(23)은 패턴 분류 알고리즘들을 가진 움직임 패턴의 인식 또는 신체 운동 동안 사용자의 움직임과 무관한 환경 변화로부터 도출된 다른 이벤트에 기초하여 선택될 수 있다.
오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22, 23)은 동기화된 비트를 갖는다. 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22, 23)은 공통 비트에 동기화될 수 있다. 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22, 23)은 그들 사이의 동일한 간격과 관련된 반복되는 일시적 이벤트들 또는 최대 음향 진폭 또는 음색 이벤트의 반복 패턴에 의해 반영될 수 있는 비트를 각각 가질 수 있다. 즉 공통 비트로 시간 정렬될 수 있다.
아래에서 더 자세히 설명되는 바와 같이, 제1 임계값(11)을 초과하거나 제2 임계값(12) 아래로 떨어지는 센서 신호(16)에 의해 트리거되는 오디오 클립의 변화는 재생 위치를 지키며(respecting), 이에 의해, 적어도 하나의 오디오 클립(21)이 중단되고 그리고/또는 적어도 하나의 추가 오디오 클립(22, 23)이 개시될 때 비트를 자동으로 유지한다. 일부 바람직한 실시예들에서, 적어도 하나의 추가 오디오 클립(22, 23)의 렌더링이 시작되는 오프셋 재생 위치는 적어도 하나의 추가 오디오 클립(22, 23)이 개시되는 시점에서의 적어도 하나의 오디오 클립(21)의 재생 위치 또는 글로벌 카운트(예를 들어, 클록 또는 샘플 카운터)에 의존할 수 있으며, 이로써, 오프셋 재생 위치는 글로벌 카운트를 분자로 하고 오디오 클립 내의 샘플 수를 분모로 하는 모듈로 연산의 결과와 동일하다고 결정될 수 있다. 예를 들어, 아래에서 도 7 내지 도 11을 참조하여 보다 상세하게 설명되는 바와 같이, 재생 오프셋은 (글로벌 샘플 카운트) % (적어도 하나의 추가 오디오 클립 내의 샘플 수)로 결정될 수 있다.
도 5 및 도 6은 적어도 하나의 오디오 클립(21)이 중단되고 적어도 하나의 추가 오디오 클립(22, 23)이 개시될 때 수행될 수 있는 크로스-페이딩을 도시한다. 도 5는 적어도 크로스-페이드 기간(Tcf) 동안 오디오 클립들에 적용되는 페이드 진폭들(31, 32)을 도시한다. 페이드 진폭(31)은 센서 신호(16)가 제1 센서 신호 서브-범위(13)를 벗어나는 것에 응답하여 중단되는 적어도 하나의 오디오 클립(21)의 사운드 진폭에 적용될 수 있다. 센서 신호(16)가 각각 제2 신호 서브-범위(14) 또는 제3 신호 서브-범위(15)에 진입하는 것에 응답하여 개시되는 적어도 하나의 추가 오디오 클립(22, 23)에 다른 페이드 진폭(32)이 적용될 수 있다. 센서 신호(16)는 시간(33)에서 제1 임계값(11) 또는 제2 임계값(12)에 도달할 수 있다. 크로스-페이드는 시간(34)에서 약간의 시간 지연(Tr)을 갖고 개시된다. 시간 지연(Tr)은 센서(3) 및 제어 장치(4)의 응답 시간에 대응할 수 있다. 시간 지연(Tr)은 1 초미만, 바람직하게는 0.5 초미만, 더 바람직하게는 0.3 초 미만일 수 있다. 시간(34)과 시간(35) 사이의 크로스-페이드 기간(Tcf)에서, 중단되는 적어도 하나의 오디오 클립(21)의 진폭은 점차적으로 감소될 수 있다. 개시되는 적어도 하나의 추가 오디오 클립(22, 23)의 진폭은 점차적으로 증가될 수 있다. 진폭의 감소 및 증가는 각각 페이드 진폭(31, 32)에 의해 개략적으로 도시된 사운드 진폭에 대한 곱셈 계수(multiplicative factor)를 사용하여 획득될 수 있다. 페이드 진폭(31)은 단조 감소 함수일 수 있다. 페이드 진폭(31)은 단조 감소 함수일 수 있다. 페이드 진폭(31)은 선형 함수일 수 있다. 페이드 진폭(31)은 로그, 지수, 삼각, 사인형, 아크 탄젠트 또는 유사 함수와 같은 비-선형 함수일 수 있다. 이러한 비선형 함수는 큰 크기 변화의 위험을 완화한다. 페이드 진폭(32)은 단조 증가 함수일 수 있다. 페이드 진폭(32)은 선형 함수일 수 있다. 페이드 진폭(32)은 로그, 지수, 삼각, 사인형, 아크 탄젠트 또는 유사 함수와 같은 비-선형 함수일 수 있다. 이러한 비선형 함수는 큰 크기 변화의 위험을 완화한다. 페이드 진폭(31, 32)은 예를 들어 최대 음향 크기를 정의하는 이득 설정에 적용될 수 있다.
도 6은 크로스-페이딩의 효과를 도시한다. 중단되는 적어도 하나의 오디오 클립(21)의 음향 크기는 실선(41)으로 개략적으로 도시되어 있다. 개시되는 적어도 하나의 추가 오디오 클립(22, 23)의 음향 진폭은 점선(42)으로 개략적으로 도시되어 있다. 크로스-페이딩의 시작에서, 적어도 하나의 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22, 23)은 크기 차이(45)를 나타낼 수 있다. 바람직하지 않은 클릭 노이즈를 야기할 수 있는 오디오 출력 크기의 갑작스럽고 급격한 변화를 방지하기 위해, 단조 감소하는 페이드 진폭은 적어도 하나의 오디오 클립(21)에 적용될 수 있으며, 적어도 하나의 오디오 클립(21)의 출력 진폭이 점선(43)으로 도시된 바와 같이 점차 감소하게 한다. 단조 증가하는 페이즈 진폭은 적어도 하나의 추가 오디오 클립(22, 23)에 적용될 수 있으며, 적어도 하나의 추가 오디오 클립(22, 23)의 출력 진폭이 점선(44)으로 도시된 바와 같이 점차 증가하게 한다. 단조 감소하는 페이드 진폭이 적용된 적어도 하나의 오디오 클립(21)과 단조 증가하는 페이드 진폭이 적용된 적어도 하나의 추가 오디오 클립(22, 23)의 조합으로 인한 전체 사운드 크기는 출력되는 전체 음향 볼륨에서 뚜렷한 급격한 변화를 나타내지 않는다.
적어도 하나의 오디오 클립(21)에서 적어도 하나의 추가 오디오 클립(22, 23)으로의 변경은 재생 위치가 유지되는 방식으로 수행될 수 있고, 이에 의해, 적어도 하나의 추가 오디오 클립(22, 23)은 센서 신호가 임계값(11, 12)에 도달하기 전에 이미 출력된 적어도 하나의 오디오 클립(21)과 동기하여 개시되는 것이 보장된다. 보다 구체적으로, 바람직한 실시예들에 따라, 적어도 하나의 추가 오디오 클립(22, 23)은 적어도 하나의 추가 오디오 클립(22, 23)이 개시되는 시점에서의 적어도 하나의 오디오 클립(21)의 재생 위치 또는 글로벌 카운트(예를 들어, 클록 또는 샘플 카운터)의 함수로서 결정되는 오프셋 재생 위치로부터 재생되도록 개시되며, 이로써, 오프셋 재생 위치는 글로벌 카운트를 분자로 하고 오디오 클립 내의 샘플 수를 분모로 하는 모듈로 연산의 결과와 동일하다고 결정될 수 있다. 예를 들어, 아래에서 도 7 내지 도 11을 참조하여 보다 상세하게 설명되는 바와 같이, 재생 오프셋은 (글로벌 샘플 카운트) % (적어도 하나의 추가 오디오 클립 내의 샘플 수)로 결정될 수 있다.
도 7은 센서 신호가 제1 임계값(11)에 도달하는 것에 응답하여 개시되는 적어도 하나의 추가 오디오 클립(22)을 도시한다. 적어도 하나의 추가 오디오 클립(22)이 개시되는 오프셋 재생 위치(61)는 적어도 하나의 추가 오디오 클립(22)의 시작에 대응할 수 있지만, 대응할 필요는 없다. 더 구체적으로, 적어도 하나의 추가 오디오 클립(22)이 재생되는 오프셋 재생 위치(61)는 적어도 하나의 추가 오디오 클립(22)이 개시될 때 적어도 하나의 오디오 클립(21)의 재생 위치에 의존할 수 있다. 제어 장치(4)는 적어도 하나의 추가 오디오 클립(22)의 재생 위치에 대한 플레이헤드 오프셋(62)을 자동으로 결정할 수 있다. 적어도 하나의 추가 오디오 클립(22)을 개시할 때, 적어도 하나의 추가 오디오 클립(22)의 끝이 처음으로 재생될 때까지 플레이헤드 오프셋(62) 내의 오디오 데이터가 출력되지 않는다. 적어도 하나의 추가 오디오 클립(22)은 옵션으로 루프로 재생될 수 있다. 적어도 하나의 추가 오디오 클립(22)의 끝이 처음으로 도달된 후, 적어도 하나의 추가 오디오 클립(22)의 전체 길이는 다음 루프에서 재생되어, 플레이헤드 오프셋(62)의 오디오 데이터가 출력되게 할 수 있다.
도 8은 적어도 하나의 오디오 클립(21), 그리고 센서 신호가 임계값이 도달하는 것에 응답하여 개시되는 적어도 하나의 추가 오디오 클립(22)을 도시한다. 시간(34)에서 크로스-페이드가 시작되면, 적어도 하나의 오디오 클립(21)은 재생 위치(64)를 갖는다. 적어도 하나의 오디오 클립(21)의 일부(63), 예를 들어 적어도 하나의 오디오 클립(21)의 특정수의 디지털 신호 처리(DSP) 블록들은 시간(34)에서 크로스-페이딩이 시작될 때 이미 출력되었다. 시간(34)에서 크로스-페이딩이 시작될 때, 적어도 하나의 추가 오디오 클립(22)은 크로스-페이딩의 시작시 적어도 하나의 오디오 클립(21)의 재생 위치(64)에 기초하여 결정되는 61에서의 재생 위치로부터 재생된다. 적어도 하나의 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22)이 동일한 전체 길이를 가질 때, 적어도 하나의 추가 오디오 클립(22)이 재생되는 오프셋 재생 위치(61)는 적어도 하나의 추가 오디오 클립(22)이 개시되는 시간(34)에서 적어도 하나의 오디오 클립(21)의 재생 위치(64)와 동일할 수 있다.
도 9는 바람직한 실시예에 따른 방법(70)의 흐름도이다. 상기 방법(70)은 제어 장치(4)에 의해 자동으로 수행될 수 있다. 단계 71에서, 여러 오디오 클립들 중 하나 이상이 출력된다. 다수의 오디오 클립들 중 하나 이상을 출력하는 것은 이벤트가 발생할 때까지 적어도 하나의 오디오 클립(21)을 루프로 재생하는 것을 포함할 수 있다. 이벤트는 센서 신호가 임계값(11, 12)에 도달하는 것일 수 있고, 이는 적어도 하나의 오디오 클립(21)이 중단되게 할 수 있으며, 그리고/또는 적어도 하나의 추가 오디오 클립(22, 23)이 개시되게 할 수 있다. 단계 72에서, 센서 신호가 임계값(11, 12)에 도달했는지 여부, 예를 들어, 센서 신호가 제1 임계값(11)을 초과했는지 여부 또는 제2 임계값(12) 아래로 떨어졌는지 여부가 결정된다. 센서 신호가 임계값(11, 12)에 도달하지 않은 경우, 상기 방법은 단계71로 복귀하여 오디오 클립(21)을 계속 재생할 수 있다. 단계 72에서의 결정은 예를 들어 오디오 클립(21)의 DSP 블록 당 한 번 수행될 수 있다. 결정 단계(72)는 센서(3)를 질의하거나 인터페이스(5)에서 센서 출력을 판독하는 단계를 포함할 수 있다. 센서 신호가 임계값에 도달한 것으로 결정되면, 단계 73에서, 적어도 하나의 추가 오디오 클립(22, 23)에 대한 오프셋 재생 위치가 결정된다. 오프셋 재생 위치는 적어도 하나의 오디오 클립(21)의 재생 위치에 기초하여, 또는 대안적으로는 적어도 하나의 추가 오디오 클립(22, 23)이 개시될 때의 글로벌 카운트에 기초하여 결정될 수 있다. 단계 74에서, 적어도 하나의 추가 오디오 클립(22, 23)이 개시된다. 적어도 하나의 추가 오디오 클립(22, 23)을 개시하는 것은 적어도 하나의 추가 오디오 클립(22, 23)을 페이딩-인하는 것을 포함할 수 있다. 옵션으로, 적어도 하나의 오디오 클립(21)은 예를 들어 적어도 하나의 오디오 클립(21)을 페이딩 아웃함으로써, 또는 적어도 하나의 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22, 23) 간의 크로스-페이딩에 의해 동시에 중단될 수 있다.
단계 72에서 전환을 트리거링하는 이벤트가 임계값에 도달하는 센서 신호일 수 있지만, 다른 더 복잡한 트리거 이벤트들이 정의될 수 있다. 예를 들어, 오디오 클립들 간의 전환을 트리거하기 위해 두 명 이상의 사용자들이 조정된 방식으로 이동해야 할 수 있다.
적어도 하나의 추가 오디오 클립(22, 23)의 오프셋 재생 위치는 적어도 하나의 오디오 클립(21)의 재생 위치에 의존할 수 있을 뿐만 아니라, 오디오 클립(21) 및 추가 오디오 클립(22)의 전체 길이의 차이에 의존할 수도 있다.
적어도 하나의 추가 오디오 클립(22, 23)의 오프셋 재생 위치는 글로벌 카운트에 기초하여 결정될 수 있다. 글로벌 카운트는 클록 또는 샘플 카운터일 수 있다. 오프셋 재생 위치(61)는 도 11을 참조하여 더 자세히 설명되는 바와 같이 글로벌 카운트를 분자로 하고 적어도 하나의 추가 오디오 클립(22, 23) 내의 샘플 수를 분모로 하는 모듈로 연산의 결과와 동일하다고 결정될 수 있다.
도 10은 적어도 하나의 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22)이 상이한 길이를 가질 때 적어도 하나의 추가 오디오 클립(22)의 오프셋 재생 위치(61)의 결정을 도시한다. 도 10은 적어도 하나의 오디오 클립(21)이 적어도 하나의 추가 오디오 클립(22) 보다 짧은 길이를 갖는 경우를 개략적으로 도시한다. 이 경우, 적어도 하나의 오디오 클립(21)은 이미 크로스-페이딩이 시작되는 시간(34)에서 한 번 또는 여러 번 반복(looping)되었을 수 있다. 적어도 하나의 추가 오디오 클립(22)의 재생 위치(61)는 상이한 오디오 클립 길이들을 고려하여 결정될 수 있다. 예를 들어, 재생 위치(61)는 적어도 하나의 오디오 클립(21)의 전체 길이 + 시간 34에서 적어도 하나의 오디오 클립(21)의 재생 위치(66)에 대응하는 것으로 결정될 수 있다. 재생 위치(66)는 적어도 하나의 오디오 클립(21)의 최신 루프의 시작으로부터의 경과 시간(65)에 대응한다.
일반적으로, 적어도 하나의 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22)이 상이한 길이를 가질 때, 적어도 하나의 추가 오디오 클립이 개시되는 재생 위치는 적어도 하나의 오디오 클립(21)의 재생 위치뿐만 아니라, 적어도 하나의 오디오 클립(21)과 적어도 하나의 추가 오디오 클립(22) 모두의 전체 길이의 비율에 의존할 수 있다.
도 11은 글로벌 카운트(67)에 기초한 적어도 하나의 추가 오디오 클립(22)의 오프셋 재생 위치(61)의 결정을 도시한다. 글로벌(67)은 클록 또는 샘플 카운터일 수 있다. 본원에서 사용된 바와 같이, "글로벌 카운트"란 용어는 시간이 지남에 따라 그리고/또는 샘플들이 출력됨에 따라 증가하는 숫자를 지칭한다. 글로벌 카운트는 어떤 오디오 클립(들)이 출력되었는지에 관계없이, 출력된 샘플들의 총 수 및/또는 총 시간량에 대한 글로벌 측정치이다.
적어도 하나의 추가 오디오 클립(22)이 개시되는 오프셋 재생 위치(61)는 적어도 하나의 추가 오디오 클립(22)이 개시되는 시간(34)에서 글로벌 카운트(67)의 값(68)에 기초하여 결정될 수 있다. 오프셋 재생 위치(61)는 글로벌 카운트를 분자로 하고 적어도 하나의 추가 오디오 클립(22) 내의 샘플 수를 분모로 하는 모듈로 연산의 결과와 동일할 수 있다. 제한이 아닌 예시를 위해, 오프셋 재생 위치(61)는 오프셋 재생 위치 = (글로벌 샘플 카운트) % (적어도 하나의 추가 오디오 클립(22)의 샘플 수)로 결정될 수 있다.
본 명세서에 기술된 다양한 바람직한 실시예들 중 어느 하나에서, 오디오 클립들과 센서 신호 서브-범위들 간의 연관은 고정적일 수 있지만, 고정적일 필요는 없다. 예를 들어, 서로 다른 오디오 클립들은 운동 시작부터 시간의 함수로서 각각 센서 신호 서브-범위들 중 적어도 하나에 할당될 수 있다. 이러한 방식으로, 운동 동안 오디오 피드백이 단조로워질 위험이 더욱 감소될 수 있다. 대안적으로 또는 추가적으로, 패턴 분류 알고리즘들을 가진 움직임 패턴의 인식 또는 신체 운동 동안 사용자의 움직임과 무관한 환경 변화로부터 도출된 다른 이벤트 응답하여 센서 신호 서브-범위들 중 적어도 하나에 상이한 오디오 클립들이 할당될 수 있다. 환경 변화는 현실 세계 객체 및/또는 가상현실 객체와 관련될 수 있다.
도 12는 센서 신호의 함수로서 그리고 운동 시작으로부터 경과된 시간의 함수로서 오디오 클립들(21-26)을 도시한다. 운동 시작으로부터 시간(79)까지, 적어도 하나의 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22, 23)은 제1 임계값(11) 및 제2 임계값(12)에 의해 분리된 상이한 센서 신호 서브-범위들에 할당된다. 전술한 바와 같이, 적어도 하나의 오디오 클립(21)은 중단될 수 있고 그리고/또는 적어도 하나의 추가 오디오 클립(22, 23)은 각각 제1 임계값(11)에 도달하거나 이를 초과하거나, 또는 제2 임계값(12) 아래로 떨어지는 센서 신호에 응답하여 개시될 수 있다. 시간(79) 후에, 적어도 하나의 다른 오디오 클립(24) 및 적어도 하나의 다른 추가 오디오 클립(25, 26)은 제1 임계값(11) 및 제2 임계값(12)에 의해 분리된 상이한 센서 신호 서브-범위들에 할당될 수 있다. 시간(79) 후에, 적어도 하나의 다른 추가 오디오 클립(25, 26)의 재생은 센서 신호(16)가 제1 임계값(11)을 초과하거나 제2 임계값(12) 아래로 떨어질 때 개시된다. 오디오 클립에서의 이러한 변경은 상기에서 도 1 내지 도 10을 참조하여 기술들 중 임의의 것을 사용하여 구현될 수 있다.
적어도 하나의 다른 오디오 클립(24)은 적어도 하나의 오디오 클립(21)과 상이할 수 있다. 대안적으로 또는 추가적으로, 적어도 하나의 다른 추가 오디오 클립들(25, 26) 중 하나 또는 둘 모두는 적어도 하나의 추가 오디오 클립들(22, 23)과 상이할 수 있다. 모든 오디오 클립들(21-26)은 예를 들어 공통 비트와 동기화된 비트를 각각 갖도록 동기화될 수 있다.
출력되는 적어도 하나의 오디오 클립은 시간의 함수로서 변경될 수 있다. 예를 들어, 센서 신호가 제1 임계값(11)과 제2 임계값(12) 사이의 제1 센서 신호 서브-범위에 남아있는 경우에도, 적어도 하나의 오디오 클립(21)은 시간(79) 전에 출력될 수 있고, 적어도 하나의 다른 오디오 클립(24)은 시간(79) 후에 출력될 수 있다. 적어도 하나의 오디오 클립(21)에서 적어도 하나의 다른 오디오 클립(24)으로의 변경은 크로스-페이딩을 포함할 수 있지만, 포함할 필요는 없다.
지금까지 단일 센서 신호의 평가를 참조하여 오디오 출력 변화가 설명되었지만, 본 명세서에 개시된 기술들은 또한 제어 장치(4)에 의해 처리하기 위해 하나 이상의 센서 신호가 이용 가능할 때 적용될 수 있다. 예를 들어, 하나 이상의 센서들은 다수의 센서 신호들을 제공할 수 있다. 다수의 센서 신호들은 단일 사용자 또는 복수의 사용자들과 관련될 수 있다. 제어 장치(4)는 다수의 센서 신호들에 기초하여 어느 오디오 클립들이 출력될 것인지 결정할 수 있다. 예를 들어, 여러 오디오 클립들은 다수의 센서 신호들에 의해 스팬되는(spanned) 파라미터 공간에서 다차원 어레이로 배열될 수 있다. 어느 오디오 클립(들)이 출력될 것인지를 결정하기 위해 제1 센서 신호 및 제2 센서 신호가 처리될 때, 몇몇 오디오 클립들은 도 13에 도시된 바와 같이 오디오 클립들의 2차원 어레이로 배열될 수 있다.
도 13은 2차원 어레이의 다수의 오디오 클립들(21-23 및 27-29)을 도시한다. 제1 센서 신호의 가능한 값들의 범위는 제1 임계값(11) 및 제2 임계값(12)에 의해 다수의 센서 신호 서브-범위들로 세분된다. 제2 센서 신호(75)의 가능한 값들의 범위는 임계값들(76, 77)에 의해 다수의 센서 신호 서브-범위들로 세분된다. 제1 센서 신호가 제1 임계값(76) 및 제2 임계값(77) 중 하나에 도달할 때, 그리고 제2 센서 신호가 임계값들(76, 77) 중 하나에 도달할 때, 오디오 클립(들)의 변화가 트리거링될 수 있다. 예를 들어, 제2 센서 신호가 임계값(76)을 초과하게 하는 제2 센서 신호의 변화는 제1 센서 신호가 임계값들(11, 12) 사이의 제1 센서 신호 서브-범위에 있을 때 오디오 클립(27)이 개시되게 할 수 있다. 오디오 클립(27)을 개시하는 것은 전술한 바와 같이 크로스-페이딩을 포함할 수 있다.
오디오 클립들의 2-차원 배열이 도 13에 개략적으로 도시되어 있지만, 오디오 클립들 중 어느 것이 출력될 것인지 결정하기 위해 3 개 이상의 센서 신호들이 처리될 수 있다. 제어 장치(4)는 제1 센서 신호, 제2 센서 신호 및 제3 센서 신호를 평가할 수 있고, 그리고 연관된 임계값에 도달하는 제1 센서 신호, 제2 센서 신호 및 제3 센서 신호들 중 하나에 응답하여 오디오 클립들 간의 전환을 개시할 수 있다. 따라서, 다수의 오디오 클립들은 제1 센서 신호, 제2 센서 신호 및 제3 센서 신호에 의해 스팬되는 3차원 파라미터 공간에서 3차원 어레이로 배열될 수 있다. 오디오 클립들 중 어느 것이 출력될 것인지 결정하기 위해 4 개 이상의 센서 신호가 처리될 수 있다. 이 경우, 여러 오디오 클립들은 N-차원 어레이(이 때, N은 3 보다 큼)로 배열될 수 있다.
여러 개의 오디오 클립들은 1차원, 2차원, 3차원 또는 N차원 배열(이 때, N은 3보다 큼)로 배열되는지 관계없이 동기화된 비트를 갖는다. 또한, 오디오 클립들 사이의 임의의 전환은 임계값에 도달하는 센서 신호에 응답하여 적어도 하나의 추가 오디오 클립이 재생되는 재생 위치가, 적어도 하나의 추가 오디오 클립이 개시되는 시점에서 이전에 재생된 오디오 클립의 재생 위치에 의존하는 방식으로 구현될 수 있다.
센서 신호 범위(10)가 바람직한 실시예들을 통해 2 개의 임계값들에 의해 3 개의 센서 신호 서브-범위들로 세분화되는 동안, 3 개 이상의 임계값들(예를 들어, 3개, 4개, 5개 또는 그 이상의 임계값들)은 4개 이상의 센서 신호 서브-범위들(예를 들어, 4개, 5개, 6개 또는 그 이상의 센서 신호 서브-범위들)을 제공하기 위해 사용될 수 있으며, 각각의 오디오 클립들은 이와 관련된다. 또한, 2개 이상의 오디오 클립은 하나의 센서 신호 서브-범위와 관련될 수 있다. 예를 들어, 센서 신호 서브-범위가 위에서부터 진입되면 하나의 오디오 클립이 재생될 수 있고, 그리고 센서 신호 서브-범위가 아래에서부터 진입되면 다른 오디오 클립이 재생될 수 있다.
본 명세서에 개시된 다양한 바람직한 실시예들 중 어느 하나에서, 센서 신호는 아날로그 또는 디지털 값으로 제공될 수 있다. 어느 오디오 클립(들)이 출력될 것인지를 결정하기 위해 제어 장치에 의해 평가되는 센서 신호는 메시지에 포함될 수 있으며, 메시지는 센서 신호 이외의 정보도 포함할 수 있다. 메시지는 예를 들어 센서 신호가 제1 임계값(11) 및 제2 임계값(12) 중 하나에 도달하거나 초과하거나 그 아래로 떨어지는 것에 응답하여 생성되는 제어 이벤트 메시지일 수 있다.
예시적인 실시예들에 따른 제어 장치의 구현들은 도 14 내지 도 17을 참조하여 보다 상세하게 설명될 것이다.
도 14는 센서 신호에 응답하여 오디오 피드백의 생성을 제어하는 제어 장치(80)의 블록도이다. 제어 장치(80)는 샘플러 모듈(81)을 포함한다. 샘플러 모듈(81)은 적어도 하나의 집적 회로를 포함할 수 있다. 샘플러 모듈(81)은 현재 DSP 블록에 대한 오디오 데이터를 획득하도록 동작할 수 있다. 오디오 데이터는 각각 여러 오디오 클립들(91-93) 중 하나로부터의 오디오 데이터를 포함할 수 있다. 샘플러 모듈(81)은 오디오 데이터를 믹서 모듈(84)에 제공할 수 있다. 믹서 모듈(84)은 예를 들어 크로스-페이드 동안 적어도 하나의 오디오 클립(21) 및 적어도 하나의 추가 오디오 클립(22, 23)으로부터의 오디오 샘플들을 믹싱할 수 있다. 더 일반적으로, 믹서 모듈(84)은, 적어도 하나의 오디오 클립(21)만이 출력되어야 할지, 적어도 하나의 추가 오디오 클립(22, 23)만이 출력되어야 할지, 또는 둘 모두가 출력되어야 할지에 따라, 적어도 하나의 오디오 클립(21), 적어도 하나의 추가 오디오 클립(22, 23) 또는 이들의 조합에 기초하여 현재 오디오 블록에 대한 샘플들을 계산하도록 구성될 수 있다. 믹서 모듈(84)은 현재 오디오 블록에 대한 샘플들을 계산할 수 있다. 오디오 엔진 처리 모듈(85)은 믹서 모듈(84)로부터 오디오 블록의 샘플들을 수신할 수 있다. 오디오 엔진 처리 모듈(85)은 사운드 카드를 제어하고, 사운드 카드의 마스터 볼륨을 설정하고, 그리고/또는 샘플러 모듈(81)에 의해 제공되는 샘플들에 추가하여 다른 루틴들에 의해 생성된 사운드가 출력될 수 있게 하도록 구성될 수 있다. 오디오 블록은 가청 음향을 생성하기 위해 DAC(86)에 발송된 샘플들을 유지한다.
샘플러 모듈(81)은 센서 신호를 수신할 수 있다. 센서 신호는 제어 장치에 의해 내부적으로 생성된 이벤트 메시지에 포함될 수 있다. 센서 신호는 컴퓨터 프로그램의 하나의 모듈, 예를 들어 센서를 폴링하는 모듈 또는 센서 출력이 저장되는 버퍼에 의해 설정될 수 있는 값일 수 있다. 센서 신호는 컴퓨터 프로그램의 다른 모듈에 의해 판독될 수 있다. 센서 신호는 센서 출력을 나타내는 파라미터일 수 있다. 센서 출력을 나타내는 파라미터는 센서 출력의 절대값을 나타낼 수 있다(즉, 예를 들어 절대 위치 값을 반영할 수 있다). 대안적으로, 센서 출력을 나타내는 파라미터는 센서 출력이 현재 값에 도달한 속도를 나타낼 수 있다. 즉, 센서의 변화율을 나타낼 수 있다(즉, 예를 들어 위치 센서의 센서 출력 변화로 인한 속도를 반영할 수 있다). 후자의 경우, 센서 신호를 나타내는 파라미터는 MIDI 파라미터"속도"와 비교될 수 있다. 센서 신호를 나타내는 파라미터는 부동 소수점 정밀도(floating point precision), 배정밀도(double precision)를 가질 수 있고, 또는 정수, long, 또는 long long 값일 수 있다. 센서 신호를 나타내는 파라미터는 0과 1 사이의 값들을 갖도록 정규화될 수 있다.
샘플러 모듈(81)은 들어오는 센서 신호 정보에 응답하여 재생을 위한 올바른 오디오 데이터의 선택을 처리하는 맵퍼(mapper)(82)를 포함한다. 전술한 바와 같이, 맵퍼(82)는 각각 센서 신호의 함수로서, 오디오 클립의 중단 여부 그리고/또는 개시될 적어도 하나의 추가 오디오 클립을 결정할 수 있다. 여러 오디오 클립들(91-93) 각각은 센서 신호 값들의 범위와 관련될 수 있다. 여러 오디오 클립들과 센서 신호 값들의 범위 사이의 연관은 고정적일 수 있지만, 고정적일 필요는 없다. 예를 들어, 여러 오디오 클립들과 센서 신호 값들의 범위들 간의 연관은 상기 도 12를 참조하여 설명된 바와 같이 시간의 함수로서 변할 수 있다. 들어오는 센서 신호가 센서 신호 서브-범위의 값을 갖는다면, 맵퍼(82)는 오디오 클립들(91-93) 중 하나로부터 오디오 데이터를 선택할 것이다. 오디오 데이터는 센서 신호 서브-범위와 연관된 오디오 클립들(91-93) 중 하나로부터 선택될 것이다.
대안적으로 또는 추가적으로, 임계값들(11, 12)은 고정적일 필요가 없다. 임계값들(11, 12)은 다음 중 하나 또는 여러 개의 함수로서 변경될 수 있다 : 센서 입력, 시간의 함수로서, 움직임 패턴에 적용되는 패턴 인식 절차의 결과로서, 그리고/또는 신체 운동의 수행과 관련이 없을 수 있는 환경 파라미터들의 결과로서. 사용자를 둘러싸는 현실 세계 객체 또는 가상현실 객체의 위치들 또는 움직임들, 온도, 조명 조건 그리고/또는 다른 주변 조건은 이러한 환경 파라미터들에 대해 예시적이다.
샘플러 모듈(81)은 또한 재생 위치 제어기(83)를 포함할 수 있다. 재생 위치 제어기(83)는 하나 이상의 오디오 클립들로부터의 현재 DSP 블록에 대한 오디오 데이터가 동기화된 상태를 유지하도록 보장한다. 이를 위해, 재생 위치 제어기(83)는 적어도 하나의 추가 오디오 클립이 어느 재생 위치로부터 출력되는지를 결정하는 오프셋 재생 위치를 결정하도록 동작한다. 오프셋 재생 위치는 센서 신호가 임계값에 도달하기 전에 이미 출력된, 이전에 출력된 적어도 하나의 오디오 클립의 재생 위치에 기초하여 결정된다. 재생 위치 제어기(83)는 상이한 오디오 클립들이 상이한 길이를 갖는 경우 개시되는 적어도 하나의 추가 오디오 클립 및 적어도 하나의 오디오 클립의 길이들의 비율을 고려할 수 있다. 대안적으로 또는 추가적으로, 재생 위치 제어기(83)는, 예를 들어 도 11을 참조하여 설명된 기술들을 사용하여, 글로벌 카운트에 기초하여 오프셋 재생 위치를 결정할 수 있다.
적어도 하나의 오디오 클립 및 적어도 하나의 추가 오디오 클립에 대해 두 가지 유형의 버퍼들이 각각 제공될 수 있다. 제1 버퍼는 원본 오디오 데이터를 저장할 수 있다. 제2 버퍼는 제1 버퍼로부터의 샘플들의 범위를 보유할 수 있다. 제2 버퍼는 원본 오디오 클립 또는 그것의 일부를 루핑(looping)하는데 사용될 수 있다. 제2 버퍼의 길이는 초기에 제1 버퍼의 길이와 동일하게 설정될 수 있다. 제1 버퍼 내의 데이터는 현재 템포에서 측정의 전체 지속 시간(global duration of a measure)에 맞도록 준비될 수 있다. 이는 오디오 클립들을 적절히 선택함으로써 또는 오디오 클립이 현재 템포에서 측정의 전체 지속 시간에 맞게 하는 시간 신장기 함수(time stretcher function)를 적용함으로써 수행될 수 있다. 제1 버퍼의 오디오 데이터가 이미 올바른 템포에 있고 그리고 비트의 길이의 배수가 아닌 길이를 갖는다면, 버퍼 끝에서 누락된 오디오 데이터는 무음으로 채워질 수 있다. 오디오 클립의 오디오 데이터가 참조 비트 수 또는 참조 샘플 수와 비교하여 너무 길면, 초과 길이가 무시될 수 있다. 후자의 경우, 제2 버퍼의 마지막 오디오 샘플들은 오디오 데이터의 끝과 시작 사이를 보간(interpolating)하여 스무스한 루핑(smooth looping)을 제공하고 클릭 또는 다른 아티팩트를 방지하는데 사용될 수 있다.
대안적으로, 단일 버퍼가 제공될 수 있다. 동일한 버퍼로부터 판독하기 위해 적어도 두 개의 상이한 플레이헤드들이 사용될 수 있다. 이 경우, 루프는 오디오 파일의 서브-범위일 수 있다. 서브-범위는 시작 샘플 값 및 루프 길이에 의해 정의될 수 있다. 루프 길이는 판독될 샘플들의 수를 정의할 수 있다. 플레이헤드가 원하는 수의 샘플들을 판독했을 때, 플레이헤드를 시작 샘플 값으로 다시 설정하는 이벤트가 트리거링된다. 이러한 방식으로, 단일 버퍼는 오디오 클립으로부터의 오디오 데이터 및 적어도 하나의 추가 오디오 클립으로부터의 오디오 데이터를 저장하기 위해 사용될 수 있다.
오디오 클립은 오디오 파일의 서브-범위일 수 있고, 그리고 적어도 하나의 추가 오디오 클립은 동일한 오디오 파일의 다른 서브-범위일 수 있다. 즉, 하나의 오디오 파일은 오디오 클립 및 그로부터의 적어도 하나의 추가 오디오 클립 모두를 도출하는데 사용될 수 있다. 이 경우, 단일 버퍼는 단일 오디오 파일로부터의 샘플들을 저장할 수 있다. 중단되는 오디오 클립 그리고 개시되는 적어도 하나의 추가 오디오 클립은 예를 들어 2 개의 상이한 플레이헤드들을 사용하여 동일한 오디오로부터 도출될 수 있다.
제어 장치(80)의 다양한 기능 블록들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 컴퓨터-실행 가능한 명령들은 컴퓨팅 장치 또는 통신 단말기의 프로세서로 하여금 적어도 샘플러 모듈(81), 믹서(84) 및 오디오 엔진 처리 모듈(85)의 기능들을 수행하게 할 수 있다.
도 15는 센서 신호에 응답하여 오디오 피드백의 생성을 제어하는 제어 장치(90)의 블록도이다. 제어 장치(90)는 도 14를 참조하여 설명된 제어 장치(80)의 각각의 요소들과 유사하거나 동일할 수 있는 샘플러 모듈(81), 믹서(84), 오디오 엔진 처리 모듈(85) 및 DAC(86)를 포함한다.
샘플러 모듈(81)은 제어 이벤트 생성 모듈(94)에 의해 생성된 이벤트 메시지에 응답할 수 있다. 이벤트 메시지는 센서 출력에 기초하여 도출된 정보를 포함할 수 있다. 센서 출력에 기초하여 도출된 정보는 센서 출력의 절대값 또는 센서 출력의 변화율에 대한 정보를 포함할 수 있다. 제어 이벤트 생성 모듈(94)은 이벤트 메시지가 언제 발생될지를 결정하기 위해 센서의 센서 출력을 모니터링할 수 있다. 제어 이벤트 생성 모듈(94)은 미리 정의된 시간 간격으로(예를 들어 오디오 데이터의 DSP 블록 당 1회) 센서(3)를 능동적으로 폴링할 수 있다.
보다 복잡한 폴링 또는 데이터 전송 메커니즘이 사용될 수 있다. 예를 들어, 센서는 센서 출력을 센서 데이터 버퍼에 제공할 수 있다. 센서 데이터 버퍼는 블루투스 소켓의 버퍼일 수 있다. 제어 이벤트 생성 모듈(94)은 센서 데이터 버퍼를 폴링하여 센서 신호를 검색할 수 있다.
센서는 센서 출력을 20ms와 같은 미리 정의된 시간 간격으로 블루투스 소켓 또는 다른 센서 데이터 버퍼에 제공할 수 있다. 제어 이벤트 생성 모듈(94)은 폴링 시간에 센서 데이터 버퍼를 폴링할 수 있다. 센서 데이터 버퍼의 폴링 시간은 가변적일 수 있고, 소켓 로드, 가용 컴퓨팅 리소스, 컴퓨터에서 실행되는 프로그램의 우선순위(prioritization) 등과 같은 다양한 파라미터들에 의존할 수 있다.
제어 이벤트 생성 모듈(94)은 센서 신호를 샘플러 모듈(81)에 제공할 수 있다. 이는 DSP 블록 당 1회 또는 샘플 당 1회 수행될 수 있다.
예시적 실시예에서, 제어 이벤트 생성 모듈(94)은 센서 출력으로부터 도출된 센서 신호 이외의 정보를 포함할 수 있는 이벤트 메시지를 생성할 수 있다. 예를 들어, 생성된 이벤트 메시지는 이득에 관한 정보를 포함할 수 있다. 이득은 최대 진폭을 정의할 수 있다. 즉, 오디오 신호의 포락선(envelope)에 대한 스케일링 계수를 정의할 수 있다. 크로스-페이딩 동안, 이득은 도 5 및 도 6을 참조하여 설명된 바와 같이 페이딩 진폭에 기초하여 점차적으로 변경될 수 있다. 대안적으로 또는 추가적으로, 이벤트 메시지는 루프 플래그를 포함할 수 있다. 루프 플래그는 센서 출력의 검출된 변화에 응답하여 개시되는 적어도 하나의 추가 오디오 클립이 루프에서 재생될지 여부를 나타내는 이진값일 수 있다. 대안적으로 또는 추가적으로, 루프 플래그가 TRUE로 설정되면, 이벤트 메시지는 루프될 오디오 버퍼 내의 범위를 결정하는 루프 범위를 포함할 수 있다. 이벤트 메시지는 옵션으로 MIDI 노트 값을 포함할 수도 있다.
제어 장치(90)는 오디오 클록(89)을 포함할 수 있다. 재생 위치 제어기(83)는 오디오 클록(89)에 기초하여 오프셋 재생 위치를 결정하도록 동작할 수 있다. 예를 들어, 오디오 클록(89)은 센서 신호가 임계값들(11, 12) 중 하나에 도달하기 전에 적어도 하나의 오디오 클립(21)에서의 재생 위치를 나타내는 값을 가질 수 있다. 재생 위치는 적어도 하나의 추가 오디오 클립(22, 23)의 오프셋 재생 위치를 결정하는데 사용될 수 있다.
제어 장치(90)는 MIDI 변환기(88)를 포함할 수 있다. MIDI 변환기(88)는 제어 이벤트 생성 모듈(94)에 의해 생성된 이벤트들과 MIDI 프로토콜 사이의 데이터 변환을 수행하도록 동작할 수 있다. 대안적으로 또는 추가적으로, 제어 장치(90)는 OSC 변환기(87)를 포함할 수 있다. OSC 변환기(87)는 제어 이벤트 생성 모듈(94)에 의해 생성된 이벤트 메시지들 및 OSC 프로토콜 간의 메시지 변환을 수행하도록 동작할 수 있다.
센서로부터 또는 센서 데이터 버퍼로부터 직접 센서 신호를 폴링하는 제어 이벤트 생성 모듈(94)에 추가적으로 또는 대안적으로, 센서는 MIDI 인터페이스 또는 OSC 인터페이스를 통해 제어 이벤트 생성 모듈(94)에 제공될 수 있다. 이 경우, 제어 이벤트 생성 모듈(94)은 OSC 변환기(87)를 통해 또는 MIDI 변환기(88)를 통해 센서 출력을 수신할 수 있다.
제어 장치들(80, 90)은 각각 신체 운동 동안 사용자의 움직임의 하나 이상의 운동학적 파라미터들을 모니터링하는 센서의 출력 신호에 의존하여, 적어도 하나의 오디오 클립에서 적어도 하나의 추가 오디오 클립으로의 전환이 수행되어야하는지 여부를 결정하도록 각각 구성될 수 있다.
방법들, 제어 장치들 및 시스템들이 단일 사용자의 모니터링을 참조하여 지금까지 일반적으로 설명되었지만, 방법들, 제어 장치들 및 시스템들은 또한 다수의 사용자들이 함께 운동하는 그룹 운동 설정에서 오디오 피드백을 제어하는데 사용될 수 있다. 하나의 제어 장치 또는 다수의 제어 장치들은 다수의 사용자들에 대한 오디오 피드백을 생성하기 위해 사용될 수 있다. 제어 장치들 각각은 도 1 내지 도 15를 참조하여 설명된 바와 같이 동작할 수 있다.
도 16은 바람직한 실시예에 따른 시스템(100)을 도시한다. 시스템(100)은 도 1 내지 도 15를 참조하여 설명된 바와 같이 일반적으로 동작하는 제어 장치(4)를 포함한다. 시스템(100)은 다수의 센서들(101, 102, 103)을 포함한다. 센서들(101, 102, 103) 중 적어도 2 개는 서로 다른 사용자들의 움직임들의 운동학적 파라미터들을 각각 모니터링할 수 있다. 예를 들어, 제1 센서(101)는 신체 운동 수행 동안 제1 사용자의 움직임의 적어도 하나의 운동학적 파라미터를 모니터링할 수 있다. 제2 센서(102)는 신체 운동 수행 동안 제2 사용자의 움직임의 적어도 하나의 운동학적 파라미터를 동시에 모니터링할 수 있다. 옵션으로, 하나 이상의 추가 센서(들)(103)는 신체 운동을 수행하는 동안 또 다른 사용자들의 움직임들의 적어도 하나의 운동학적 파라미터를 동시에 모니터링할 수 있다.
제어 장치(4)는 다수의 센서들(101-103) 각각으로부터 센서 출력을 수신하도록 구성된 입력 인터페이스(5)를 가질 수 있다. 제어 장치(4)는 다수의 센서들(101-103) 중 하나와 각각 연관된, 다수의 오디오 클립들을 동시에 출력하도록 구성될 수 있다. 제1 센서(101)와 관련된 센서 신호가 제1 사용자의 움직임으로 인해 센서 신호가 임계값(11, 12)에 도달함을 나타내면, 제어 장치(4)는 상기 제1 센서(101)와 연관된 적어도 하나의 오디오 클립이 중단되게 할 수 있고, 그리고/또는 제1 센서(101)와 연관된 적어도 하나의 추가 오디오 클립이 개시되게 할 수 있다.
바람직한 실시예에서, 제1 센서(101)와 연관된 오디오 클립들 간의 전환은 다른 사용자들 및 그들의 연관된 센서들(102, 103)에 대해 출력되는 오디오 클립들에 영향을 미치지 않는다. 즉, 제어 장치(4)는 센서들(101, 102, 103)에 의해 제공되는 센서 출력들 각각에 대해 오디오 클립들 간의 전환들을 독립적으로 제어할 수 있다.
다른 바람직한 실시예에서, 제1 센서(101)와 관련된 오디오 클립들 간의 전환은 다른 사용자들에게 출력되는 오디오 클립들에 동시에 영향을 줄 수 있다. 즉, 제1 센서(101)의 출력 신호로부터 결정된 센서 신호가 제1 임계값(11) 또는 제2 임계값(12)에 도달하면, 이는 제1 센서(101)의 출력 신호에 의존하여 출력되는 클립의 전환을 야기할 뿐만 아니라, 다른 사용자들 중 적어도 하나에 대해 출력되는 클립의 변경을 트리거할 수 있다. 다수의 오디오 클립들은 도 13을 참조하여 설명된 바와 같이 다수의 센서들(101-103)로부터 센서 신호들에 의해 스팬되는 다차원 파라미터 공간에서 다차원 어레이로 배열될 수 있다.
적어도 하나의 클립을 중단하는 것 그리고/또는 적어도 하나의 추가 클립을 개시하는 것은 하나 이상의 센서들에 의해 검출된 복수의 사용자들의 신체 움직임에 따라 트리거링될 수 있다. 예를 들어, 제1 센서(101)의 출력 신호 및 제2 센서(102)의 출력 신호는, 예를 들어 상이한 사용자들의 움직임들이 서로 조정(coordinated)되는지를 결정함으로써, 제1 사용자 및 제2 사용자의 움직임들이 미리 정의된 기준을 따르는지 여부를 결정하는 논리 함수들을 사용하여 평가될 수 있다. 적어도 하나의 추가 클립은 제1 사용자의 움직임과 제2 사용자의 움직임이 조합하여 특정 기준을 충족하는 경우에만 선택적으로 개시될 수 있다. 예를 들어, 적어도 하나의 추가 클립은 제1 사용자가 제1 미리 결정된 움직임 특성을 갖는 운동을 수행하는 경우 그리고 제2 사용자가 제2 미리 결정된 움직임 특성을 갖는 운동을 수행하는 경우에만 개시될 수 있다. 제1 미리 결정된 움직임 특성 및 제2 미리 결정된 움직임 특성은 각각 패턴 매칭 기술을 사용하여 검출될 수 있다. 적어도 하나의 추가 클립은 제1 사용자의 움직임과 제2 사용자의 움직임이, 예를 들어 조정된 방식으로 동시에 움직임으로써, 시간-상관된 방식(time-correlated manner)으로 제1 움직임 특성 및 제2 움직임 특성을 나타내는 경우에만 선택적으로 개시될 수 있다.
일 예시적 구현예에서, 적어도 두 명의 사용자들이, 예를 들어 목표 주파수로 신체 부위를 흔들어서, 왕복 움직임을 동시에 수행하는 경우에만, 다수의 클립들의 적어도 서브-세트가 선택적으로 활성화될 수 있다. 예를 들어, 도 13을 참조하면, 임계값들(11, 76)에 대한 임계값 비교를 수행하는 대신에 또는 그에 더하여, 상기 적어도 하나의 추가 클립(28)은 적어도 2명의 사용자들이 목표 주파수로 신체 부위를 흔드는 경우에만 개시될 수 있다.
상이한 오디오 클립들 간의 전환들이 트리거링되는 센서 신호에 대한 임계값들은 각각 상이한 센서들(101, 102, 103)에 대해 상이할 수 있다. 예를 들어, 센서들(101-103)이 그룹 운동 설정에 있는 상이한 유형들의 운동 장치들에 장착될 때, 오디오 클립들 간의 전환들은 센서들(101, 102, 103)이 각각 장착되는 운동 장치의 유형들에 따라 서로 다른 이동 진폭들 및/또는 이동 속도들에서 발생할 수 있다.
본원에 개시된 바람직한 실시예들 중 임의의 실시예에서, 출력되는 오디오 클립(들)은 사용자의 신체의 일부 또는 운동 장치의 일부의 위치, 속도 또는 가속도 같은, 센서들(101-103)에 의해 검출된 움직임의 운동학적 파라미터들에 의존할 뿐만 아니라, 운동학적 파라미터와 상이한 사용자의 적어도 하나의 생리학적 상태(physiological condition)에 의존할 수도 있다.
도 17은 시스템(110)의 개략적인 블록도이다. 시스템(110)은 도 1 내지 도 16을 참조하여 설명된 바와 같이 일반적으로 동작하는 제어 장치(4)를 포함한다. 시스템(110)은 신체 운동 동안 사용자의 움직임과 관련된 적어도 하나의 운동학적 파라미터를 모니터링하도록 동작하는 센서(101)를 포함한다. 적어도 하나의 운동학적 파라미터는 사용자의 신체의 적어도 일부 또는 운동 장치의 적어도 일부의 위치, 속도, 또는 가속도 중 하나 이상을 포함할 수 있다. 시스템(110)은 운동 수행 동안 사용자의 적어도 하나의 생리학적 상태를 감지하도록 동작하는 생리학적 상태 센서(111)를 더 포함한다. 상기 적어도 하나의 생리학적 상태는 호흡 속도, 심박수 및 혈압으로 구성되는 군으로부터 선택될 수 있으나, 이에 제한되지는 않는다.
제어 장치(4)는 센서(101)의 센서 출력에 의존하는 센서 신호에 의존하여 그리고 생리학적 상태 센서(111)의 센서 출력에 기초하여 신체 운동 중에 오디오 피드백의 출력을 제어할 수 있다. 예를 들어, 제어 장치(4)는 센서(101)의 센서 출력의 함수로서 오디오 클립들 간의 전환을 제어할 수 있다. 제어 장치(4)는 생리학적 상태 센서(111)의 출력 신호에 기초하여 음향 피드백을 추가로 제어할 수 있다. 예를 들어, 음향 피드백의 비트는 사용자의 심박수 또는 호흡 속도와 매칭하는 속도를 갖도록 변할 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 오디오 클립(들)은 패턴 분류 알고리즘을 이용한 움직임 패턴의 인식 또는 신체 운동 동안 사용자의 움직임과 관련이 없는 환경 변화로부터 유도된 다른 이벤트들에 기초하여 선택될 수 있다.
도 18은 시스템(120)의 개략적인 블록도이다. 시스템(120)은 상기 도 1 내지 도 17을 참조하여 설명된 바와 같이 일반적으로 동작하는 제어 장치(4)를 포함한다. 시스템(120)은 운동 장치(121)를 포함한다.
운동 장치(121)는 탄성 요소(124)에 의해 서로 연결된 2 개의 물체들(122, 123)을 포함한다. 물체들(122, 123)은 사용자(125)의 손에 의해 쉽게 잡히거나 사용자(125)의 손에 쉽게 고정될 수 있는 그립, 볼, 배턴(baton), 바벨, 또는 임의의 다른 종류의 물체일 수 있다. 탄성 요소(124)는 예를 들어 탄성 밴드 또는 로프일 수 있다.
센서(102)는 물체들(122, 12) 중 적어도 하나상에 또는 내부에 배열될 수 있다. 센서(102)는 두 개의 물체들(122, 123) 중 적어도 하나에 장착된 또는 두 개의 물체들(122, 123) 내에 장착된 가속도계 및/또는 자이로미터 및/또는 스트레인 게이지 및/또는 로드 셀을 포함할 수 있다. 대안적으로 또는 추가적으로, 센서는 탄성 요소(124) 상에 또는 탄성 요소(124) 내부에 배치될 수 있다. 탄성 요소(124) 상에 또는 그 안에 배열된 센서는 탄성 요소(124)에 가해지는 장력(tensile) 또는 압축 하중, 탄성 요소(124)의 절대 팽창 또는 압축, 또는 탄성 요소(124)의 길이로 정규화되는 탄성 요소(124)의 상대 팽창 또는 압축을 감지하도록 작동할 수 있다. 탄성 요소(124)상에 또는 내부에 배열된 센서는 스트레인 게이지 및/또는 로드 셀을 포함할 수 있다.
물체들(122, 123) 및/또는 탄성 요소(124) 중 하나 또는 둘 모두에 제공되는 센서(들)(102)는 각각 센서 신호를 제어 장치(4)에 제공하도록 구성될 수 있다. 센서 신호는 복수의 신호들 또는 데이터 아이템들을 포함할 수 있어서, 다차원 센서 신호 공간에서의 벡터를 나타낸다. 복수의 신호들 또는 데이터 아이템들은 위치, 속도, 가속도, 좌표축, 이동 방향 및 힘으로 구성된 그룹으로부터 선택된 적어도 2 개의 데이터를 포함할 수 있다. 또한, 또는 대안적으로, 센서 신호는 물체들 중 하나 또는 둘 모두를 움직이는 속도, 탄성 요소의 팽창 속도 및/또는 물체들이 이동되는 방향 및/또는 탄성 요소가 확장되는 방향과 관련될 수 있다.
도 19는 시스템(130)의 개략적인 블록도이다. 시스템(130)은 상기 도 1 내지 도 18을 참조하여 설명된 바와 같이 일반적으로 동작하는 제어 장치(4)를 포함한다. 시스템(130)은 운동 장치(131)를 포함한다.
운동 장치(131)는 적어도 하나의 탄성 요소(135)에 의해 서로 연결된 적어도 3개의 물체들(132, 133, 134)을 포함한다. 물체들(133, 134)은 사용자의 손에 의해 쉽게 잡히거나 사용자의 손에 쉽게 고정될 수 있는 그립, 볼, 배턴(baton), 바벨, 또는 임의의 다른 종류의 물체일 수 있다. 물체(132)는 탄성 요소(135)를 따라 물체들(133, 134) 사이에 개재될 수 있고, 그리고 운동 수행 중에 사용자에 의해 쥐어질 수 있지만, 그럴 필요는 없다. 운동 장치(121)와 유사하게, 하나 이상의 센서(들)(102)는 적어도 3 개의 물체들(132, 133, 134)상에 또는 내에 그리고/또는 적어도 하나의 탄성 요소(135)상에 또는 내에 제공될 수 있다. 탄성 요소(135)는 하나 이상의 탄성 밴드들 또는 로프들을 포함할 수 있다. 물체들(132, 133, 134) 중 하나, 두개, 또는 세 개 및/또는 탄성 요소(135)상에 제공되는 센서(들)(102)는 각각 제어 장치(4)에 센서 신호를 제공하도록 구성될 수 있다. 센서 신호는 다수의 데이터 항목들을 포함할 수 있으며, 이에 의해, 다차원 센서 신호 공간에서 벡터를 나타낸다. 다수의 데이터 항목들은 위치, 속도, 가속도, 좌표축, 이동 방향 및 힘으로 구성된 그룹으로부터 선택된 적어도 2 개의 데이터 조각을 포함할 수 있다. 추가로 또는 대안적으로, 센서 신호는 물체들 중 하나 또는 둘 모두를 움직이는 속도, 또는 탄성 요소의 팽창 속도 및/또는 물체들이 이동되는 방향 및/또는 탄성 요소(135)가 확장되는 방향과 관련될 수 있다.
운동 장치들(121, 131)의 탄성 밴드 또는 로프(124, 135)는 각각 이완된 상태에서 10 cm 내지 1 m의 길이, 예를 들어 20 cm 내지 60 cm의 길이를 가질 수 있다. 허용 가능한 하중을 받는 경우, 탄성 요소의 길이는 30 cm 미만, 바람직하게는 20 cm 미만, 예를 들어 10 cm 미만 또는 5 cm 미만으로 변할 수 있다. 탄성 요소는 20 N 내지 200 N, 바람직하게는 40 N 내지 100 N 범위의 신축력을 적용하여 그것의 이완 길이(relaxed length)의 적어도 2 배로 신장되도록 구성될 수 있다.
운동 장치들(121, 131)은 운동 장치들(121, 131)에 인장 하중이 가해지는 방식으로 사용되도록 구성되지만, 일 실시예에 따른 시스템은 대안적으로 또는 추가적으로 사용자에 의해 압축되도록 구성된 탄성 요소를 갖는 운동 장치를 포함할 수 있다. 대안적으로 또는 추가적으로, 운동 장치는 구부러지도록 구성된 요소를 가질 수 있다. 제한이 아닌 예시를 위해, 운동 장치는 플렉스 바(flex bar)의 종축에 횡방향으로 구부러지도록 구성된 플렉스 바일 수 있다. 플렉스 바는 예를 들어 사무실 또는 주거 환경에서 사용하기 위해 작은 치수를 가질 수 있다. 탄성 요소의 압축 운동 및/도는 플렉스 바의 구부러짐을 나타내는 센서 신호는 도 1 내지 도 19를 참조하여 상세히 설명된 기술들을 사용하여 제어 장치(4)에 의해 처리될 수 있다.
물체(132)는 도 22 및 도 23을 참조하여 보다 상세히 설명되는 바와 같이 탄성 밴드와 같은 탄성 부재에 분리 가능하게(releasably) 부착되도록 구성된 센서일 수 있다.
도 20은 시스템(140)의 개략적인 블록도이다. 상기 시스템(140)은 상기 도 1 내지 도 19를 참조하여 설명된 바와 같이 일반적으로 동작하는 제어 장치(4)를 포함한다. 시스템(140)은 좌석(141)을 포함한다. 좌석(141)은 차량 좌석, 예를 들어 자동차 좌석, 또는 항공기 좌석일 수 있다. 좌석(141)은 사무용 가구 또는 가정용 가구일 수 있다. 좌석(141)은 예를 들어 사무실 의자일 수 있다.
좌석(141)은 하나 이상의 센서들(102)을 포함할 수 있다. 센서(102)는 좌석(141)의 적어도 일부 상에 또는 내부에 배열될 수 있다. 바람직하게는, 다수의 센서들(102)은 좌석(141)에 장착되거나 좌석(141) 내에 설치된다. 센서(102)는 좌석 탑승자의 움직임 및/또는 좌석 탑승자가 좌석에 가하는 힘을 검출하기 위해 가속도계 및/또는 자이로미터 및/또는 스트레인 게이지 및/또는 로드 셀을 포함할 수 있다.
좌석(141)상에 제공된 센서(들)(102)는 각각 제어 장치(4)에 센서 신호를 제공하도록 구성될 수 있다. 센서 신호는 다수의 신호들 또는 데이터 항목들을 포함할 수 있어서, 다차원 센서 신호 공간에서의 벡터를 나타낸다. 다수의 신호들 또는 다수의 데이터 항목들은 위치, 속도, 가속도, 좌표축, 이동 방향 및 힘으로 구성된 그룹으로부터 선택된 적어도 2 개의 데이터 조각을 포함한다. 제어 장치(4)는 오디오 클립의 중단 여부 및/또는 적어도 하나의 추가 오디오 클립의 개시 여부를 결정하기 위해 센서 신호(들)를 처리할 수 있다.
도 21은 시스템(150)의 개략적인 블록도이다. 시스템(150)은 상기 도 1 내지 도 20을 참조하여 설명된 바와 같이 일반적으로 동작하는 제어 장치(4)를 포함한다. 시스템(150)은 운동 장치 또는 레크리에이션 장치(151)를 포함한다.
운동 장치(151) 또는 레크레이션 장치(151)는 사용자를 운동 장치(151) 또는 레크레이션 장치(151)에 매달도록 구성될 수 있다. 운동 장치(151) 또는 레크레이션 장치(151)는 운동 장치(151) 또는 레크레이션 장치(151)의 기준 위치에 대한 3차원 현실 세계 공간에서의 사용자의 방향이 제어될 수 있도록 구성될 수 있다. 운동 장치(151) 또는 레크레이션 장치(151)는 사용자가 3차원 현실 세계 공간에서 위치될 수 있게 하는 복수의 회전 메커니즘을 포함할 수 있는데, 이 때, 적어도 사용자의 신장(height) 축(즉, 사용자의 발에서 사용자의 머리까지의 축)은 운동 장치(151) 또는 레크레이션 장치(151)에 의해 3차원 현실 세계 공간에서 배향될 수 있다. 사용자의 신장 축의 적어도 2 개의 각도 좌표들은 운동 장치(151) 또는 레크레이션 장치(151)에 의해 위치 설정될 수 있다. 운동 장치(151) 또는 레크레이션 장치(151)는 힙 벨트 시스템 같은 벨트 시스템(153)을 포함할 수 있으며, 이러한 시스템(153)은 사용자가 운동 장치(151) 또는 레크레이션 장치(151)에 매달려있는 방식으로 사용자가 운동 장치(151) 또는 레크레이션 장치(151)에 매달릴 수 있게 한다.
운동 장치(151) 또는 레크레이션 장치(151)는 조이스틱과 같은 입력 요소(152)를 통해 제어 가능할 수 있다. 운동 장치(151) 또는 레크레이션 장치(151)는 3차원 현실 세계 공간에서의 사용자의 배향을 설정하기 위해 입력 요소(152)를 통해 제어 가능할 수 있다. 대안적으로 또는 추가적으로, 운동 장치(151) 또는 레크레이션 장치(151)는 자동 방식으로 제어될 수 있다. 운동 장치(151) 또는 레크레이션 장치(151)는 3차원 현실 세계 공간에서 일련의 배향 및/또는 움직임을 통해 자동으로 변하도록 구성될 수 있다.
시스템(150)은 운동 장치(151) 또는 레크레이션 장치(151)에 장착될 수 있는 적어도 하나의 센서(102)를 포함하며, 상기 적어도 하나의 센서(102)는 웨어러블 센서일 수 있거나, 또는 카메라 위치 결정 시스템 또는 다른 비-접촉 센서와 같은 다른 센서일 수 있거나, 또는 이들의 조합일 수 있다. 센서(102)는 제어 장치(4)에게 센서 신호를 제공할 수 있다.
사용자가 운동 장치(151) 또는 레크레이션 장치(151)에 의해 매달리는 배향에 따라 ,신체의 서로 다른 부분들이 효과적으로 운동될 수 있다. 제어 장치(4)는 신체 운동이 수행되는 방향을 모니터링하고 기록할 수 있다. 제어 장치(4)는 미래의 운동이 수행될 수 있는 3차원 현실 세계 공간에서 사용자의 배향(들)에 대한 제안들 또는 지시들을 제공할 수 있으며, 또는 자동화된 방식으로 상이한 위치들/이동 진행들을 선택할 수 있다. 제어 장치(4)는 광 출력 장치(159)를 제어하기 위한 인터페이스(158)를 가질 수 있으며, 그러한 인터페이스(158)는 전용 광 출력 장치, 통신 단말기, 또는 다른 광 출력 장치의 스크린일 수 있다.
시각 신호들은 광 출력 장치(159)를 통해 제공될 수 있다. 시각 신호들은 수행될 신체 운동 및/또는 추가 운동을 필요로 하는 신체 부위 및/또는 사용자가 신체 운동을 위해 운동 장치에 매달려있는 방식에 대한 정보를 포함할 수 있다. 대안적으로 또는 추가적으로, 시각 신호들은 시각 효과들을 포함할 수 있다. 시각 효과는 그래픽 애니메이션을 포함할 수 있다. 시각 신호는 오디오 피드백을 제어하는 동일한 센서 신호(들)에 의해 제어될 수 있다.
제어 장치(4)는 전술한 바와 같이 음향 피드백을 제공할 수 있다.
도 22는 시스템(160)의 개략적인 블록도이다. 시스템(160)은 상기 도 1 내지 도 21을 참조하여 설명된 바와 같이 일반적으로 동작하는 제어 장치(4)를 포함한다. 시스템(160)은 센서(161)를 포함한다.
센서(161)는 운동 장치의 탄성 부재에 부착되도록 구성된다. 센서(161)는 탄성 로프 또는 탄성 밴드의 변형 또는 분해를 요구하지 않고 탄성 로프 또는 탄성 밴드에 분리 가능하게 부착되도록 구성될 수 있다. 센서(161)는 하우징 및 브래킷(169) 또는 예를 들어 마찰 끼워 맞춤(friction fit)을 사용하여 탄성 부재 상에 센서(161)를 고정시키도록 작동하는 다른 부착 메커니즘을 가질 수 있다. 브래킷(169)은 센서(161)의 하우징상의 접합면과 브래킷(169) 사이에 운동 장치의 탄성 부재를 유지하기 위해 센서(161)의 하우징을 향해 편향(biased)될 수 있다. 브래킷 또는 다른 부착 메커니즘은 운동 장치의 탄성 부재의 팽창을 측정하기 위한 메커니즘의 필수적인 부분일 수 있다.
센서(161)는 적어도 하나의 센서 신호를 제어 장치(4)에 제공하도록 구성될 수 있다. 센서 신호(들)는 센서(161)가 장착되는 탄성 부재의 배향 및/또는 탄성 부재의 인장(tension) 또는 압축을 나타낼 수 있다. 센서(161)는 센서(161)가 장착되는 탄성 부재의 인장 또는 압축을 감지하도록 구성된 제1 감지 유닛(162)을 포함할 수 있다. 제1 감지 유닛(162)은 예를 들어 탄성 밴드의 인장을 감지하도록 구성될 수 있다. 제1 감지 유닛(162)은 스트레인 게이지를 포함할 수 있고, 그리고/또는 장력을 결정하기 위해 광학 감지와 같은 비-접촉 감지 기술을 사용할 수 있다. 센서(161)는 센서(161)가 장착된 탄성 부재의 배향을 나타내는 센서(161)의 배향을 감지하도록 구성된 제2 감지 유닛(163)을 포함할 수 있다. 제2 감지 유닛(163)은 예를 들어 가속도계를 포함하거나 또는 다른 배향 센서를 포함할 수 있다.
운동 장치의 탄성 부재에 클립핑되거나 분리 가능하게 부착될 수 있는 센서(161)를 사용함으로써 다양한 이점들이 달성된다. 센서(161)는 종래의 탄성 밴드들 또는 로프들에 사용될 수 있고, 그리고 종래의 밴드들 또는 로프들이 제어 장치(4)와 관련하여 사용될 수 있게 한다. 센서(161)를 탄성 밴드 또는 로프에 분리 가능하게 부착하는 것 외에, 센서(161)는 종래의 탄성 밴드들 또는 로프들의 분해 또는 다른 변형을 요구하지 않고 종래의 탄성 밴드들 또는 로프들에 장착될 수 있다.
도 23은 도 22의 시스템에서 사용될 수 있는 센서(161)의 구현의 평면도이다. 센서(161)는 탄성 부재에 부착하기 위한 다수의 브래킷들(169a, 169b)을 포함한다. 다수의 브래킷들(169a, 169b)은 센서(161)가 탄성 부재에 장착될 때 탄성 부재가 센서(161)를 따라 연장되는 방향을 따라 이격될 수 있다. 다수의 브래킷들(169a, 169b)은 각각 스트레인 게이지(163)에 부착되는 둘 이상의 브래킷들을 포함할 수 있다. 스트레인 게이지(163)는 스트립형 스트레인 게이지일 수 있다. 다수의 브래킷들(169a, 169b)은 탄성 부재의 장력 또는 압축을 스트레인 게이지(163)에 전달하도록 구성된다. 탄성 부재의 인장 또는 압축이 스트레인 게이지(163)상으로 전달되도록, 다수의 브래킷들(169a, 169b) 각각은 탄성 부재의 일부를 마찰 끼워 맞춤으로 맞물리도록 구성될 수 있다.
다양한 유형의 센서들을 수용하기 위해, 도 24를 참조하여 보다 상세하게 설명되는 바와 같이 교정 루틴이 수행될 수 있다.
다양한 유형의 센서들이 실시예들에 따른 방법들 및 시스템들에 사용될 수 있다. 예를 들어, 일 실시예에 따른 제어 장치는 상술한 바와 같이 매우 다양한 상이한 움직임에 기초하여 오디오 피드백의 제공을 제어하도록 구성될 수 있다. 모니터링될 움직임의 유형에 따라 서로 다른 종류의 센서들이 사용될 수 있다. 예를 들어, 비접촉 거리 측정 센서(레이저 측정 기술 또는 적외선 감지에 기초할 수 있음)는 실질적으로 선형인 움직임을 측정하는데 특히 적합할 수 있다. 비접촉 거리 측정 센서는 사용자로부터의 임계 거리 미만으로 이격되도록 위치될 수 있다. 가속도 센서 또는 다른 배향 센서를 사용하여 중력 벡터에 대한 방향을 측정할 수 있다. 자유 공간에서의 움직임을 측정하기 위해 적절한 센서들이 작동할 수도 있다. 예를 들어, 자유 공간에서 3D 추적에 스테레오 카메라 시스템을 사용할 수 있다.
도 24는 일 실시예에 따른 방법(170)의 흐름도이다. 단계 171에서, 교정 루틴이 시작된다. 교정 루틴은 오디오 신호들을 출력하기 전에 수행될 수 있다. 대안적으로 또는 추가적으로, 오디오 신호들이 출력되는 동안 교정 루틴이 수행될 수 있다. 단계 172에서, 교정 루틴에서 센서 출력이 모니터링된다. 센서 출력은 교정 루틴에서 최소 반복 횟수의 사용자 움직임을 통해 모니터링될 수 있다. 최소 반복 횟수는 사용된 센서 유형에 따라 달라질 수 있으며 그리고/또는 사용자의 움직임이 주기적 움직임인지에 따라 달라질 수 있다. 예를 들어, 센서가 1차원 움직임을 측정한다면, 센서 출력은 움직임의 적어도 한번의 반복을 통해 모니터링되어 신체 움직임의 시작점 및 종료점을 결정할 수 있다. 센서가 자유 공간에서 움직임을 감지하면, 정확도를 향상시키기 위해 교정 루틴에서 움직임들의 두 번 이상 반복이 모니터링될 수 있다. 달리기 또는 사이클링 경우에서와 같이 신체 운동이 주기적 움직임 패턴을 포함할 때, 상이한 교정 루틴이 사용될 수 있다. 예를 들어, 교정 루틴에서 사용자가 뛸 때 다리를 들어올리는 높이, 사용자가 뛸 때 다리를 들어올리는 빈도 및/또는 사이클링할 때 페달링 빈도가 모니터링될 수 있다. 가속도가 추가적으로 모니터링될 수 있다. 다양한 값들(예를 들어 교정에 사용될 수 있는 활동 값)이 센서 출력으로부터 도출될 수 있다.
단계 173에서, 교정 루틴에서 모니터링되는 센서 출력이 처리될 수 있다. 예를 들어, 센서 출력 또는 여러 센서 출력들을 처리하여 센서 신호들을 생성한 다음, 이들을 제1 임계값 및 제2 임계값과 비교하는 처리 루틴은 교정 루틴에서 모니터링된 센서 신호에 기초하여 교정될 수 있다. 교정 루틴에서 모니터링되는 센서 출력은 스케일링 계수를 결정하는데 사용될 수 있으며, 센서 출력은 제1 임계값 및 제2 임계값과 비교되기 전에 이 스케일링 계수와 곱해진다. 대안적으로 또는 추가적으로, 센서 신호를 생성하기 위해 센서 출력을 처리하기 위해 더 복잡한 매핑 기술이 사용될 수 있다. 예를 들어, 상이한 함수들 또는 테이블들이 센서 출력을 센서 신호에 매핑하기 위해 사용될 수 있고, 그 다음 센서 신호는 제1 임계값 및 제2 임계값과 비교된다. 함수들 또는 테이블들은 교정 루틴에서 모니터링되는 센서 출력에 따라 조정될 수 있다. 다수의 오디오 클립들은 교정 루틴에서 모니터링되는 센서 출력에 따라 선택될 수 있다. 대안적으로 또는 추가적으로, 다수의 오디오 클립들은 교정 루틴에서 모니터링되는 센서 출력에 따라 선택될 수 있다.
교정은 사용자의 신체 운동과 최적의 방식으로 매칭하는 향상된 오디오 피드백을 제공하기 위해 수행될 수 있다.
단계 174에서, 교정 루틴이 종료될 수 있다.
단계 174에서, 교정 루틴의 결과를 이용하여, 신체 운동 중에 오디오 피드백이 제공될 수 있다. 단계 171 내지 단계 174는 오디오 피드백을 출력하기 전에 또는 오디오 피드백의 제공과 병행하여 실행될 수 있다. 교정 루틴은 백그라운드에서 실행될 수 있으며, 이로써, 교정 루틴 동안 이전 교정 또는 기본 교정에 기초한 오디오 피드백이 들릴 수 있다. 오디오 피드백의 제공은 도 1 내지 도 23을 참조하여 설명된 기술들 중 어느 하나를 사용하여 구현될 수 있다.
제1 임계값 및 제2 임계값은 교정된 움직임이 수행되는 동안, 즉 교정 후 조정될 수 있다. 이는 특정 운동 또는 특정 운동 장치들에 대한 조정이 수행될 수 있게 한다.
도 25는 바람직한 실시예에 따른 시스템의 블록도이다. 시스템은 오디오 피드백 생성 모듈(181)과 시퀀서(183) 사이에 인터페이스(185)를 제공한다. 오디오 피드백 생성 모듈(181)은 센서(182)로부터 수신된 센서 신호(184)에 응답하여 오디오 신호를 출력하도록 구성될 수 있다. 출력된 오디오 신호는 전술된 바와 같이 하나 이상의 오디오 클립들을 포함한다.
오디오 피드백 생성 모듈(181) 및 시퀀서(183)는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 오디오 피드백 생성 모듈(181) 및 시퀀서(183)는 동일한 장치, 예를 들어 이동 통신 단말기 또는 다른 휴대용 컴퓨팅 장치에서 실행되는 앱일 수 있다.
인터페이스(185)는 다양한 목적들을 위해 사용될 수 있다. 예를 들어, 시퀀서(183)는 인터페이스(185)를 통해 여러 오디오 클립들 중 하나, 둘 이상, 또는 전부를 오디오 피드백 생성 모듈(181)에 제공할 수 있다. 대안적으로 또는 추가적으로, 시퀀서는 인터페이스(185)를 통해 오디오 피드백 생성 모듈(181)에게 하나 이상의 데이터 스트림들(예를 들어, MIDI)을 제공할 수 있다. 데이터 스트림들은 오디오 피드백 생성 모듈(181)을 제어하는데 사용될 수 있다. 대안적으로 또는 추가적으로, 오디오 신호 또는 오디오 신호와 관련된 데이터는 오디오 피드백 생성 모듈(181)에 의해 인터페이스(185)를 통해 시퀀서(183)에게 제공될 수 있다.
오디오 피드백 생성 모듈(181)은 시퀀서(183)를 위한 플러그-인으로서, 또는 그 반대로(vice versa) 동작할 수 있다. 오디오 피드백 생성 모듈(181)이 시퀀서(183)를 위한 플러그-인으로서 동작할 때, 오디오 피드백 생성 모듈(181)의 사용 시간은 예를 들어 청구 목적으로 모니터링될 수 있다.
인터페이스(185)는 ReWire, VST(Virtual Studio Technology), 또는 Ableton Link 인터페이스일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 바람직한 실시예들에 따른 방법들, 장치들 및 시스템들은 비트, 리듬, 하모니, 또는 멜로디와 같은 음악적 특징들을 제공하는 오디오 자료(material)를 재생할 수 있다. 오디오 자료는 루프로 재생될 수 있다. 오디오 자료는, 예를 들어 몇몇 오디오 클립들을 공통 비트에 동기화함으로써 공통 템포에 동기화될 수 있다. 출력 오디오 신호의 내용은 재생 위치를 유지하고 공통 템포 및 현재 비트와 동기화된 상태를 유지하면서, 실시간으로 그리고 즉시 조작될 수 있다. 크로스-페이드가 사용되는 경우, 센서 출력의 빠른 변화는 출력되는 가청 피드백에 클릭들 또는 가청 왜곡과 같은 다른 아티팩트를 야기하지 않는다.
오디오 자료는 예를 들어 여러 오디오 클립들을 공통 비트에 동기화함으로써 공통 템포 및 위상에 동기화될 수 있다.
본원에 개시된 바람직한 실시예들 중 임의의 실시예에서, 오디오 클립들은 샘플링된 오디오 데이터(예를 들어, 기록되거나 합성된 오디오의 스니펫(snippet)), MIDI 데이터, OSC 메시지, 또는 독점 포맷과 같은 다른 포맷의 데이터일 수 있거나 이들을 포함할 수 있다.
본원에 개시된 바람직한 실시예들 중 어느 하나에서, 임계값들(11, 12)은 고정적일 필요는 없다. 임계값들(11, 12)은 센서 신호의 함수로서 또는 시간의 함수로서, 또는 움직임 패턴에 적용되는 패턴 인식 절차의 결과로, 또는 신체 운동 수행과 관련이 없을 수 있는 환경 파라미터들의 결과로 변할 수 있다. 사용자를 둘러싼 현실 세계 객체들 및/또는 가상현실 객체들의 위치들 또는 움직임들, 온도, 조명 조건 및/또는 다른 주변 조건은 이러한 환경 파라미터들에 대한 예시이다.
본 발명의 바람직한 실시예들에 따른 방법들, 장치들 및 시스템들은 음향 신호들이 신체 운동 동안 출력될 때 오디오 클립들 또는 오디오 클립들의 조합을 트리거링한다. 사용자는 현재 리듬 컨텍스트 내에서 하나의 오디오 클립에서 다른 오디오 클립으로의 전환이 정확히 시작되는 것에 대해 걱정할 필요가 없다. 상기 방법들, 장치들 및 시스템들은 마치 모든 오디오 자료들이 처음부터 동기화되어 실행되는 것처럼 보이게 하며, 사용자는 자발적으로 상이한 오디오 자료들을 변경할 수 있고 조합할 수 있다. 상기 방법들, 장치들 및 시스템들을 통해, 사용자는 언제든지 여러 오디오 클립들을 전환할 수 있다. 따라서, 사용자는 현재의 음향 신호와의 동기화에 대해 걱정할 필요없이, 임의의 시점에서 자신의 선호에 따라 음향을 변경할 수 있다. 상기 방법들, 장치들 및 시스템들은 음악 대행사(musical agency) 경험의 중요한 특징인 오디오 피드백의 신속하고 갑작스러운 변화를 생성하는 기능을 유지한다. 즉, 움직임의 여기 패턴(excitation pattern)이 오디오 신호의 대응하는 여기 패턴에 의해 반영되도록 보장한다.
본 발명의 바람직한 실시예들에 따른 방법들, 장치들 및 시스템들에서, 제어 장치는 센서 출력들의 증가 및 감소를 구별할 수 있다. 센서 신호가 하위 임계값(lower threshold)으로부터 주어진 센서 신호 서브-범위로 진입하는지 또는 상위 임계값(upper threshold)으로부터 주어진 센서 신호 서브-범위로 진입하는지 여부에 따라 상이한 동작들이 트리거링될 수 있다. 상이한 동작들은 예를 들어 서브-범위가 그것의 하위 경계(lower boundary)로부터 진입되는지 또는 상위 경계(upper boundary)로부터 진입되는지에 따라 적어도 하나의 추가 오디오 클립이 루프되는 루프 범위를 설정하는 것을 포함할 수 있다.
본 발명의 바람직한 실시예들에 따른 방법들, 장치들 및 시스템들은 제어 장치가 본원에 개시된 바람직한 실시예들 중 어느 하나에 따른 방법을 수행하게 하는 명령 코드를 실행하는 제어 장치를 사용하여 구현될 수 있다. 제어 장치는 고정식 또는 휴대용 컴퓨터, 셀룰러 폰, 태블릿, 개인 휴대 정보 단말기 또는 다른 통신 단말기 같은 휴대용 통신 단말기, 또는 특수 용도의 컴퓨팅 장치(application specific computing device)를 포함할 수 있다. 컴퓨팅 장치는 임베디드된 Linux 컴퓨터를 포함할 수 있다.
본원에 개시된 신체 운동 동안 음향 피드백을 제어하기 위한 방법들, 장치들 및 시스템들은 사용자가 물리적 운동 동안 수행되는 움직임들과 음향 피드백의 비트를 동기화할 것을 요구하지 않으면서, 사용자가 동기 부여가 되는 흥미로운 음향 피드백을 쉽게 생성할 수 있게 한다. 상기 방법들, 장치들 및 시스템들은 운동 중에 사용자가 넓은 공간의 사운드 및 사운드의 조합을 탐색할 수 있게 한다. 상기 방법들, 장치들 및 시스템들은 단일 사용자에 의해 개별적으로 수행되는 신체 운동에 사용될 수 있지만, 또한 다수의 사용자들이 공동으로 운동하는 그룹 운동 설정에도 적합하다.

Claims (27)

  1. 신체 운동 동안 음향 피드백을 제공하는 방법으로서,
    상기 방법은 :
    동기화된 비트를 갖는 여러 오디오 클립들(21-23; 21-26; 21-23, 27-29)을 제공하는 단계;
    센서(101-103)로부터 센서 신호(16)를 수신하는 단계로서, 상기 센서 신호(16)는 제1 임계값(11) 및 제2 임계값(12)에 의해 적어도 3 개의 센서 신호 서브-범위들(13-15)로 나누어지는 센서 신호 범위를 갖는, 단계; 및
    상기 수신된 센서 신호에 응답하여 오디오 신호를 출력하는 단계로서, 상기 출력되는 오디오 신호는 상기 오디오 클립들 중 하나 이상을 포함하는, 단계를 포함하며,
    상기 수신된 센서 신호(16)가 상기 제1 임계값(11)을 초과한다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)는 중단되고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(22)은 상기 하나 이상의 오디오 클립들(21)과 동기하여 개시되며; 그리고
    상기 수신된 센서 신호(16)가 상기 제2 임계값(12) 아래로 떨어진다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)는 중단되고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(23)은 상기 하나 이상의 오디오 클립들(21)과 동기하여 개시되는, 방법.
  2. 청구항 1에 있어서,
    상기 하나 이상의 오디오 클립들 중 적어도 하나(21)를 중단하는 것은 상기 하나 이상의 오디오 클립들 중 상기 적어도 하나(21)를 페이드-아웃(fading-out)하는 것을 포함하는, 방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(22, 23)을 개시하는 것은 상기 적어도 하나의 상기 추가 오디오 클립을 페이드-인(fading-in)하는 것을 포함하는, 방법.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    적어도 하나의 추가 오디오 클립(22, 23)을 개시하는 것은 상기 적어도 하나의 추가 오디오 클립(22, 23)이 재생되는 오프셋 재생 위치(61)를 결정하는 것을 포함하며,
    옵션으로, 상기 적어도 하나의 추가 오디오 클립(22, 23)의 오프셋 재생 위치(61)는 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)의 재생 위치에 기초하여, 또는 상기 수신된 센서 신호가 상기 제1 임계값(11)을 초과하거나 제2 임계값(12) 아래로 떨어질 때 글로벌 카운트에 기초하여, 또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(23)이 개시될 때 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)의 재생 위치에 기초하여 결정되는, 방법.
  5. 청구항 4에 있어서,
    상기 적어도 하나의 추가 오디오 클립(22, 23)의 오프셋 재생 위치(61)는 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)의 길이와 상기 적어도 하나의 추가 오디오 클립(22, 23)의 길이의 비율에 기초하여 또는 모듈로 연산을 수행함으로써 결정되는, 방법.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 하나 이상의 오디오 클립들(21) 및 상기 적어도 하나의 추가 오디오 클립(22, 23)은 공통 비트에 동기화되며,
    상기 공통 비트는 :
    - 신체 운동을 수행하는 사람의 적어도 하나의 생리학적 파라미터(physiological parameter); 및/또는
    - 센서 신호(16); 및/또는
    - 적어도 하나의 환경 파라미터에 기초하여 조정되는, 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    오디오 신호를 출력하는 단계는 상기 수신된 센서 신호가 상기 제1 임계값(11)을 초과하거나 상기 제2 임계값(12) 아래로 떨어질 때까지 상기 하나 이상의 오디오 클립들(21)을 루프에서 재생하는 단계를 포함하는, 방법.
  8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
    상기 신체 운동의 시작 후 경과된 시간 및/또는 상기 센서(101-103)에 의해 검출된 움직임 특성 및/또는 상기 신체 운동을 수행하는 사람의 적어도 하나의 생리학적 파라미터의 함수로서 상기 하나 이상의 오디오 클립들(21) 또는 상기 추가 오디오 클립(22, 23)을 조정하는 단계를 더 포함하는, 방법.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 여러 오디오 클립들(21-23)은 샘플링된 오디오 데이터, MIDI 클립들, OSC 클립들 또는 독점 포맷의 클립들을 포함하는, 방법.
  10. 청구항 1 내지 청구항 9 중 어느 한 항에 있어서,
    상기 센서는 운동 장치 상에 장착되거나, 또는 웨어러블 센서를 포함하는, 방법.
  11. 청구항 1 내지 청구항 10 중 어느 한 항에 있어서,
    동기화된 비트를 갖는 상기 여러 오디오 클립들(21-23; 21-26; 21-23, 27-29)은 그들 사이의 동일한 간격과 관련된 반복되는 일시적 이벤트들 또는 최대 음향 진폭 또는 음색 이벤트의 반복 패턴을 나타내는, 방법.
  12. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    동기화된 비트를 갖는 상기 여러 오디오 클립들(21-23; 21-26; 21-23, 27-29)은 그들 사이의 동일한 간격과 관련된 반복되는 일시적 이벤트들 또는 최대 음향 진폭 또는 음색 이벤트의 반복 패턴을 나타내며,
    적어도 하나의 추가 오디오 클립(22, 23)을 개시하는 것은 상기 적어도 하나의 추가 오디오 클립(22, 23)이 재생되는 오프셋 재생 위치(61)를 결정하는 것을 포함하며,
    상기 적어도 하나의 추가 오디오 클립(22, 23)의 오프셋 재생 위치(61)는 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)의 재생 위치에 기초하여 또는 상기 수신된 센서 신호가 제1 임계값(11)을 초과하거나 제2 임계값(12) 아래로 떨어질 때 글로벌 카운트에 기초하여, 또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(23)이 개시될 때 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)의 재생 위치에 기초하여 결정되는, 방법.
  13. 청구항 12에 있어서,
    상기 센서 신호가 상기 제1 임계값(11)에 도달하는 것에 응답하여 개시되는 적어도 하나의 추가 오디오 클립(22)은 상기 센서 신호(16)의 변화율 그리고 상기 제1 임계값(11)이 교차되는 방향에 의존하는, 방법.
  14. 청구항 13에 있어서,
    상기 여러 오디오 클립들(21-23; 21-26; 21-23, 27-29) 중 어느 것이 출력될 것인지를 결정하기 위해 3 개 이상의 센서 신호들이 처리되는, 방법.
  15. 청구항 1 내지 청구항 14 중 어느 한 항에 있어서,
    시각 신호들을 출력하는 단계를 더 포함하며,
    옵션으로, 상기 시각 신호들은 수행될 신체 운동에 대한 애니메이션 또는 정보 및/또는 추가 운동을 필요로 하는 신체 부위에 대한 정보 및/또는 사용자가 신체 운동을 위해 운동 장치에 매달려 있어야 하는 방식에 대한 정보를 포함하며,
    옵션으로, 상기 신체 운동은 3차원 현실 세계 공간에서의 사용자의 배향이 제어될 수 있게 하는 운동 장치 또는 레크레이션 장치(151)에서 수행되는, 방법.
  16. 청구항 1 내지 청구항 15 중 어느 한 항에 있어서,
    상기 센서 신호는 운동 장치의 탄성 부재에 부착 가능한 센서(161)에 의해 캡처되는, 방법.
  17. 청구항 16에 있어서,
    상기 센서(161)는 상기 탄성 부재상에 클립핑되도록 구성되는, 방법.
  18. 청구항 16 또는 청구항 17에 있어서,
    상기 센서(161)는 상기 탄성 부재의 장력(tension) 및/또는 압축을 검출하도록 구성되고, 그리고/또는 상기 센서(161)는 상기 탄성 부재의 배향을 검출하도록 구성되는, 방법.
  19. 청구항 1 내지 청구항 18 중 어느 한 항에 있어서,
    교정 루틴에서 센서 출력을 모니터링하는 단계를 더 포함하며,
    옵션으로, 상기 센서 출력은 상기 교정 루틴에서 모니터링되는 센서 출력에 의존하는 매핑을 사용하여 상기 센서 신호(16)에 매핑되는, 방법.
  20. 청구항 19에 있어서,
    상기 센서 출력은 상기 교정 루틴에서 최소 반복 횟수의 사용자의 움직임을 통해 모니터링되며,
    상기 최소 반복 횟수는 사용되는 센서의 유형 및/또는 사용자의 움직임이 주기적 움직임인지의 여부에 의존하는, 방법.
  21. 청구항 1 내지 청구항 20 중 어느 한 항에 있어서,
    상기 여러 오디오 클립들(21-23; 21-26; 21-23, 27-29)은 시퀀서(183)에 의해 제공되며; 그리고/또는
    상기 오디오 신호 또는 상기 오디오 신호에 관한 데이터는 상기 시퀀서(183)에게 제공되며; 그리고/또는
    상기 시퀀서(183)는 상기 신체 운동 동안 음향 피드백을 제어하기 위해 장치(4; 80; 90)에게 제어 정보를 제공하는, 방법.
  22. 신체 운동 동안 음향 피드백을 제어하기 위한 장치(4; 80; 90)로서,
    상기 장치는 :
    동기화된 비트를 갖는 여러 오디오 클립들(21-23; 21-26; 21-23, 27-29)을 저장하는 메모리(7);
    제1 임계값(11) 및 제2 임계값(12)에 의해 적어도 3 개의 센서 신호 서브-범위들(13-15)로 나누어지는 센서 신호 범위를 갖는 센서 신호를 수신하기 위한 입력부(5); 및
    상기 수신된 센서 신호에 응답하여 오디오 신호를 출력하는 것을 제어하는 제어 회로(6; 81, 84, 85; 81, 84, 85, 86, 89, 94)로서, 상기 출력되는 오디오 신호는 동기화된 방식으로 출력되는 오디오 클립들 중 하나 이상을 포함하는, 제어 회로(6; 81, 84, 85; 81, 84, 85, 86, 89, 94)를 포함하며,
    상기 제어 회로(6; 81, 84, 85; 81, 84, 85, 86, 89, 94)는 :
    상기 센서 신호(16)가 상기 제1 임계값(11)을 초과한다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)가 중단되게 하고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(22)이 상기 하나 이상의 오디오 클립들과 동기하여 개시되게 하도록 구성되고; 그리고
    상기 센서 신호(16)가 상기 제2 임계값(12) 아래로 떨어진다면, 상기 하나 이상의 오디오 클립들 중 적어도 하나(21)가 중단되게 하고 그리고/또는 상기 오디오 클립들 중 적어도 하나의 추가 오디오 클립(23)이 상기 하나 이상의 오디오 클립들과 동기하여 개시되게 하도록 구성되는, 장치.
  23. 청구항 22에 있어서,
    상기 장치는 오디오 신호를 출력하기 위한 전기 음향 변환기(9)를 더 포함하고 그리고/또는 상기 제어 회로(6; 81, 84, 85; 81, 84, 85, 86, 89, 94)는 청구항 1 내지 청구항 21 중 어느 한 항의 방법을 수행하도록 구성되는, 장치.
  24. 신체 운동 동안 사용자의 동작들에 응답하고, 센서 신호 범위를 갖는 센서(3; 101-103); 및
    청구항 22 또는 청구항 23의 장치(4; 80; 90)를 포함하는 시스템.
  25. 청구항 24에 있어서,
    상기 센서(3; 101-103)는 웨어러블 센서 또는 적어도 하나의 카메라를 포함하며, 또는 상기 시스템은 운동 장치(2)를 더 포함하며, 상기 센서(3)는 상기 운동 장치(2)에 장착되고, 옵션으로는 상기 운동 장치는 탄성 요소(124; 135)에 의해 서로 연결된 2 개의 물체들(122, 123; 132-134)을 포함하며, 상기 센서(102)는 가속도계 및/또는 자이로미터 및/또는 스트레인 게이지 및/또는 로드 셀을 포함하며, 옵션으로, 상기 센서(102)는 상기 2 개의 물체들(122, 123; 132-134) 중 적어도 하나에 또는 상기 탄성 요소(124; 135) 내에 또는 상기 탄성 요소(124; 135)에 인접하여 제공되는, 시스템.
  26. 청구항 25에 있어서,
    상기 운동 장치(151)는 사용자가 운동 장치(151)에 매달려있는 동안 3차원 현실 세계 공간에서의 사용자의 배향이 제어될 수 있게 하는, 시스템.
  27. 프로세서에 의해 실행될 때 청구항 1 내지 청구항 21 중 어느 한 항에 따른 방법을 수행하도록 적응되는 소프트웨어 코드를 포함하는 컴퓨터 프로그램.










KR1020207004825A 2017-08-25 2018-08-27 신체 운동 동안 음향 피드백을 제어하기 위한 방법 및 장치 KR20200045473A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17187876.2 2017-08-25
EP17187876 2017-08-25
PCT/EP2018/073016 WO2019038452A1 (en) 2017-08-25 2018-08-27 METHOD AND DEVICE FOR ACOUSTIC FEEDBACK CONTROL DURING PHYSICAL EXERCISE

Publications (1)

Publication Number Publication Date
KR20200045473A true KR20200045473A (ko) 2020-05-04

Family

ID=59713877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004825A KR20200045473A (ko) 2017-08-25 2018-08-27 신체 운동 동안 음향 피드백을 제어하기 위한 방법 및 장치

Country Status (9)

Country Link
US (2) US11731025B2 (ko)
EP (1) EP3673491A1 (ko)
JP (1) JP7175306B2 (ko)
KR (1) KR20200045473A (ko)
CN (1) CN111542885B (ko)
AU (1) AU2018320712A1 (ko)
BR (1) BR112020003066A2 (ko)
CA (1) CA3073786A1 (ko)
WO (1) WO2019038452A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237102A1 (en) * 2019-05-21 2020-11-26 Reflexion Health Inc. Scoring metric for physical activity performance and training
GB201914863D0 (en) * 2019-10-14 2019-11-27 Sweatco Ltd Movement verification system and method
GB2597048A (en) * 2020-06-01 2022-01-19 Weav Music Inc Dynamic feedback schedules
US20220062705A1 (en) * 2020-08-31 2022-03-03 MotivateU, Inc. Ultrasonic wave synchronization
CN112100433A (zh) * 2020-11-17 2020-12-18 深圳五洲无线股份有限公司 基于可穿戴设备的音频播放方法、装置、设备和存储介质
US11928387B2 (en) 2021-05-19 2024-03-12 Apple Inc. Managing target sound playback
US20220374193A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Method and apparatus for generating target sounds
CN113633953B (zh) * 2021-06-21 2022-05-31 国家体育总局体育科学研究所 一种集成了定位模块的接力棒
CN114367086A (zh) * 2021-12-31 2022-04-19 华南理工大学 一种下肢康复训练游戏***

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1208651A (en) 1968-01-30 1970-10-14 John Willard Curlee Random motion recreational vehicle
US4776323A (en) * 1987-06-03 1988-10-11 Donald Spector Biofeedback system for an exerciser
US4957282A (en) * 1989-07-17 1990-09-18 Wakefield Timothy A Gyro-cycle
US5785631A (en) * 1994-08-30 1998-07-28 W.A.Y.S.S. Inc. Exercise device
US6428451B1 (en) * 2000-07-07 2002-08-06 Albert J. Hall Rotatable pedestal
US7254516B2 (en) * 2004-12-17 2007-08-07 Nike, Inc. Multi-sensor monitoring of athletic performance
KR101333024B1 (ko) * 2005-02-14 2013-11-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 콘텐트 아이템들을 선택하기 위한 전자 디바이스 및 방법
CN101119773B (zh) * 2005-02-14 2010-09-29 皇家飞利浦电子股份有限公司 用于再现人体感知信号的电子设备和方法
JP2007075172A (ja) 2005-09-12 2007-03-29 Sony Corp 音出力制御装置、音出力制御方法および音出力制御プログラム
US8269093B2 (en) 2007-08-21 2012-09-18 Apple Inc. Method for creating a beat-synchronized media mix
US20100075806A1 (en) 2008-03-24 2010-03-25 Michael Montgomery Biorhythm feedback system and method
EP2389992A1 (en) 2010-05-26 2011-11-30 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Training apparatus with musical feedback
JP5674566B2 (ja) 2010-06-28 2015-02-25 ナイキ イノベイト セー． フェー． 運動活動のモニタリングおよび追跡の方法
US9183822B2 (en) * 2012-05-23 2015-11-10 Google Inc. Music selection and adaptation for exercising
US9595932B2 (en) 2013-03-05 2017-03-14 Nike, Inc. Adaptive music playback system
WO2016191580A1 (en) * 2015-05-28 2016-12-01 Nike, Inc. Athletic activity monitoring device with energy capture
GB2581032B (en) 2015-06-22 2020-11-04 Time Machine Capital Ltd System and method for onset detection in a digital signal

Also Published As

Publication number Publication date
CN111542885B (zh) 2024-03-22
US20230381627A1 (en) 2023-11-30
US20200254325A1 (en) 2020-08-13
AU2018320712A1 (en) 2020-02-27
CN111542885A (zh) 2020-08-14
JP7175306B2 (ja) 2022-11-18
BR112020003066A2 (pt) 2020-08-25
CA3073786A1 (en) 2019-02-28
EP3673491A1 (en) 2020-07-01
US11731025B2 (en) 2023-08-22
WO2019038452A1 (en) 2019-02-28
JP2020531138A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
US20230381627A1 (en) Method and device for controlling acoustic feedback during a physical exercise
US10518161B2 (en) Sound-output-control device, sound-output-control method, and sound-output-control program
US9079058B2 (en) Motion coordination operation device and method, program, and motion coordination reproduction system
US7745716B1 (en) Musical fitness computer
CN101002985B (zh) 控制音乐再现的设备和再现音乐的设备
US8369537B2 (en) Controlling reproduction of audio data
TW201030690A (en) Motion detection system
US10878718B2 (en) System and method for synchronizing audio, movement, and patterns
WO2019124069A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN101350208B (zh) 带计步器的多媒体装置及其控制方法
JP4919467B2 (ja) 活動支援装置
JP2008229101A (ja) トレーニング支援装置、トレーニング支援方法及びトレーニング支援装置用プログラム
JP2018050884A (ja) 報知装置、報知方法及びプログラム
JP4760824B2 (ja) 揺動型運動装置とこの装置用アダプタ
Forsberg A mobile application for improving running performance using interactive sonification
JP2012022242A (ja) 楽音再生装置およびプログラム
US11040284B2 (en) Information processing system, storage medium having stored therein information processing program, information processing apparatus, and information processing method
JP4816360B2 (ja) 発音制御装置
Schaffert et al. The design of interactive real-time audio feedback systems for application in sports
US20190366147A1 (en) Training apparatus and system with musical feedback
TW201023941A (en) Device for controlling the progression of at least one environmental data sequence, corresponding method and computer program product

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal