KR102443324B1 - 진동-촉각력 피드백 방법 및 디바이스 - Google Patents

진동-촉각력 피드백 방법 및 디바이스 Download PDF

Info

Publication number
KR102443324B1
KR102443324B1 KR1020207009067A KR20207009067A KR102443324B1 KR 102443324 B1 KR102443324 B1 KR 102443324B1 KR 1020207009067 A KR1020207009067 A KR 1020207009067A KR 20207009067 A KR20207009067 A KR 20207009067A KR 102443324 B1 KR102443324 B1 KR 102443324B1
Authority
KR
South Korea
Prior art keywords
vibro
information
kinesthetic
force feedback
actuator
Prior art date
Application number
KR1020207009067A
Other languages
English (en)
Other versions
KR20200047632A (ko
Inventor
페트릭 헬머
프랑수아 콘티
세바스챤 그랜지
페트리스 로일러
Original Assignee
풔스 디멘션 에스에이알엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 풔스 디멘션 에스에이알엘 filed Critical 풔스 디멘션 에스에이알엘
Publication of KR20200047632A publication Critical patent/KR20200047632A/ko
Application granted granted Critical
Publication of KR102443324B1 publication Critical patent/KR102443324B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/015—Force feedback applied to a joystick

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)

Abstract

본 발명은, 진동-촉각력 피드백을 사용자에게 제공하도록 되어 있으며 애플리케이션 디바이스에 통신되게 결합되는 적어도 하나의 액추에이터를 포함하는 사용자 인터페이스 디바이스의 사용자에게 진동-촉각력 피드백을 제공하는 방법, 진동-촉각력 피드백 제공 디바이스, 진동-촉각력 피드백 제공 시스템 및 이러한 방법을 실행하기 위한 컴퓨터 프로그램 제품에 관한 것이다.

Description

진동-촉각력 피드백 방법 및 디바이스
본 발명은 일반적으로 사용자 인터페이스 디바이스에 관한 것이며, 특히 사용자 인터페이스 디바이스에 의한 진동-촉각력 피드백(vibro-tactile force feedback)에 관한 것이다.
게이밍 환경과 시뮬레이션 환경은, 예컨대 사용자가 각각의 애플리케이션 하드웨어 및/또는 소프트웨어(다음에서 줄여서 애플리케이션 디바이스)와 상호동작하게 할 수 있는 사용자 인터페이스 디바이스를 포함하는 환경(다음에서 사용자-기계 상호동작 환경으로 지칭됨)에 대한 예이다.
원래, 그러한 사용자 인터페이스 디바이스는, 사용자가, 애플리케이션 디바이스와 상호동작하기 위해 애플리케이션 디바이스에 제어 명령, 데이터, 음성 등을 송신(입력)할 수 있게 하는 입력 디바이스였다. 원래, 애플리케이션 디바이스는 사용자에게 오디오 및/또는 비디오 정보만을 제공하였다.
그러한 사용자-기계 상호동작 환경의 예로는, 컴퓨터 운전 게임의 형태인 애플리케이션 디바이스가 있으며, 여기서 사용자 인터페이스는, 사용자가 컴퓨터 운전 게임에 의해 디스플레이되는 차량의 운전 방향을 제어(조종)하게 할 수 있는 조향 바퀴를 포함하는 조향 바퀴 배치이다.
개선된 사용자-기계 상호동작 환경은 힘 피드백을 사용자에게 또한 제공한다. 이를 위해, 애플리케이션 디바이스는 사용자에게 제공될 힘 피드백을 규정하는 특정 힘 피드백 데이터를 사용자 인터페이스 디바이스에 제공한다. 힘 피드백을 사용자에게 제공하기 위해, 사용자 인터페이스 디바이스는 애플리케이션 디바이스로부터 힘 피드백 데이터에 의해 제어되는 힘 피드백 수단을 포함한다.
그러한 사용자-기계 상호동작 환경의 예로는, 컴퓨터 운전 게임 형태인 애플리케이션 디바이스가 있으며, 여기서 사용자 인터페이스는, 조향 바퀴뿐만 아니라 힘 피드백 수단을 포함하는 조향 바퀴 배치이다. 이 조향 바퀴 배치를 사용하여, 사용자는, 컴퓨터 운전 게임에 의해 디스플레이되는 차량의 운전 방향을 제어(조종)할 수 있다. 힘 피드백 수단은, 컴퓨터 운전 게임으로부터 수신된 특정 힘 피드백 데이터를 기초로 하여, 조향 바퀴에 작용하는 힘을 생성하여, 그 실제 조향 바퀴로 실제 차량을 조종할 때 사용자가 가졌을 힘 감각(force sensation)을 사용자에게 제공한다.
진동-촉각력 피드백에 관한 종래기술 해결책의 단점을 극복하기 위해, 본 발명은 독립항에 따라 요지를 제공하며, 바람직한 변형, 실시예, 예 등이 종속항에 규정된다.
특히, 본 발명은, 사용자에게 진동-촉각력 피드백을 제공하며 애플리케이션 디바이스에 통신되게 결합되게 되는 적어도 하나의 액추에이터를 포함하는 사용자 인터페이스 디바이스의 사용자에게 진동-촉각력 피드백을 제공하는 방법을 제공하며, 여기서 오디오 및/또는 음향 정보가 애플리케이션 디바이스로부터 획득된다.
운동감각력(kinesthetic force) 피드백은, 사용자 측에서의 피드백 감각이 (주로) 사용자의 근육(들)을 통해 인지되며 사용자가 피드백(예컨대, 상방의 힘)의 방향을 인지하는 힘 피드백이다. 일부 실시예에서, 12Hz 미만의 주파수를 갖는 힘 피드백이 운동감각력 피드백으로서 간주될 수 있다.
이와 대조적으로, 진동-촉각력 피드백은, 사람의 촉각 능력에 관하여 진동력 또는 토크의 감각을 제공한다. 예컨대, 진동-촉각력 피드백은 진동력 피드백의 형태를 가질 수 도 있다. 일부 실시예에서, 진동-촉각력 피드백은 12Hz 초과의 주파수에서 시작할 수 도 있으며, 여기서 사람의 센서 장치는 방향 피드백 정보를 인지할 수 없다(즉, 사용자는 피드백이 방향을 가짐을 느낄 수 없다). 추가 실시예에서, 주파수는 50-150Hz의 범위에 있을 수 도 있다.
본 발명에 따라, 획득한 오디오 및/또는 비디오 정보는 다음의 주파수 역치 중 하나를 초과한 주파수를 포함할 수 도 있다:
(12 + a)Hz, 여기서 0≤a<4000.
추가 실시예에서, 획득한 오디오 및/또는 비디오 정보는 다음의 주파수 역치 중 하나를 초과한 주파수를 포함할 수 도 있다:
(50 + a)Hz, 여기서 0≤a<100.
본 발명의 사용자 인터페이스 디바이스는 특히, 사용자 인터페이스 디바이스의 사용자와, 이 사용자 인터페이스 디바이스와 통신하는 애플리케이션 디바이스 사이에 양방향 통신을 제공하는 디바이스일 수 도 있다. 특히, 본 발명의 사용자 인터페이스 디바이스는 그 사용자가, 한편으론 사용자 신체의 일부(예컨대, 손(들), 발/발들, 상박 및/또는 하박, 전신 시프팅/무빙)에 의한 사용자 인터페이스 디바이스의 각각의 부분(예컨대, 조향 바퀴, 페달(들), 손마다의 조이스틱(joystick per hand), 데이터 장갑, 데이터 의류)의 조작에 의해 애플리케이션 디바이스에 대한 제어 명령을 입력하게 하며, 다른 한편으론 사용자에게 피드백 정보를 제공한다. 피드백 정보는 진동-촉각력 피드백을 포함하지만, 운동감각력 피드백을 또한 포함할 수 도 있다.
사용자 인터페이스 디바이스의 예는 다음을 포함한다:
- 조향 바퀴 조립체,
- 컴퓨터 게임 입력 디바이스,
- 컴퓨터 조이스틱,
- 키보드,
- 페달 또는 페달 조립체,
- 버튼,
- 핸들,
- 시트,
- 쿠션,
- 헬멧,
- 고글,
- 의류,
- 웨어러블 디바이스,
- 핸드헬드 입력 디바이스,
- 장갑,
- 컴퓨터 게임용 스포츠 장비 시뮬레이션,
- 컴퓨터 게임용 무기 시뮬레이션 디바이스,
- 컴퓨터 게임용 운전석 시뮬레이션 디바이스,
- 컴퓨터 게임용 조종석(또는 제어 표면) 시뮬레이션 디바이스,
- 컴퓨터 게임용 키잡이/스키퍼(skipper)/캡틴 키(helm) 시뮬레이션 디바이스,
- 의료 장비.
적어도 하나의 액추에이터는, 단지 진동-촉각력 피드백이 제공될 수 있도록 특별히 설계된 하나 이상의 액추에이터를 포함할 수 도 있다. 추가 예에서, 적어도 하나의 액추에이터는, 진동-촉각력 피드백과 운동감각력 피드백 모두를 제공하도록 되어 있는 하나 이상의 액추에이터를 포함할 수 도 있다. 추가 예에서, 적어도 하나의 액추에이터는 진동-촉각력 피드백만을 제공하도록 되어 있는 하나 이상의 액추에이터와, 운동감각력 피드백만을 제공하도록 되어 있는 하나 이상의 액추에이터를 포함할 수 도 있다.
애플리케이션 디바이스는, 적어도 오디오 및/또는 음향 정보를 제공하도록 되어 있는 하드웨어 및 소프트웨이터 중 적어도 하나로 구성될 수 도 있다.
오디오 정보는, 유선 및/또는 무선 통신 링크를 통해 애플리케이션 디바이스로부터 사용자 인터페이스 디바이스로 통신되는 아날로그 및/또는 디지털 오디오 데이터 신호 형태로 제공될 수 도 있다. 음향 정보는, 무선으로 사용자의 인터페이스 디바이스의 마이크 등에 송신하기 위해 애플리케이션 디바이스의 스피커에 의해 제공될 수 도 있다.
오디오 및/또는 음향 정보를 획득하는 것은 애플리케이션 디바이스에 의해 일반적으로 제공되는 오디오 및/또는 음향 정보로부터 그 하나 이상의 특정 부분을 선택하는 것을 포함할 수 도 있다. 예컨대, 애플리케이션 디바이스가 상이한(논리적 및/또는 물리적) 채널, 통신 링크/경로 등을 통해 오디오 및/또는 음향 정보를 제공한다면, 하나 이상의 특정 채널의 오디오 및/또는 음향 정보가 획득될 오디오 및/또는 음향 정보로서 선택될 수 도 있는 반면, 다른 채널로부터의 오디오 및/또는 음향 정보는 선택되지 않는다. 다시 말해, 오디오 및/또는 음향 정보는 적어도 2개의 상이한 소스로부터 획득될 수 도 있다.
오디오 및/또는 음향 정보는 적어도 2개의 상이한 오디오 및/또는 음향 정보 소스로부터의 오디오 및/또는 음향 정보를 포함할 수 도 있다.
오디오 및/또는 음향 정보를 획득하는 것은 적어도 2개의 상이한 오디오 및/또는 음향 정보 소스로부터의 오디오 및/또는 음향 정보를 선택하는 것 및/또는 적어도 2개의 상이한 오디오 및/또는 음향 정보 소스로부터의 오디오 및/또는 음향 정보를 혼합하는 것을 포함할 수 도 있으며, 혼합된 오디오 및/또는 음향 정보는 적어도 하나의 액추에이터를 제어하는데 사용된다.
애플리케이션 디바이스는 비디오 정보를 또한 제공할 수 도 있다(비디오는 여기서 또한 정지 이미지를 포함함). 그러한 경우에, 오디오 정보는 애플리케이션 디바이스로부터 사용자 인터페이스 디바이스로 오디오 정보 및 비디오 정보를 함께 송신함으로써 획득될 수 도 있으며, 사용자 인터페이스 디바이스에서, 오디오 정보가 추출된다.
애플리케이션 디바이스의 예는 다음을 포함한다:
- 컴퓨터 게임,
- 컴퓨터 훈련 시스템,
- 운전 시뮬레이션,
- 비행 시뮬레이션,
- 수중 차량 조향 시뮬레이션,
- 스포츠 시뮬레이션,
- 슈팅 시뮬레이션,
- 의료 시뮬레이션,
- 로봇 장치를 동작하기 위한 애플리케이션,
- 원거리에 위치한 로봇 장치를 원격 동작하기 위한 애플리케이션,
이들 각각은 하드웨어 및/또는 소프트웨어로서 구현됨.
특히, 진동-촉각력 피드백을 제공하기 위해 오디오 및/또는 음향 정보를 획득하는 본 발명의 상기 양상은 오디오 및/또는 음향 정보가 어떻게 애플리케이션 디바이스로부터 사용자 인터페이스 디바이스로 통신되는지 및 응용될 수 있다면 어떤 오디오 및/또는 음향 정보가 그렇게 통신되는지에 관한 것이다.
"어떻게"에 관하여는, 사용자 인터페이스 디바이스가, 특히 게이밍 분야에서, 사람 인터페이스 디바이스(HID) 및 더욱 구체적으로는 그 확장 물리 인터페이스 디바이스(PID)로 예컨대 지칭되는 특정 통신 프로토콜을 종종 이용함을 주목해야 한다. 그러한 사용자 인터페이스 디바이스는, 애플리케이션 디바이스로부터 저속(low rate) 업데이트 명령을 기초로 하여 힘 프리미티브(primitives) 및 효과를 국부적으로(즉, 사용자 인터페이스 디바이스 자체에 의해) 제공하는 것으로 제한된다. 결국, 사용자 인터페이스 디바이스에 의해 제공되는 힘은 부정확성, 지체(지연) 및 불연속성(예컨대, 힘 단계)를 보일 수 도 있다.
그러한 경우, 오디오 및/또는 음향 정보는, 애플리케이션 디바이스로부터 사용자 인터페이스 디바이스로의 송신을 위해 그러한 특정 통신 프로토콜을 사용함으로써 획득될 수 도 있다. 이것은, 예컨대 유선(예컨대, 아날로그, 디지털 동축, 디지털 광학, HDMI, 디스플레이포트, USB, 이더넷, 파이어와이어 또는 썬더볼트 케이블) 또는 무선(예컨대, 블루투스 또는 Wi-Fi) 연결 중 어느 하나를 사용하여, 소리나 전용 오디오 채널을 재생하는데 사용되는 애플리케이션 디바이스의 오디오(또는 오디오/비디오) 채널 중 하나나 여러 개를 통해 달성될 수 도 있다. 오디오 및/또는 음향 정보는 직접 사용자 인터페이스 디바이스에 및 더욱 특히는 그 제어부에 송신될 수 도 있으며, 제어부에서 획득된 오디오 및/또는 음향 정보는 이하에서 기재될 바와 같이 더 처리될 수 도 있다. 사용자 인터페이스 디바이스는 오디오(또는 오디오/비디오) 출력 연결(유선 또는 무선 연결)을 패스-쓰루 특성으로서 가질 수 도 있어서, 획득한 오디오 및/또는 음향 정보는 오디오 제공 장비(예컨대, 스피커 시스템 또는 헤드폰)로 제공될 수 있다.
다른 예에서, 사용자 인터페이스 및 특히 그 적어도 하나의 액추에이터는, 애플리케이션 디바이스로부터 사용자 인터페이스 디바이스 특정 통신 프로토콜에 제한 없이 오디오 및/또는 음향 정보를 획득하는 추가 제어 유닛에 의해 직접 어드레싱 및 제어될 수 도 있다. 그러한 추가 제어 유닛은 사용자 인터페이스 디바이스에 의해 포함될 수 도 있거나 애플리케이션 디바이스와 사용자 인터페이스 디바이스 사이에 통신되게 위치하는 별도의 구성요소일 수 도 있다. 여기서, 오디오 및/또는 음향 정보는 예컨대 USB, 파이어와이어, 썬더볼트, 이더넷을 통해 높은 통신 속도로 송신될 수 있으며 및/또는 저속으로 패킷화될 수 도 있다.
그에 따라, 오디오 및/또는 음향 정보는 다음 중 적어도 하나를 통해 획득될 수 도 있다:
- 애플리케이션 디바이스의 범용 오디오 출력 포트,
- 애플리케이션 디바이스의 전용 오디오 출력 포트,
- 애플리케이션 디바이스와의 유선 통신 링크,
- 애플리케이션 디바이스와의 무선 통신 링크,
- 애플리케이션 디바이스의 힘 피드백 출력 포트,
- 스피커,
- 마이크,
- 센서.
이 방법은 획득한 오디오 및/또는 음향 정보를 기초로 하여 진동-촉각력 피드백 제어 정보를 생성하는 단계를 더 포함할 수 도 있으며, 진동-촉각력 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 진동-촉각력 피드백을 규정한다. 진동-촉각력 피드백 제어 정보의 생성은 획득한 오디오 및/또는 음향 정보를 쉐이핑(shaping)하는 것으로 지칭될 수 도 있다.
진동-촉각력 피드백 제어 정보의 생성(즉, 쉐이핑)은 적응적일 수 도 있으며 추가 데이터를 수반할 수 있다.
진동-촉각력 피드백 제어 정보의 생성은 (부분적으로는) 애플리케이션 디바이스 - 애플리케이션 디바이스는 그 후 진동-촉각력 피드백 제어 정보를 사용자 인터페이스 디바이스에 제공함 - 에 의해 및/또는 (부분적으로는) 사용자 인터페이스 디바이스 및 그 제어부에 의해 각각 및/또는 (부분적으로는) 앞서 언급한 추가 제어부에 의해 달성될 수 도 있다.
진동-촉각력 피드백 제어 정보의 생성은 예컨대 적어도 하나의 액추에이터에 의해 물리적으로 (또한 또는 대안적으로) 달성될 수 도 있다. 예컨대, 액추에이터는 특정 주파수나 특정 주파수 범위를 갖는 신호에 응답하여서만 진동-촉각력 피드백을 생성할 수 도 있다. 이때, 특정 주파수나 특정 주파수 범위를 갖는 획득한 오디오 및/또는 음향 정보의 그 부분만이 액추에이터의 활성화를 야기할 것이다. 그러한 "액추에이터 고유한 쉐이핑"이 진동-촉각력 피드백 제어 정보를 물리적으로 생성하기 위한 예이다.
이를 위해, 이 방법에 따라, 진동-촉각력 피드백 제어 정보는 다음 중 적어도 하나에 의해 생성될 수 도 있다:
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 스케일링,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 피칭(pitching),
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 주파수 시프팅,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 필터링,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 대역폭 제한,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 등화,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 절단,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 압축,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 지연,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 컨벌루팅,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 버퍼링,
- 인공적인, 연속성-유지 오디오 및/또는 음향 정보의 내용 생성,
- 오디오 및/또는 음향 정보의 리샘플링,
- 원하는 수의 오디오 및/또는 음향 정보를 버퍼링하기 위한 리샘플링 속도의 변조,
- 오디오 및/또는 음향 정보의 암호화,
- 오디오 및/또는 음향 정보의 패킷화.
운동감각력 피드백 제어 정보 및/또는 진동-촉각력 피드백 제어 정보는, 혼합된 진동-촉각력 피드백 제어 정보 및 운동감각력 피드백 제어 정보가 액추에이터 출력 제한을 초과하지 않도록 변경될 수 도 있다.
또한, 운동감각 및/또는 진동-촉각력 피드백 제어 정보는 다음 중 적어도 하나에 의해 적어도 부분적으로 변경될 수 있다:
- 스케일링,
- 피칭,
- 주파수 시프팅,
- 필터링,
- 대역폭 제한,
- 등화,
- 절단,
- 압축,
- 지연,
- 컨벌루팅.
적어도 2개의 상이한 소스로부터 오디오 및/또는 음향 정보가 획득되는 경우에, 적어도 2개의 상이한 오디오 및/또는 음향 정보 소스로부터 획득한 오디오 및/또는 음향 정보 각각에 대해, 진동-촉각력 피드백 제어 정보가 생성되어, 적어도 2개의 진동-촉각력 피드백 제어 정보가 생성되며, 이러한 제어 정보 각각은 사용자에게 제공될 적어도 하나의 진동-촉각력 피드백을 규정한다.
또한, 이 방법은, 진동-촉각력 피드백 제어 정보에 의해 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터를 제어하여 사용자를 위해 적어도 하나의 진동-촉각력 피드백을 생성하는 단계를 포함할 수 도 있다.
적어도 하나의 액추에이터는 다음 중 적어도 하나를 포함할 수 도 있다:
- 전기 모터,
- 스텝 모터,
- 브러시리스 모터,
- 전기-역학 익사이터(electro-dynamical exciter),
- 스피커,
- 음성-코일 트랜스듀서,
- 가동 자석 트랜스듀서,
- 압전 트랜스듀서,
- 커패시터 배치,
- 전자석 배치,
- 마찰 기반 트랜스듀서,
- 파티클 브레이크,
- 편심 회전 매스(mass),
- 선형 공진 액추에이터,
- 가요성 본체를 포함한 유체(이것은 예컨대, 진동할 수 있는 물/공기로 채워진 쿠션일 수 있어서, 쿠션에 앉은 사용자는 진동을 느낌).
적어도 하나의 액추에이터는 사용자 인터페이스 디바이스의 일부분에 결합 또는 연결될 수 도 있으며, 사용자는 사용자 인터페이스 디바이스에 이를 사용하기 위해 일반적으로 또는 반드시 접촉한다. 예컨대, 조향 바퀴 배치의 경우에, 적어도 하나의 액추에이터는 조향 바퀴에 배치될 수 있고 및/또는 그에 결합될 수 있어서, 적어도 하나의 액추에이터의 활성화가 조향 바퀴와 접촉한 사용자를 위해 진동-촉각력 피드백을 생성한다.
적어도 2개의 상이한 소스로부터의 오디오 및/또는 음향 정보가 획득되는 경우와 사용자 인터페이스 디바이스가 적어도 2개의 액추에이터를 포함하는 경우에, 이 방법,
- 적어도 2개의 진동-촉각력 피드백 제어 정보 중 하나에 의해 적어도 2개의 액추에이터 중 적어도 하나를 제어하는 단계, 및
- 적어도 2개의 진동-촉각력 피드백 제어 정보 중 나머지 중 적어도 하나에 의해 적어도 2개의 액추에이터 중 적어도 다른 하나를 제어하는 단계를 더 포함할 수 도 있다.
이로 인해, 바람직하게는 사용자의 신체의 상이한 부위 및/또는 상이한 위치에서, 상이한 진동-촉각력 피드백 감각을 제공한다.
앞서 언급한 바와 같이, 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터는 사용자에게 힘 피드백을 제공하도록 또한 되어 있을 수 도 있으며, 이 방법은,
- 애플리케이션 디바이스로부터 획득한 진동-촉각력 피드백 제어 정보와 힘 피드백 제어 정보를 혼합하여, 혼합된 진동-촉각 및 운동감각력 피드백 제어 정보를 생성하는 단계로서, 힘 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 힘 피드백을 규정하는, 단계,
- 혼합된 진동-촉각 및 운동감각력 피드백 제어 정보에 의해 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터를 제어하여 사용자를 위해 적어도 하나의 진동-촉각력 피드백과 적어도 하나의 피드백을 생성하는 단계를 더 포함할 수 도 있다.
진동-촉각력 피드백 제어 정보와 운동감각력 피드백 제어 정보의 혼합은 (부분적으로는) 애플리케이션 디바이스 - 애플리케이션 디바이스는 그 후 진동-촉각력 피드백 제어 정보를 사용자 인터페이스 디바이스에 제공함 - 에 의해 및/또는 (부분적으로는) 사용자 인터페이스 디바이스 및 그 제어 유닛에 의해 각각 및/또는 (부분적으로는) 앞서 언급한 추가 제어 유닛에 의해 달성될 수 도 있다.
이러한 혼합은 예컨대, 진동-촉각력 피드백 제어 정보와 운동감각력 피드백 제어 정보를 동시에 사용하여 액추에이터를 제어함으로써 물리적으로 (또한 또는 대안적으로) 달성될 수 도 있다.
앞서 언급한 바와 같이, 사용자 인터페이스 디바이스는 힘 피드백을 사용자에게 제공하도록 되어 있는 적어도 하나의 힘 피드백 액추에이터를 포함할 수 도 있으며, 이때 이 방법은,
- 애플리케이션 디바이스로부터 힘 피드백 제어 정보를 획득하는 단계로서, 힘 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 힘 피드백을 규정하는, 단계,
- 힘 피드백 제어 정보에 의해 적어도 하나의 힘 피드백 액추에이터를 제어하여 사용자를 위해 적어도 하나의 힘 피드백을 생성하는 단계를 더 포함할 수 도 있다.
일부 예에서, 사용자 인터페이스 디바이스는, 진동-촉각력 피드백을 생성하는데 협력하여 사용되는 적어도 2개의 모터를 액추에이터로서 포함할 수 도 있다. 그러한 경우의 예로 조향 바퀴 배치가 있으며, 여기서 적어도 2개의 모터가, 조향 바퀴에서 진동-촉각력 피드백 감각을 야기하는 힘/토크를 생성하기 위해 조향 바퀴에 (예컨대, 조향 샤프트를 통해) 작용한다. 일반적으로, 모터와 조향 바퀴 사이의 구동 트레인이 공차 및 다른 기계적 결함으로 인해 유격을 보여서 예컨대 클로깅(clogging) 및 백래쉬(backlash)와 같은 원치 않는 영향을 조향 바퀴에 야기하는 것으로 예상될 수 있다.
이점은 적어도 2개의 모터를 그 사이에 고정 또는 가변 토크 오프셋으로 동작하여 해결할 수 도 있다. 예컨대, 토크 오프셋은, 토크 오프셋의 결과로서 적어도 2개의 모터에 의해 제공된 토크가 적어도 2개의 모터와 위치 - 이 위치에, 진동-촉각력 피드백이 예컨대 구동 트레인의/에서 기계적 유격을 제거하는 방식에서 제공될 것임 - 사이에 구동 트레인(예컨대, 기어)을 프리로드(preload)(바이어싱(bias))하도록 제어될 수 도 있다.
바람직하게도, 토크 오프셋은, 토크 오프셋의 결과로서 적어도 2개의 모터에 의해 제공되는 결과적인 토크가 영(null)이 되도록 제어된다. 2개의 모터의 경우에, 이러한 구성은, 2개의 모터 중 제1 모터가 제1 회전 방향으로 토크 오프셋을 제공하며 2개의 모터 중 제2 모터가 제1 회전 방향과 반대인 제2 회전 방향으로 토크 오프셋을 제공하도록 2개의 모터를 동작함으로써 달성될 수 도 있다.
또한, 본 발명은, 진동-촉각력 피드백을 사용자에게 제공하도록 되어 있는 적어도 하나의 액추에이터를 포함하는 사용자 인터페이스 디바이스의 사용자에게 진동-촉각력 피드백 정보를 제공하기 위해 진동-촉각력 피드백 디바이스를 제공한다.
일반적으로, 본 발명의 방법에 관한 앞선 모든 언급(observations)은 대응하여 또한 본 발명의 디바이스에 적용되며, 또한 그 역의 관계가 본 발명의 방법에 대한 다음의 모든 언급에 적용되며, 이러한 다음의 모든 언급은 대응하여 또한 본 발명의 디바이스에 적용된다.
본 발명에 따른 디바이스는,
- 제어 유닛,
- 제어 유닛에 통신되게 결합되며, 애플리케이션 디바이스로부터의 오디오 및/또는 음향 정보의 오디오 및/또는 음향 정보를 획득하여 획득한 오디오 및/또는 음향 정보를 제어 유닛에 제공하도록 되어 있는 입력부를 포함한다.
제어 유닛은,
- 획득한 오디오 및/또는 음향 정보를 기초로 하여 진동-촉각력 피드백 제어 정보를 생성하도록 되어 있을 수 도 있으며, 진동-촉각력 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 진동-촉각력 피드백을 규정한다.
제어 유닛은 진동-촉각력 피드백 제어 정보를 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터에 제공하기 위한 적어도 하나의 출력부를 포함할 수 도 있다.
제어 유닛의 적어도 하나의 출력부는 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터에 통신되게 결합될 수 도 있으며, 제어 유닛은,
- 진동-촉각력 피드백 제어 정보에 의해 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터를 제어하여 사용자를 위해 적어도 하나의 진동-촉각력 피드백을 생성하도록 되어 있을 수 도 있다.
사용자 인터페이스 디바이스의 적어도 하나의 액추에이터는 힘 피드백을 사용자에게 제공하도록 또한 되어 있을 수 도 있으며, 제어 유닛은,
- 애플리케이션 디바이스로부터 획득한 진동-촉각력 피드백 제어 정보와 운동감각력 피드백 제어 정보를 혼합하여, 혼합된 진동-촉각 및 운동감각력 피드백 제어 정보를 생성하도록 되어 있을 수 도 있으며, 힘 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 힘 피드백을 규정한다.
제어 유닛은 혼합된 진동-촉각 및 운동감각력 피드백 제어 정보를 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터에 제공하기 위한 적어도 하나의 출력부를 포함할 수 도 있다.
제어 유닛의 적어도 하나의 출력부는 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터에 통신되게 결합될 수 도 있으며, 제어 유닛은,
- 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보에 의해 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터를 제어하여 사용자를 위해 적어도 하나의 진동-촉각력 피드백과 적어도 하나의 운동감각력 피드백을 생성하도록 되어 있을 수 도 있다.
사용자 인터페이스 디바이스는, 운동감각력 피드백을 사용자에게 제공하도록 되어 있는 적어도 하나의 운동감각력 피드백 액추에이터를 더 포함할 수 도 있으며, 제어 유닛은,
- 애플리케이션 디바이스로부터 운동감각력 피드백 제어 정보를 획득하도록 되어 있을 수 도 있으며, 운동감각력 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 운동감각력 피드백을 규정한다.
제어 유닛은 운동감각력 피드백 제어 정보를 사용자 인터페이스 디바이스의 적어도 하나의 운동감각력 피드백 액추에이터에 제공하기 위한 적어도 하나의 출력부를 포함할 수 도 있다.
제어 유닛의 적어도 하나의 출력부는 사용자 인터페이스 디바이스의 적어도 하나의 운동감각력 피드백 액추에이터에 통신되게 결합될 수 도 있으며, 제어 유닛은,
- 운동감각력 피드백 제어 정보에 의해 적어도 하나의 운동감각력 피드백 액추에이터를 제어하여 사용자를 위해 적어도 하나의 운동감각력 피드백을 생성하도록 되어 있을 수 도 있다.
제어 유닛의 입력부는 다음 중 적어도 하나를 통해 오디오 및/또는 음향 정보를 획득하도록 되어 있을 수 도 있다:
- 애플리케이션 디바이스의 범용 오디오 출력 포트,
- 애플리케이션 디바이스의 전용 오디오 출력 포트 또는 채널,
- 애플리케이션 디바이스와의 유선 통신 링크,
- 애플리케이션 디바이스와의 무선 통신 링크,
- 애플리케이션 디바이스의 힘 피드백 출력 포트,
- 스피커,
- 마이크,
- 센서.
제어 유닛은 다음 중 적어도 하나에 의해 진동-촉각력 피드백 제어 정보를 생성하도록 되어 있을 수 도 있다:
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 스케일링,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 피칭,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 주파수 시프팅,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 필터링,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 대역폭 제한,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 등화,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 절단,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 압축,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 지연,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 컨벌루팅,
- 획득한 오디오 및/또는 음향 정보의 적어도 일부분을 버퍼링,
- 인공적인, 연속성-유지 오디오 및/또는 음향 정보의 내용 생성,
- 오디오 및/또는 음향 정보의 리샘플링,
- 원하는 수의 오디오 및/또는 음향 정보를 버퍼링하기 위한 리샘플링 속도의 변조,
- 오디오 및/또는 음향 정보의 암호화,
- 오디오 및/또는 음향 정보의 패킷화.
제어 유닛은, 운동감각력 피드백 제어 정보 및/또는 진동-촉각력 피드백 제어 정보를, 혼합된 진동-촉각력 피드백 제어 정보 및 운동감각력 피드백 제어 정보가 액추에이터 출력 제한을 초과하지 않도록 변경하도록 될 수 도 있다.
제어 유닛은, 다음 중 적어도 하나에 의해, 적어도 부분적으로, 운동감각 및/또는 진동-촉각력 피드백 제어 정보를 변경하도록 되어 있을 수 도 있다:
- 스케일링,
- 피칭,
- 주파수 시프팅,
- 필터링,
- 대역폭 제한,
- 등화,
- 절단,
- 압축,
- 지연,
- 컨벌루팅.
제어 유닛은 적어도 2개의 상이한 오디오 및/또는 음향 정보 소스로부터 오디오 및/또는 음향 정보를 획득하도록 되어 있을 수 도 있다.
제어 유닛은, 적어도 2개의 상이한 오디오 및/또는 음향 정보 소스로부터 획득한 오디오 및/또는 음향 정보 각각에 대해, 진동-촉각력 피드백 제어 정보를 생성하도록 될 수 도 이어서, 적어도 2개의 진동-촉각력 피드백 제어 정보가 생성되며, 각각의 진동-촉각력 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 진동-촉각력 피드백을 규정한다.
사용자 인터페이스는 적어도 2개의 액추에이터를 포함할 수 도 있으며, 제어 유닛은,
- 적어도 2개의 진동-촉각력 피드백 제어 정보 중 하나에 의해 적어도 2개의 액추에이터 중 적어도 하나를 제어하며,
- 적어도 2개의 진동-촉각력 피드백 제어 정보 중 나머지 중 적어도 하나에 의해 적어도 2개의 액추에이터 중 적어도 다른 하나를 제어하도록 되어 있을 수 도 있다.
또한, 본 발명은 본 발명에 따른 디바이스와, 진동-촉각력 피드백을 사용자에게 제공하도록 되어 있는 적어도 하나의 액추에이터를 포함하는 사용자 인터페이스 디바이스를 포함하는 시스템을 제공한다.
일반적으로, 본 발명의 방법 및 디바이스에 관한 앞선 모든 언급은 대응하여 또한 본 발명의 시스템에 적용되며, 또한 그 역의 관계가 본 발명의 시스템에 대한 다음의 모든 언급에 적용되며, 이러한 다음의 모든 언급은 대응하여 또한 본 발명의 방법 및 디바이스에 적용된다.
시스템은 애플리케이션 디바이스를 더 포함할 수 도 있다.
또한, 본 발명은, 컴퓨터-판독 가능 매체 상에 저장되며, 컴퓨팅 디바이스에 의해 수행될 때 본 발명에 따른 방법의 단계를 실행하는 수행 가능 소프트웨어 코드를 포함하는 컴퓨터 소프트웨어 제품을 제공한다.
또한, 진동-촉각력 피드백에 관해 앞서 기재한 본 발명의 상기 교훈은 운동감각력 피드백에 관하여도 적용될 수 도 있음을 여기서 기재한다. 다시 말해, 상기 언급에서, 용어, "진동-촉각력 피드백"은 "운동감각력 피드백"으로 교체할 수 도 있다.
앞서 주목한 바와 같이, 운동 감각력 피드백은 일반적으로 사용자로의 방향 정보를 포함한다. 그러므로 일부 예에서, (예컨대, 오디오 및/또는 음향 정보로부터 추출한) 추가 정보는 방향 정보를 생성하는데 사용될 수 도 있다.
본 개시의 예시는, 예를 들어 및 수반하는 도면을 참조하여 이제 기재될 것이다.
도 1은 종래 기술의 배치를 개략적으로 예시한 도면이다.
도 2는 본 발명의 예를 개략적으로 예시한 도면이다.
도 3은, 진동-촉각력 피드백의 생성을 위한 오디오 정보용 단일 오디오 정보 소스를 포함하는 본 발명의 예를 개략적으로 예시한 도면이다.
도 4는, 진동-촉각력 피드백의 생성을 위한 오디오 정보용 다수의 오디오 정보 소스를 포함하는 본 발명의 예를 개략적으로 예시한 도면이다.
도 5는, 진동-촉각력 피드백의 생성을 위한 오디오 정보용 다수의 오디오 정보 소스를 포함하는 본 발명의 추가 예를 개략적으로 예시한 도면이다.
도 6은, 한편으론 힘 피드백 제어 정보와 다른 한편으론 오디오 정보 또는 진동-촉각력 피드백 제어 정보의 혼합을 포함한 본 발명의 예를 개략적으로 예시한 도면이다.
도 7은, 한편으론 힘 피드백 제어 정보와 다른 한편으론 오디오 정보 또는 진동-촉각력 피드백 제어 정보의 혼합을 포함한 본 발명의 추가 예를 개략적으로 예시한 도면이다.
도 8은, 상이한 통신 프로토콜과 사용하기 위한 본 발명의 예를 개략적으로 예시한 도면이다.
도 9는, 내부 토크를 가진 상이한 모터의 동작에 관한 본 발명의 양상의 예를 개략적으로 예시한 도면이다.
도 10a 및 도 10b는 2개의 모터의 경우의 토크를 개략적으로 예시한 도면이다.
도 11은, 예시적인 원하는 운동감각 토크가 액추에이터(모터)의 예시적인 최대 가능 토크를 초과하는 경우에 대한 액추에이터(모터)에 명령되어진 예시적인 원하는 운동감각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
도 12는, 액추에이터(모터)로부터의 예시적인 실제 운동감각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
도 13은, 액추에이터(모터)에 명령되어진 예시적인 원하는 및 실제 진동-촉각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
도 14는, 예시적인 실제 결합된 운동감각 및 진동-촉각 토크가 액추에이터(모터)의 예시적인 최대 가능 토크를 초과하는 경우에 대한 액추에이터(모터)에 명령되어진 예시적인 원하는 결합된 운동감각 및 진동-촉각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
도 15는, 액추에이터(모터)로부터의 예시적인 실제 결합된 운동감각 및 진동-촉각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
도 16은, 영역에 걸쳐 변경된 액추에이터(모터)에 명령되어진 예시적인 운동감각 토크를 개략적으로 예시한 도면이다.
도 17은, 운동감각 토크가 영역에 걸쳐 변경되는 경우에 대한 예시적인 실제 결합된 운동감각 및 진동-촉각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
도 18은, 예시적인 실제 결합된 운동감각 및 진동-촉각 토크가 액추에이터(모터)의 예시적인 최대 가능 출력(토크)을 초과하는 경우에 대한 액추에이터(모터)에 명령되어진 예시적인 원하는 결합된 운동감각 및 진동-촉각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
도 19는, 액추에이터(모터)로부터의 예시적인 실제 결합된 운동감각 및 진동-촉각 토크를 시간에 걸쳐 개략적으로 예시한 도면이다.
고객 힘 피드백 조향 바퀴는, 조향 바퀴 제어기 내부에 위치한 마이크로컨트롤러가 디바이스 상의 미리 프로그램된 힘 프로파일의 선택을 생성하도록 프로그램되는 고유한 아키텍처 주위에 설계되었다. 이들 힘 프로파일은, 원하는 힘 프로파일을 그 관련 설정(예컨대, 강성, 댐핑, 크기, 주파수 등)으로 식별하는 명령을 통해 애플리케이션에 의해 파라미터로 표시될 수 있다.
이 아키텍처가 초기 USB 기술(1.0) 및 단일 코어 CPU의 많은 제한을 해결하였을지라도, 더 최근의 게임 개발에 심각한 장애가 되었다. 오늘날의 자동차 게임은 차량 및 도로 환경의 고해상도 그래픽 표현을 제공할 뿐만 아니라, 차량의 전체 거동이 높은 레벨의 현실성으로 컴퓨팅되는 개선된 물리 모델(예컨대, 차량 다이내믹스, 타이어 접촉, 미끄러짐, 충돌 등)을 병합한다. 차량의 다이내믹스를 조향 바퀴에 반영하기 위해, 이들 시뮬레이터는 컴퓨팅된 조향-바퀴 힘을 미리 프로그램된 햅틱 효과로 변환하며, 이러한 햅틱 효과는 실제 조향 바퀴가 느끼는 것을 모방하려고 시도한다. 그렇게 함으로 인해 발생하는 2가지 문제가 있다: (1) 게임으로부터 주의 깊게 계산한 피직스가 간략화되며, 그러므로 현재의 조향 바퀴 제어 프로토콜이 지지하는 제한된 세트의 힘 프리미티브로 변환될 때, 열화되며, (2) 이들 제어 인터페이스의 제한된 통신 대역폭(예컨대, 대략 100Hz)과 소프트웨어 인터페이스의 비실시간 속성이 의미하는 점은 힘-피드백이 실시간 차 거동과 열악하게 동기화된다는 점과, 바퀴 안정성이 사용되는 컴퓨터의 성능에 의존한다는 점이다.
액추에이터는 최대 출력 레벨까지 힘 또는 토크를 생성할 수 있다. 이들 제한은, 그 크기, 자석, 배선, 최대 전류, 최대 소산 파워, 정적 거동, 동적 거동과 같은 액추에이터의 특징 및/또는 액추에이터의 온도뿐만 아니라 관련 제어 유닛의 특징에 영향을 미치는 환경에 대한 열적 저항과 같은 외부 요인에 의해 규정된다.
운동감각 및 진동-촉각력 피드백 신호가 결합될 때, 및 운동감각력 피드백 신호가 단독으로 액추에이터 중 적어도 하나의 최대 출력 레벨에 도달할 때, 진동-촉각력 피드백 신호는 손실되며, 사용자에 의해 더는 인지될 수 없다. 이러한 원치 않는 아티팩트는 힘 피드백 신호의 인지된 주파수의 불연속성 또는 변경을 만든다.
사람이 주파수 변화에 매우 민감하며, 힘 방향 및 힘 크기에 대한 상대적으로 열악한 지각을 갖기 때문에, 본 발명은, 이용 가능한 액추에이터 출력 범위에서 진동-촉각력 피드백 신호를 부분적으로 또는 완전히 포함하도록 운동감각력 피드백 크기를 감소시킴으로써 진동-촉각력 피드백을 유지하는 방법을 제공한다.
도 1은, 가상 운전 게임을 제공하는 게이밍 소프트웨어(4)와 이 소프트웨어를 수행하기 위한 하드웨어(PC)를 포함하는 애플리케이션 디바이스(2)를 포함하는 종래 기술의 배치를 예시한다. 애플리케이션 디바이스(2)는, 게임을 하는 동안 사용자에게 제공될 오디오 정보를 출력하기 위한 오디오 출력부(6)를 갖는다. 이를 위해, 오디오 출력부는 사용자의 오디오 출력 디바이스(10)(예컨대, 스피커, 헤드폰)의 오디오 입력부(8)와 결합된다.
또한, 도 1의 애플리케이션 디바이스는, 사용자 인터페이스 디바이스(12)에 의해 사용자에게 제공될 힘 피드백을 규정하는 운동감각력 피드백 제어 정보(FFCI)를 제공한다. 사용자 인터페이스 디바이스(12)는 여기서, 애플리케이션 디바이스가 운전 게임을 제공하는 사실로 인해, 조향 바퀴 배치이며, 이러한 조향 바퀴 배치는 조향 바퀴(14)와, 예컨대 기어를 통해 조향 바퀴 샤프트에 결합되는 모터에 의해 조향 바퀴에 작용하는 적어도 하나의 액추에이터를 포함한다. 적어도 하나의 액추에이터는, 애플리케이션 디바이스(2)로부터 수신된 힘 피드백 제어 정보(FFCI)에 응답하여 힘을 생성하며, 그러한 힘은 조향 바퀴에 작용하여 사용자에게 각각의 힘 피드백을 제공한다. 힘 피드백 제어 정보(FFCI)는 힘 피드백 제어 정보 출력부(16)를 통해 애플리케이션 디바이스(2)로부터 조향 바퀴 배치(12)의 힘 피드백 제어 정보 입력부(18)에 송신된다.
완료를 위해, 힘 피드백은 사용자 인터페이스 디바이스로부터 반환된 정보, 예컨대 센서에 의해 제공되는 정보를 또한 포함함을 주목해야 하며, 그러한 정보는 힘 피드백의 생성에 참여하는 구성요소(예컨대, 조향 바퀴의 회전 위치를 결정하는 센서)의 위치 및/또는 움직임을 결정한다.
도 2는, 애플리케이션 디바이스(2)와 사용자의 오디오 출력 디바이스(10)를 포함하는 본 발명의 예를 예시하며, 이러한 애플리케이션 디바이스와 오디오 출력 디바이스는 각각 도 1의 애플리케이션 디바이스(2)와 오디오 출력 디바이스(10)에 필적할 수 도 있다. 그러므로 각각의 상기 언급은, 달리 주목되지 않는다면, 여기서도 적용된다.
도 1의 예는 조향 바퀴(22)와 적어도 하나의 액추에이터를 포함하는 조향 바퀴 배치(20)를 포함하며, 적어도 하나의 액추에이터는, 힘 피드백 및/또는 진동-촉각력 피드백이 조향 바퀴(22)에서 제공될 수 있는 방식으로 조향 바퀴에 작용하도록 되어 있다.
힘 피드백 제어 정보(FFCI)는 점선으로 나타낸 바와 같이 부가적일 수 도 있으며, 적용된다면, 힘 피드백 제어 정보 출력부(16)를 통해 애플리케이션 디바이스(2)로부터 조향 바퀴 배치(20)의 힘 피드백 제어 정보 입력부(24)에 송신될 수 도 있으며, 도 1의 종래기술의 배치로서 사용될 수 도 있다.
사용자 인터페이스 디바이스(20)는 애플리케이션 디바이스(2)로부터 오디오 정보를 수신하기 위한 오디오 입력부(26)를 또한 포함한다. 오디오 입력부(26)는 애플리케이션 디바이스(2)의 오디오 출력부(6)에 결합될 수 있거나, 예시한 바와 같이, 애플리케이션 디바이스의 추가 오디오 출력부(28)에 결합될 수 있다. 예컨대, 오디오 출력부(6)는 아날로그 오디오 정보를 제공하는 출력부일 수 도 있으며, 오디오 출력부(28)는 디지털 오디오 정보를 제공하는 출력부일 수 도 있다.
사용자 인터페이스 디바이스(20)에 제공되는 오디오 정보(AI)는 오디오 출력 디바이스(10)의 오디오 입력부(8)에 제공되는 오디오 정보와 동일할 수 도 있다.
사용자 인터페이스 디바이스(20)는, 힘 피드백 제어 정보(FFCI) 및 오디오 정보(AI)를 수신하는 입력부를 갖는 제어 유닛(30)을 포함한다. 또한, 제어 유닛(30)은 적어도 하나의 액추에이터에 통신되게 결합되는 출력부를 포함한다.
오디오 정보(AI)를 수신하면, 제어 유닛(30)은, 획득한 오디오 정보를 기초로 하여, 사용자에게 제공되는 적어도 하나의 진동-촉각력 피드백을 규정하는 진동-촉각력 피드백 제어 정보를 생성한다.
진동-촉각력 피드백 제어 정보를 생성하였다면, 제어 유닛(30)은 진동-촉각력 피드백 제어 정보를 적어도 하나의 액추에이터에 송신 - 적어도 하나의 액추에이터는, 그에 응답하여 조향 바퀴(22)에서 규정된 적어도 하나의 진동-촉각력 피드백을 생성하도록 동작함 - 하거나, 제어 유닛(30)은, 진동-촉각력 피드백 제어 정보를 기초로 하여, 적어도 하나의 액추에이터를 직접 제어하여, 조향 바퀴(22)에서 규정된 적어도 하나의 진동-촉각력 피드백이 생성된다.
제어 유닛(30)이 또한 운동감각력 피드백 제어 정보(FFCI)를 수신하는 경우에, 제어 유닛(30)은 운동감각력 피드백 제어 정보(FFCI)를 적어도 하나의 액추에이터에 송신 - 적어도 하나의 액추에이터는, 그에 응답하여 조향 바퀴(22)에서 규정된 운동감각력 피드백을 생성하도록 동작함 - 하거나, 제어 유닛(30)은, 운동감각력 피드백 제어 정보(FFCI)를 기초로 하여, 적어도 하나의 액추에이터를 직접 제어하여, 조향 바퀴(22)에서 규정된 운동감각력 피드백이 생성된다.
제어 유닛(30)은 수신된 운동감각력 피드백 제어 정보(FFCI)와 생성된 진동-촉각력 피드백 제어 정보를 혼합할 수 도 있어서, 적어도 하나의 액추에이터는 운동감각력 피드백 제어 정보(FFCI)와 진동-촉각력 피드백 제어 정보의 혼합에 따라 동작한다.
추가 예에서, 수신된 운동감각력 피드백 제어 정보(FFCI)와 생성된 진동-촉각력 피드백 제어 정보는 또한 동시에 독립적으로 사용될 수 도 있다.
디바이스(10)에서 오디오 출력부를 통해 제공되는 오디오 정보는 애플리케이션 디바이스의 오디오 출력부(6)를 통해 오디오 출력 디바이스(10)의 오디오 입력부(8)에 통신될 수 도 있으며 및/또는 사용자 인터페이스 디바이스(22)를 통해 오디오 출력 디바이스(10)에 전달된 사용자 인터페이스 디바이스(20)의 오디오 입력부(26)에서 획득한 오디오 정보(AI)(또는 그 일부분)일 수 도 있다.
도 3, 도 4 및 도 5에서, 오디오 정보(AI)에 관련된 일부 구성요소만이 간략화를 위해 예시된다. 그러나 도 3, 도 4 및 도 5의 예는 도 2에 관해 앞서 기재한 임의의 또는 모든 추가 구성요소(예컨대, 힘 피드백 관련 구성요소)를 포함할 수 도 있다.
애플리케이션 디바이스(2)는, 도 3에 예시한 바와 같이, 단일 소스(32)(예컨대, 애플리케이션 디바이스의 오디오용 하드웨어 및/또는 소프트웨어의 일부임) 및 단일 오디오 출력부(28)를 통해 오디오 정보(AI)를 제공할 수 도 있다.
단일 소스(32)는 애플리케이션 디바이스(2)의 오디오 채널일 수 도 있으며, 이용 가능한 모든 오디오 정보 또는 단지 그 특정 부분을 제공할 수 도 있다. 이 그 특정 부분의 경우, 애플리케이션 디바이스는, 진동-촉각력 피드백의 생성에 적절한/필요한/미리 규정된 그러한 부분만을 추출하여 사용자 인터페이스 디바이스(20)에 제공하도록, 이용 가능한 오디오 정보의 사전 처리를 실행할 수 도 있다.
애플리케이션 디바이스(2)는 도 4에 예시한 바와 같이, 다수의 소스(32a, 32b, 32c,...)(예컨대, 애플리케이션 디바이스의 오디오용 하드웨어 및/또는 소프트웨어의 일부임) 및 단일 오디오 출력부(28)를 통해 오디오 정보(AI)를 제공할 수 도 있다.
애플리케이션 디바이스(2)는 도 4에 예시한 바와 같이, 다수의 소스(32a, 32b, 32c,...)(예컨대, 애플리케이션 디바이스의 오디오용 하드웨어 및/또는 소프트웨어의 일부임) 및 다수의 오디오 출력부(281, 282, 283,...)를 통해 오디오 정보(AI)를 제공할 수 도 있다.
다수의 소스(32a, 32b, 32c,...) 각각은 애플리케이션 디바이스(2)의 오디오 채널일 수 도 있다. 다수의 소스(32a, 32b, 32c,...) 각각은 이용 가능한 오디오 정보의 특정 부분을 제공할 수 도 있다. 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보 부분은 합쳐서 전체 이용 가능한 오디오 정보를 나타내거나, 합쳐서 전체 이용 가능한 오디오 정보의 하나 이상의 부분만을 나타낼 수 있다.
도 4에 따라, 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보 부분이 애플리케이션 디바이스(2)의 혼합기(34)에서 혼합된다. 혼합기(34)는, 수신되는 것으로서 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보 부분을 포함하는 오디오 정보를 단지 생성하는 합산기일 수 있다. 대안적으로, 혼합기(34)는, 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보 부분이 (개별적으로 또는 공통적으로) 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보가 진동-촉각력 피드백의 생성에 대해 상이한 중요도를 가질 수 있음과 그에 영향을 미칠 수 도 있음을 고려하도록 사전처리되도록, 적응 및/또는 동작될 수 도 있다. 그러한 예에서, 애플리케이션 디바이스(2)에서의 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보의 적어도 처리가 진동-촉각력 피드백 생성의 부분이라고 할 수 있다.
도 5에 따라, 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보 부분이 사용자 인터페이스 디바이스(20)의 혼합기(36)에서 혼합된다. 혼합기(36)는, 수신되는 것으로서 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보 부분을 포함하는 오디오 정보를 단지 생성하는 합산기일 수 있다. 대안적으로, 혼합기(36)는, 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보 부분이 (개별적으로 또는 공통적으로) 다수의 소스(32a, 32b, 32c,...)로부터의 오디오 정보가 진동-촉각력 피드백의 생성에 대해 상이한 중요도를 가질 수 있음과 그에 영향을 미칠 수 도 있음을 고려하도록 사전처리되도록, 적응 및/또는 동작될 수 도 있다. 예컨대, 혼합기(36)는, 도 6 및 도 7을 참조하여 설명될 바와 같이, 운동감각력 피드백 제어 정보를 처리하기 위한 처리 디바이스 및/또는 오디로 정보나 진동-촉각력 피드백 제어 정보 중 어느 하나를 처리하기 위한 처리 디바이스에 의해 제공된 바와 같은 처리 기능을 포함할 수 도 있다.
그러한 예에서, 진동-촉각력 피드백의 생성은 사용자 인터페이스 디바이스(20)에서 단지 발생한다고 할 수 있다.
도 6 및 도 7은, 한편으론 운동감각력 피드백 제어 정보와, 다른 한편으론 오디오 정보 또는 진동-촉각력 피드백 제어 정보의 혼합을 포함하는 본 발명의 예를 예시한다.
도 6의 예에서, 혼합(38)은 혼합기(40)에 의해 실행된다. 혼합(38)은 운동감각력 피드백 제어 정보(FFCI)를 처리하기 위한 처리 디바이스(42)를 사용하는 단계 및/또는 후술될 바와 같이 오디오 정보(AI)나 전술한 바와 같이 오디오 정보(AI)를 기초로 생성된 진동-촉각력 피드백 제어 정보(VTFCI) 중 어느 하나를 처리하기 위한 처리 디바이스(44)를 사용하는 단계를 부가적으로 수반할 수 도 있다.
처리 디바이스(42) 및 처리 디바이스(44) 주위의 점선 직사각형에 의해 나타낸 바와 같이, 이들 디바이스는 별도의 구성요소일 수 있거나 공통 유닛에 의해 일체형으로 제공될 수 있다.
운동감각력 피드백 제어 정보(FFCI)와 오디오 정보(AI)가 혼합될 경우에, 혼합기(40)는 애플리케이션 디바이스(2)에 위치하거나 그에 의해 제공될 수 있거나, 애플리케이션 디바이스(2)와 사용자 인터페이스 디바이스(20) 사이에 배치된 중간 처리 디바이스에 위치하거나 그에 의해 제공될 수 있거나, 사용자 인터페이스 디바이스(20)에 의해 위치하거나 그에 의해 제공될 수 있다. 이 경우, 처리 디바이스(42)와 처리 디바이스(44) 중 적어도 하나가 또한 사용되며, 처리 디바이스(42 및/또는 44)는 혼합기(40)에 대해서와 동일한 디바이스에 위치하거나 그에 의해 제공될 수 있거나, "상류"의 디바이스에 위치하거나 그에 의해 제공될 수 있다.
혼합기(40)는 운동감각력 피드백 제어 정보(FFCI) 및 오디오 정보(AI)를 단지 합하여 그 합을 사용자 인터페이스 디바이스(20)의 제어 유닛(30)에 전송하는 합산기일 수 있다.
추가 예에서, 혼합기(40) 전에, 운동감각력 피드백 제어 정보(FFCI)는 처리 디바이스(42)에 의해 처리될 수 도 있다. 처리 디바이스(42)는, 예컨대 가중 함수를 운동감각력 피드백 제어 정보(FFCI)에 적용하여, 예컨대 운동감각력 피드백 제어 정보(FFCI)의 일부분을 향상시키고 및/또는 감쇄시켜서, 특히 운동감각력 피드백의 생성에 대한 일부분 각각의 중요도나 영향이 고려된다.
추가 예에서, 혼합기(40)전에, 오디오 정보(AI)는 처리 디바이스(44)에 의해 처리될 수 도 있다. 처리 디바이스(44)는, 예컨대 가중 함수를 오디오 정보(AI)에 적용하여, 예컨대 오디오 정보(AI)의 일부분을 향상시키고 및/또는 감쇄시켜서, 특히 운동감각력 피드백의 생성에 대한 일부분 각각의 중요도나 영향이 고려된다.
혼합(38)의 출력부는 제어 유닛(30)에 통신되며, 제어 유닛(30)은 혼합된 진동-촉각 및 운동감각력 피드백 제어 정보를 생성한다. 혼합된 진동-촉각 및 운동감각력 피드백 제어 정보는 사용자 인터페이스 디바이스(20)의 적어도 하나의 액추에이터를 제어하여, 적어도 하나의 액추에이터(46)가 (예컨대, 조향 바퀴 샤프트(48)를 통해) 조향 바퀴(22)에 작용하여, 운동감각력 피드백과 진동-촉각력 피드백이 조향 바퀴에 제공되는데 사용된다.
오디오 정보(AI)를 기초로 하여 생성된 운동감각력 피드백 제어 정보(FFCI)와 진동-촉각력 피드백 제어 정보가 혼합될 경우에, 혼합기(40)는 사용자 인터페이스 디바이스(20)에 위치하거나 그에 의해 제공된다. 이 경우, 처리 디바이스(42)와 처리 디바이스(44) 중 적어도 하나가 또한 사용되며, 처리 디바이스(42 및/또는 44)는 혼합기(40) 상류에 위치하거나 제공될 수 있으며(예컨대, 애플리케이션 디바이스 또는 중간 처리 디바이스에) 처리 디바이스(44)는 사용자 인터페이스 디바이스(20)에 위치하거나 그에 의해 제공될 수 있다.
앞서 기재한 혼합(38), 혼합기(40), 처리 디바이스(42) 및 처리 디바이스(44)에 대한 앞선 언급은 여기서 또한 적용되며, 따라서 반복하지 않는다.
도 7의 예에서, 혼합(38)은, 진동-촉각력 피드백용 적어도 하나의 액추에이터(50)와 운동감각력 피드백용 적어도 하나의 액추에이터(52)에 의해 "물리적으로" 실행되며, 이들 액추에이터 모두는 조향 바퀴 샤프트(48)를 통해 조향 바퀴(22)에 작용한다.
도 7에 따른 예에서, 부가적으로 운동감각력 피드백 제어 정보(FFCI)용 처리 디바이스(42) 및/또는 부가적으로 오디오 정보(AI)나 오디오 정보(AI)를 기초하여 생성된 진동-촉각력 피드백 제어 정보(VTFCI) 중 어느 하나 처리용 처리 디바이스(44)가 사용될 수 도 있다. 도 7에 따라 물리적 혼합이 사용된다는 점으로 인해, 처리 디바이스(42 및 44)는 (예시한 바와 같이) 혼합의 일부분이 아닐 수 도 있다. 이와 별도로, 처리 수단(42 및 44)에 관한 앞선 언급은 또한 여기서 적용되며 따라서 반복하지 않는다.
처리 디바이스(42) 및 처리 디바이스(44) 주위의 점선 직사각형에 의해 나타낸 바와 같이, 이들 디바이스는 별도의 구성요소일 수 있거나 공통 유닛에 의해 일체형으로 제공될 수 있다.
도 7의 예는 운동감각력 피드백 부분용 제어 유닛(54) 및 진동-촉각력 피드백 부분용 제어 유닛(56)을 포함한다.
제어 유닛(54) 및 제어 유닛(56) 주위의 점선 직사각형에 의해 나타낸 바와 같이, 이들 디바이스는 별도의 구성요소일 수 있거나 공통 유닛에 의해 일체형으로 제공될 수 있다(예컨대, 제어 유닛(30)).
제어 유닛(54)은, 운동감각력 피드백용 적어도 하나의 액추에이터(52)를 동작하는데 사용되는 운동감각력 피드백 제어 정보를 생성하며, 제어 유닛(56)은, 진동-촉각력 피드백용 적어도 하나의 액추에이터(50)를 동작하는데 사용되는 진동-촉각력 피드백 제어 정보를 생성한다. 액추에이터(50 및 52)가 동일한 조향 바퀴 샤프트에 작용하므로, 진동-촉각 및 운동감각력 피드백이 공통적으로 조향 바퀴(22)에서 제공된다.
배경기술에서 기재한 바와 같이, 애플리케이션 디바이스와 사용자 인터페이스 디바이스 사이의 통신을 위해 상이한 통신 프로토콜이 사용될 수 있다. 도 8은, 상이한(예컨대, 2개의) 통신 프로토콜이 사용될 수 있는 예를 예시한다. 특히, 하나의 프로토콜(예컨대, 프로토콜 A)이 사용자 인터페이스 디바이스(20)의 후행 호환성을 보장하며, 다른 프로토콜(예컨대, 프로토콜 B)이 향상된(더 빠른) 통신을 허용함이 포함된다. 일부 예에서, 사용자 인터페이스 디바이스(20)는 제어 유닛 A 및 제어 유닛 B과 같이 (예컨대, 상이한 칩의 형태 상의) 2개의 제어 유닛 - 프로토콜 A용 하나와 프로토콜 B용 하나 - 을 포함한다.
사용자 인터페이스 디바이스(20)는 허브 또는 스위치(58)를 포함할 수 도 있으며, 허브 또는 스위치(58)는, 사용된 프로토콜에 따라, 인입 정보를 각각의 제어 유닛 A 또는 B에 경로지정한다. 허브로서, 사용된 프로토콜을 자동으로 검지하는 USB 허브와, 스위치로서, 사용자에 의해 수동으로 동작할 수 있는 "실제" 스위치가 사용될 수 있다.
배경기술에서 기재한 바와 같이, 사용자 인터페이스 디바이스는 진동-촉각력 피드백을 생성하는데 협력하여 사용되는 2개의 모터를 포함할 수 도 있다. 도 9는 조향 바퀴 조립체를 가진 그러한 경우에 대한 예를 예시하며, 여기서 2개의 모터(1 및 2)가 기어(60 및 62)와 기어(64)를 통해 조향 바퀴 상의 조향 샤프트(48)에 작용하여, 힘/토크를 생성하여 결국 조향 바퀴에서 진동-촉각력 피드백 감각을 야기한다.
단지 회전 모션을 갖는 조향 바퀴의 특정 경우에서 명료성 및 이해의 용이성을 이유로, 다음의 설명은 토크 피드백을 지칭하지만, 이들은 선형(힘) 및/또는 회전(토크) 구성요소를 가진 힘 피드백의 더 일반적인 경우로 제한 없이 적용된다.
일반적으로, 모터와 조향 바퀴(여기서, 기어(60, 62, 64)) 사이의 구동 트레인이 공차와 다른 기계적 결함으로 인해 유격을 보여서, 예컨대 클로깅 및 백래쉬와 같은 원치 않는 영향을 조향 바퀴에 야기하는 것으로 예상될 수 있다. 이점은 적어도 2개의 모터(1 및 2)를 그 사이에 고정 또는 가변 토크 오프셋으로 동작하여 해결할 수 도 있다. 예컨대, 토크 오프셋은, 토크 오프셋의 결과로서 적어도 2개의 모터에 의해 제공된 토크가 적어도 2개의 모터와 위치 - 이 위치에, 진동-촉각력 피드백이 예컨대 구동 트레인의/에서 기계적 유격을 제거하는 방식에서 제공될 것임 - 사이에 구동 트레인(예컨대, 기어)을 프리로드(바이어싱(bias))하도록 제어될 수 도 있다.
바람직하게도, 적어도 2개의 모터에 의해 제공되는 토크 오프셋은, 결과적인 토크가 영(null)이 되도록 제어된다. 2개의 모터의 경우에, 이러한 구성은, 2개의 모터 중 제1 모터가 제1 회전 방향으로 토크 오프셋을 가지며(이것이 도 9에서 -토크프리로드임) 2개의 모터 중 제2 모터가 제1 회전 방향과 반대인 제2 회전 방향으로 토크 오프셋을 갖도록(이것이 도 9에서 +토크프리로드임) 2개의 모터를 동작함으로써 달성될 수 도 있다.
다시 말해, 토크 오프셋은 일 방향으로 제1 액추에이터에 의해 및 반대 방향으로 제2 액추에이터에 의해 완전히 적용될 수 도 있어서, 결과적인 힘은 0이 된다. 이러한 구성은 2개보다 많은 액추에이터를 갖는 경우에도 적용되며, 여기서 결과적인 힘은 또한 0이 될 수 도 있다.
설명한 바와 같이, 2개의 액추에이터 사이에 반대 방향으로 프리로드 토크를 적용하여, 결과적인 출력 토크가 부호를 변화시킬 때 인지된 기계적 유격(즉, 힘 불연속)을 제거할 수 있다. 다음에서, 기계적 유격을 제거하는데 사용되는 2개의 액추에이터의 경우에 동적 아티팩트를 제거하기 위한 해법, 특히 제어 방식이 제공된다.
기계적 유격은 액추에이터와 출력부 사이의 상이한 타입의 기계적 전달에서 발생할 수 있음을 주목해야 한다. 투쓰 기어의 예시적인 경우가 명료성을 위해 제공되지만, 설명한 해법은, 선형 및/또는 회전 움직임(즉, 힘 및/또는 토크)의 전달 시 기계적 유격에 의해 영향을 받는 임의의 타입의 기계적 전달에 제한되지 않고 적용된다.
도 10a는, 수평 축 상에 원하는 결과적인 출력 토크를 달성하는데 필요한 수직 축 상의 액추에이터(모터)(1 및 2)용 토크를 예시한다. 명료성을 위해, 두 액추에이터는 동일한 최대 및 최소 출력 토크를 갖는 것으로 고려되지만, 제어 방식이 적용될 필요는 없다. 액추에이터 토크 각각이 수평(0 토크) 축과 교차하는 경우를 나타낸 2개의 지점에서, 액추에이터 기어와 출력 기어 사이에는 내부 상대 기어 모션이 있으며, 이는 한 기어의 투쓰 측으로부터 인접한 기어의 투쓰 측으로의 접촉면의 전환이 있기 때문이다. 이 내부 기어 모션은 부호 변화를 통해 액추에이터 토크의 느린 전환 동안 단지 거의 인지할 수 없을 수 도 있지만, 빠른 전환 동안에는 영구적으로 장애가 되는 동작 "아티팩트(artefact)"가 될 수 있다. 액추에이터 토크 부호 변화에서 한 투쓰 측으로부터 인접한 투쓰 측으로의 전환 동안 기계적 충돌(percussion)의 영향은 기어의 기계적 유격의 양에 따라 증가한다. 이러한 동적 영향은 진동-촉각력 피드백 정보의 제공과 간섭할 수 있으며, 주파수와 진폭에 비-선형 거동을 가질 수 있다. 프리로드 토크를 증가시키면, 이들 동적 아티팩트가 없는 결과적인 출력 토크 범위를 증가시키지만, 또한 내부 마찰을 증가시키며, 사용자에게 전해지는 유용한 진동-촉각력 피드백 정보 양을 감소시킨다.
도 10b는, 내부 프리로드 토크를 증가시킬 필요가 없이 동작 아티팩트가 없는 더 넓은 결과적인 토크 범위를 야기하는 개선된 제어 방식을 도시한다. 제안한 제어 방식에서, 본래 단지 하나의 제1 액추에이터가 결과적인 출력 토크 생성에 기여하며, 제2의 다른 액추에이터는 프리로드 토크만을 제공한다. 주요한 기여 액추에이터의 최대 토크보다 큰 결과적인 토크에 대해, 제2 액추에이터는 토크의 나머지 부분에 기여한다. 반대 방향으로의 출력 토크에 대해, 제1 및 제2 액추에이터의 역할은 바뀐다. 도 10b에 도시한 바와 같이 동일한 최대 및 최소 출력 토크인 2개의 액추에이터의 경우에, 동적 아티팩트가 없는 결과적인 출력 토크 범위는 선택된 내부 프리로드 토크와 독립적으로 최대 결과 출력 토크의 절반과 같다.
다음에서, 해법, 특히 필터링 기술이 액추에이터 출력에 관한 제한의 문제를 해결한다.
액추에이터 또는 2개 이상의 액추에이터의 배치는, 출력으로서, 토크 및/또는 힘 및/또는 진동을 제공할 수 도 있다. 다음은, 오직 예시로서, 출력으로서 토크를 제공하는 액추에이터를 지칭한다. 그러나 이러한 양상에서의 언급은, 토크 외에 또는 대안으로서 출력으로 힘 및/또는 진동을 제공하는 액추에이터에 대응하여 적용된다.
일반적으로, 액추에이터가 그 출력을 특정 레벨 또는 역치까지 제공할 수 도 있다. 그러한 출력 제한은, 예컨대 포화도, 그 크기, 자석, 배선, 최대 전류, 최대 소산 파워, 정적 거동, 동적 거동과 같은 액추에이터의 특징 및/또는 환경의 온도와 습도뿐만 아니라 시간에 따른 액추에이터 온도의 전개뿐만 아니라 관련 제어 유닛의 특징에 영향을 미치는 이러한 환경에 대한 열적 저항과 같은 외부 요인으로부터 야기될 수 도 있다.
예컨대, 다음의 액추에이터 출력 제한 중 하나 이상이 존재할 수 있다:
정적 최대 액추에이터 출력(예컨대, 액추에이터가 더 긴 시간 기간 동안 계속해서 제공할 수 도 있는 최대 출력 토크),
동적 또는 순간 최대 액추에이터 출력(예컨대, 액추에이터가 짧은 시간 기간 동안 동적으로, 순간적으로 제공할 수 도 있는 최대 출력 토크),
예컨대, 소정의 듀티 사이클 동안, 주기적 최대 액추에이터 출력(예컨대, 액추에이터가 주기적인 방식으로 제공할 수 도 있는 최대 출력 토크),
액추에이터 및/또는 그 제어 유닛의 동적 특징을 고려한 시변 최대 액추에이터 출력(예컨대, 고장 또는 감소한 동작 수명을 방지하기 위한 열적 요건).
결국, 원하는 액추에이터 출력(예컨대, 액추에이터가 제공해야 하는 토크)이 액추에이터에 의해 제공될 수 없는 것이 가능하며, 이는 액추에이터 출력이, 원하는 출력보다 작은 액추에이터 출력이 제공될 수 있도록 제한되기 때문이다.
본 개시에 관하여, 운동감각 및 진동-촉각력 피드백이 액추에이터 출력 제한 관점에서 고려된다.
도 11 내지 도 17은, 액추에이터가 출력으로서 토크를 제공하며 (수평 점선으로 나타낸) 일정 최대 출력 토크 형태로 일정 액추에이터 출력 제한을 갖는 예를 예시한다. 앞서 언급한 바와 같이, 액추에이터 출력은 힘 및/또는 진동을 추가로 또는 대안으로서 포함할 수 도 있다. 또한, 최대 액추에이터 출력은 일정하지 않을 수 도 있지만, 도 18 및 도 19의 예에서 예시한 바와 같이, 시간적으로 변하고 있을 수 도 있다.
도 11은 도시한 원하는 운동감각 토크 출력 신호가 액추에이터에 인가되는 예를 예시한다. 다시 말해, 원하는 운동감각 토크 출력 신호는, 운동감각력 피드백이나 운동감각 토크로서 제공되어야 하는 토크를 나타낸다.
그러나 액추에이터 출력 제한으로 인해, 액추에이터는 원하는 운동감각 토크(운동감각력 피드백)를 제공할 수 없지만, 도 12에 도시한 실제 운동감각 토크(운동감각력 피드백)를 제공할 수 있다. 예시한 바와 같이, 액추에이터 출력 제한은 출력 토크의 클리핑을 야기한다.
도 13은, 도시한 원하는 진동-촉각 토크 출력 신호가 액추에이터에 인가되는 예를 예시한다. 다시 말해, 원하는 진동-촉각 토크 출력 신호는, 진동-촉각력 피드백이나 진동-촉각 토크로서 제공되어야 하는 토크를 나타낸다.
또한, 이 경우에, 액추에이터 출력 제한이 존재한다. 그러나 원하는 진동-촉각 토크 출력 신호가 액추에이터 출력 제한을 초과하지 않으므로, 액추에이터는 원하는 진동-촉각 토크를 실제 진동-촉각 토크로서 제공할 수 있다. 다시 말해, 원하는 및 실제 진동-촉각 토크는 대응한다.
그러나 원하는 운동감각력 피드백 신호(예컨대, 운동감각력 토크 신호)와 원하는 진동-촉각력 피드백 신호(예컨대, 진동-촉각 토크 신호) 모두가 조합하여 사용되므로(도 6 참조), 두 신호에 대한 액추에이터 출력 제한의 영향을 고려해야 할 수 도 있다.
사람은 주파수 변화에 더 민감하며, 이와 비교하여 힘 방향 및 힘 크기에는 덜 민감하다. 진동-촉각력 피드백은 운동감각력 피드백으로서 더 높은 주파수를 갖는다. 그에 따라, 사용자는 운동감각력 피드백보다 진동-촉각력 피드백에 더 민감할 것이다. 이로부터 시작하여, 다음을 알 수 있다. 운동감각력 피드백과 진동-촉각력 피드백 모두가 액추에이터 출력 제한에 의해 영향을 받지 않고 원하는 것으로 제공될 수 있다면, 사용자는 두 양상에서 변경되지 않는 힘 피드백이 제공될 수 있다.
그러나 액추에이터 출력 제한이, 원하는 운동감각력 피드백 신호(예컨대, 운동감각 토크 신호)와 원하는 진동-촉각력 피드백 신호(예컨대, 진동-촉각 토크 신호) 모두가 대응하는 실제 액추에이터 운동감각 및 진동-촉각력 피드백 신호를 야기함을 허용하지 않는다면, 변경되지 않은 진동-촉각력 피드백을 제공하는 것이 바람직할 수 도 있다. 예컨대, 원하는 운동감각 및 진동-촉각력 피드백 신호 모두가 조합될 때 및 원하는 운동감각력 피드백 신호가 단독으로 액추에이터 제한에 의해 영향을 받을 때(즉, 대응하는 실제 운동감각력 피드백 출력을 야기하기 보다는 예컨대 클리핑될 때), 원하는 진동-촉각력 피드백 신호는 적어도 부분적으로 손실될 수 도 있으며, 적어도 부분적으로 실제 진동-촉각력 피드백 신호를 야기하지 않을 수 도 있으며, 진동-촉각력 피드백이 사용자에게 제공되지 않는다. 이러한 구성은 인지된 진동-촉각력 피드백에 불연속을 만든다.
이러한 구성이, 원하는 조합된 운동감각 및 진동-촉각력 피드백 신호(운동감각 및 진동-촉각 토크 신호)를 도시하는 도 13에 예시되며, 그러한 조합은 액추에이터 출력 제한(여기서 액추에이터의 최대 출력 토크)으로 인해 클리핑된다. 이러한 클리핑은 도 13에서 "액추에이터에 의해 제공될 수 없는 원하는 조합된 운동감각 및 진동-촉각 토크 신호의 일부분"으로서 표시되며 사선으로 표기되어 있다. 실제로 제공된 운동감각 및 진동-촉각력 피드백이 도 15에 예시되며, 여기서 조합된 운동감각 및 진동-촉각력 피드백 신호의 일부분이 손실된다.
그 비-선형성으로 인해, 원하는 토크 신호의 하드-리미티드 클리핑(hard-limited clipping)이 실제 토크 신호의 진폭을 단지 감소시킬 수 있기보다는, 원치 않으며 잠재적으로 방해가 되는 고주파수 스펙트럼 내용을 원래의 클리핑되지 않은 신호에 존재하지 않았던 실제 토크 신호에 단지 추가할 수 도 있다는 점이다.
사람이 주파수 변화에 더 민감하며 힘 방향 및 힘 크기에 상대적으로 덜 민감하므로, 운동감각력 피드백을 "포기"하여 변경 안 된 진동-촉각력 피드백을 제공하는 것이 바람직하다. 이를 위해, 원하는 운동감각력 피드백 신호를 변경하여, 결과적인 원하는 조합된 운동감각 및 진동-촉각력 피드백 신호가 액추에이터 출력 제한에 의해 영향을 받지 않는 것(즉, 덜 영향을 받는 것)이 바람직하다.
그러한 변경은, 예컨대 도 6의 처리 디바이스(42)에서, 운동감각력 피드백 제어 정보(FFCI)를 변경함으로써 발생할 수 있다. 그러한 변경은, 예컨대 도 6의 혼합기(40) 및/또는 제어 유닛(30)에서 추가로 또는 대안으로서 발생할 수 도 있다. 도 7에 따른 실시예에서, 그러한 변경은 예컨대 처리 디바이스(42) 및/또는 제어 유닛(54)에서 발생할 수 도 있다.
그러한 변경은, 시간 영역 및/또는 주파수 영역에서 다음 중 적어도 하나를 포함할 수 도있다:
- 스케일링,
- 피칭,
- 주파수 시프팅,
- 필터링,
- 대역폭 제한,
- 등화,
- 절단,
- 압축,
- 지연,
- 컨벌루팅.
도 16은 도 11의 원하는 운동감각력 피드백 신호의 예시적인 변경을 예시한다. 이 예에서, 원하는 운동감각력 피드백 신호는 일정 범위(시간 기간)에 변경되며, 여기서 원하는 조합된 운동감각 및 진동-촉각력 피드백 신호는 액추에이터 출력 제한에 의해 영향을 받을 것이다(예컨대, 도 15에서는 클리핑됨). 변경은, 이 범위에서, 원하는 운동감각력 피드백 신호가, 원하는 진동-촉각력 피드백 신호와 조합되어 액추에이터 출력 제한 미만의 원하는 조합된 운동감각 및 진동-촉각력 피드백 신호를 야기하는 레벨로 (예컨대, 원하는 신호의 진폭의 압축에 의해) 제한되도록, 실행된다. 그러한 제한이 도 17에 예시되어 있다.
앞서 주목한 바와 같이, 액추에이터 출력 제한은 일정하지 않을 수 도 있다. 가변적인 예시적인 액추에이터 출력 제한이 도 18에 예시되어 있다. 도시한 바와 같이, 시간선을 따라, 액추에이터 출력 제한은 특정 레벨을 가지며, 그 후 더 낮은 레벨로 감소한다. 예컨대, 토크 형태의 액추에이터 출력의 경우에, 액추에이터의 최대 출력 토크는 특정 레벨로 시작하며, 그 후 더 낮은 레벨로 감소한다. 그러한 가변적인 액추에이터 출력 제한의 예가 열적 액추에이터 제어일 수 도 있다. 예컨대, 액추에이터는 도 18의 더 높은 액추에이터 출력 제한으로 동작하며, 예컨대, 손상, 과도한 액추에이터 온도를 회피하기 위해 열적 제한 메커니즘이 액추에이터 출력 제한을, 온도가 감소하며, 더 증가 및/또는 유지되지 않는 레벨로 감소시킨다.
도 18은, 감소한 액추에이터 출력 제한 레벨의 범위에서 액추에이터 출력 제한에 의해 영향을 받는 원하는 조합된 운동감각 및 진동-촉각력 피드백 신호를 또한 예시한다. 도 18에서, 원하는 조합된 운동감각 및 진동-촉각력 피드백 신호의 이 부분이 "액추에이터에 의해 제공될 수 없는 조합된 운동감각 및 진동-촉각 토크 신호의 일부분"으로서 표시되며 사선으로 표기되어 있다. 실제로 제공된 운동감각 및 진동-촉각력 피드백이 도 19에 예시되며, 여기서 조합된 운동감각 및 진동-촉각력 피드백 신호의 일부분이 손실된다.
일반적으로, 운동감각력 피드백 신호의 변경은, 액추에이터 출력 제한(또는 그 레벨)을 따르도록 되어 있을 수 도 있다. 예컨대, 운동감각력 피드백 신호는, 결과적인 변경된 운동감각력 피드백 신호가 각각의 액추에이터 출력 제한으로부터 특정 거리(예컨대, 도 16에서 "마진"으로서 표시됨)를 갖도록 변경될 수 도 있다.
도 11 내지 도 19에서 앞서 예시한 예의 경우, 설계 목적은, 사용자에게 제공되는 결과적인 조합된 실제 운동감각 및 진동-촉각력 피드백에서 변경되지 않는 원하는 진동-촉각력 피드백 신호를 유지하는 것일 수 도 있다. 일부 경우, 진동-촉각력 피드백 신호를 또한 또는 단지 변경하여, 사용자에게 제공되는 결과적인 실제 운동감각력 및 진동-촉각력 피드백에서 원하는 운동감각력 피드백 내용의 과도한 손실을 방지하는 것이 바람직할 수 도 있다.
다음에서, 진동-촉각력 아티팩트(예컨대, 신호 드롭아웃, 지터링, 클리핑)를 완화하기 위한 해법이 존재한다.
진동-촉각력 피드백에 대한 사람의 민감도는, 신호 주기성 및 사용자로의 정상적인 전달에 영향을 미치는 아티팩트에 의해 매우 영향을 받는다. 이것은 운동감각력 피드백에의 민감도와 상이하며, 운동감각력 피드백은, 사용자의 움직임이 감지되는 순간과 대응하는 운동감각력 피드백 응답이 힘 피드백 디바이스에 의해 인가되는 순간 사이의 지연에 의해 영향을 받는다. 회피될 수 도 있는 진동-촉각 아티팩트는 예컨대 다음을 포함한다:
드롭아웃(Dropouts)
드롭아웃은, 진동-촉각력 피드백이 일시적으로 중단될 때 발생할 수 도 있다. 심지어 짧은 드롭아웃이, 사용자에 의해 인지되는 진동-촉각력 피드백의 실현에 상당한 영향을 미칠 수 도 있다. 드롭아웃은 햅틱 디바이스에 전달되기 전 지연되며 및/또는 중단되는 오디오 및/또는 음향 정보의 결과이다.
지터(Jitter)
지터는, 진동-촉각력 피드백이 비주기적인 방식으로 힘 피드백 디바이스에 의해 사용자에게 인가될 때 발생할 수 도 있다. 이것은 사용자의 기계적 수용기에 의해 인지된 주파수 내용에 영향을 미칠 수 도 있어서, 애플리케이션에 의해 의도한 피드백과 상이한 진동-촉각력 피드백을 야기할 수 도 있다. 지터는, 요청된 진동-촉각력 피드백 값을 액추에이터에 인가하도록 힘 피드백 디바이스에 의해 사용된 전달 메커니즘이 진동-촉각 내용의 주기적인, 중단되지 않은 전달을 보장할 충분한 우선권이 주어지지 않을 때 발생할 수 도 있다. 지터는 또한, 힘 피드백 디바이스 내부 타이밍 기준(클록)이 애플리케이션 디바이스의 타이밍 기준과 매칭하지 않을 때 또한 발생할 수 도 있다. 힘 피드백 디바이스와 애플리케이션 디바이스 사이의 이러한 시간 기반 불일치의 결과로서, 힘 피드백 디바이스는 의도한 것보다 약간 더 느린 진동-촉각 샘플을 전달하거나(진동-촉각력 피드백 전달의 증가한 지연을 야기하며, 바람직한 것은 아님), 의도한 것보다 약간 더 빠른 진동-촉각 샘플을 전달할 수 도 있다(사용자에게 지터로서 보일 주기적으로 스킵된 진동-촉각 데이터를 야기함).
클리핑
클리핑은, 진동-촉각력 피드백의 크기가 힘 피드백 디바이스 액추에이터의 출력 범위를 초과할 때 발생할 수 도 있다(예컨대, 앞선 논의 참조). 이러한 구성은 사용자에게 전달된 신호의 주파수 영역에서 내용을 변화시킬 수 도 있으며, 이것은 사용자가 감지해야 하는 원하는 힘 피드백과 상이한 실제 진동-촉각력 피드백을 사용자에게 야기할 수 도 있다. 클리핑은, 진동-촉각 신호 처리 로직이 액추에이터를 구동하고 있는 모든 힘 피드백 소스의 조합된 출력을 정확히 고려하지 않을 때 발생할 수 도 있으며, 결과적인, 조합된 출력은 액추에이터가 발생시킬 수 있는 최대 이용 가능 출력을 초과하게 된다.
제안된 본 발명은 상이한 기술을 조합하여 진동-촉각 데이터의 데이터 송신의 결점을 완화시키며, 또한 힘 피드백 디바이스와 애플리케이션 디바이스 사이의 시간 기반의 차이를 완화시켜, 주기적인, 무 지터 및 무 드롭아웃 진동-촉각력 피드백 경험을 유지한다. 사용한 기술은 예컨대 다음 중 적어도 하나를 수반할 수 도 있다:
버퍼링
버퍼링은, 힘 피드백 디바이스에 의해 이들 샘플의 주기적 전달을 시작하기 전 힘 피드백 디바이스에 의해 인가될 다수의 진동-촉각력 피드백 샘플을 저장하는 단계를 포함한다. 이로 인해, 힘 피드백 디바이스는 애플리케이션으로부터 오디오 및/또는 음향 정보의 송신 시 일시적 지연을 (적어도 부분적으로) 흡수할 수 있다. 버퍼의 크기는 생성된 진동-촉각 및 운동감각력 피드백의 조합뿐만 아니라, 오디오 및/또는 음향 전달의 신뢰도에 의존할 수 도 있다.
일부 실시예에서, 버퍼링은 오디오 및/또는 음향 정보의 적어도 일부분의 버퍼링에 의해 달성될 수 도 있다.
내용 생성(Content generation)
내용 생성으로 인해, 힘 피드백 디바이스 제어 소프트웨어는 인공적인 대체 샘플을 자동으로 생성하여, 사용자에 의한 연속 진동-촉각력 피드백에 관한 착각(illusion)을 파괴하지 않고 손실된 진동-촉각 데이터를 채울 수 있다. 내용 생성은, 애플리케이션이 진동-촉각력 피드백 데이터의 일부분을 전달하는 데 실패할 때 및/또는 진동-촉각 샘플 전달의 지연이 버퍼에 의해 흡수될 수 있는 것보다 크다면, 사용될 수 있다. 내용 생성은 데이터 송신이 재개되면 진동-촉각 샘플의 전달로 계속해서 전환하도록 샘플을 생성하는 단계를 수반할 수 도 있다.
일부 실시예에서, 내용 생성은 인공적인, 연속성-유지 오디오 및/또는 음향 정보의 내용 생성에 의해 달성될 수 도 있다.
리샘플링
리샘플링으로 인해, 힘 피드백 디바이스는 애플리케이션 시간 기본으로 표현되는 진동-촉각 샘플을 인가할 수 있다. 이러한 구성은, 애플리케이션이 힘 피드백 디바이스의 거동을 모니터링하게 하여 애플리케이션 클록에 대한 그 내부 클록의 왜곡(skew)을 추론하게 하며 힘 피드백 디바이스에 전송된 오디오 및/또는 음향 데이터를 리샘플링하여 진동-촉각 샘플이 애플리케이션 시간 기본의 정확한 값으로 인가됨을 보장함으로써 달성될 수 있다. 리샘플링으로 인해, 애플리케이션은 진동-촉각 내용을 사용자에게 인가할 때 지연을 정확히 제어할 수 있다.
일부 실시예에서, 리샘플링은 오디오 및/또는 음향 정보의 리샘플링에 의해 달성될 수 도 있다.
리샘플링 변조
리샘플링 변조로 인해, 애플리케이션은 리샘플링 속도를 (바람직하게는 사람이 인지한 주파수 변화 역치 미만으로) (약간) 변경할 수 있어서, 원하는 수의 버퍼링된 진동-촉각 샘플을 유지할 수 있다. 이로 인해, 애플리케이션은 힘 피드백 디바이스 클록과 애플리케이션 클록 사이의 클록 왜곡의 임의의 이산(discretization)을 완화할 수 도 있다. 이러한 메커니즘으로 인해, 또한 버퍼링 알고리즘은, 영구적인 지연이 오디오 및/또는 음향 데이터 송신에서 발생한 후 버퍼링된 진동-촉각 샘플의 그 저장을 보충할 수 도 있으며 및/또는 버퍼가 거의 채워지게 된다면 버퍼링된 샘플의 수를 감소시킬 수 도 있다.
일부 실시예에서, 리샘플링은, 원하는 수의 오디오 및/또는 음향 정보를 버퍼링하도록 리샘플링 속도의 변조에 의해 달성될 수 도 있다.
또한, 조향 바퀴를 이용하는 실시예에서, 2개의 조향 바퀴는 컴퓨터에 동작되게 결합될 수 도 있으며 여기서 제1 조향 바퀴가 교사에 의해 제어되며 제2 조향 바퀴가 학생에 의해 제어된다.
자동차를 제어하는 제1 조향 바퀴는 마스터로서 규정된다. 제2 조향 바퀴는 슬레이브로서 규정된다. 그러나 2개보다 많은 조향 바퀴가 있을 수 도 있으며, 하나는 마스터이며 나머지가 슬레이브이다.
마스터 조향 바퀴의 위치 정보는 컴퓨터에 계속해서 다시 전해져, 게임 시뮬레이션에서 차량의 거동을 제어한다.
게임에 의해 컴퓨팅된 운동감각력 피드백은 마스터 조향 바퀴에 다시 전해진다. 그러나 게임 시뮬레이션으로부터 유입된 진동-촉각력 피드백은 모든 조향 바퀴에 다시 전해져, 모든 운전자는, 자동차 및 그 환경으로부터 유입된 엔진 잡음 및 다른 진동을 인지할 수 있다.
슬레이브 조향 바퀴가 마스터 조향 바퀴로부터 모션을 인지할 수 있으며 정정할 수 있기 위해, 가상 스프링이 마스터 조향 바퀴의 위치와 슬레이브 조향 바퀴의 위치 사이에 모델링된다. 결과적인 힘이 운동감각력 피드백력으로서 두 조향 바퀴에 인가되어 그 사이에 가상 결합을 만든다.
Xm: 마스터 조향 바퀴의 각위치,
Xs: 슬레이브 조향 바퀴의 각위치
Km: 마스터 조향 바퀴에 의해 인지되는 가상 스프링 강성,
Ks: 슬레이브 조향 바퀴에 의해 인지된 가상 스프링 강성,
Fm: 마스터 조향 바퀴에 의해 인지된 운동감각 스프링 력,
Fs: 슬레이브 조향 바퀴에 의해 인지된 운동감각 스프링 력,
Fm= Km * (Xs - Xm)
Fs= Ks * (Xm - Xs)
컴퓨팅된 운동감각 스프링 력(Fs)은 슬레이브 조향 바퀴에 인가된다.
컴퓨팅된 운동감각 스프링 력(Fm)은 게임에 의해 컴퓨팅된 운동감각력 외에 마스터 조향 바퀴에 인가된다.
상이한 강성 파라미터(Km 및 Ks)가 조정되어 인지된 커플링을 증가시키거나 감소시킬 수 있다. Km이 0으로 설정된다면 및 Ks가 고 강성 값으로 설정된다면, 슬레이브 운전자는 마스터 운전자가 행하고 있는 것을 인지하지만 그에게 영향을 미치지 않을 것이다. Km 및 Ks 모두가 고 강성 값으로 설정된다면, 두 운전자는 차량에 작용할 수 있을 것이며, 서로의 상호동작을 대칭적으로 인지할 것이다.
그러한 실시예는 나란히 앉은 2명의 플레이어 사이에 또는 (예컨대, 인터넷을 통해, 하나 이상의 유선 또는 무선 연결을 통해) 서로 연결되는 2명의 원격 플레이어 사이에 구현될 수 도 있다.
추가 그러한 실시예에서, 하나 이상의 슬레이브가, 마스터 조향 바퀴 운전자의 위치가 기록된 미리 기록된 레이스를 스트리밍하는 컴퓨터에 연결된다. 그러한 실시예에서, 슬레이브 운전자는 이전에 기록한 레이스를 경함할 수 있을 것이다.

Claims (43)

  1. 사용자에게 진동-촉각력 피드백 및 운동감각력 피드백을 제공하며 애플리케이션 디바이스에 통신되게 결합되게 되는 적어도 하나의 액추에이터를 포함하는 사용자 인터페이스 디바이스의 사용자에게 진동-촉각력 피드백 및 운동감각력 피드백을 제공하는 방법으로서,
    - 상기 애플리케이션 디바이스로부터 음향 정보를 획득하는 단계를 포함하며,
    - 획득한 상기 음향 정보를 기초로 하여 진동-촉각력 피드백 제어 정보를 생성하는 단계를 더 포함하며, 상기 진동-촉각력 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 진동-촉각력 피드백을 규정하며,
    - 상기 애플리케이션 디바이스로부터 운동감각력 피드백 제어 정보를 획득하는 단계로서, 상기 운동감각력 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 운동감각력 피드백을 규정하는, 상기 단계,
    - 상기 진동-촉각력 피드백 제어 정보와 운동감각력 피드백 제어 정보를 혼합하여, 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보를 생성하는 단계로서, 상기 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보는 사용자에게 출력될 적어도 하나의 진동-촉각력 피드백과 사용자에게 출력될 적어도 하나의 운동감각력 피드백을 규정하는, 상기 단계를 포함하며
    - 상기 진동-촉각력 피드백 제어 정보와 운동감각력 피드백 제어 정보 중 적어도 하나는 혼합되기 전에 변경되어, 상기 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보가 적어도 하나의 액추에이터의 출력 제한을 초과하지 않도록 하며,
    - 상기 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보에 따라 상기 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터를 제어하여 사용자를 위해 상기 적어도 하나의 진동-촉각력 피드백과 적어도 하나의 운동감각력 피드백 모두를 생성하는 단계를 더 포함하는, 진동-촉각력 피드백 제공 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 액추에이터의 출력 제한은
    어느 기간 동안 적어도 하나의 액추에이터가 제공할 수 있는 정적 최대 액추에이터 출력,
    적어도 하나의 액추에이터가 동적으로 또는 순간적으로 제공할 수 있는 동적 또는 순간 최대 액추에이터 출력,
    적어도 하나의 액추에이터가 주기적 방식으로 제공할 수 있는 주기적 최대 액추에이터 출력 및
    적어도 하나의 액추에이터가 시변 방식으로 제공할 수 있는 시변 최대 액추에이터 출력,
    중 적어도 하나인 진동-촉각력 피드백 제공 방법.
  3. 제1항에 있어서,
    적어도 두 개의 사용자 인터페이스 디바이스는 상기 애플리케이션 디바이스에 통신가능하게 연결되며
    상기 적어도 하나의 액추에이터는 적어도 두 개의 사용자 인터페이스 디바이스 중 제1 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터이고
    상기 방법은
    제1 사용자 인터페이스 디바이스를 위해 상기 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보에 따라 적어도 두 개의 사용자 인터페이스 디바이스 중 제2 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터를 제어하여, 제2 사용자 인터페이스 디바이스의 사용자를 위해 상기 적어도 하나의 진동-촉각력 피드백과 적어도 하나의 운동감각력 피드백 모두를 생성하는 진동-촉각력 피드백 제공 방법.
  4. 제3항에 있어서,
    상기 제1 사용자 인터페이스 디바이스를 위해 상기 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보가 저장되고
    제2 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터는 상기 저장된 상기 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보에 따라 제어되는 진동-촉각력 피드백 제공 방법.
  5. 제1항에 있어서, 상기 운동감각력 및/또는 진동-촉각력 피드백 제어 정보는:
    - 스케일링,
    - 피칭,
    - 주파수 시프팅,
    - 필터링,
    - 대역폭 제한,
    - 등화,
    - 절단,
    - 압축,
    - 지연,
    - 컨벌루팅
    중 적어도 하나에 의해 적어도 부분적으로 변경되는, 진동-촉각력 피드백 제공 방법.
  6. 제1항에 있어서,
    진동-촉각력 피드백 제어 정보를 생성하는 단계는:
    - 상기 음향 정보의 적어도 일부분을 스케일링,
    - 상기 음향 정보의 적어도 일부분을 피칭(pitching),
    - 상기 음향 정보의 적어도 일부분을 주파수 시프팅,
    - 상기 음향 정보의 적어도 일부분을 필터링,
    - 상기 음향 정보의 적어도 일부분을 대역폭 제한,
    - 상기 음향 정보의 적어도 일부분을 등화,
    - 상기 음향 정보의 적어도 일부분을 절단,
    - 상기 음향 정보의 적어도 일부분을 압축,
    - 상기 음향 정보의 적어도 일부분을 지연,
    - 상기 음향 정보의 적어도 일부분을 컨벌루팅,
    - 상기 음향 정보의 적어도 일부분을 버퍼링,
    - 인공적인, 연속성-유지 음향 정보의 내용 생성,
    - 음향 정보의 리샘플링,
    - 원하는 수의 음향 정보를 버퍼링하기 위한 리샘플링 속도의 변조,
    - 음향 정보의 암호화,
    - 음향 정보의 패킷화
    중 적어도 하나를 포함하는, 진동-촉각력 피드백 제공 방법.
  7. 제1항에 있어서,
    상기 음향 정보는 적어도 2개의 상이한 음향 정보 소스로부터의 음향 정보를 포함하고,
    상기 음향 정보를 획득하는 단계는
    - 적어도 2개의 상이한 음향 정보 소스로부터의 음향 정보를 선택하는 단계;
    - 상기 적어도 2개의 상이한 음향 정보 소스로부터의 음향 정보를 전처리하는 단계; 및
    - 상기 적어도 2개의 상이한 음향 정보 소스로부터의 음향 정보를 혼합하는 단계 중 적어도 하나를 포함하는, 진동-촉각력 피드백 제공 방법.
  8. 제1항에 있어서, 상기 적어도 하나의 액추에이터는 2개의 모터를 포함하며, 상기 적어도 하나의 액추에이터를 제어하는 것이, 상기 2개의 모터를 그 사이의 고정 또는 가변의 토크 오프셋으로 동작시키는 것을 포함하는, 진동-촉각력 피드백 제공 방법.
  9. 제8항에 있어서, 상기 토크 오프셋은, 상기 2개의 모터 중 제1 모터가 제1 회전 방향으로 상기 토크 오프셋을 제공하며, 상기 2개의 모터 중 제2 모터가 상기 제1 회전 방향에 반대인 제2 회전 방향으로 상기 토크 오프셋을 제공하도록 제어되는, 진동-촉각력 피드백 제공 방법.
  10. 사용자에게 진동-촉각력 피드백과 운동감각력 피드백을 제공하도록 되어 있는 적어도 하나의 액추에이터를 포함하는 사용자 인터페이스 디바이스의 사용자에게 진동-촉각력 피드백과 운동감각력 피드백을 제공하기 위한 진동-촉각력 피드백 제공 디바이스로서,
    - 제어 유닛,
    - 혼합기,
    - 음향 정보를 처리하기 위한 처리장치,
    - 운동감각력 피드백 제어 정보를 처리하기 위한 처리장치,
    - 상기 음향 정보를 처리하기 위한 처리장치에 통신되게 결합되며, 애플리케이션 디바이스로부터의 음향 정보를 획득하여 획득한 상기 음향 정보를 상기 제어 유닛에 제공하도록 되어 있는 입력부,
    - 상기 운동감각력 피드백 제어 정보를 처리하기 위한 처리장치에 통신되게 결합되며, 애플리케이션 디바이스로부터 운동감각력 피드백 제어 정보를 획득하여 획득한 상기 운동감각력 피드백 제어 정보를 상기 운동감각력 피드백 제어 정보를 처리하기 위한 처리장치에 제공하도록 되어 있는 입력부를 포함하고,
    상기 음향 정보를 처리하기 위한 처리장치는 획득한 음향정보를 처리하여, 사용자에게 출력될 적어도 하나의 진동-촉각력 피드백을 규정하는 진동-촉각력 피드백 제어 정보를 생성하도록 되어 있고,
    상기 운동감각력 피드백 제어 정보를 처리하기 위한 처리장치는 상기 획득된 운동감각력 피드백 제어 정보를 처리하도록 되어 있고,
    상기 혼합기는 상기 음향 정보를 처리하기 위한 처리장치로부터 생성된 진동-촉각력 피드백 제어 정보와 상기 운동감각력 피드백 제어 정보를 처리하기 위한 처리장치로부터 처리된 획득된 운동감각력 피드백 제어 정보를 혼합하고, 사용자에게 출력될 적어도 하나의 진동-촉각력 피드백과 사용자에게 출력될 적어도 하나의 운동감각력 피드백을 규정하는, 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보를 출력하고,
    상기 혼합된 진동-촉각력 및 운동감각력 제어 정보가 적어도 하나의 액추에이터의 출력 제한을 초과하지 않도록, 상기 음향 정보를 처리하기 위한 처리장치는 생성된 진동-촉각력 피드백 제어 정보를 수정하도록 되어 있고, 상기 운동감각력 피드백 제어 정보를 처리하기 위한 처리장치는 처리된 운동감각력 피드백 제어 정보를 수정하도록 되어 있으며,
    상기 제어 유닛은
    혼합기에 의해 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보에 따라 사용자 인터페이스 디바이스의 적어도 하나의 액추에이터를 제어하여, 사용자를 위한 적어도 하나의 진동-촉각력 피드백과 사용자를 위한 적어도 하나의 운동감각력 피드백 모두를 생성하도록 되어 있는, 진동-촉각력 피드백 제공 디바이스.
  11. 제10항에 있어서,
    상기 적어도 하나의 액추에이터의 출력 제한은
    어느 기간 동안 적어도 하나의 액추에이터가 제공할 수 있는 정적 최대 액추에이터 출력,
    적어도 하나의 액추에이터가 동적으로 또는 순간적으로 제공할 수 있는 동적 또는 순간 최대 액추에이터 출력,
    적어도 하나의 액추에이터가 주기적 방식으로 제공할 수 있는 주기적 최대 액추에이터 출력 및
    적어도 하나의 액추에이터가 시변 방식으로 제공할 수 있는 시변 최대 액추에이터 출력,
    중 적어도 하나인, 진동-촉각력 피드백 제공 디바이스.
  12. 제11항에 있어서, 상기 제어 유닛은:
    - 스케일링,
    - 피칭,
    - 주파수 시프팅,
    - 필터링,
    - 대역폭 제한,
    - 등화,
    - 절단,
    - 압축,
    - 지연,
    - 컨벌루팅
    중 적어도 하나에 의해, 적어도 부분적으로, 상기 운동감각력 피드백 제어 정보, 진동-촉각력 피드백 제어 정보 및 혼합된 진동-촉각력 및 운동감각력 피드백 제어 정보 중 적어도 하나를 변경하도록 되어 있는, 진동-촉각력 피드백 제공 디바이스.
  13. 제10항에 있어서,
    상기 음향 정보를 처리하기 위한 처리 장치는
    - 획득한 상기 음향 정보의 적어도 일부분을 스케일링,
    - 획득한 상기 음향 정보의 적어도 일부분을 피칭,
    - 획득한 상기 음향 정보의 적어도 일부분을 주파수 시프팅,
    - 획득한 상기 음향 정보의 적어도 일부분을 필터링,
    - 획득한 상기 음향 정보의 적어도 일부분을 대역폭 제한,
    - 획득한 상기 음향 정보의 적어도 일부분을 등화,
    - 획득한 상기 음향 정보의 적어도 일부분을 절단,
    - 획득한 상기 음향 정보의 적어도 일부분을 압축,
    - 획득한 상기 음향 정보의 적어도 일부분을 지연,
    - 획득한 상기 음향 정보의 적어도 일부분을 컨벌루팅,
    - 획득한 상기 음향 정보의 적어도 일부분을 버퍼링,
    - 인공적인, 연속성-유지 음향 정보의 내용 생성,
    - 음향 정보의 리샘플링,
    - 원하는 수의 음향 정보를 버퍼링하기 위한 리샘플링 속도의 변조,
    - 음향 정보의 암호화,
    - 음향 정보의 패킷화
    중 적어도 하나에 의해 상기 진동-촉각력 피드백 제어 정보를 생성하도록 되어 있는, 진동-촉각력 피드백 제공 디바이스.
  14. 제10항에 있어서,
    상기 음향 정보를 처리하기 위한 처리장치의 입력부는, 적어도 2개의 상이한 음향 정보 소스로부터 음향 정보를 획득하도록 및/또는 상기 적어도 2개의 상이한 음향 정보 소스로부터의 음향 정보를 혼합하도록 되어 있거나 선택되며, 혼합된 상기 음향 정보는 상기 적어도 하나의 액추에이터를 제어하도록 사용되고,
    상기 음향 정보를 처리하기 위한 처리장치는, 적어도 2개의 상이한 음향 정보 소스로부터 획득한 상기 음향 정보 각각에 대해, 진동-촉각력 피드백 제어 정보를 생성하도록 되어 있어서, 적어도 2개의 진동-촉각력 피드백 제어 정보가 생성되며, 각각의 진동-촉각력 피드백 제어 정보는 사용자에게 제공될 적어도 하나의 진동-촉각력 피드백을 규정하는, 진동-촉각력 피드백 제공 디바이스.
  15. 제10항 내지 제14항 중 어느 한 항에 기재된 디바이스와,
    진동-촉각력 피드백 및 운동감각력 피드백을 사용자에게 제공하도록 되어 있는 적어도 하나의 액추에이터를 포함하는 사용자 인터페이스 디바이스를 포함하는 시스템.
  16. 제15항에 있어서,
    상기 적어도 하나의 액추에이터는 2개의 모터를 포함하며, 상기 제어 유닛은 상기 2개의 모터를 그 사이에 고정 또는 가변의 토크 오프셋으로 제어되는, 시스템.
  17. 제16항에 있어서,
    상기 토크 오프셋은, 상기 2개의 모터 중 제1 모터가 제1 회전 방향으로 상기 토크 오프셋을 제공하며, 상기 2개의 모터 중 제2 모터가 상기 제1 회전 방향에 반대인 제2 회전 방향으로 상기 토크 오프셋을 제공하도록 제어되는, 시스템.
  18. 컴퓨팅 디바이스에 의해 수행될 때 제1항에 기재된 방법의 단계를 실행하는 수행 가능 소프트웨어 코드를 저장하는 컴퓨터-판독 가능 저장 매체.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
KR1020207009067A 2017-09-15 2018-07-17 진동-촉각력 피드백 방법 및 디바이스 KR102443324B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17191501 2017-09-15
EP17191501.0 2017-09-15
PCT/EP2018/075103 WO2019053273A1 (en) 2017-09-15 2018-09-17 VIBRO-TACTILE FEEDBACK METHOD AND DEVICE

Publications (2)

Publication Number Publication Date
KR20200047632A KR20200047632A (ko) 2020-05-07
KR102443324B1 true KR102443324B1 (ko) 2022-09-14

Family

ID=59914311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009067A KR102443324B1 (ko) 2017-09-15 2018-07-17 진동-촉각력 피드백 방법 및 디바이스

Country Status (5)

Country Link
US (1) US11163365B2 (ko)
EP (1) EP3682312A1 (ko)
JP (1) JP7441787B2 (ko)
KR (1) KR102443324B1 (ko)
WO (1) WO2019053273A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021017194A (ja) * 2019-07-23 2021-02-15 トヨタ自動車株式会社 操作部制御装置及び車両制御システム
KR102495314B1 (ko) * 2021-05-04 2023-02-06 김수영 햅틱피드백이 가능한 다기능 입출력 핸드헬드 장치
WO2024119033A1 (en) * 2022-12-01 2024-06-06 Microchip Technology Incorporated System and method to convert audio signals to haptic signals

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067440A1 (en) 2001-10-09 2003-04-10 Rank Stephen D. Haptic feedback sensations based on audio output from computer devices
WO2017123797A1 (en) 2016-01-12 2017-07-20 Intuitive Surgical Operations, Inc. Uniform scaling of haptic actuators

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
EP3557388A1 (en) * 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
JP6151235B2 (ja) * 2014-10-22 2017-06-21 日本電信電話株式会社 加速度発生装置および情報呈示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067440A1 (en) 2001-10-09 2003-04-10 Rank Stephen D. Haptic feedback sensations based on audio output from computer devices
WO2003032289A1 (en) 2001-10-09 2003-04-17 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
WO2017123797A1 (en) 2016-01-12 2017-07-20 Intuitive Surgical Operations, Inc. Uniform scaling of haptic actuators

Also Published As

Publication number Publication date
JP2020537796A (ja) 2020-12-24
US20200409460A1 (en) 2020-12-31
WO2019053273A1 (en) 2019-03-21
KR20200047632A (ko) 2020-05-07
JP7441787B2 (ja) 2024-03-01
US11163365B2 (en) 2021-11-02
EP3682312A1 (en) 2020-07-22
WO2019053273A8 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
KR102443324B1 (ko) 진동-촉각력 피드백 방법 및 디바이스
US7446752B2 (en) Controlling haptic sensations for vibrotactile feedback interface devices
EP1330811B1 (en) Directional tactile feedback for haptic feedback interface devices
CA2271129C (en) Method and apparatus for shaping force signals for a force feedback device
US6933920B2 (en) Data filter for haptic feedback devices having low-bandwidth communication links
JP6005187B2 (ja) 触覚フィードバックにより特有の動きを模擬する方法および該方法を実行する装置
JP6893561B2 (ja) 振動制御装置
KR20100021387A (ko) 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법
TW201834726A (zh) 用於力回饋介面裝置之系統及方法
Nehaoua et al. Motion cueing algorithms for small driving simulator
WO2019038887A1 (ja) 振動制御装置
Kammerl et al. Combining contact models with perceptual data reduction for efficient haptic data communication in networked VEs
JP2014142869A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
KR100527386B1 (ko) 체감의자 및 이를 이용한 교육용 체감장치
JP2004309858A (ja) シミュレータ、プログラム及び情報記憶媒体
CN220438888U (zh) 一种大型虚拟现实交互娱乐装置
JP2008152216A (ja) シミュレータ装置及び振動発生方法
JP3243841U (ja) トレーニング専用シミュレータ及びトレーニング専用シミュレータキット
JP2022177643A (ja) コンテンツ制御装置、コンテンツ制御方法、プログラム、およびコンテンツ提供システム
GB2622044A (en) Haptic module and controller having rotational weight distribution
JP2023509950A (ja) モーションジェネレータ
JP2000356945A (ja) 信号処理装置および方法、並びに媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant