KR20140060314A - 포인터의 자세의 측정에 의하여 커서를 제어하는 방법 및 상기 방법을 시행하는 포인터 - Google Patents

포인터의 자세의 측정에 의하여 커서를 제어하는 방법 및 상기 방법을 시행하는 포인터 Download PDF

Info

Publication number
KR20140060314A
KR20140060314A KR1020147007101A KR20147007101A KR20140060314A KR 20140060314 A KR20140060314 A KR 20140060314A KR 1020147007101 A KR1020147007101 A KR 1020147007101A KR 20147007101 A KR20147007101 A KR 20147007101A KR 20140060314 A KR20140060314 A KR 20140060314A
Authority
KR
South Korea
Prior art keywords
pointer
displacement
cursor
angle
parameter
Prior art date
Application number
KR1020147007101A
Other languages
English (en)
Inventor
조 유세프
그레고르 아우제
Original Assignee
모베아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모베아 filed Critical 모베아
Publication of KR20140060314A publication Critical patent/KR20140060314A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38Wiper blades
    • B60S1/3848Flat-type wiper blade, i.e. without harness
    • B60S1/3849Connectors therefor; Connection to wiper arm; Attached to blade
    • B60S1/3851Mounting of connector to blade assembly
    • B60S1/3858Mounting of connector to blade assembly with protrusions cooperating with holes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38Wiper blades
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38Wiper blades
    • B60S1/3806Means, or measures taken, for influencing the aerodynamic quality of the wiper blades
    • B60S1/3808Spoiler integral with the squeegee
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38Wiper blades
    • B60S1/3848Flat-type wiper blade, i.e. without harness
    • B60S1/3849Connectors therefor; Connection to wiper arm; Attached to blade
    • B60S1/3851Mounting of connector to blade assembly
    • B60S1/3853Snap-fit, e.g. elastic connection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38Wiper blades
    • B60S1/3848Flat-type wiper blade, i.e. without harness
    • B60S1/3849Connectors therefor; Connection to wiper arm; Attached to blade
    • B60S1/3851Mounting of connector to blade assembly
    • B60S1/3856Gripping the blade
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40Connections between blades and arms
    • B60S1/4006Connections between blades and arms for arms provided with a hook-shaped end
    • B60S1/4009Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end
    • B60S1/4016Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end the element being provided with retention means co-operating with the hook-shaped end of the arm
    • B60S1/4019Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end the element being provided with retention means co-operating with the hook-shaped end of the arm the retention means being protrusions or holes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38Wiper blades
    • B60S1/3848Flat-type wiper blade, i.e. without harness
    • B60S1/3874Flat-type wiper blade, i.e. without harness with a reinforcing vertebra
    • B60S1/3875Flat-type wiper blade, i.e. without harness with a reinforcing vertebra rectangular section
    • B60S1/3877Flat-type wiper blade, i.e. without harness with a reinforcing vertebra rectangular section embedded in the squeegee
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40Connections between blades and arms
    • B60S1/4006Connections between blades and arms for arms provided with a hook-shaped end
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40Connections between blades and arms
    • B60S1/4006Connections between blades and arms for arms provided with a hook-shaped end
    • B60S1/4009Connections between blades and arms for arms provided with a hook-shaped end comprising a detachable intermediate element mounted on the hook-shaped end
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/32Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/40Connections between blades and arms
    • B60S1/4038Connections between blades and arms for arms provided with a channel-shaped end
    • B60S1/4045Connections between blades and arms for arms provided with a channel-shaped end comprising a detachable intermediate element mounted on the channel-shaped end
    • B60S1/4048Connections between blades and arms for arms provided with a channel-shaped end comprising a detachable intermediate element mounted on the channel-shaped end the element being provided with retention means co-operating with the channel-shaped end of the arm
    • B60S2001/4054Connections between blades and arms for arms provided with a channel-shaped end comprising a detachable intermediate element mounted on the channel-shaped end the element being provided with retention means co-operating with the channel-shaped end of the arm the intermediate element engaging the back part of the arm

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Fluid Mechanics (AREA)
  • Quality & Reliability (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The invention discloses a method of controlling a 커서 (120) in a surface (100) by measurements of 자세 of a 포인터 (110), said measurements being provided by inertial, optical, magnetic, ultrasound, radiofrequency or video means and appropriate processing means, said method being characterized in that it furthermore comprisesing a step of computing the displacements of the 교차점 of a vector tied to the 포인터 with a 투사 표면(130), said 투사 표면 being predetermined, on the basis of the measurements of the 자세 and/or of the angular velocity of said 포인터. The pointed-at surfaces can be notably planes, cylinders or spheres. The pointing can be performed in limited fashion or by sliding. The control of the cursor, in absolute mode or in relative mode, can allow the triggering of functions controlled by the 배향 of said 커서 on the pointed-at surface.

Description

포인터의 자세의 측정에 의하여 커서를 제어하는 방법 및 상기 방법을 시행하는 포인터{METHOD OF CONTROLLING A CURSOR BY MEASUREMENTS OF THE ATTITUDE OF A POINTER AND POINTER IMPLEMENTING SAID METHOD}
본 발명은 디스플레이 표면, 가령, 텔레비전 스크린, PC 스크린 등과 같은 평평한 표면상에서 커서의 움직임 및 배향을 제어하는 방법에 관한 것이다. 임의의 모양의 비-평면형 디스플레이 평면상에서 커서의 변위 제어도 본 발명의 방법 및 장치를 통하여 가능하다.
코디네이트되고(coordinated) 평평한 스크린의 어셈블리는 가령, 비-평평한 표면(구, 원통 등)을 구성할 수 있다. 디스플레이 표면은 좌표의 미터법을 타고났다. 이에 따라, 모션을 측정하기 위한 수단과 제어 버튼을 가지고 기구화된 포인터를 구비한 사용자는 기구화된 포인터의 3D 공간에서 가령 하나 이상의 소프트웨어 어플리케이션의 그래픽적인 인터페이스를 디스플레이하는 디스플레이 표면 상의 커서의 변위 및/또는 위치 및/또는 배향을 제어할 수 있다. 따라서, 제어 포인터는, 포인터의 위치 및/또는 변위 및/또는 배향을 통해, 및/또는 이를 위해 제공된 포인터 상의 제어기의 사용을 통해, 선택된 프로그램된 기능의 실행을 트리거할 수 있다.
이러한 종류의 장치는 원격 제어기를 대체하도록 의도되고, 상기 원격 제어기에 있어서, 명령어는 디스플레이 표면 상에서 커서를 연속적으로 제어할 수 없고, 사용자에 의해 눌러지는 버튼과 연결된 코드의 리스트로 구성되며, 상기 명령어는 적외선을 통하여 제어되는 장치로, 또는 최근에는 라디오일렉트릭(radioelectric) 링크로 전송된다.
이러한 타입의 첫 번째 장치 중 하나는 미국 특허 제5,440,326호에 의해 개시되었다. 이 장치에서, 자이로스코프는 각속도의 두 측정값을 제공하는데(피치(pitch)와 요(yaw)와 관련하여), 이는 디스플레이 표면의 두 축과 관련하여 커서 명령어로 전환된다. 그러나, 이러한 타입의 장치는, 디스플레이 프레임 내의 장치의 배향에 기초한 것이 아니라, 포인터의 프레임에서 측정되고, 2개의 축과 관련하여 포인터의 회전 속도에만 기초하기 때문에, 그 인체공학에서 한계를 나타낸다. 예를 들어, 이들 측정값은 배향에 민감한데, 사용자가 이 포인터를 쥐고 있다(측정되지 않는 3rd 각, 롤(roll) 또는 틸트). 사실, 사용자가 손목의 회전각(롤이라 함)을 가지고 원격 제어기를 쥐고 있을 때, 커서 움직임은 원하지 않는 배향으로 되는 것을 볼 것이다. 게다가, 두 개의 측정 축에 대한 한계에 의해, 원격 제어기의 사용자는 현저한 각에 대해 복잡하게 되어서, 포인팅의 인체 공학에 영향을 미친다.
이들 영향에 대응하기 위하여, 측정값의 안정화가 기계적 수단에 의해 수행될 수 있는데, 자이로스코프는 짐벌(gimbal) 상에 장착된다. 그러나, 이 기계적인 안정화는 한 편으로는 롤의 각을 작게 제한하여(기계적인 정지), 짐벌의 관성 때문에 또한 불안전하다. 더구나, 이러한 보정은 미세 장치에는 적용할 수 없다.
단점은 장치에 의해 어느 정도 극복될 수 있는데, 소형 자이로미터에 의해 제공된 요와 피치에서의 회전 속도의 측정값은 이차원적인 회전 매트릭스를 사용하여 가속도계의 측정값에 의하여 롤의 각도에 대해 보정된다. 이러한 종류의 장치는 미국 특허 제5,598,187호(Ide) 및 제7,158,118호(Liberty)에 의해 주로 개시된다. 이러한 종류의 장치에서, 다양한 각은 다양한 센서의 측정값에 기초하여 실제로 계산되어야 한다. 본 출원의 출원인에게 속하는 국제 특허 공개 번호 제WO2009/156476호(Mathews)에서, 롤의 각도의 사전 계산 없이 보정이 적용된다. 사실, 롤 각도 보정은, 가속도계도 모션에 의한 가속도에 민감한 정도 만큼 원론적으로 불완전하다는 원리에 의존하고 있어서, 롤의 각도의 추정이 동요되는 것과 디스플레이 표면상에 커서의 궤도에 부정확한 영향을 준다는 것이 피할 수 없다. 마지막으로, 포인터의 어떤 배향(가령, 거의 수직)은 더 이상 롤의 각도를 계산할 수 없게 되는데, 롤의 각도는 더 이상 가속도계에 의해 측정되지 않기 때문이다. 따라서, 이 때에, 롤 보상 기능은 결합을 가지고, 이는 모션에 의한 커서 제어의 인체 공학에 있어서 초기에 존재하지는 않는다.
각의 분리된 추정의 단점을 극복하는 방법은 공개된 국제 출원 번호 제WO2009/156499호에 의해 개시되었고, 상기 출원의 소유자 중의 하나는 본 발명의 소유자이며, 확장형 칼만 필터(Kalman filter)가 적용되어 1차 미분 방정식을 포함하는 상태 모델을 사용하여 상태 변수의 조인트 추정을 수행한다. 그러나, 이 필터링를 시행하는 것은 포인터의 움직임의 함수로서 커서의 움직임의 단일 제어 모드에 국한되고, 또한 계산 능력면에서 부족하다.
미국 특허 출원 번호 제2004/070564호는 스크린 상에 포인팅하기 위한 장치를 개시하는데, 이는 포인터에 의하여 전달된 벡터와 스크린의 교차점(intersection)의 좌표에 기초하여, 상기 스크린상의 커서의 변위를 계산한다. 미국 특허 제7102616호는 포인터와 통신되는 소스를 가지고 기구화된 스크린 상에 포인팅하기 위한 장치를 개시하는데, 이는 스크린의 프레임에서 포인터의 각속도에 기초하여 포인터의 변위를 계산한다. 이들 문헌 중 어느 것도 응용 컨텍스트(applicational context)의 함수로 파라미터화되는, 커서 상의 포인터의 위치 및/또는 배향을 투사하기 위한 양상을 개시하고 있지 않는다.
본 발명은, 디스플레이 표면과 구별되는 선택된 중간 표면(선택적으로 비평면일 수 있음) 상에 투사된 포인터 자세 측정값에 기초하여, 디스플레이 표면(또는 포인트되는 표면)내의 커서의 변위를 계산하는 절차를 제안하여 상기 종래 기술의 단점을 극복할 수 있다.
이를 위하여, 본 발명은 공간에서 움직이는 이동식 포인터를 사용하여 디스플레이 표면상의 커서를 특징 짓는 제1 파라미터를 제어하는 방법에 있어서, 상기 제1 파라미터는 상기 커서의 변위, 위치 및 배향을 포함하는 그룹에서 선택되고, 상기 방법은 포인터와 관련 있는 프레임의 적어도 하나의 제2 파라미터를 결정하는 단계를 포함하고, 상기 적어도 하나의 제2 파라미터는 상기 프레임의 자세, 위치 및 각속도를 포함하는 그룹에서 선택되며, 벡터(p)는 상기 프레임과 관련되며, 상기 방법은, 상기 벡터(p)에 의해 전달된 직선과 투사 표면과의 하나 이상의 교차점을 사용함에 의하여 상기 제1 파라미터를 계산하는 단계를 더 포함하되, 상기 투사 표면은 기설정되고, 상기 디스플레이 표면과 구별되며, 상기 계산하는 단계는 상기 제2 파라미터의 적어도 일부를 입력으로서 수신하는 것을 특징으로 하는 방법을 제공한다.
바람직하게는, 제1 파라미터의 적어도 일부는, 교차점을 고려해 볼 때, 투사 표면과의 교차점에서 상기 투사 표면과의 접평면에 속하는 점의 적어도 하나의 위치에 의해 형성된 투사 표면을 묘사하는 단계에 의해 계산된다.
바람직하게는, 투사 표면의 묘사는 포인터의 변환 함수 또는 컨텍스트의 변환 함수에 따라 변한다.
바람직하게는, 투사 표면은 평평한 표면, 원통형 표면 및 구형 표면의 그룹에 속한다.
바람직하게는, 투사 표면은 수직의 평평한 표면이고, 점의 제1 좌표 및 제1 변위는 멀티플리커티브 상수(multiplicative constant) 내에서, 포인터의 요의 각도의 탄젠트값(tangent) 및 상기 변위의 시작과 끝에서 포인터의 요의 각도의 탄젠트값의 차이와 각각 동일하게 계산된다.
바람직하게는, 투사 표면은 수직의 평평한 표면이고, 점의 제2 좌표 및 제2 변위는 멀티플리커티브 상수를 제외하고, 포인터의 요의 각도의 코사인값에 대한 피치의 각도의 탄젠트값의 비 및 상기 변위의 시작과 끝에서 포인터의 요의 각도의 코사인값(cosine)에 대한 피치의 각도의 탄젠트값의 비의 차이와 각각 동일하게 계산된다.
바람직하게는, 투사 표면은 수직의 원통형 표면이고, 점의 제1 좌표 및 제1 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 요의 각도 및 상기 변위의 시작과 끝에서 포인터의 요의 각도의 차이와 각각 동일하게 계산된다.
바람직하게는, 투사 표면은 수직의 원통형 표면이고, 점의 제2 좌표 및 제2 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 피치의 각도의 탄젠트값 및 상기 변위의 시작과 끝에서 포인터의 피치의 각도의 탄젠트값의 차이와 각각 동일하게 계산된다.
바람직하게는, 투사 표면은 포인터가 중심에 있는 구의 표면이고, 점의 제1 좌표 및 제1 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 피치의 각도의 코사인값을 곱한 요의 각도 및 상기 변위의 시작과 끝에서 피치의 각도의 코사인값을 곱한 상기 변위의 시작과 끝에서 포인터의 요의 각도의 차이와 각각 동일하게 계산된다.
바람직하게는, 투사 표면은 포인터가 중시에 있는 구의 표면이고, 점의 제2 좌표 및 제2 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 피치의 각도 및 상기 변위의 시작과 끝에서 포인터의 피치의 각도의 차이와 각각 동일하게 계산된다.
바람직하게는, 커서의 배향은 표면상의 p를 따라, 상기 표면 상의 벡터(p)에 수직인 벡터를 투사함에 의하여 계산된다.
바람직하게는, p에 수직인 벡터의 회전은 포인터의 축을 따라서 또는 포인터의 배향에 기초하여, 각속도의 적분을 투사함에 의하여 계산되다.
바람직하게는, 제1 파라미터의 적어도 일부의 계산은 센서의 프레임에서 측정된 포인터의 각속도 및 자세에 기초하여 수행된다.
바람직하게는, 두 개의 성분을 가지는 커서의 변위는 포인터의 각속도 벡터를 투사함에 의하여 계산되고, 포인터와 관계된 벡터(p)를 따라, 상기 각속도 벡터의 성분은 영으로 설정되고, 지구와 관련된 프레임 내로, 프레임의 축(XE, YE)으로 변환되며, 포인터의 현 위치 및 배향에 대하여 기초 표면을 형성하고 이득 요소가 곱해진다.
바람직하게는, 두 개의 성분을 가지는 커서의 변위는 포인터의 각속도 벡터를 투사함에 의하여 계산되고, 상기 포인터는 지구와 관계된 프레임 내로, 프레임의 축(XE, YE)으로 표현되며, 평면 기초 표면을 형성하고, 포인터에 의해 정의된 벡터(p)에 수직이 되며, 이득 요소가 곱해진다.
바람직하게는, 상기 포인팅은 절대 모드에서 수행된다.
바람직하게는, 상기 포인팅은 상대 모드에서 수행된다.
바람직하게는, 포인팅은 한 방향으로는 상대 모드에서 수행되고, 다른 방향으로는 절대 모드에서 수행된다.
또한, 본 발명은 공간에서 디스플레이 표면으로 배향된 포인터에 의하여 디스플레이 표면상의 커서를 특징 짓는 제1 파라미터를 제어하는 시스템에 있어서, 상기 제1 파라미터는 상기 커서의 변위, 위치 및 배향을 포함하는 그룹에서 선택되고, 상기 시스템은 포인터에 관련 있는 프레임의 제2 파라미터를 결정하기 위한 모듈을 포함하고, 상기 제2 파라미터는 상기 프레임의 자세, 위치 및 각속도를 포함하는 그룹에서 선택되며, 벡터(p)는 상기 프레임에 관련되고, 상기 시스템은 상기 벡터(p)에 의해 전달된 직선과 투사 표면과의 하나 이상의 교차점을 사용하여 상기 제1 파라미터를 계산하기 위한 모듈을 더 포함하되, 상기 투사 표면은 기설정되고, 상기 디스플레이 표면과 구별되며, 상기 계산하는 모듈은 상기 제2 파라미터의 적어도 일부를 입력으로서 수신하는 것을 특징으로 하는 시스템을 제공한다.
본 발명의 이점 중 하나는, 포인터의 자세(또는 배향)의 측정을 제공하는 매우 다양한 장치를 사용함에 의하여 시행될 수 있다는 것이다.
본 발명에 의하여, 포인터의 움직임을 측정하는 다양한 원리를 수용할 수 있고, 다양한 인체 공학적 객체 및 사용을 위해 다양한 모드를 제공할 가능성을 제공한다.
게다가, 본 발명은 변형예를 제안하는데, 이는 공간에서 포인터의 위치 파라미터(병진적인)를 전달하는 장치를 고려할 수 있게 한다. 커서 디스플레이 파라미터는 위치(절대 모드) 또는 변위(상대 모드)에 대하여 결정될 수 있다.
더구나, 포인팅은 디스플레이 표면의 바운더리에 의해 획정되는 제한된 콘에 제한되거나 제한되지 않을 수 있어서, 커서 변위는 디스플레이 표면에 제한된다(제한된 모드/슬라이딩 모드에서 제어됨). 본 발명에 따르면, 이들 실시예는 응용 컨텍스트, 가능한 포인터 위치 및 배향 정보에 따라 조합될 수 있다.
본 발명은 이하 첨부된 도면의 설명에 의하여 더욱 잘 이해될 것이다.
도 1은 디스플레이 표면(본원에서는 평면 스크린)상에 지향된 커서를 제어할 목적으로 사용자가 쥐고 있는 포인터 및 본 발명의 실시예에서 사용되는 다양한 프레임을 가진 투사 표면(projection surface)를 나타낸다.
도 2a, 2b 및 2c는, 본 발명의 실시예에서, 기준 프레임 내의 포인터 및 수직면 투사 표면을 사용함에 의해 수행된 방향 벡터의 요의 각도 및 피치의 각도에 기초하여, 커서의 변위 파라미터 또는 위치 파라미터를 결정하는 원리를 나타낸다.
도 3a, 3b 및 3c는, 본 발명의 실시예에서, 기준 프레임 내의 포인터 및 원통 투사 표면을 사용함에 의해 수행된 방향 벡터의 요의 각도 및 피치의 각도에 기초하여, 커서의 변위 파라미터 또는 위치 파라미터를 결정하는 원리를 나타낸다.
도 4a, 4b 및 4c는, 본 발명의 실시예에서, 기준 프레임 내의 포인터 및 구형 투사 표면을 사용함에 의해 수행된 방향 벡터의 요의 각도 및 피치의 각도에 기초하여, 커서의 변위 파라미터 또는 위치 파라미터를 결정하는 원리를 나타낸다.
도 5a, 5b 및 5c는, 본 발명의 실시예에서, 기준 프레임 내의 포인터 및 임의의 투사 표면을 사용함에 의해 수행된 방향 벡터의 요의 각도 및 피치의 각도에 기초하여, 커서의 변위 파라미터 또는 위치 파라미터를 결정하는 원리를 나타낸다.
도 6a, 6b 및 6c는, 본 발명의 실시예에서, 도 5의 원리의 적용에 따라, 평평한 표면에 의하여 구형 투사 표면을 근사화하여, 기준 프레임 내의 포인터 및 임의의 투사 표면을 사용함에 의해 수행된 방향 벡터의 요의 각도 및 피치의 각도에 기초하여, 커서의 변위 파라미터 또는 위치 파라미터를 결정하는 원리를 나타낸다.
도 7은 본 발명의 실시예에서, 커서의 변위에 대한 포인터의 롤 속도의 영향을 영(zero)으로 하여, 포인터의 각속도에 기초하여 커서의 변위 파라미터를 결정하는 원리를 나타낸다.
도 8은 본 발명의 실시예에서, 포인터 프레임의 원점상에서, 중심인 구형 투사 표면에 대한 포인터의 각속도에 기초하여(따라서 커서의 변위에 대한 롤 속도의 영향을 영으로 함), 커서의 변위 파라미터를 결정하는 원리를 나타낸다.
도 9는 본 발명의 실시예에서, 도 8의 구형 투사 표면의 결과에 기초하여 커서의 변위 파라미터의 또 다른 표면으로의 변환을 나타내고, 여기서 선택된 표면은 성분 Δx에 대한 원통이다.
도 10a 및 10b는 본 발명의 실시예에서, 제1 타입의 투사 표면에 대하여 얻은 커서의 변위 또는 위치 또는 배향을 제2 타입의 투사 표면에 대한 변위 또는 위치로 변환하는 원리를 나타낸다.
도 1은 디스플레이 표면(100, 본원에서는 평면 스크린)상에 지향된 커서를 제어할 목적으로 사용자가 쥐고 있는 포인터 및 본 발명의 실시예에서 사용되는 다양한 프레임을 가진 투사 표면(projection surface)를 나타낸다.
본 발명의 목적은 스크린(screen, 100) 내의 커서(cursor, 101, 102)의 위치 파라미터 또는 변위 파라미터를 결정하기 위한 다양한 절차를 제공하는 것인데, 상기 커서는 위치(111, 112)에 대한 포인팅 장치(또는 포인터)에 의해 구동되며, 포인터의 자세(또는 배향) 및/또는 위치는 디스플레이 표면과 관련된 기준 프레임(일반적으로 어스 프레임(earth frame, XEarth, YEarth, ZEarth)에 알려진다. 포인터는 사용자에 의해 수행되는 기구인데, 이는 사용자에 의해 위치되고 배향되며, 사용자가 방향을 가리킬 수 있게 하고, 커서는 객체/스크린 또는 디스플레이 표면 상에 포인팅을 마킹한다.
사용자에 의해 포인터로 전달된 모션에 따라, 스크린상의 커서의 위치와 배향을 결정하기 위하여, 본 발명의 원리는 포인터(111)(각각 112)에 의해 수행되는 "포인팅 벡터(pointing vector, p1)"(각각 p2)의 중간의 투사 표면(130)을 도입한다. 투사 표면(130)은 디스플레이 표면과 일치하거나 (도 1에 도시된 바와 같이) 다를 수 있다는 점을 명시한다. 투사 표면은 디스플레이 표면과 관련된 기준 프레임에서 기술되고 알려진다. 설명서에 추가로 지시되는 바와 같이, 투사 표면의 선택은 어플리케이션에 의존하고, 어플리케이션에 적절한 최고의 인체 공학적인 연출(rendition)을 얻기 위하여 선택될 수 있다. 또한, 그것은 사용자의 상황(context)의 기능으로 변화될 수 있고, 또한, 커서의 성분과 관련된 투사의 표면의 여러 모델을 사용하는 것도 가능하다. 또한, 이 투사 표면의 선택은 기준 프레임 내의 포인터의 배향 및/또는 위치 중에 가능한 정보에 의존한다.
본 발명은 기준 프레임(또는 가끔 지구 프레임(terrestrial frame))에서 주어진 이동식 포인터의 배향 데이터 및/또는 위치 데이터를 사용하여, 디스플레이 스크린 상의 커서의 위치 또는 변위 또는 배향을 계산한다. 이 방법은 디스플레이 표면 상의 커서의, 가령, 위치 상황 메뉴(contextual menus) 또는 배향 상황 메뉴에 의하여 어플리케이션을 구동하면서, 가령, 레이저 포인터에 의해 생성된 커서의 변위의 효과를 재현할 수 있다. 투사 표면의 선택은, 이동식 포인터의 변위와 디스플레이 표면상의 커서의 변위 사이의 관계를 수정할 수 있게 한다. 기준 프레임은 디스플레이 표면과 관련 있다. 디스플레이 표면은 대체로 지구 프레임에 고정되고, 따라서 이 기준 프레임은 지구 프레임과 대체로 일치한다. 이동식 포인터는 측정 수단에 의하여 기준 프레임으로 맵핑된다. 상기 수단은 상기 프레임 내의 포인터의 배향 및/또는 위치를 제공한다. 본 발명의 더 나은 이해를 위하여, 우리는 측정 수단을 두 카테고리로 분류하는 것을 제안한다. 첫 번째는 이동식 포인터에 탑재된 수단만을 사용하는 것이다. 가령, 조합하여, 기준 프레임 내의 포인터의 배향 또는 진정한 위치를 제공할 수 있는 가속도계, 자력계, 자이로미터와 같은 관성 및 자석 모션 센서를 인용할 수 있겠다. 두 번째 카테고리는 기준 프레임에 고정된 기기를 필요로 하는 수단을 포함한다. 예를 들어, 광학, 자석 또는 전자기적 수단, 음파 수단 또는 초음파 수단, 라디오 수단은 기준 프레임 내의 위치 및/또는 배향과 관련하여 이동식 포인터를 찾을 수 있도록 하고, 이들은 기준 프레임의 기기를 필요로 한다.
본 방법은 이동식 포인터 배향 데이터만이 사용 가능할 때 적용될 수 있으며, 이 경우에, 위치는 투사 표면에 대한 임의적인 방식으로 정의된다고 가정될 것이다. 마찬가지로, 위치 데이터만 알려진다면, 배향은 임의적 방식으로 알려진다고 가정될 수 있을 것이다. 포인터의 배향의 측정값을 얻기 위하여, 포인터를 설치하는 것이 대체로 더 간단하고 덜 비싸다. 따라서, 이것이 본 발명의 선호되는 시행 모드 중 하나이다. 그리고 나서, 포인터의 위치는 임의 방식으로 정의된다. 이동식 포인터의 프레임은 포인팅의 방향을 표시하는 벡터(p)에 의해 부여된다. 따라서, 포인팅 벡터(p)는 일반적으로, p가 이동식 포인터의 포인팅의 자연적인(인체 공학적인) 센스 및 방향으로 향하도록 이동식 포인터의 프레임내에 고정되도록 형성된다. 또한, 기준 프레임 내의 이동식 포인터의 프레임의 배향 및/또는 위치는, 벡터(p)에 수직인 평면에 속하는 제2 벡터(가령, 도 1에서 r1으로 표시되고, 포인터의 위치(111)에 해당함)의 정의를 통하여, 이동식 포인터의 배향의 제2 데이터 아이템을 제공할 수 있도록 한다. 이 제2 배향 벡터(r1)는, 적절하면, 디스플레이 표면 상의 커서의 배향을 계산할 수 있게 한다.
소위 "절대 포인팅(absolute pointing)" 모드에서, 직접 사용은 투사 표면 내에서, 포인트 121(위치(111)에서의 포인터에 대하여) 또는 122(위치(112)에서의 포인터에 대하여)의 좌표 및 선택적으로, 디스플레이 표면 내의 커서의 좌표를 얻기 위하여 투사 표면과 디스플레이 표면 사이의 변환부(transformation, 150)으로 만들어진다. 그러므로, 기준 프레임 내의 이동식 포인터의 물리적인 위치/배향에 대하여, 하나에 해당하고, 디스플레이 표면 내의 커서의 한 위치이다. 동일한 방법이 배향에 대해서 사용될 것이다.
이동식 포인터의 위치 및 배향과 관련된 데이터 아이템에 따른 121, 122의 계산은, 아래 기술된 바와 같이, 간단한 표면의 모델 및 이동식 포인터의 위치에 대한 가정에 대해 분석적으로 수행될 수 있다. 그리고 나서, 디스플레이 표면상의 커서의 변위의 계산이 분석적 공식 기반의 활용에 의하여 직접 시행될 수 있다. 제시된 계산은 많은 어플리케이션과 많은 인체 공학을 커버할 수 있게 한다. 그러나, 다른 투사 표면 및/또는 다른 경우를 가지고, 다른 경우도 커버할 수 있게 할 것인데, 여기서, 이동식 포인터의 위치 및/또는 배향과 관련된 데이터는 고려되어야 한다. 본 발명은 이들 다른 경우에도 일반화된다. 만일, 분석적 계산이, 가령, 복잡하거나 임의적인 표면에 대하여 시행되기에 복잡하거나 불가능하다면, 표면에 직선의 교차점을 계산하기 위한 수치적 절차를 사용할 수 있을 것이다(가령, 레이 추적 절차(ray tracing procedure)). 그리고 나서, 표면에 포인터의 교차점의 수치 계산은 커서 변위 계산으로 통합될 수 있다. 임의적인 표면을 처리할 수 있는 절차도 아래에 상세 설명된다.
시간에 걸쳐, 이동식 포인터의 연속적인 배향/위치(가령, 시간에 걸쳐, 포인터의 연속적인 위치 및 배향으로서 111 및 112에 의해 표시됨)는 스크린 상의 커서의 위치/배향으로 변환된다(101은 111에 해당되고, 102는 112에 해당됨). 이 절대 모드는 "절대" 모드에서 그래픽 태블릿에 의해 시행될 수 있는 것과 유사하다(태블릿상의 펜의 팁의 위치는 스크린상의 커서의 위치에 해당됨).
소위 "상대 포인팅(relative pointing)" 모드에서, 스크린 상의 커서의 위치는 디스플레이 표면 상의 위치를 증가시키는 연속적인 변위의 데이터에 의해 구동된다. 이러한 타입의 포인팅은 컴퓨터에 대한 마우스 타입의 포인팅 장치에서 매우 널리 발전된 것과 유사한다. 우리 발명에서, 이동식 포인터는 시간에 걸쳐, 연속적인 위치/배향을 취한다. 도 1은 이 원리를 나타낼 수 있게 한다. p1과 p2를 두 연속적인 찰나에 대한 이동식 포인터의 프레임과 관련된 방향 벡터로 한다. 121과 122는 투사 표면 상에서 이들 벡터(p1 및 p2)의 투사 포인트이다. 이들은 투사 표면과 관련된 미터법에서 차이 벡터(difference vector)(Δx, Δy)(131, 132로 표시함)를 형성하게 할 수 있다. 투사 표면으로부터 디스플레이 표면으로 (Δx, Δy)는 변환부(150)에 의하여 선택적으로 변환되고, 결과(101A, 102A)는 디스플레이 표면 상의 커서의 변위 (ΔxA, ΔyA)를 제어하는데 사용된다.
또한, 본 발명의 두 개의 주요 실시예는 다음 설명에서 자세히 묘사된다.
- 이하에서 설명되는 제1 절차에서, 커서의 위치 또는 변위는 기준 프레임에세 포인터의 자세 및/또는 위치에 기초하여 결정된다. 자세는 행렬(matrix) 또는 자세 쿼터니언(attitude quaternion) 또는 포인터의 자세의 다른 표현의 형태, 가령 오일러 각도 또는 짐벌 각도로 주어질 수 있다. 위치는 기준 프레임에서 포인터의 점의 좌표를 정의하는 벡터에 의해 주어질 수 있다.
- 제2 절차에서, 커서의 변위는 이동식 포인터의 자세 및/또는 각속도에 기초하여 결정된다. 커서의 변위는 지구와 관련 있는 프레임에서 측정된 각속도와 자세와 각속도에 기초하여 결정된다. 지구와 관련 있는 이 각속도 파라미터를 사용하기 위하여, 여러 해결책이 다음 설명에서 제시된다.
게다가, 포인터의 움직임의 도움으로 스크린상에서 커서의 배향을 제어할 수 있으므로, 커서의 이 배향 함수와 다른 함수를 개시할 수 있게 한다.
도 1에 도시된 바와 같이, 투사 표면상으로 p1과 수직인 벡터(r1)의 투사는 제2 벡터(141)을 제공한다. 따라서, 투사 표면(표면(130)의 미터법의 의미로)에 형성된 벡터(141)의 방향은 동일한 변환부(150)에 의하여 디스플레이 표면내의 커서의 배향을 구동할 수 있게 한다.
스크린상의 커서의 배향의 계산은 가령, 다음 방식으로 수행될 수 있다.
- 벡터(r1)는, 가령 이동식 포인터 자세 행렬(R)의 두 번째 또는 세 번째 열에 주어지고(p1은 첫 번째 열에 정의됨), 이러한 정의는 다음 설명에 추가로 설명된다.
- 투사 표면의 프레임의 커서의 배향을 결정하는 각도는 다음 식에 의해 계산될 수 있다.
Figure pct00001
여기서, r'1은 p1의 방향으로 투사 표면으로의 r1의 투사이고, "."은 스칼라 곱 연산자이며, XE, YE는 아래 기술된 도 5의 해설과 같이 투사 표면상에 프레임을 형성한다.
또한, 커서 배향 계산은 축상에서 측정된 각속도의 적분에 의해 수행될 수 있다.
여러 물리적인 장치와 알고리즘 타입이 자세, 자세의 각속도 및/또는 포인터의 위치 및/또는 변환을 추정하는데 사용될 수 있다.
우선, 가속도계(A), 자이로미터(G) 및 자력계(M)의 조합을 포함하는 포인터에 탑재된 관성 장치를 사용할 수 있다. 가속도계와 자력계는 각각 고정된 벡터인 중력장과 지구의 자기장에 관련하여 포인터의 배향을 측정할 수 있다. 그러나, 작은 변화(각각, 내재적인 가속도 변화와 주변 자기 변화)에 의해 영향을 받고, 이는 보정되어야 한다. 자이로미터는 포인터의 움직임의 고유 각속도를 측정한다. 일반적으로, 자이로미터는 주목할만하고 일시적인 드리프트(drift)에 영향을 받는데, 이는 보정되어야 한다. 이들 센서는 미세 전자 기계 시스템(MEMS) 기술일 수 있는데, 이는 선택적으로 일체형 또는 비일체형으로 생산된다. 각 유형의 센서는 하나, 둘 또는 세 개의 축을 포함할 수 있다. 어떤 실시예에서, 만일 작은 변화 또는 일시적인 드리프트가 무시할만 하여, 본 발명에 필요한 배향에 관한 최종 데이터 아이템이 충분히 정확하다면, 센서의 한 유형은(이 경우 세개의 축)이 사용될 수 있거나 또는 또 다른 유형의 센서의 도움 없이 보정될 수 있다. 그러나, 바람직한 방식으로, 센서의 적어도 두 유형읜 센서의 조합(AG, MG 또는 AM)이 사용될 것이다.
이들 세 유형의 센서는 주로 배향을 더 우수하게 추정할 목적으로 상호 보완적인 정보를 얻는다.
- 자이로미터의 3-축 버전은 세 개의 DOF(자유도)와 관련하여 각속도의 측정을 제공하고, 각속도를 적분함에 의하여 자세를 추정할 수 있다. 그러므로, 주어진 배향에 대한 상대 배향을 계산할 수 있다. 배향을 추정하는 이 원리는, 만일 자이로미터 단독으로 사용된다면, 적분 연산 때문에 드리프트되기 쉽다.
- 3-축 가속도계는 지구 프레임(롤 및 피치)에 대한 절대 각 정보의 2 아이템을 제공하나, 동시에 모션-관련된 가속도 파라미터를 측정하기 때문에 모션이 준정적(quasi-static)이 아닐 때 작은 변화가 생길 수 있다.
- 3-축 자력계는 지구 프레임에 대한 2 절대 각 자유도(이는 피치의 다른 각도를 가진 요와 롤의 조합임)를 제공하나, 환경의 자기적 작은 변화가 생길 수 있다.
자이로미터에 관하여, 가령, ADXRS300TM을 참고하여 Analog DevicesTM 또는 InvensenseTM에서 나온 ITG3200TM 또는 STMTM에 의해 공급된 자이로미터에 의해 공급된 자이로미터를 사용할 수 있다.
가속도계에 관하여, 가령, Analog DEvices에서 나온ADXL103, STM에서 나온 LIS302DL을 참조한 가속도계를 사용할 수 있다. FreeScalTM, KionixTM도 이러한 센서를 공급한다.
자력계에 관하여, 가령, HoneywellTM 회사에서 나온 HMC1001TM 또는 HMC1052 또는 HMC1053을 참조한 자력계를 사용할 수 있다. AKMTM도 마이크로자력계(AK8973, AK8974, AK8976)을 공급한다.
다양한 알고리즘이 작은 변화를 보정하는데 사용될 수 있고, 다양한 우형의 센서의 신호를 합치는데 사용될 수 있으며, 자세를 추정하는데 사용될 수 있다(가령, 공개된 국제 출원 번호 제WO2010/007160하에서 개시된 것, 상기 출원의 소유자 중 한 명은 본 출원의 소유자임).
이들 유형의 센서에 기초하여 배향을 계산하기 위한 모듈에 관하여, MoveaTM 회사에서 나온 제품 또는 XSensTM 회사에서 나온 제품 또는 InertiaCibeTM 제품 계열인 IntersenseTM을 참조할 수 있을 것이다.
이동식 포인터에 탑재된 관성 센서에 기초한 시스템에 의하여, 궤적을 추정할수도 있어서, 포인터의 임의의 시작점에 대한 위치도 추정할 수 있다.
커서의 위치를 계산하기 위하여 배향 측정 및/또는 위치 측정의 절차가 계산 모듈에서 수행된다. 계산 모듈은 이동식 포인터에 탑재되거나 디스플레이 표면에 연결된 컴퓨터(가령, PC 또는 셋톱박스)에 오프로드될 수 있다. 마이크로프로세서에 대해서는, 계산 시간과 관련하여 가장 수요가 높은 어플리케이션을 위하여 가령, Texas InstrumentsTM TMS320VC5509TM DSP 또는 가령, STR9TM 계열에서 나온 것들 중 하나인 ARMTM을 포함하는 32-비트 마이크로컨트롤러, 주로 STM에서 나온 STR9F12FAW32TM이 인용될 것이다. 또한, 계산 모듈은 실행될 코드 및 요구될 영구 데이터를 저장하기 위해 요구되는 플래시 메모리 및 동적인 워크 메모리를 포함한다. 센서에서 발생하거나 이동식 포인터에 탑재되어 프로세싱된 신호들은 또 다른 마이크로프로세서로 전송되고, 대체로 그 중 하나는 어플리케이션을 실행시키고 디스플레이 표면을 관리한다. 상기 어플리케이션은 커서에 의해 제어되는데, 상기 커서의 변위는 포인터에 의해 제어된다. 전송은 블루투스 파장 및 프로토콜 또는 Wi-Fi 파장 및 프로토콜(802.11g 표준) 또는 RF4CE 표준에 따라, 라디오주파수 경로에 의해 발생될 수 있다. 또한, 전송은 적외선 경로에 의해 수행될 수 있다. 프로세싱은 어플리케이션 플랫폼의 마이크로프로세서 및/또는 포인터에 탑재된 마이크로프로세서에 걸쳐 다양한 방식으로 분포될 수 있다.
위치, 자세 또는 배향의 각속도를 추정하기 위하여, 아래 인용된 것과 같은 다른 시스템을 사용할 수 있다.
- 광학 시스템은 발광 다이오드(LED), 다른 적외선 마커 또는 센서를 포함한다. 이러한 유형의 시스템은 CodaMotionTM 또는 ViconTM 브랜드에서 판매된다. 이러한 시스템에서, 자세 또는 배향의 각속도를 추정할 수 있게 하는 알고리즘은 주로 감지된 신호의 전력, 도착 각도 또는 그 위상을 주로 사용할 수 있다.
- 자기적 시스템은 스크린의 환경에서, 포인터의 외부에 위치되는 자기적 소스를 포함하는데, 상기 포인터는 자기적 소스에 적합한 자력계가 설치된다. Asscencion TechnologyTM 또는 PolhemusTM에서 나온 장치를 참조할 것이다.
- 초음파 시스템은 하나 이상의 초음파 에미터/리시버를 포함하는데, 상기 에미터 또는 에미터들은 포인터에 내장 탑재되고, 리시버는 스크린 상에 고정된다. 자세 또는 배향의 각속도를 추정할 수 있게 하는 알고리즘은 리시버(가령, Intersense에서 나온 IS-900 시스템)에 의해 수신된 음파의 상관화 또는 비상관화를 주로 사용할 수 있다.
시스템은 하나 이상의 라디오주파수 파장을 포함하는 라디오주파수 파장 에미터/리시버를 사용하하는데, 에미터 또는 에미터들은 포인터에 내장 탑재되고, 리시버는 스크린 또는 컨버스의 주변에 고정된다. 이들 에미터/리시버는 주로 울트라 광역 밴드(UWB)일 수 있다. 자세 또는 배향의 각속도를 추정할 수 있게 하는 알고리즘은 도착 각도에 해당하는 신호, 수신된 신호의 진폭 및 도착 시간 또는 위상의 합을 주로 사용할 수 있다.
비디오 시스템은 스크린의 주변에 설치된 하나 이상의 비디오 카메라를 포함한다. 자세 또는 배향의 각속도를 추정할 수 있게 하는 알고리즘은 비디오 카메라에서 추출된 포인터 모션의 이미지를 분석 및 프로세싱한 것을 주로 사용할 수 있다.
도 2a, 2b 및 2c는, 본 발명의 실시예에서, 기준 프레임 내의 포인터 및 수직면 투사 표면을 사용함에 의해 수행된 방향 벡터의 요(yaw)의 각도 및 피치(pitch)의 각도에 기초하여, 커서의 변위 파라미터 또는 위치 파라미터를 결정하는 원리를 나타낸다.
상기 도면에서, 포인터의 위치는 임의적으로 고정된다고 가정한다. 일반적인 경우에, 시간이 지남에 따라 변할 수 있다. 이 도면은 가령, 배향 측정값이 위치 측정값 없이 사용가능한 경우에 해당한다. 이동식 포인터의 배향만 측정된다. 제시된 원리는 임의로 고정되지 않은 가변적인 포인터 위치를 측정하는데 적용할 수 있게 된다.
도 2에 도시된 모드에서, 디스플레이 표면상의 커서의 위치는 다음 방식으로 계산된다. 교차점은 포인터와 관련된 벡터(p)(가령, p1, p2)에 의해 전달된 직선과 투사 표면(여기서는 평평한 표면임)으로 계산된다. 직선의 방향 벡터는 벡터(p1, 211)(각각, p2는 212)이다. 투사 표면과 직선의 교차점은 이동식 포인터의 두 연속적인 배향에 해당하는 두 방향 벡터(p1 및 p2)에 대한 점(211 및 222)에 의해 표시된다.
지구와 관련 있는 프레임에 대한 포인터의 자세를 정의하는 회전 행렬(R)(또는 쿼터니언 q)을 생각하면, 여기서, 기준 프레임으로서 "어스 프레임"을 취한다. R은 이동식 포인터 배향 측정 장치에 의해 제공된다.
3D 포인터 벡터,
Figure pct00002
,
Figure pct00003
을 생각한다. 간결성을 위하여 그리고, 관례에 따라, p는 포인터와 관련된 벡터(x)와 일치한다고 가정하고, 정의는 비제한적이고, 당업자의 범위 내에서, 또 다른 적절한 정의에 의해 대체될 수 있다. 어스 프레임과 관련하여, p는 행렬(R)의 첫 번째 열이다.
포인터가 배향(p1)에서 배향(p2)로 이동될 때, 투사 표면(여기서는 수직 평면)상에 221에서 222로 교차점의 점의 변위를 (Δx, Δy)(231, 232)로 한다. 일반성을 제한하지 않으면서 간경성을 위하여, 이 도면에서, 결정될 필요가 있는 디스플레이 표면상의 커서의 변위와 투사 표면상의 교차점의 변위 사이에 개체 변환(identity transformation)이 발생할 것이다. 일반적으로, Δx는 수평면이고, Δy는 수직면이다.
일반적인 경우에(투사 표면이 평면이 아닐 때), Δx 및 Δy는 반드시 직선의 세그먼트(segment)일 필요는 없으나 곡선 요소상에 곡선적인 거리(가령, 원호)일 수 있다.
두 각도를 생각한다. p와 관련 있는
Figure pct00004
(요) 및
Figure pct00005
(피치)이다.
Figure pct00006
도 2a, 2b 및 2c는 요
Figure pct00007
에 따라, 피치
Figure pct00008
에 따라 기본적인 변위의 함수로서 각 표면 상의 차이가 도시된다.
Figure pct00009
Figure pct00010
는 상기 표시된 바와 같이,
Figure pct00011
에 기초하여 결정될 수 있다.
다음 공식을 통해 변위 Δx 및 Δy를 계산할 수 있다.
Figure pct00012
요 또는 피치가
Figure pct00013
로 접근할 때, 커서의 변위는 절대항에서 증가하고, 무한대로 가는 경향이 있다.
G는 포인터와 평면 사이의 거리에 의존하는 상수이고, 따라서, 주어진 포인터에 대한 임의의 위치와 관련된다. 그것은 포인터의 각 변위와 커서의 변위 사이의 비율을 조절할 수 있게 한다.
도 3a, 3b 및 3c는, 본 발명의 실시예에서, 포인터의 요의 각도 및 피치의 각도를 원통형 투사 표면에 대한 커서의 모션으로 변환하는 단계를 도시한다.
이 도면에서, 포인터의 위치는 임의적으로 고정된다고 가정한다. 일반적인 경우에, 시간이 지남에 따라 변할 수 있다. 이 도면은 가령, 배향 측정값이 위치 측정값 없이 사용가능한 경우에 해당한다. 이동식 포인터의 배향만 측정된다. 제시된 원리는 임의로 고정되지 않은 가변적인 포인터 위치를 측정하는데 적용할 수 있게 된다.
간결성을 위하여, 포인터의 위치는 원통의 축 상에 임의적으로 고정된다고 가정한다. 원리는 동일하고, 위치를 이동할 수 있는 포인터의 경우에 대해 본 발명을 일반화 하기 쉬울 것이다. 제시된 조건하에서, 분석적으로 계산을 시행할 수 있다.
수평 Δx (331)을 따르는 커서의 변위는 요에 따른 이동식 포인터의 회전에 비례한다. 다음 공식으로 변위 Δx 및 Δy(331 및 332)를 계산할 수 있다.
Figure pct00014
커서의 변위(수직 Δy(332)을 따라)가 절대항에서 증가하고, 피치가
Figure pct00015
로 접근함에 따라, 무한대로 가는 경향이 있다.
이 경우에, Δx(331)는 사실상 곡선적 길이이다. 여기서, 포인터는 원통의 중앙에 위치된다고 가정한다. G는 포인터와 원통 사이의 거리와 같은데, 즉, 실린더의 반지름과 같다.
도 4a, 4b 및 4c는, 본 발명의 실시예에서, 포인터의 요의 각도 및 피치의 각도를 구형 투사 표면에 대한 커서의 모션으로의 변환을 나타낸다.
이 도면에서, 포인터의 위치는 임의적으로 고정된다고 가정한다. 일반적인 경우에, 시간이 지남에 따라 변할 수 있다. 이 도면은 가령, 배향 측정값이 위치 측정값 없이 사용가능한 경우에 해당한다. 이동식 포인터의 배향만 측정된다. 제시된 원리는 임의로 고정되지 않은 가변적인 포인터 위치를 측정하는데 적용할 수 있게 된다.
간결성을 위하여, 포인터의 위치는 구의 중심에 임의적으로 고정된다고 가정한다. 계산 원리는 동일하고, 위치를 이동할 수 있는 포인터의 경우에 대해 본 발명을 일반화 하기 쉬울 것이다.
수평 Δx (431)을 따르는 커서의 변위는 요에 따른 회전에 비례하고, 피치가
Figure pct00016
로 접근함에 따라 제로가 된다. 수직 Δy(432)을 따르는 커서의 변위는 피치에 비례한다. 다음 공식으로 변위 Δx 및 Δy(431 및 432)를 계산할 수 있다.
Figure pct00017
이 경우에, Δx(431) 및 Δy(432)는 곡선적인 길이이다. 그래서, 포인터는 구의 중심에 위치하는 것으로 가정한다. G는 포인터와 구 사이의 거리와 같은데, 즉, 구의 반지름과 같다.
도 5a, 5b 및 5c는, 본 발명의 실시예에서, 포인터의 요의 각 및 피치의 각을 작은 면 요소에 의해 근사화된 임의의 투사 표면에 대해 커서의 모션으로 변환한 것을 나타낸다.
임의의 표면은 작은 평평한 표면에 의해 포인터의 각 위치/배향에 대해 근사화되는데, 도 5a, 5b 및 5c는 커서의 위치 또는 변위를 결정하는 원리를 제시한다.
커서의 위치를 계산하기 위하여, 교차점은 벡터(p)에 의해 전달된 직선과 투사 표면으로 계산된다. 기초 표면은 프레임 (XE,YE)에 의해 형성된다고 상정한다.
- XE는 수평(즉, XE // 평면(XEarth, YEarth) )적이다. 이는 ZEarth 의 성분이 영에 따른다는 사실에 의해 나타난다. 그래서,
Figure pct00018
이다.
- YE는 수직 평면이고, XE에 수직이다. 이는 (XEarth,YEarth)의 성분이 XE에 수직이라는 사실에 의해 나타난다. 그래서,
Figure pct00019
이다.
아래로 향하는 YE
Figure pct00020
일 필요가 있다.
다음 공식으로 변위 Δx 및 Δy(531 및 532)를 계산할 수 있다.
Figure pct00021
여기서,
- 상기 기술된 바와 같이, p1과 p2는 포인터의 두 연속적인 배향을 정의하는 벡터이다.
-
Figure pct00022
는 겨냥된 표면에 대해 수직인 벡터이다.
-
Figure pct00023
는 기초 표면(가령,
Figure pct00024
)에 속하는 점이다.
- "
Figure pct00025
"와 "."는 각각 벡터곱과 스칼라곱을 나타낸다.
임의의 투사 표면의 상기 원리의 예시적인 실현에 의하여, XEarth
Figure pct00026
에 수직인 수직면 투사 표면인 경우, 아래에 계산이 자세히 설명된다.
즉, XE = [0 1 0]T 및 YE = [0 0 -1]T 이다.
Figure pct00027
따라서, 우리는 도 2a, 2b 및 2에 의해 도시된 경우와 동일한 공식을 얻는다.
축을 따라서, 수직 원통의 평면 기초 표면의 경우에, ZEarth 은 임의의 투사 표면의 상기 원리의 예시적인 실현에 의해 기술된다.
Figure pct00028
(근사화 p1.p2->1이 작은 변위의 경우에 사용될 것임)에서,
즉,
Figure pct00029
이다.
Figure pct00030
작은 변위 근사와 (p1.p2->1)의 프레임워크에서, 도 3a, 3b 및 3c에 의해 도시된 경우가 얻어진다.
도 6a, 6b 및 6c는, 본 발명의 실시예에서, 포인터의 요의 각 및 피치의 각을 평평한 표면에 의해 근사화된 구형 표면 상의 커서의 모션으로 변환한 것을 나타낸다.
Figure pct00031
(근사화 p1.p2->1이 작은 변위의 경우에 사용될 것임)에서,
Figure pct00032
Figure pct00033
이다.
다음 공식으로 변위 Δx 및 Δy(631 및 632)를 계산할 수 있다
Figure pct00034
작은 변위 근사와 (p1.p2->1)의 프레임워크에서, 도 4a, 4b 및 4c에 의해 도시된 경우가 얻어진다.
본 발명에서 기술된 방법은 포인터의 각속도를 사용하는 것도 제안한다.
도 7은 본 발명의 실시예에서, 평평한 표면으로 투사되는 포인터의 자세의 각속도 성분에 기초하여 커서의 모션을 계산하는 것을 나타낸다.
예를 들어, 포인터의 각속도는 센서 프레임에서 측정된 각속도에 기초하여 결정될 수 있다.
우리는 센서에 의해 측정되고, 어스 프레임에서의 자세에 의해 재계산된 각속도를 사용한다.
Figure pct00035
포인터의 각속도는 미분 연산에 의해, 포인터의 자세에 관한 데이터에 기초하여서도 결정될 수 있다.
포인터의 자세는 쿼터니언 q(t)=[q0 q1 q2 q3]T 에 의해 제공되고, 포인터의 각속도는 다음 공식에 의해 주어진다.
Figure pct00036
여기서,
Figure pct00037
이고,
Figure pct00038
는 쿼터니언의 곱을 나타내고,
Figure pct00039
Figure pct00040
의 컨쥬게이트이다.
가령, 상기 원리에 의하여 결정된 포인터 각속도를 기초로 하여, 우리의 커서의 변위 Δx 및 Δy(731 및 732)를 결정하고, 성분
Figure pct00041
에 의한 임의의 변위를 피하는 것이 적절하다. 사실상, 롤은 어떠한 커서 변위를 야기하지 않아야 하는데, 이는 타당하지 않을 것이다.
도 7에 의해 도시된 첫 번째 해결책은
Figure pct00042
을 영으로 설정하고, 지구와 관계 있는 프레임에서의 변환을 수행하는 것이다. 우리는,
Figure pct00043
을 계산한다.
여기서, Rx는 첫 번째 열을 영으로 대체한 R과 동일하다.
다음 공식을 통하여 p에 의해 겨냥된 임의의 기초 표면을 따라, 커서의 변위Δx 및 Δy(731 및 732)를 계산할 수 있다.
Figure pct00044
여기서,
Figure pct00045
Figure pct00046
는 p의 함수가 될 수 있는 이득이다.
도 8에 도시된 두 번째 해결책은 기초 표면상의 변위 (Δx 및 Δy)를 결정하는 것이고, 이는 항상 포인터 p에 수직으로 발생한다. 그래서,
Figure pct00047
이다.
이 선택은 Δx 및 Δy에 대하여 포인터의 롤 회전의 영향을 제거할 수 있게 하는데, 이는 표면이 포인터에 수직이기 때문이다. 이 기초 표면은 중심인 포인터에서 구의 일부를 형성한다. 그리고 나서, 다음 공식으로 커서의 변위 (Δx 및 Δy)(831, 832)가 계산된다.
Figure pct00048
도 9는 본 발명의 실시예에서, 이전의 구형 모델에서의 커서의 변위를 또 다른 표면에서의 변위로 변환하기 위하여 이전 결과의 가능한 변환을 나타낸다.
도 9에 도시된 바와 같이, 이 원리는, 계산된 변위 Δx , Δy가 어떤 표면에 맞춰지기 위하여 이후에 변환될 수 있는데, 가령, 각속도에 비례한 변위에 대해 일반적일 수 있다고 한다. 따라서, 원통형 표면 모델은 처음에 구에 대해 계산된 Δx를 변환하는데 사용된다. 따라서,
Figure pct00049
Figure pct00050
는 롤이 제거되었으므로, 결정된다면, 변위를 또 다른 표면을 변환하는 등가적인 방식이 가능하다.
도 10a 및 10b는 본 발명에서, 한 표면에서의 커서의 위치/변위를 또 다른 표면에서의 위치/변위로 변환하기 위한 가능한 투사를 나타낸다.
커서의 위치가 주어진 표면에 대해 결정된다면, 다른 표면으로 커서를 변환/투사하는 것도 가능하다. 변환은 병진, 회전, 반사/대칭 또는 척도 인자로 구성될 수 있다.
원근 투사(perspective projection)에 의한 변환도 적용될 수 있다. 이들 변환은 2D 스크린상에 3D 포인팅 표명을 투사하여, 투사는 시각으로부터 사람의 눈의 지각에 해당한다. 원근 투사의 여러 종류가 존재하는데, 가령, 카발리어(cavalier), 프론털(frontal), 오블리크(oblique), 아리얼(aerial), 이소메트릭(isometric), 디스크립티브 지오메트릭 퍼스펙티브(descriptive geometric perspective) 등이 있다. 다양한 툴은 OpenGL®과 같은 이들 그래픽적인 투사를 효율적으로 관리할 수 있게 한다.
이러한 투사의 이점은, 3D 표면을 향하는 동일한 포인팅에 기초하여, 다양한 시점과 관련 있는 스크린 상의 커서의 변위/위치를 결정할 수 있다는 것이다.
투사는 반드시 수직일 필요는 없고, 필요에 따라 측정법에 수정을 가할 수 있다. 예를 들어, 각속도에 의해 주어진 변위는 임의의 기하학적 표면에 해당하지 않으나, 변위의 원근 투사가 구(sphere)로 될 수 있다.
포인터의 자세(도 2a, 2b, 3c, 3a, 3b, 3c, 4a, 4b, 4c, 5a, 5b, 5c, 6a, 6b, 6c) 또는 포인터의 각속도(도 7, 8, 9)에 기초하여 계산된 커서의 변위는 두 경우에서 포인터의 변위와 배향을 사용한다.
아래에 제시된 바와 같이, 이들 두 파라미터는,
- 두 포인터(p1 및 p2)의 (또는 좀 더 일반적으로, 매트릭스(R1 및 R2)의 형태인 자세 또는 쿼터니언(q1 및 q2)의 형태인 것등의) 관측;
- 각속도 ω및 초기 자세 R1/q1(또는 최종 자세 R2/q2)의 관측에 의하여 결정될 수 있다.
그러므로, 이들 두 절차는 등가이다. 사실, p1 과 p2를 알고, 상수로 가정되는 각속도
Figure pct00051
를 결정할 수 있다.
Figure pct00052
여기서,
Figure pct00053
는 벡터 곱이고 dt는 시간 간격이다.
반대로,
Figure pct00054
와 초기 자세 R1/q1(각각, 최종 자세 R2/q2)가 주어진면, 초기 포인터(p1)(각각, 최종 포인터 p2)를 결정할 수 있다. 예를 들어, 상수
Figure pct00055
및 시간 간격 dt 에 대하여, 축
Figure pct00056
에 대한 각
Figure pct00057
에 의하여 포인터(p1)의 회전에 대하여(각각, 각도 -
Figure pct00058
에 의하여 p2), p2(각각, p1)를 결정할 수 있다.
Figure pct00059
상기 기술된 모든 실시예에서, 커서의 제어는 상대 모드에서 계산된다. 도 1에 대한 설명 및 아래 상세한 설명에 표시된 바와 같은 원리에 의하여 절대 모드에서 커서를 제어하는 것도 가능하다.
어떤 경우에, 스크린의 직접적인 좌표를 사용함에 의하여 스크린의 커서를 제어할 수 있다. 스크린은 , 가령, 직교 좌표계(OE,XE,YE), 원통 좌표계
Figure pct00060
또는 구 좌표계
Figure pct00061
또는 다른 좌표계를 사용하여 기준의 프레 2-차원 프레임에서 맵핑된다.
좌표계의 선택은 본질적으로, 커서의 맵핑을 용이하게 하기 위하여, 겨냥된 스크린의 표면의 성질에 의존한다.
예를 들어,
- 평평한 표면은 2D 직교 좌표계에 의해 실제로 맵핑된다.
- 원통형 표면은 2D 원통 좌표계에 의해 실제로 맵핑된다.
- 임의의 표면(
Figure pct00062
에 의해 정의된)은 (OE,Cx(m),Cy(m))의 좌표계에 의해 맵핑되는데, 여기서,
o Cx(m)은 f(.)=0에 속하는 m에 의해 파라미터화된 커브이고, 가령
Figure pct00063
은 수평면과 표면의 교차점이다.
o Cy(m)은 f(.)=0에 속하는 m에 의해 파라미터화된 커브이고, 가령,
Figure pct00064
은 수직면과 표면의 교차점이다.
첫 번째 예인 임의의 평면은 오직 도면에 의해 주어진다. 2D 직표 프레임(OE,XE,YE)에 의해 정의된 임의의 평면을 생각하면, 여기서,
- OE 는 평면에 속하고 시간에 따라 불변이다.
-
Figure pct00065
는 수평적이다(
Figure pct00066
-
Figure pct00067
는 수직면에 속하고 XE에 수직이다.
포인터 p=[px py pz]T의 함수로서 스크린 상에 커서의 좌표를 결정하기 위하여, 우리는 다음 공식을 사용한다.
Figure pct00068
수직면의 경우에서, OE= [G 0 0]T, XE= [0 1 0]T, YE= [0 0 -1]T으로 우리는
Figure pct00069
을 얻는다.
두 번째 예인 수직 원통은 오직 도면에 의해 주어진다. 2D 원통 프레임(OE,
Figure pct00070
,YE)에 의해 정의된 임의의 평면을 생각하면, 여기서,
- OE 는 원통의 중심에 있다.
-
Figure pct00071
는 간격 [0 2Π]에서 원통축에 대한 커서의 위치를 정의하는 평면에서의 각도이다.
- YE = [0 0 1]T 는 워ㅌ옹의 수직 방향이다.
포인터 p=[px py pz]T의 함수로서 스크린 상에 커서의 좌표를 결정하기 위하여, 우리는 다음 공식을 사용한다.
Figure pct00072
마지막으로, 구의 두 번째 예는 오직 도면에 의해 주어진다. 2D 원통 프레임(OE ,,
Figure pct00073
,
Figure pct00074
)에 의해 정의된 임의의 평면을 생각하면, 여기서,
- OE 는 구의 중심에 있다.
-
Figure pct00075
는 간격 [0 2Π]에서 구의 수직축에 대하여 구 상의 커서의 위치를 정의하는 평면에서의 각도이다.
-
Figure pct00076
= [0 0 1]T 는 간격 [-Π/2 Π/2]에서 구의 수직축과 커서 사이의 각도이다.
포인터 p=[px py pz]T의 함수로서 스크린 상에 커서의 좌표를 결정하기 위하여, 우리는 다음 공식을 사용한다.
Figure pct00077
Δx 및 Δy가 일단 결정되면, 우리는 아래에 정의된 것과 같이, 제한된 포인팅(limited pointing) 또는 슬라이딩 포인팅(sliding pointing)을 하는 것을 선택해야 한다.
지구와 관련 있는 두 프레임을 R1 R2로 놓고, 원점을 포인터에 위치시킨다. R1은 불변으로 유지하고, 포인터의 변환만 경험하는 반면, R2 는 커서가 스크린에서 탈출하자마자 포인터의 동일한 회전을 경험한다.
제한된 포인팅은 R1에서 포인팅을 재현하는 것을 포함하여, 겨냥된 영역이 공간에서 가변되지 않는다.
슬라이딩 포인팅은 R2에서 포인팅을 재현하는 것을 포함한다. 이 포인팅으로, 겨냥된 영역은 포인터를 마주하면서 슬라이딩된다.
R1 및 R2는 임의의 시간에서 재초기화될 수 있다.
PC의 커서는 상대적인 변위를 통하여 입력이 제공되는 것이 일반적이다. 제한된 포인팅은 스크린 상의 커서의 순간적인 위치를 회복할 수 있다면 가능하다. 스크린 상에 커서의 좌표를 회복하기 위한 두 개의 수단이 있다.
첫 번째 수단은 어떠한 에러 소스 없이, PC의 입력부에서 커서의 전체 변위를 합산하는 것이다. 그래서,
- 전체값을 합산하는 것이 필요하다.
- 또 다른 포인터(가령, 또 다른 마우스, 터치패드)가 커서를 이동시키는 것을 막는 것이 필요하다.
두 번째 수단은 강제로 가령, Δx = + ∞, Δy = + ∞와 같이, 포인터를 포화시켜서, 커서를 왼쪽위로 위치시키는 것이다. 그리고나서, 커서를 원하는 픽셀로 다시 제자리로 놓는다. 이 두 번째 수단은 포인터를 재초기화하는데 실용적이나, 연속적인 모드에서 이를 실제로 사용할 수 없다.
제한된 포인팅을 사용하여, 드리프트 없이 포인터의 절대 자세로 액세스할 필요가 있다. 드리프트의 문제점은 종종 수행되는 재초기화에 의해 감소될 수 있다. 예로서, 가능한 절차는,
- 자세 추정에 의하여, 커서의 변위의 합산 ∑ Δx 및 ∑ Δy를 계산하는 단계;
- 요와 피치에 따라 입체각(solid angle)에 의해 스크린의 차원(dimension)을 정의하는 단계로 구성된다.
- 요가 제한값을 초과하자마자 Δx를 영으로 리셋하고, 피치가 제한값을 초과하자마자 Δy를 영으로 리셋할 필요가 있다. 요의 각도 또는 피치의 각도 중 어느 하나가 그 제한 간격을 탈출하자마자 Δx 및 Δy를 영으로 셋팅할 수도 있다.
- 자세가 다시 입체각의 간격 내에 있다면,
■ 현재 자세에 따라서, 배향의 각속도를 사용하여 포인터는 재초기화된다.
■ 자세(요 및/또는 피치)가 제한 간격의 외부에 있을 때에도, 계산된 전체 변위가 축적된 이후에 포인팅은 지속된다( ∑ Δx 및 ∑ Δy는 커서의 변위와 무관하게 계산된다).
주어진 표면에 현실적인 절대 포인팅을 재현하기 위하여, 포인터에 대한 이 표면의 위치/차원 및 기울기/배향을 확인할 필요가 있다. 이들 파라미터의 셋팅은 처음에 보정될 수 있다. 예를 들어, 평면 스크린을 정의하기 위하여, 스크린에 수직 뿐만 아니라 대각선을 양단을 겨냥한다. 이 예시적인 실시예는 스크린 상에 포인터를 나타내지 않으면서, 타겟/시야가 필요한 비디오 게임에 유용하다.
상기 정의된 것과 같은 슬라이딩 포인팅을 수행하기 위하여, 간단히 포인터에 Δx 및 Δy를 넣는 것이 필요하다. 이 경우에, 겨냥된 영역은 스크린상에 디스플레이된다고 가정한다. PC의 스크린상의 커서가 스크린으로부터 이탈되는 경우에, 겨냥된 새로운 영역이 스크린상에 디스플레이될 것이다.
요에서의 드리프트가 존재하는 어떤 경우에(가령, 가속도계 및 자이로미터에 제한된 자세 유닛으로), 세미-절대 포인팅을 수행할 수 있는데, 여기서, 요
Figure pct00078
에 따라 상대 포인팅 및 피치
Figure pct00079
에 따라 절대 포인팅을 수행한다.
본 발명의 다양한 실시예는 (자세를 추정함에 의하여, 또는 각속도를 사용함에 의하여) 커서의 변위를 결정하는 모드, (제한된 또는 슬라이딩) 포인팅의 모드 및 (지구 프레임에서 주어진 경사의 평면 표면, 원통형 표면 또는 구를 향하여 포인팅하면서) 커서의 변위의 표면의 조합을 통하여 결정될 수 있다. 이들 다양한 조합은 어떤 응용에 대해 인체 공학적인 이점을 나타낸다.
따라서, 평면을 향하는 절대 포인팅은 특히 비디오 게임에 적절하다. 원통을 향하는 절대 포인팅은 스피드 및/또는 반사를 요하는 훈련 게임에 매우 적절하다. 구를 향하는 절대 포인팅은 투사 응용에 이로울 수 있다. 다양한 표면을 향하는 절대 포인팅의 사용은 가령, 군사적 사용을 시뮬레이션 연습하거나 임의의 표면에 레이저 위치의 포인팅을 시뮬레이트하는데 이로울 수 있다.
커서의 변위가 포인터의 회전 속도에 비례하는 원통을 향하는 슬라이딩 포인팅은 특히 PC를 위한 마우스 장치 또는 텔레비전 원격 제어기에 적절하다.
일반적으로, 제한된 포인팅 모드로 자세의 추정을 사용하는 것과 슬라이딩 포인팅 모드로 각속도를 사용하는 것을 조합할 것이다.
본질적으로, 우리는 실시예를 기술하였고, 여기서, 포인터는 기준 프레임에서 임의의 위치에 있다. 이에 의해, 우리는 완전하고 분석적인 계산을 시행할 수 있다. 본 발명의 사용에 의해, 포인터가 상기 프레임에서 움직일 때, 쉽게 일반화할 수 있다. 또한, 하나의 시퀀스 및 동일한 시퀀스를 사용하는 동안 시퀀스의 상황에 관련되어, 투사 표면을 바꿀 수 있어서 유리하다. 또한, 도 9에 도시되고 설명된 바와 같이, 제어되는 축에 따라 다양한 투사 표면을 선택할 수 있어서 유리하다.
상기 기술된 예는 본 발명의 설명에 의해 주어진다. 이들 설명은 본 발명의 영역을 제한하지 않고, 청구항에 의해 정의된다.

Claims (19)

  1. 공간에서 움직이는 이동식 포인터(111, 112)를 사용하여 디스플레이 표면(100) 상의 커서(101, 102)를 특징 짓는 제1 파라미터를 제어하는 방법에 있어서, 상기 제1 파라미터는 상기 커서의 변위, 위치 및 배향을 포함하는 그룹에서 선택되고, 상기 방법은 포인터와 관련 있는 프레임의 적어도 하나의 제2 파라미터를 결정하는 단계를 포함하고, 상기 적어도 하나의 제2 파라미터는 상기 프레임의 자세, 위치 및 각속도를 포함하는 그룹에서 선택되며, 벡터(p)는 상기 프레임과 관련되며, 상기 방법은, 상기 벡터(p)에 의해 전달된 직선과 투사 표면(130)과의 하나 이상의 교차점을 사용함에 의하여 상기 제1 파라미터를 계산하는 단계를 더 포함하되, 상기 투사 표면(130)은 기설정되고, 상기 디스플레이 표면(100)과 구별되며, 상기 계산하는 단계는 상기 제2 파라미터의 적어도 일부를 입력으로서 수신하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 제1 파라미터의 적어도 일부는, 교차점을 고려해 볼때, 투사 표면과의 교차점에서 상기 투사 표면과의 접평면에 속하는 점의 적어도 하나의 위치에 의해 형성된 투사 표면(130)을 묘사하는 단계에 의해 계산되는 것을 특징으로 하는 방법.
  3. 제 1 항 또는 제 2 항 중 어느 한 항에 있어서, 투사 표면(130)의 묘사는 포인터의 변환 함수 또는 컨텍스트의 변환 함수에 따라 변하는 것을 특징으로 하는 방법.
  4. 제 1 항 또는 제 3 항 중 어느 한 항에 있어서, 투사 표면(130)은 평평한 표면, 원통형 표면 및 구형 표면의 그룹에 속하는 것을 특징으로 하는 방법.
  5. 제 4 항에 있어서, 투사 표면(130)은 수직의 평평한 표면이고, 점(120)의 제1 좌표 및 제1 변위는 멀티플리커티브 상수(multiplicative constant) 내에서, 포인터의 요의 각도의 탄젠트값(tangent) 및 상기 변위의 시작과 끝에서 포인터의 요의 각도의 탄젠트값의 차이와 각각 동일하게 계산되는 것을 특징으로 하는 방법.
  6. 제 4 항에 있어서, 투사 표면(130)은 수직의 평평한 표면이고, 점(120)의 제2 좌표 및 제2 변위는 멀티플리커티브 상수를 제외하고, 포인터의 요의 각도의 코사인값에 대한 피치의 각도의 탄젠트값의 비 및 상기 변위의 시작과 끝에서 포인터의 요의 각도의 코사인값(cosine)에 대한 피치의 각도의 탄젠트값의 비의 차이와 각각 동일하게 계산되는 것을 특징으로 하는 방법.
  7. 제 4 항에 있어서, 투사 표면(130)은 수직의 원통형 표면이고, 점(120)의 제1 좌표 및 제1 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 요의 각도 및 상기 변위의 시작과 끝에서 포인터의 요의 각도의 차이와 각각 동일하게 계산되는 것을 특징으로 하는 방법.
  8. 제 4 항에 있어서, 투사 표면(130)은 수직의 원통형 표면이고, 점(120)의 제2 좌표 및 제2 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 피치의 각도의 탄젠트값 및 상기 변위의 시작과 끝에서 포인터의 피치의 각도의 탄젠트값의 차이와 각각 동일하게 계산되는 것을 특징으로 하는
  9. 제 4 항에 있어서, 투사 표면(130)은 포인터가 중심에 있는 구의 표면이고, 점(120)의 제1 좌표 및 제1 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 피치의 각도의 코사인값을 곱한 요의 각도 및 상기 변위의 시작과 끝에서 피치의 각도의 코사인값을 곱한 상기 변위의 시작과 끝에서 포인터의 요의 각도의 차이와 각각 동일하게 계산되는 것을 특징으로 하는 방법.
  10. 제 4 항에 있어서, 투사 표면(130)은 포인터가 중시에 있는 구의 표면이고, 점(120)의 제2 좌표 및 제2 변위는 멀티플리커티브 상수를 제외하고, 표면의 점에서 포인터의 피치의 각도 및 상기 변위의 시작과 끝에서 포인터의 피치의 각도의 차이와 각각 동일하게 계산되는 것을 특징으로 하는 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서, 커서의 배향은 표면상의 p를 따라, 상기 표면 상의 벡터(p)에 수직인 벡터를 투사함에 의하여 계산되는 것을 특징으로 하는 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, p에 수직인 벡터의 회전은 포인터의 축을 따라서 또는 포인터의 배향에 기초하여, 각속도의 적분을 투사함에 의하여 계산되는 것을 특징으로 하는
  13. 제 1 항에 있어서, 제1 파라미터의 적어도 일부의 계산은 센서의 프레임에서 측정된 포인터의 각속도 및 자세에 기초하여 수행되는 것을 특징으로 하는 방법.
  14. 제 13 항에 있어서, 두 개의 성분을 가지는 커서의 변위는 포인터의 각속도 벡터를 투사함에 의하여 계산되고, 포인터와 관계된 벡터(p)를 따라, 상기 각속도 벡터의 성분은 영으로 설정되고, 지구와 관련된 프레임 내로, 프레임의 축(XE, YE)으로 변환되며, 포인터의 현 위치 및 배향에 대하여 기초 표면을 형성하고 이득 요소가 곱해지는 것을 특징으로 하는 방법.
  15. 제 13 항에 있어서, 두 개의 성분을 가지는 커서의 변위는 포인터의 각속도 벡터를 투사함에 의하여 계산되고, 상기 포인터는 지구와 관계된 프레임 내로, 프레임의 축(XE, YE)으로 표현되며, 평면 기초 표면을 형성하고, 포인터에 의해 정의된 벡터(p)에 수직이 되며, 이득 요소가 곱해지는 것을 특징으로 하는 방법.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 포인팅은 절대 모드에서 수행되는 것을 특징으로 하는 방법.
  17. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 포인팅은 상대 모드에서 수행되는 것을 특징으로 하는 방법.
  18. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서, 포인팅은 한 방향으로는 상대 모드에서 수행되고, 다른 방향으로는 절대 모드에서 수행되는 것을 특징으로 하는 방법.
  19. 공간에서 디스플레이 표면으로 배향된 포인터(110)에 의하여 디스플레이 표면(100)상의 커서(120)를 특징 짓는 제1 파라미터를 제어하는 시스템에 있어서, 상기 제1 파라미터는 상기 커서의 변위, 위치 및 배향을 포함하는 그룹에서 선택되고, 상기 시스템은 포인터에 관련 있는 프레임의 제2 파라미터를 결정하기 위한 모듈을 포함하고, 상기 제2 파라미터는 상기 프레임의 자세, 위치 및 각속도를 포함하는 그룹에서 선택되며, 벡터(p)는 상기 프레임에 관련되고, 상기 시스템은 상기 벡터(p)에 의해 전달된 직선과 투사 표면(130)과의 하나 이상의 교차점을 사용하여 상기 제1 파라미터를 계산하기 위한 모듈을 더 포함하되, 상기 투사 표면(130)은 기설정되고, 상기 디스플레이 표면(100)과 구별되며, 상기 계산하는 모듈은 상기 제2 파라미터의 적어도 일부를 입력으로서 수신하는 것을 특징으로 하는 시스템.
KR1020147007101A 2011-09-09 2012-09-04 포인터의 자세의 측정에 의하여 커서를 제어하는 방법 및 상기 방법을 시행하는 포인터 KR20140060314A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1158041 2011-09-09
FR1158041A FR2980005A1 (fr) 2011-09-09 2011-09-09 Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
PCT/EP2012/067156 WO2013034529A1 (fr) 2011-09-09 2012-09-04 Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede

Publications (1)

Publication Number Publication Date
KR20140060314A true KR20140060314A (ko) 2014-05-19

Family

ID=46763106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147007101A KR20140060314A (ko) 2011-09-09 2012-09-04 포인터의 자세의 측정에 의하여 커서를 제어하는 방법 및 상기 방법을 시행하는 포인터

Country Status (6)

Country Link
US (2) US9201513B2 (ko)
EP (1) EP2754012B1 (ko)
KR (1) KR20140060314A (ko)
CN (1) CN103930854B (ko)
FR (1) FR2980005A1 (ko)
WO (1) WO2013034529A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2980005A1 (fr) * 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
FR3007158A1 (fr) * 2013-06-14 2014-12-19 Movea Dispositif d'analyse de mouvement d'un element mobile et procede associe
EP2887184A1 (en) 2013-12-23 2015-06-24 Movea Air pointer with improved user experience
US10222869B2 (en) * 2015-08-03 2019-03-05 Intel Corporation State machine based tracking system for screen pointing control
TW201709025A (zh) * 2015-08-26 2017-03-01 巨擘科技股份有限公司 整合位置、姿態與無線傳輸之裝置
USD797123S1 (en) * 2015-11-18 2017-09-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
US10678337B2 (en) * 2016-01-04 2020-06-09 The Texas A&M University System Context aware movement recognition system
US9740307B2 (en) * 2016-01-08 2017-08-22 Movea Processing unit, computer program amd method to control a cursor on a screen according to an orientation of a pointing device
US10579169B2 (en) * 2016-03-08 2020-03-03 Egalax_Empia Technology Inc. Stylus and touch control apparatus for detecting tilt angle of stylus and control method thereof
EP3285148A1 (fr) * 2016-08-19 2018-02-21 Bigben Interactive SA Procede de contrôle d'un element d'affichage par une console de jeux
US10097757B1 (en) * 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
TWI638288B (zh) * 2017-06-15 2018-10-11 佳世達科技股份有限公司 指標校正方法及指標校正系統
CN107907129B (zh) * 2017-09-26 2021-11-09 广州新维感信息技术有限公司 Vr手柄姿态初始化方法、vr手柄及存储介质
USD847854S1 (en) * 2017-11-03 2019-05-07 Salesforce.Com, Inc. Display screen or portion thereof with animated graphical user interface
US11216149B2 (en) * 2019-03-15 2022-01-04 Samsung Electronics Co., Ltd. 360° video viewer control using smart device
EP3848918A1 (en) * 2020-01-08 2021-07-14 Nxp B.V. System and method for controlling electronic devices
CN111582187A (zh) * 2020-05-11 2020-08-25 昆明能讯科技有限责任公司 一种基于混合高斯背景建模的仪表自动读数方法
CN113805770B (zh) * 2021-08-12 2022-08-12 荣耀终端有限公司 一种光标的移动方法及电子设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU631661B2 (en) * 1989-06-20 1992-12-03 Fujitsu Limited Method for measuring position and posture of object
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
US5598187A (en) 1993-05-13 1997-01-28 Kabushiki Kaisha Toshiba Spatial motion pattern input system and input method
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
KR100554430B1 (ko) * 1997-08-12 2006-02-22 마츠시타 덴끼 산교 가부시키가이샤 윈도우 표시장치
US7102616B1 (en) * 1999-03-05 2006-09-05 Microsoft Corporation Remote control device with pointing capacity
US7236178B2 (en) * 2001-07-19 2007-06-26 Autodesk, Inc. Dynamically adjusted brush for direct paint systems on parameterized multi-dimensional surfaces
US6791541B1 (en) * 2002-07-11 2004-09-14 Microporous Products, L.P. Three-dimensional image system
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
WO2005108119A2 (en) 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Free space pointing devices with tilt compensation and improved usability
JP4388878B2 (ja) * 2004-10-19 2009-12-24 任天堂株式会社 入力処理プログラムおよび入力処理装置
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
JP4387429B2 (ja) * 2007-07-25 2009-12-16 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
US7826999B1 (en) * 2007-08-20 2010-11-02 Pni Corporation Magnetic tilt compensated heading compass with adaptive zoffset
CN101606120B (zh) * 2007-12-07 2012-08-15 索尼株式会社 控制装置、输入装置、控制***、控制方法和手持装置
TWI397838B (zh) * 2008-06-11 2013-06-01 Univ Nat Taiwan Virtual touch screen device
US8010313B2 (en) 2008-06-27 2011-08-30 Movea Sa Hand held pointing device with roll compensation
FR2933212B1 (fr) * 2008-06-27 2013-07-05 Movea Sa Pointeur a capture de mouvement resolue par fusion de donnees
FR2934043B1 (fr) 2008-07-18 2011-04-29 Movea Sa Procede d'estimation ameliore de l'orientation d'un objet et centrale d'attitude mettant en oeuvre un tel procede
US9459784B2 (en) * 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
JP5111312B2 (ja) * 2008-09-16 2013-01-09 任天堂株式会社 3次元画像処理プログラム、3次元画像処理装置、3次元画像処理システムおよび3次元画像処理方法
US8462148B1 (en) * 2009-04-01 2013-06-11 Perceptive Pixel Inc. Addressing rotational exhaustion in 3D manipulation
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5393531B2 (ja) * 2010-02-25 2014-01-22 キヤノン株式会社 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
FR2980005A1 (fr) * 2011-09-09 2013-03-15 Movea Procede de controle d'un curseur par des mesures d'attitude d'un pointeur et pointeur mettant en oeuvre ledit procede
JP6141596B2 (ja) * 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法

Also Published As

Publication number Publication date
CN103930854B (zh) 2017-01-18
US9201513B2 (en) 2015-12-01
EP2754012B1 (fr) 2017-03-01
CN103930854A (zh) 2014-07-16
US10093280B2 (en) 2018-10-09
US20140232649A1 (en) 2014-08-21
US20160077604A1 (en) 2016-03-17
EP2754012A1 (fr) 2014-07-16
WO2013034529A1 (fr) 2013-03-14
FR2980005A1 (fr) 2013-03-15

Similar Documents

Publication Publication Date Title
KR20140060314A (ko) 포인터의 자세의 측정에 의하여 커서를 제어하는 방법 및 상기 방법을 시행하는 포인터
US20210208180A1 (en) Correction of accumulated errors in inertial measurement units attached to a user
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US11093036B2 (en) Tracking arm movements to generate inputs for computer systems
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
US10540006B2 (en) Tracking torso orientation to generate inputs for computer systems
US10705113B2 (en) Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
JP5218016B2 (ja) 入力装置およびデータ処理システム
JP5987247B2 (ja) データ融合によるモーションキャプチャポインタ
JP5258974B2 (ja) 動き感知に基づく力強度および回転強度を入力する方法およびデバイス
US11009964B2 (en) Length calibration for computer models of users to generate inputs for computer systems
TW201911133A (zh) 用於多個自由度之控制器追蹤
US20120169482A1 (en) System and Method for Selecting a Device for Remote Control Based on Determined Navigational State of a Remote Control Device
JP2011075559A (ja) 動き検出装置および方法
JP7504253B2 (ja) 仮想オブジェクト表示装置
KR20110039318A (ko) 3d 포인터 매핑
US11531392B2 (en) Tracking upper arm movements using sensor modules attached to the hand and forearm
EP2887184A1 (en) Air pointer with improved user experience
TWI476733B (zh) 運動軌跡重建方法及其裝置
US9740307B2 (en) Processing unit, computer program amd method to control a cursor on a screen according to an orientation of a pointing device
US20100259475A1 (en) Angle sensor-based pointer and a cursor control system with the same
US20070205985A1 (en) Method of using optical mouse scanning assembly for facilitating motion capture
US11845001B2 (en) Calibration system and method for handheld controller
CN103049101B (zh) 定位指针位置的方法、***及设备
JP6689678B2 (ja) 検出方法、被検出物、及びシステム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination