KR100512963B1 - Pen-shaped input device using inertial measurement units and method thereof - Google Patents
Pen-shaped input device using inertial measurement units and method thereof Download PDFInfo
- Publication number
- KR100512963B1 KR100512963B1 KR10-2003-0017142A KR20030017142A KR100512963B1 KR 100512963 B1 KR100512963 B1 KR 100512963B1 KR 20030017142 A KR20030017142 A KR 20030017142A KR 100512963 B1 KR100512963 B1 KR 100512963B1
- Authority
- KR
- South Korea
- Prior art keywords
- pen
- acceleration
- sensors
- angular velocity
- shaped body
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
관성항법시스템을 이용하여 공간 상에 필기한 궤적을 복원하도록 설계된 펜형 입력시스템이 개시된다. 시스템은 펜 선단측으로부터 각각 2축을 검출하는 제1 및 제2 가속도센서가 순차적으로 위치하며, 각각 x,y,z축 방향에 대한 각속도를 검출하는 제1 내지 제3 자이로센서가 순차적으로 위치한다. 그리고 시스템 제어부는 자이로센서들 및 가속도센서들을 통해 검출된 관성측정치를 펜 선단의 측정값으로 변환하는 과정 및 칼만 필터를 통해 펜 시스템의 자세를 추정하여 관성항법시스템의 오차를 보정하는 과정을 수행하여 필기 궤적을 복원한다. 이와 같은 펜형 입력시스템은, 펜 선단의 값으로 궤적을 인식하는 것 및 펜의 추정된 자세로부터 지속적으로 적용된 관성항법시스템의 오차를 보정할 수 있어 소형의 펜형 시스템에서 추가의 센서 없이 정확한 궤적 복원을 가능하게 한다. A pen-type input system designed to recover trajectories written in space using an inertial navigation system is disclosed. In the system, first and second acceleration sensors detecting two axes from the pen tip side are sequentially positioned, and first to third gyro sensors detecting angular velocity in the x, y and z axis directions are sequentially positioned. . The system controller performs a process of converting the inertial measurement detected by the gyro sensors and the acceleration sensors into the measured value of the pen tip and correcting the error of the inertial navigation system by estimating the posture of the pen system through the Kalman filter. Restore the handwriting trajectory. Such a pen-type input system can recognize the trajectory by the value of the pen tip and correct the error of the inertial navigation system applied continuously from the estimated posture of the pen, so that the accurate trajectory restoration can be performed without additional sensors in the small pen-type system. Make it possible.
Description
본 발명은 펜형 입력시스템에 관한 것으로서, 특히, 공간 상에 필기한 궤적을 복원하도록 설계된 펜형 입력 시스템 및 그 궤적 복원 방법에 관한 것이다.The present invention relates to a pen-type input system, and more particularly, to a pen-type input system and a method for recovering the trajectory designed to restore a trajectory written in space.
최근 PDA, 셀룰러폰, 노트북 등 개인용 모바일 기기 시장이 광범위하게 확대되고 있다. 이러한 개인용 모바일 기기들은 휴대가 간편하여 언제 어디서나 정보를 활용할 수 있도록 하고자 하는 유비쿼터스 환경에 가장 부합된다고 할 수 있다. 즉, 최근의 모바일 기기는 종전의 정보 이용 환경이 가정 내에 설치된 데스크탑 PC 등에 한정되었던 것에서 이동중에도 정보의 이용이 가능하도록 설계됨으로서, 크게 패러다임을 변화시키고 있다. Recently, the market for personal mobile devices such as PDAs, cellular phones, notebooks, etc., has been extensively expanded. These personal mobile devices are best suited to the ubiquitous environment, which is easy to carry and can use information anytime and anywhere. In other words, the recent mobile devices have changed the paradigm by being designed to enable the use of information on the move, since the information usage environment was limited to a desktop PC installed in a home.
그러나 이와 같은 모바일 기기들은 휴대가 간편한 반면, 시스템의 부피가 작아져 사용자가 디스플레이를 통한 정보 인식 및 입력에 다소 불편함이 따르는 문제점 또한 가지고 있었다. 게다가 최근 개인 휴대용 단말기가 점차 소형화되어 손목시계 형태나 지갑 형태의 단말기로 변화하는 기술적 추세에서는 점차적으로 표시화면도 감소되기 때문에 기존의 정보 입력 방법은 한계를 가질 수 밖에 없다. 이와 같이 모바일 기기들에 있어서 휴대의 용이성과 정보 입력의 용이성은 서로 상반되므로 이를 극복하기 위한 방법이 지속적으로 연구 개발되고 있다. However, while these mobile devices are easy to carry, they also have a problem that the user is somewhat uncomfortable in recognizing and inputting information through the display due to the small size of the system. In addition, in recent years, the trend of miniaturization of personal portable terminals has changed to a wristwatch or wallet type terminal, so that the display screen is gradually reduced. As described above, since the ease of portability and the ease of inputting information in mobile devices are mutually opposite, methods for overcoming these problems are continuously researched and developed.
현재 상용화 되었거나 연구 개발중인 펜형 입력장치들은 크게 두가지로 나누어 볼 수 있다. 첫째는, 펜 외부에서 펜 선단의 좌표를 측정하는 방식이고, 둘째는, 펜 내부에서 펜의 운동을 측정하는 방식이다. Pen-type input devices that are currently commercialized or under development can be classified into two types. The first method is to measure the pen tip coordinates outside the pen, and the second method is to measure the pen movement inside the pen.
펜 외부에서 펜 선단의 좌표를 측정하는 유형으로는, 3각 측량방식, 전자파 또는 초음파를 이용하는 방식, 초음파와 가속도 센서를 융합한 방식 등이 있다. 그러나 펜 외부에서 펜 선단의 좌표를 측정하는 경우에는, 펜의 동작을 외부에서 검출하기 위한 별도의 센서가 요구되어 비용의 증가 및 휴대에 불편이 따르는 문제점을 갖는다. Examples of measuring the coordinates of the tip of the pen from the outside of the pen include a triangulation method, a method using electromagnetic waves or ultrasonic waves, and a method in which ultrasonic waves and an acceleration sensor are fused. However, in the case of measuring the coordinates of the pen tip outside the pen, a separate sensor for detecting the pen's motion from the outside is required, which causes an increase in cost and inconvenience in carrying.
한편, 펜 내부에서 펜 선단의 좌표를 측정하는 유형으로는, 펜 선단에 장착된 볼의 회전을 이용하는 방식, 펜에 작용하는 힘을 측정하는 방식이 있다. 그러나 이는 펜이 2차원 평면에 접촉되어 있지 않으면, 펜의 운동을 검출할 수 없다는 단점이 있다. On the other hand, as a type of measuring the coordinates of the tip of the pen inside the pen, there is a method of using the rotation of the ball mounted on the tip of the pen, a method of measuring the force acting on the pen. However, this has the disadvantage that the pen's motion cannot be detected unless the pen is in contact with the two-dimensional plane.
또한, 펜 내부에서 펜의 좌표를 측정하는 방식의 또 다른 유형으로는 펜 내부에 2축 또는 3축 가속도 센서를 장착하고, 이를 이용하여 펜의 운동을 구하는 방식이 있다. 그러나, 이 방식은 가속도 센서를 펜 선단에 장착하지 않고 펜 중심부에 장착하고 있어 중심축의 기울기에 대한 영향이 고려되지 않아 오차 발생 소지가 높은 문제점을 갖는다. 또한, 가속도신호를 이중 적분하는 것으로 위치 운동을 구하는 데 있어서, 시간이 지날수록 누적 오차가 증가하여 정확한 운동 측정에 어려움이 따르는 문제점이 있었다. In addition, another type of measuring the coordinates of the pen inside the pen includes a method of mounting a two-axis or three-axis acceleration sensor inside the pen and using the same to obtain a pen movement. However, in this method, since the acceleration sensor is mounted at the center of the pen instead of the pen tip, the influence of the inclination of the central axis is not taken into consideration, which causes a high possibility of error. In addition, in obtaining a position motion by double integrating an acceleration signal, a cumulative error increases with time, and thus there is a problem in that accurate motion measurement is difficult.
위와 같이 센서 장착 위치에 따른 펜의 경사각 문제를 해결하기 위하여 미국 특허문서 US 5434371(공개일자, 1995.06.18)에는 2축 이상의 가속도 센서를 펜 선단으로 이동시키고, 신호처리부는 펜의 상부로 이동하는 방법을 제안하고 있다. 그러나 US 5434371는 센서와 신호처리부가 분리되어 있어 전기적인 잡음의 영향이 크고, 펜 선단에 잉크를 장착할 수 없다는 문제점이 있다. 또한, 미국 특허문서 US 6181329(공개일자, 2001-01-30)에는 펜 내부에 3축 가속도 센서와 3축 자이로 센서를 내장하고, 일반적인 3차원 운동을 하는 펜의 위치를 구하는 방법을 제시하고 있다. 그러나 US 6181329에는 인식 위치가 펜 선단이 아닌 센서의 장착 위치를 기준으로 필기 궤적을 복원하므로 잡음 등의 원인으로 정확한 복원이 어렵다는 문제점이 있었다. In order to solve the inclination angle of the pen according to the sensor mounting position as described above, US patent document US 5434371 (published date, June 18, 1995) moves two or more acceleration sensors to the pen tip, and the signal processing unit moves to the top of the pen. I am suggesting a method. However, US 5434371 has a problem in that the sensor and the signal processor are separated, so that the influence of electrical noise is large, and ink cannot be mounted at the tip of the pen. In addition, US Patent No. US 6181329 (published date, 2001-01-30) discloses a method of obtaining a pen position for a general three-dimensional motion by embedding a three-axis acceleration sensor and a three-axis gyro sensor inside the pen. . However, in US 6181329, since the recognition position restores the writing trajectory based on the mounting position of the sensor instead of the pen tip, accurate restoration is difficult due to noise.
한편, 위와 같이 가속도 정보와 같은 관성 측정치를 이용하여 사용자의 필기 궤적을 복원하는 시스템은, 일반적으로 군사 및 항법 분야에서 널리 사용되는 관성항법시스템(INS: Inertial Navigation System)의 이론을 적용하고 있다. INS는 관성측정치를 이용하여 3차원 공간 상에서 운동하는 물체의 위치, 속도, 자세 등과 같은 항법 정보를 계산한다. 이론적으로 스트랩다운 INS(Strapdown INS: SDINS)의 경우 3축 가속도와 3축 각속도만으로 3차원 운동 물체에 대해 필요한 정보를 얻을 수 있다. SDINS는 각속도 측정치의 적분치를 이용하여 시스템의 자세 계산 및 가속도를 보정하고, 보정된 가속도를 한번 적분하여 속도, 두번 적분하여 위치 정보를 계산한다. On the other hand, the system for restoring the user's handwriting trajectory using the inertial measurement such as the acceleration information as described above, generally applies the theory of the Inertial Navigation System (INS) widely used in the military and navigation fields. The INS calculates navigation information such as the position, velocity and attitude of a moving object in three-dimensional space using inertial measurements. Theoretically, in case of Strapdown INS (SDINS), it is possible to obtain necessary information about three-dimensional moving object with only three-axis acceleration and three-axis angular velocity. SDINS calculates the position information by integrating the corrected acceleration once and integrating the speed twice by integrating the system's attitude calculation using the integral value of the angular velocity measurement.
그러나 관성항법을 적용하는 경우 가속도의 이중 적분과 각속도의 적분을 통해 위치 및 각도를 구하는 데 있어서, 센서로부터 출력된 신호의 잡음이나 드리프트에 의해 가속도계의 경우는 시간의 제곱, 각속도계의 경우는 시간에 비례하는 형태로 누적 오차가 증가하게 되어 정밀한 3차원 운동의 추정에 어려움이 발생한다. 통상 이러한 문제를 해결하기 위하여 SDINS는 GPS와 같은 시스템으로부터 기준신호를 제공 받아 주기적 또는 비주기적으로 오차를 보정한다. 그렇지만 대형 항법 장치가 아닌 펜형 입력장치와 같은 경우 크기, 연산량, 가격 등을 고려할 때, 기존 관성항법분야에서 사용하는 오차 보정 방법을 그대로 적용하기는 어렵다는 문제점이 있다.However, when inertial navigation is applied, the position and angle are obtained through the double integration of the acceleration and the angular velocity integration. The cumulative error increases in a form proportional to, causing difficulty in estimating precise three-dimensional motion. Typically, to solve this problem, SDINS receives a reference signal from a system such as GPS and corrects the error periodically or aperiodically. However, in the case of a pen-type input device rather than a large navigation device, there is a problem in that it is difficult to apply the error correction method used in the inertial navigation field in consideration of size, calculation amount, and price.
본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 외부 센서를 추가하지 않으면서, 관성 측정치만을 이용하여 소형 시스템에서도 3차원 공간 상의 필기 궤적을 정확하게 복원할 수 있는 펜형 입력 시스템 및 그 복원방법을 제공하는 데 있다. SUMMARY OF THE INVENTION An object of the present invention is to provide a pen-type input system and a method for restoring a writing trajectory in a three-dimensional space accurately even in a small system using only an inertial measurement value without adding an external sensor to solve the above problems. There is.
상기의 목적을 달성하기 위한 본 발명의 펜형 입력 시스템은, 스트랩다운 관성항법시스템((Strapdown INS: SDINS)을 이용하여 3차원 공간에 필기된 궤적을 복원하는 펜형 공간 입력시스템에 있어서, 펜형 몸체 내부에 장착되어 운동에 따른 관성 측정치를 검출하는 모션검출부, 및 상기 모션검출부를 통해 검출된 상기 관성측정치를 펜 선단의 값으로 변환하고, 변환된 상기 펜 선단 값으로 상기 펜형 몸체의 필기 궤적을 복원하는 제어부를 포함한다. The pen-type input system of the present invention for achieving the above object, in the pen-type space input system for restoring the trajectory written in the three-dimensional space using a strapdown inertial navigation system (Strapdown INS: SDINS), A motion detection unit configured to detect an inertial measurement value according to a movement, and converting the inertial measurement value detected by the motion detection unit into a value of a pen tip, and restoring a writing trajectory of the pen-shaped body with the converted pen tip value. It includes a control unit.
상기 모션검출부는, 상기 펜형 몸체의 3차원 운동에 따른 가속도를 각 축방향에 대해 검출하는 복수의 가속도 센서들, 및 상기 펜형 몸체의 3차원 운동에 따른 각속도를 각 축방향에 대해 검출하는 복수의 가속도 센서들을 포함한다. 바람직하게는, 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 각각 2축 가속도 센서 2개와 1축 각속도 센서 3개를 사용한다. 그리고 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 상기 펜선단으로부터 순차적으로 가속도 센서들과 각속도 센서들이 배치된다. The motion detection unit may include a plurality of acceleration sensors that detect accelerations according to three-dimensional movements of the pen-shaped body in each axial direction, and a plurality of detections of angular velocity according to three-dimensional movements of the pen-shaped body in each axial direction. Acceleration sensors. Preferably, the plurality of acceleration sensors and the plurality of angular velocity sensors use two biaxial acceleration sensors and three single axis angular velocity sensors, respectively. In addition, the plurality of acceleration sensors and the plurality of angular velocity sensors are sequentially arranged with acceleration sensors and angular velocity sensors from the pen tip.
상기 제어부는, 상기 가속도 센서들 및 상기 각속도 센서들로부터 검출된 각각의 축방향 정보로부터 칼만필터를 통해 상기 펜형 몸체의 초기 자세를 계산하고, 상기 초기 자세 값을 이용하여 상기 SDINS의 오차를 보정해 준다. The controller calculates an initial posture of the pen-shaped body through a Kalman filter from respective axial information detected from the acceleration sensors and the angular velocity sensors, and corrects an error of the SDINS by using the initial posture value. give.
또한, 상기 제어부는, 상기 펜형 몸체에 운동여부를 감지하는 장치가 별도로 존재하지 않으므로, 상기 각속도 센서들로부터 검출된 상기 각 축방향 측정치를 이용하여 상기 펜형 몸체의 운동여부를 판단한다. In addition, the control unit, since there is no separate device for detecting the movement of the pen-shaped body, it determines whether the movement of the pen-shaped body using the respective axial measurement values detected from the angular velocity sensors.
상기의 목적을 달성하기 위한 본 발명의 궤적 복원 방법은, 스트랩다운 관성항법시스템(Strapdown INS: SDINS)을 이용하여 3차원 공간에 필기된 궤적을 복원하는 펜형 공간 입력시스템의 궤적 복원 방법에 있어서, 펜형 몸체의 운동에 따른 관성 측정치를 검출하는 단계, 상기 검출 단계에서 측정된 관성측정치를 상기 펜형 몸체 선단의 측정값으로 변환하는 단계, 및 상기 변환된 값에 따라 상기 펜형 몸체의 필기 궤적을 복원하는 단계를 포함한다. In the trajectory restoration method of the present invention for achieving the above object, in the trajectory restoration method of the pen-type space input system for restoring the trajectory written in the three-dimensional space using a strapdown inertial navigation system (SDINS), Detecting the inertial measurement value according to the movement of the pen-shaped body, converting the inertial measurement measured in the detecting step into a measurement value of the tip of the pen-shaped body, and restoring the writing trajectory of the pen-shaped body according to the converted value. Steps.
상기 관성측정치를 검출하는 단계는, 복수의 가속도 센서들을 통해 상기 펜형 몸체의 3차원 운동에 따른 가속도를 각 축방향에 대해 검출하며, 복수의 가속도 센서들을 통해 상기 펜형 몸체의 3차원 운동에 따른 각속도를 각 축방향에 대해 검출한다. 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 각각 2축 가속도 센서 2개와 1축 각속도 센서 3개를 사용하며, 상기 복수의 가속도 센서들 및 상기 복수의 각속도 센서들은, 상기 펜 선단으로부터 순차적으로 가속도 센서들과 각속도 센서들이 배치된다. The detecting of the inertial measurement may include detecting acceleration in accordance with three-dimensional motion of the pen-shaped body through a plurality of acceleration sensors in each axial direction, and angular velocity according to three-dimensional motion of the pen-shaped body through a plurality of acceleration sensors. Is detected in each axial direction. The plurality of acceleration sensors and the plurality of angular velocity sensors each use two two-axis acceleration sensors and three one-axis angular velocity sensors, and the plurality of acceleration sensors and the plurality of angular velocity sensors are sequentially from the pen tip. Acceleration sensors and angular velocity sensors are arranged.
또한, 상기 궤적 복원 방법은, 상기 각속도 센서들로부터 검출된 정보를 기초로 칼만필터를 이용하여 상기 펜형 몸체의 초기 자세를 계산하는 단계, 및 상기 계산된 초기 자세 값을 이용하여 상기 SDINS의 오차를 보정하는 단계를 더 포함한다. The trajectory restoration method may further include calculating an initial posture of the pen-shaped body using a Kalman filter based on the information detected from the angular velocity sensors, and calculating the error of the SDINS using the calculated initial posture value. Further comprising the step of correcting.
또한, 상기 궤적 복원 방법은 상기 각속도 센서들로부터 검출된 각 축방향 측정치를 기초로 상기 펜형 몸체의 운동여부를 판단하는 단계를 더 포함한다. The locus restoration method may further include determining whether the pen-shaped body is moved based on the axial measurement values detected by the angular velocity sensors.
이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 펜형 입력시스템의 개략적인 블록도이다. 시스템(100)은, 모션검출부(110), 디스플레이(120), 송수신부(130), 그리고 제어부(140)를 포함한다.1 is a schematic block diagram of a pen-type input system according to an embodiment of the present invention. The system 100 includes a motion detector 110, a display 120, a transceiver 130, and a controller 140.
모션검출부(110)는, 시스템 몸체의 위치변화에 따른 관성 측정치를 연속적으로 검출한다. 이를 위해 모션검출부(110)는 복수의 자이로센서, 복수의 가속도센서 및 각 센서들로부터 전달된 전기적신호로부터 연산처리를 수행하는 연산회로를 포함하는 구성을 갖는다. 바람직하게는 각각 1축의 각속도를 검출하는 3개의 자이로 센서와 2축을 검출하는 2개의 가속도 센서를 구비한다. 그 배열은 도 3에서처럼 펜 선단측으로부터 각각 2축을 검출하는 제1 및 제2 가속도센서가 순차적으로 위치하며, 각각 x,y,z축 방향에 대한 각속도를 검출하는 제1 내지 제3 자이로센서가 순차적으로 위치한다.The motion detector 110 continuously detects an inertial measurement value according to a change in the position of the system body. To this end, the motion detection unit 110 has a configuration including a plurality of gyro sensors, a plurality of acceleration sensors and a calculation circuit for performing arithmetic processing from the electrical signals transmitted from each sensor. Preferably, three gyro sensors each detecting an angular velocity of one axis and two acceleration sensors detecting two axes are provided. As shown in FIG. 3, the first and second acceleration sensors detecting two axes from the pen tip side are sequentially positioned, and the first to third gyro sensors detecting the angular velocity in the x, y and z axis directions, respectively. Sequentially located.
디스플레이(120)는, 시스템 몸체의 모션, 즉 필기 궤적을 화면으로 표시한다. 여기서, 디스플레이(120)는 하나의 몸체를 갖는 펜형 입력시스템 내에 장착될 수도 있으며, 더 나아가서는 타 시스템 내에 장착된 화면 표시 가능한 수단이 될 수도 있다. The display 120 displays the motion of the system body, that is, the writing trajectory on the screen. Here, the display 120 may be mounted in a pen-type input system having one body, or may be a screen displayable means mounted in another system.
송수신부(130)는, 제어부의 제어 하에 인식된 시스템의 필기 궤적 정보 또는 필기 궤적에 대응하는 제어신호를 외부의 타 시스템에 전송한다. The transmitter / receiver 130 transmits the handwritten trace information or the control signal corresponding to the handwritten trajectory of the system recognized under the control of the controller to an external system.
제어부(140)는, 모션검출부(110)에서 검출된 시스템 몸체의 관성측정치를 토대로 공간 상에서 발생된 필기 궤적을 인식한 후, 궤적정보를 디스플레이(120)에 표시되도록 하거나 송수신부(130)를 통해 궤적정보 또는 궤적정보에 대응하는 제어신호를 타 시스템에 전송되도록 한다. 이때, 제어부(140)는, 모션검출부(110)의 자이로센서들 및 가속도센서들을 통해 검출된 관성측정치를 펜 선단의 측정값으로 변환하는 과정 및 칼만 필터를 통해 펜 시스템의 자세를 추정하여 오차를 보정하는 과정을 수행한다. The controller 140 recognizes the handwritten trace generated in space based on the inertial measurement value of the system body detected by the motion detector 110, and then displays the trace information on the display 120 or through the transceiver 130. The control signal corresponding to the locus information or locus information is transmitted to another system. At this time, the control unit 140, the process of converting the inertial measurement detected by the gyro sensors and the acceleration sensors of the motion detection unit 110 to the measured value of the pen tip and the Kalman filter to estimate the attitude of the pen system through the error Perform the calibration process.
본 발명의 이해를 돕기 위하여 관성항법시스템에 대한 설명을 부연한다. 장치의 관성측정치를 이용하여 물체의 3차원 상에서의 궤적을 추정하는 INS는 크게 두 종류로 구분할 수 있다. 하나는 메카나이즈드 플랫폼(Mechanized platform) 시스템이며, 또 다른 하나는 SDINS이다. The description of the inertial navigation system is provided to help the understanding of the present invention. INS, which estimates the trajectory of an object in three dimensions by using the inertial measurement of the device, can be classified into two types. One is the Mechanized platform system, and the other is SDINS.
메카나이즈드 플랫폼 시스템은 기계적인 장치를 이용하여 플랫폼의 자세 변화에 상관없이 INS항법 좌표계의 각 축을 정렬한다. 메카나이즈드 플랫폼은 정확도가 우수하지만 기계적인 장치가 이용됨에 따라 대형이며 고가이다. 그리고 SDINS는 기계적인 장비 없이 동체에 장착된 가속도 센서와 각속도 센서로부터 얻어진 측정치로부터 위치, 속도, 자세 등과 같은 항법 정보를 계산한다. SDINS는 소형 경량이며, 최근 발전하고 있는 MEMS(Micro Electro Mechanical System) 기술을 적용하는 경우, 저가격의 신뢰성 높은 시스템을 구현하는 것이 가능해진다. The mechanized platform system uses a mechanical device to align each axis of the INS navigation coordinate system regardless of the platform's attitude change. Mechanized platforms are highly accurate but large and expensive as mechanical devices are used. SDINS calculates navigation information such as position, velocity and attitude from measurements obtained from the body's body-mounted acceleration and angular velocity sensors without mechanical equipment. SDINS is compact, lightweight, and can be implemented with low-cost, reliable systems by applying MEMS (Micro Electro Mechanical System) technology, which has recently been developed.
위 두 시스템 모두 관성측정치를 구하고, 그 관성측정치에 미분 방정식을 이용하여 위치, 속도, 자세 등의 항법 정보를 계산한다. 즉, 검출된 각속도의 적분치를 이용하여 물체의 자세를 계산한다. 또한, 각속도의 적분치를 통해 장착된 가속도 센서로부터 검출되는 동체 가속도를 절대 좌표계에서의 가속도로 변환한다. 그리고 절대 좌표계로 변환된 가속도를 다시 적분하여 속도와 위치를 계산하게 된다. In both systems, the inertial measurement is obtained and navigation information such as position, velocity, and attitude is calculated using the differential equation. That is, the attitude of the object is calculated using the detected integral value of the angular velocity. In addition, the body acceleration detected from the mounted acceleration sensor through the integral of the angular velocity is converted into the acceleration in the absolute coordinate system. Then, the acceleration and position transformed to the absolute coordinate system are integrated again.
위 두 시스템은 앞서 말한 것처럼 각속도의 이중 적분에 따른 오차가 누적되어 발생되므로 정확한 필기 궤적을 복원하기 위하여 기준신호를 제공할 수 있는 별도의 수단이 이용된다. 그렇지만 본 발명의 펜형 입력시스템은 공간 상에서 사용자의 필기 동작이 자유로워야 하므로 크기 및 무게가 가급적 소형으로 제한된다고 할 수 있다. 따라서 본 발명의 시스템은 위 시스템들과 같이 별도의 기준신호제공수단을 장착하기는 어려우며, 소형의 시스템이 갖는 크기의 한계를 극복할 수 있도록 관성측정치만으로 오차를 보정할 수 있도록 하고 있다. 이하에 본 발명의 펜형 입력시스템에서 관성측정치만으로 필기 궤적 복원시의 오차를 보정하는 방법에 대해 상세하게 설명한다. As the above two systems generate errors accumulated by the double integration of the angular velocity, separate means for providing a reference signal is used to restore the correct writing trajectory. However, since the pen-type input system of the present invention should be free to the user's handwriting in space, it can be said that the size and weight are limited to the smallest possible. Therefore, the system of the present invention is difficult to install a separate reference signal providing means as in the above systems, so that the error can be corrected only by the inertial measurement value to overcome the limitation of the size of the small system. Hereinafter, a method of correcting an error at the time of restoring the writing trajectory using only the inertial measurement value in the pen-type input system of the present invention will be described in detail.
도 2는 3차원 공간에서 자유 운동을 하는 펜형 입력장치의 동체 좌표계와 시스템이 갖는 절대 좌표계와의 관계를 나타낸다. 가속도계와 각속도계는 입력장치의 동체에 장착되어 동체좌표계의 3축에서 측정되는 가속도와 각속도를 측정한다. 절대 좌표계의 Z축은 중력방향으로 정렬하며, X-Y평면은 중력 방향에 수직으로 정렬된다. 2 shows the relationship between the fuselage coordinate system of the pen-type input device which is freely moving in the three-dimensional space and the absolute coordinate system of the system. Accelerometers and angular velocities are mounted on the fuselage of the input device and measure the acceleration and angular velocity measured on three axes of the fuselage coordinate system. The Z axis of the absolute coordinate system is aligned in the direction of gravity, and the X-Y plane is aligned perpendicular to the direction of gravity.
3차원 공간 상에서 절대 좌표계에 대한 펜 입력장치의 상대 위치를 파악하기 위해서는 펜의 자세를 계산하고, 이로부터 동체좌표계에서 측정된 가속도 측정치를 절대좌표계의 위치값으로 변환하여야 한다. 3차원 공간 상에서 물체의 자세는 오일러(Euler) 각으로 표현되며, 오일러 각에 의해 절대좌표계와 동체좌표계에서의 각속도 관계는 다음의 수학식 1로 나타낼 수 있다. In order to determine the relative position of the pen input device with respect to the absolute coordinate system in the three-dimensional space, the pen posture is calculated, and the acceleration measurement measured in the fuselage coordinate system is converted into the position value of the absolute coordinate system. The pose of an object in three-dimensional space is expressed by Euler angle, and the relationship between the angular velocity in the absolute coordinates and the fuselage coordinate system can be expressed by Equation 1 below.
{: 롤(roll), : 피치(pitch), : 요(yaw),{ : Roll, : Pitch, Yaw,
: 각각 동체 좌표계의 x,y,z축을 중심으로 검출된 각속도} : Angular velocity detected about the x, y and z axes of the fuselage coordinate system}
위와 같은 비선형 미분 방정식에 의해 동체좌표계의 x, y, z축을 회전변환하면, 절대 좌표계에서 동체 좌표의 상대 위치를 구할 수 있다. By rotating the x, y, and z axes of the fuselage coordinate system using the above nonlinear differential equation, the relative position of the fuselage coordinates in the absolute coordinate system can be obtained.
펜 시스템에서 장착된 가속도계로부터 측정된 값 는 다음 수학식 2를 통해 절대좌표계에서 본 가속도 값으로 산출된다.Measured value from accelerometer mounted on pen system Is calculated as the acceleration value seen in the absolute coordinate system through Equation 2 below.
{ n: 절대좌표계, b: 동체좌표계, An: 절대좌표계에서 본 가속도 벡터{n: world coordinate system, b: body coordinate system, A n : acceleration vector as seen from world coordinate system
G: 절대좌표계에서 본 중력 가속도 벡터, G = [0 0 g]T , g = 9.8m/s2 G: gravitational acceleration vector seen in world coordinate system, G = [0 0 g] T , g = 9.8 m / s 2
: 방향 코사인 행렬 } : Directional cosine matrix}
여기서, 방향 코사인 행렬 은 다음 수학식 3과 같다.Where the directional cosine matrix Is as shown in Equation 3 below.
위 수학식 1과 수학식 2로부터 3차원 공간 상에서 움직이는 펜 시스템의 운동 방정식은 다시 수학식 4로 나타낼 수 있다. From equations 1 and 2 above, the equation of motion of a pen system moving in three-dimensional space can be represented by equation (4).
{Pn: 절대 좌표계에서 본 펜 시스템의 위치{P n : the position of the pen system in absolute coordinates
Vn: 절대 좌표계에서 본 펜 시스템의 속도 벡터}V n : velocity vector of the pen system in absolute coordinates}
위 수학식 4는 항법 방정식이라 불리며, 이를 이용해 가속도 측정치 Ab와 각속도 측정치 ωb로부터 펜 시스템의 위치, 속도, 자세를 계산할 수 있다. 그러나 항법 방정식은 모든 가속도 측정치가 하나의 지점에서 측정된다는 가정 하에 계산되므로, 실제 시스템에서는 가속도 센서에서 측정된 동체 가속도를 가상의 지점에서 측정된 동체 가속도로 변환하는 과정이 필요하다.Equation 4 is called a navigation equation, and the position, velocity, and posture of the pen system can be calculated from the acceleration measurement A b and the angular velocity measurement ω b . However, since the navigation equations are calculated on the assumption that all acceleration measurements are measured at one point, the actual system needs to convert the fuselage acceleration measured by the acceleration sensor to the fuselage acceleration measured at the virtual point.
도 3은 본 발명의 실시예에 따른 펜형 시스템의 센서 배치도이다. 펜형 시스템은, 펜의 선단 쪽으로로부터, 제1 가속도 센서, 제2 가속도 센서, 제1, 자이로 센서, 제2 자이로 센서, 그리고 제3 자이로 센서가 배치된다. 3 is a sensor layout diagram of a pen-type system according to an embodiment of the present invention. In a pen-type system, a first acceleration sensor, a second acceleration sensor, a first, gyro sensor, a second gyro sensor, and a third gyro sensor are disposed from toward the tip of the pen.
제1 가속도 센서는 펜 선단 까지의 거리가 r1 = [0 0 -r1]T이며, x축과 y축 방향으로 발생하는 가속도 Aax1, Aay1을 검출한다. 제2 가속도 센서는 펜 선단 까지의 거리가 r2 =[0 0 -r2]T이며, z축 방향으로 발생되는 가속도 Aaz2 를 검출한다. 이때, 제2 가속도 센서의 y축 방향 검출신호는 무시한다. 제1 내지 제3 자이로센서는 각각 x, y, z축 방향을 중심으로 각속도 ωx,ωy,ωz를 검출한다. 이때, z축은 펜의 중심축과 일치되도록 한다.The first acceleration sensor has a distance to the tip of the pen, r 1 = [0 0 -r 1 ] T , and detects accelerations A ax1 and A ay1 occurring in the x- and y-axis directions. The second acceleration sensor has a distance r 2 = [0 0 -r 2 ] T to the tip of the pen and detects the acceleration A az2 generated in the z-axis direction. At this time, the y-axis direction detection signal of the second acceleration sensor is ignored. The first to third gyro sensors detect angular velocities ω x , ω y and ω z around the x, y and z axis directions, respectively. At this time, the z-axis to match the central axis of the pen.
도 4는 도 3에 보인 펜의 동체 좌표에 대한 절대 좌표계와의 관계를 나타낸다. 절대 좌표계에서 본 펜 동체의 좌표 P는 다음 수학식 5와 같이 나타낼 수 있다. FIG. 4 shows the relationship with the absolute coordinate system of the fuselage coordinates of the pen shown in FIG. The coordinate P of the pen body in the absolute coordinate system can be expressed as Equation 5 below.
{a: 절대좌표계, b: 동체좌표계{a: world coordinate system, b: body coordinate system
: b좌표계의 원점으로부터 P까지의 벡터 : the vector from the origin of the b coordinate system to P
R: b좌표계의 원점으로부터 a좌표계 원점까지의 벡터 R: Vector from the origin of b coordinate system to the origin of a coordinate system
r: a좌표계의 원점으로부터 P까지의 벡터 r: the vector from the origin of the a coordinate system to P
: 방향 코사인 행렬} : Direction cosine matrix}
절대 좌표계에서 본 a좌표계의 원점의 속도는 위 수학식 5를 일차 미분하는 것으로 얻을 수 있으며, 다음 수학식 6으로 나타낼 수 있다. The velocity of the origin of the a coordinate system seen in the absolute coordinate system can be obtained by first differentiating the above Equation 5, and can be represented by the following Equation 6.
{: b좌표계에서 본 동체의 좌표 P의 속도{ : Velocity of coordinate P of the fuselage in b coordinate system
: b좌표계에서 a좌표계 원점의 속도 } : velocity of a coordinate system origin in b coordinate system}
여기서, , 의 관계식을 이용하였으며, 는 b좌표계에 대한 a좌표계의 회전 각속도이다.here, , Using the relationship of, Is the rotational angular velocity of the a coordinate system with respect to the b coordinate system.
절대좌표계 b에서 본 a좌표계의 r에 대한 가속도는 위 수학식 6을 다시 미분하는 것으로 얻을 수 있으며, 다음 수학식 7과 같이 나타낼 수 있다. The acceleration of the a coordinate system r in the world coordinate system b may be obtained by differentiating Equation 6 again, and may be expressed as Equation 7 below.
여기서, 는 a좌표계에서 본 r의 가속도이다.here, Is the acceleration of r as seen from the coordinate system a.
위 수학식 7에서In Equation 7 above
, ,
는 펜 선단의 가속도로 설정하면, 다음 수학식 8과 같은 관계가 성립된다. If is set to the acceleration of the pen tip, the following equation 8 holds.
여기서, r은 펜 선단을 원점으로 하는 동체 좌표계 b에서 가속도 센서의 위치를 나타내며, Aa는 도 3의 제1 및 제2 가속도 센서로부터 얻을 수 있는 측정치이다.Here, r represents the position of the acceleration sensor in the fuselage coordinate system b having the pen tip as the origin, and Aa is a measurement value obtained from the first and second acceleration sensors of FIG. 3.
위 수학식 8로부터 도 1에 보인 시스템의 제어부는 제1 가속도 센서 및 제2 가속도 센서를 통해 측정되는 가속도를 다음 수학식 9를 통해 펜 선단의 가속도로 변환한다. The controller of the system shown in FIG. 1 from Equation 8 converts the acceleration measured by the first acceleration sensor and the second acceleration sensor into the acceleration of the pen tip through the following equation (9).
{ Aax1,Aax2: 각각 도 3에 보인 제1 가속도 센서의 x, y축 방향에 대한 측정치{A ax1 , A ax2 : Measured values for the x and y axis directions of the first acceleration sensor shown in FIG. 3, respectively.
Aaz2: 도 3에 보인 제2 가속도 센서의 z축 방향에 대한 측정치A az2 : measured value in the z-axis direction of the second acceleration sensor shown in FIG. 3.
ωbx, ωby, ωbz: 도 3에 보인 제1 내지 제3 각속도 센서 각각으로부터 각 축방향에 대한 측정치}ω bx , ω by , ω bz : measured values for each axial direction from each of the first to third angular velocity sensors shown in FIG. 3}
한편, 펜형 시스템의 초기 자세는 시스템의 오차 발생 여부에 매우 큰 영향을 미치므로 오차를 보정해 줄 것이 요구된다. 따라서 도 1에 보인 펜형 입력시스템은 사용자의 공간 필기 궤적을 복원하는 데 있어서, 칼만 필터를 이용한 초기 자세의 계산을 통해 오차를 보정해 준다. On the other hand, the initial posture of the pen-type system has a great influence on whether or not the system error occurs, it is required to correct the error. Accordingly, the pen-type input system shown in FIG. 1 corrects an error by calculating an initial posture using a Kalman filter in restoring a user's spatial writing trajectory.
칼만 필터를 이용하기 위해서는 먼저 시스템의 프로세스 모델과 측정모델을 구해야 한다. 여기서는 프로세스 모델에 사용될 상태 변수로, 절대좌표계에서 펜 입력장치의 동체를 바라본 속도 Vnx, Vnx, Vnz 와 오일러 각 φ, θ, ψ를 이용한다. 이 상태 변수들에 대한 시스템 동력학 방정식은 상기 수학식 4의 항법 방정식으로부터 다음 수학식 10을 통해 구할 수 있다.In order to use the Kalman filter, the process model and measurement model of the system must first be obtained. Here is the state variable to be used in the process model, which is the velocity of the pen input device in the world coordinate system V nx , V nx , V nz and Euler angles φ, θ and ψ are used. The system dynamics equations for these state variables can be obtained from Equation 10 from the navigation equation of Equation 4 above.
또한, 모델링 오차를 가정하여 가상의 공정 잡음 ω를 추가하는 경우, 위 수학식 10은 다음 수학식 11과 같이 나타낼 수 있다.In addition, when the virtual process noise ω is added assuming modeling error, Equation 10 may be expressed as Equation 11 below.
여기서, x = [Pn Vn φ θ Ψ]T , u = [A ωbx ωby ωbz]T 이다.Where x = [P n V n φ θ Ψ] T , u = [A ω bx ω by ω bz ] T.
시스템이 정지 상태인 경우, 속도는 제로(0)이며, 롤각과 피치각은 가속도계 측정치로부터 구할 수 있으므로, 다음 수학식 12와 같이 나타낼 수 있다. When the system is stationary, the speed is zero, and the roll and pitch angles can be obtained from the accelerometer measurements, which can be expressed as
여기서, y = [Vn T φ θ]T , ν∈ R5 인 백색 잡음 벡터, C = [05×3 I5×5 05×1] 이며, 롤각과 피치각은 각각 다음 수학식 13과 같이 주어진다.Here, y = [V n T φ θ] T , white noise vector with ν∈ R 5 , C = [0 5 × 3 I 5 × 5 0 5 × 1 ], and the roll angle and pitch angle are respectively Is given by
여기서, Gbx, Gby, Gbz는 각각 동체 좌표계를 따라 측정되는 중력 가속도 성분이며, 가속도계 측정치로부터 구할 수 있다.Here, G bx , G by , and G bz are gravity acceleration components measured along the fuselage coordinate system, respectively, and can be obtained from the accelerometer measurements.
칼만 필터는 원래 선형 시스템에 대해 유도되는 시스템의 내부 상태 변수 또는 매개 변수의 추정에 사용되는 방법으로 위 수학식 11과 같은 비선형 시스템에 적용하기 위해서는 선형화 과정이 필요하다. 이를 위해 다음 수학식 14 및 수학식 15와 같은 명목 동력학 방정식과 명목 측정 방정식이 이용된다. The Kalman filter is a method used for estimating internal state variables or parameters of a system derived from the original linear system, and a linearization process is required to be applied to a nonlinear system such as Equation 11 above. To this end, nominal dynamics equations and nominal measurement equations are used, such as Equations 14 and 15 below.
위 수학식 14와 수학식 15로 나타낸 명목 시스템의 변수와 위 수학식 11과 수학식 13으로 나타낸 원 시스템의 변수는 다음 수학식 16과 같은 관계를 갖는다. The variables of the nominal system represented by Equations 14 and 15 and the variables of the original system represented by Equations 11 and 13 have the same relationship as in Equation 16 below.
수학식 16을 기반으로 수학식 11과 수학식 13을 명목 시스템 변수 , , 부근에서 테일러 시리즈 전개를 하면, 다음 수학식 17과 수학식 18을 얻을 수 있다.Equations 11 and 13 are nominal system variables based on Equation 16 , , When the Taylor series is expanded in the vicinity, the following equations (17) and (18) can be obtained.
여기서, H.O.T는 고차항을 나타내며, 무시할 수 있다. Here, H.O.T represents a higher order term and can be ignored.
위 수학식 17과 수학식 18을 정리하면, 다음 수학식 19와 같은 오차 동력학 방정식과 오차 측정 방정식을 얻을 수 있다.Summarizing Equations 17 and 18 above, an error dynamic equation and an error measurement equation can be obtained as shown in Equation 19 below.
여기서, A = 이며, B = 이다.Where A = Where B = to be.
그리고 위 수학식 19의 두 방정식에 대해 상태변수 확장 기법을 적용하면, 다음 수학식 20을 얻을 수 있다. If the state variable expansion technique is applied to the two equations of Equation 19, Equation 20 can be obtained.
여기서, = [ ]T, Aa = , 그리고 Ca = [C 05×6]이다.here, = [ T , A a = And C a = [C 0 5 × 6 ].
위 수학식 20은 선형 시스템이므로 여기에 칼만필터를 이용한다. 그러나 명목 시스템은 가상적인 시스템이므로 이를 실제로 구할 수는 없으므로 이 값들은 SDINS에서 계산되는 값으로 대치한다. 이때, 매 샘플링 순간마다 계산이 필요한 값은 수학식 20의 Aa와 δy이며, 이들을 계산하기 위해서는 명목 시스템의 변수 값 , , 를 이용한다.Since Equation 20 is a linear system, a Kalman filter is used here. However, since nominal systems are virtual systems, they cannot be actually obtained, so these values are replaced with values calculated by SDINS. At this time, the values that need to be calculated at each sampling instant are A a and δy of Equation 20, and in order to calculate them, the variable values of the nominal system are calculated. , , Use
위 수학식 20은 아날로그 시스템에 대해 유도되었기 때문에 실제 적용을 위해서는 이산화 과정이 필요하다. 수학식 20의 공정 잡음 공분산 행렬을 Q, 측정 잡음 공분산 행렬을 R, 그리고 샘플링 주기를 T라 할 때, 이산치 시스템의 공정 잡음 분산 행렬은 Q d = QT로 주어지며, R은 아날로그 시스템과 디지털 시스템에 공통으로 사용 가능하므로 이산화 과정이 필요 없다.Since Equation 20 is derived for an analog system, a discretization process is required for practical application. When the process noise covariance matrix of equation 20 is Q, the measured noise covariance matrix is R, and the sampling period is T, the process noise variance matrix of the discrete system is given by Q d = QT , where R is the analog system and the digital. Commonly used in the system, no discretization is required.
따라서, 시간 t = kT에서 칼만 필터에 입력되는 오차 측정치 는 다음 수학식 21과 같다.Therefore, the error measurement input to the Kalman filter at time t = kT Is as shown in Equation 21 below.
여기서, 오차 측정치 는 다음 수학식 22와 같이 나타낼 수 있으며, 는 SINDS의 계산값으로부터 구할 수 있다.Where error measurement Can be expressed as in Equation 22, Can be obtained from the calculated value of SINDS.
위와 같은 오차 측정치로부터 칼만 이득 K(kT)는 다음 수학식 23과 같이 계산된다. The Kalman gain K (kT) is calculated from Equation 23 from the above error measurement.
여기서, P는 오차 공분산 행렬이다.Where P is the error covariance matrix.
이후, 칼만 이득을 이용하여 오차 측정치 에 의한 상태 변수의 오차 및 공분산 행렬을 갱신한다.Then, error measurement using Kalman gain Update the error and covariance matrix of the state variable by.
수학식 21에 나타난 오차 측정치에 의해 나타나는 상태변수의 오차 및 오차 공분산 행렬은 다음 수학식 24 및 수학식 25와 같다. The error and error covariance matrix of the state variable represented by the error measurement value shown in Equation 21 is expressed by Equation 24 and Equation 25 below.
위와 같이 구해진 상태 변수 ,는 다음 수학식 26을 통해 갱신된다.State variables obtained as above , Is updated through the following equation (26).
시간 t = kT에서 추정한 시간 t = kT + T 의 공분산 행렬은 다음 수학식 27에 의해 계산되며, 이때, 오차 상태 변수 는 제로(0)로 재설정된다.Time t = covariance matrix of a time t = kT + T estimated by the kT is calculated by the following equation 27, at this time, the error state variables Is reset to zero (0).
도 5는 펜 입력장치의 초기 자세를 계산하는 연산처리시스템의 블록도를 나타낸다. 도면에서 칼만 필터의 출력은 산출된 가속도, 각속도, 오일러각 및 속도의 보정이 수행되도록 출력되고 있음을 보이고 있다. 5 is a block diagram of an arithmetic processing system for calculating an initial posture of a pen input device. In the figure, the output of the Kalman filter shows that the correction of the calculated acceleration, angular velocity, Euler angle and velocity is performed.
위와 같이 유도된 초기 자세 계산 방법은 시스템이 정지하였을 때, 사용 가능하다. 여기서 정지의 의미는 시스템의 고정 상태와 사용자의 입력 동작 중 잠시 멈추는 상태를 포함한다. 펜형 입력시스템은 SDINS를 탑재한 플랫폼과는 다르게 운동여부를 감지하는 장치가 별도로 존재하지 않으므로 관성 측정치만을 이용하여 운동여부를 감지해야 한다. 이때, 가속도의 경우, 사용 가능한 값은 가속도 센서의 원 출력값인 동체 가속도 Ab와 SDINS가 계산한 절대좌표계에서 본 값 An이 있지만, Ab는 시스템 자세에 따른 변화가 심하고, An은 계산 과정 중에 각속도 측정치의 오차가 누적되어 영향을 미칠 수 있다. 따라서 도 1의 펜형 입력시스템에서는 각속도 측정치만을 이용하여 시스템의 운동여부(m(t))를 판단한다. 이를 위해 다음 식 28과 같은 기준을 설정한다.The initial posture calculation method derived as above can be used when the system is stopped. In this case, the meaning of the stop includes a fixed state of the system and a pause state of the user's input operation. Unlike the platform equipped with SDINS, the pen-type input system does not have a separate device for detecting motion. Therefore, the pen-type input system should detect motion using only inertial measurement. At this time, in case of acceleration, the usable value is the body acceleration A b which is the original output value of the acceleration sensor and the value A n which is calculated from the absolute coordinate system calculated by SDINS, but A b is very variable according to the system attitude, and A n is calculated Errors in the angular velocity measurements can accumulate and affect the process. Therefore, in the pen-type input system of FIG. 1, the motion of the system m (t) is determined using only the angular velocity measurement. To do this, set the criteria as shown in Eq.
이때, 시스템의 운동여부 m(t)는 3축 각속도가 모두 제로인 경우에 발화되어 운동중에도 시스템의 각속도의 부호가 바뀌는 경우 발화될 가능성이 있으므로 움직임의 검치는 다음 수학식 29를 이용한다.At this time, the motion m (t) of the system is ignited when all three-axis angular velocity is zero, and it may be ignited when the sign of the angular velocity of the system is changed even during the exercise.
여기서, tstart는 m(t)가 발화되는 시점이며, tth는 미리 설정된 문턱치이다.Here, t start is a time point at which m (t) is ignited, and t th is a preset threshold.
이후, 설명의 편의를 위해 M(t)가 0에서 1로 바뀌는 순간 , 즉, 운동이 시작되는 순간을 t1이라하고, 1에서 0으로 바뀌는 순간, 즉 운동이 종료되는 순간을 t2라 한다.For convenience of explanation, the moment when M (t) is changed from 0 to 1, that is, the moment when the movement starts is called t 1 , and the moment when the moment is changed from 1 to 0, that is, the moment when the exercise ends is called t 2 . .
시스템이 운동 중인 경우는 순수하게 수학식 4와 같은 항법 방정식만으로 시스템의 3차원 운동을 계산한다. 그러나 초기 자세의 계산이 정확하더라도 관성 센서의 잡음, 상수 드리프트, 주위 온도, 센서들 사이의 비정렬 오차 등으로 인해 정확한 운동 추종이 불가능하다. 따라서 이러한 오차들에 대한 보정을 수행해야 정확한 운동을 검출할 수 있다. 이를 위해 시스템의 운동 전후 속도는 0(제로)이라는 물리적인 제약 조건을 이용한다. 시스템의 운동 전후 속도는 0(제로)이라는 조건을 이용한 오차 보정을 영속도 보정(Zero Velocity Compensation: ZVC)이라 한다. When the system is in motion, the three-dimensional motion of the system is calculated using only navigation equations such as Equation 4. However, even if the initial posture calculations are accurate, accurate motion tracking is impossible due to noise, constant drift, ambient temperature, and misalignment between the sensors. Therefore, it is necessary to correct for these errors so that accurate motion can be detected. To this end, the system uses a physical constraint of zero (zero) before and after the movement of the system. The error correction using the condition that the velocity of the system before and after the movement is zero is called zero velocity compensation (ZVC).
ZVC는 먼저, 위의 운동여부 검출 방법에 의해 결정된 t1에서 t2 기간 동안 SDINS에 의해 계산된 절대좌표계에서의 가속도는 다음 수학식 29와 같다.ZVC first calculates the acceleration in the absolute coordinate system calculated by SDINS during the period t 1 to t 2 determined by the motion detection method as shown in Equation 29 below.
{: SDINS에 의해 계산된 가속도{ : Acceleration calculated by SDINS
An: 실제 가속도A n : actual acceleration
d: 오차항이다. } d: error term. }
운동 종료 후의 속도가 속도가 0이라는 조건으로부터 수학식 29는 다음 수학식 31을 얻을 수 있다. The following equation (31) can be obtained from the condition that the speed after the end of the exercise is zero in speed.
여기서, 오차 d(t)는 다양하게 모델링 할 수 있으며, d(t)를 미지 상수로 두는 경우의 해는 다음 수학식 32와 같다.Here, the error d (t) can be modeled in various ways, and the solution in the case where d (t) is an unknown constant is expressed by Equation 32 below.
위의 오차 d(t)를 통해 보정된 운동 중의 속도 와 는 다음 수학식 33과 같다.Velocity during exercise corrected by the above error d (t) Wow Is as shown in Equation 33 below.
영속도 보정은 위에서 설명된 운동여부 검출 결과에 따라 처리되며, 보정 과정은 다음과 같은 과정을 통해 수행된다. The zero speed correction is processed according to the above-described motion detection result described above, and the correction process is performed through the following process.
먼저, t= kT 순간에 시스템의 운동여부는 위 수학식 29를 통해 감지하게 된다. 이때, M(kT-T) = 0이고, M(kT) = 1이면, 시스템이 운동을 시작하는 경우이며, t1 = kT로 설정하고, 초기 자세 계산에서 산출된 롤각과 피치각을 수학식 4에 보인 항법 방정식의 초기치로 설정한다. First, the motion of the system at the time t = kT is detected by Equation 29 above. At this time, if M (kT-T) = 0, M (kT) = 1, the system starts the movement, set t1 = kT, and calculates the roll angle and the pitch angle calculated in the initial posture calculation Set to the initial value of the navigation equation shown in.
다음으로, M(kT-T) = 1이고, M(kT) = 1이면, 시스템이 운동 중인 경우이며, 수학식 3의 항법 방정식을 이용하여 시스템의 위치, 속도, 자세를 계산한다.Next, when M (kT-T) = 1 and M (kT) = 1, the system is in motion, and the position, speed, and attitude of the system are calculated using the navigation equation of Equation 3.
다음으로, M(kT-T) = 1이고, M(kT) = 0이면, 시스템이 운동을 종료하는 경우이며, t2 = kT로 설정하고, 수학식 31과 수학식 32를 이용하여 t1과 t2 사이의 시스템의 위치와 속도를 보정한다.Next, if M (kT-T) = 1 and M (kT) = 0, this is the case where the system ends the exercise, t2 = kT, and t1 and t2 using Equation 31 and Equation 32. Calibrate the position and speed of the system between.
그리고 M(kT-T) = 0이고, M(kT) = 0이면, 시스템이 정지한 경우이며, 수학식 21 내지 수학식 26을 이용하여 초기 자세 계산을 수행한다. If M (kT-T) = 0 and M (kT) = 0, the system is stopped. The initial posture calculation is performed using Equations 21 to 26.
이후, k = k+1에 대해서는 위의 과정을 반복한다. Thereafter, the above process is repeated for k = k + 1.
도 6은 PDA와 같이 2차원 평면 상의 필기 동작에 대한 궤적을 복원하기 위하여 이용되는 그래피티 테이블이다. 본 발명의 펜형 입력시스템은 3차원 공간 상에서의 입력을 가정하고 있고, 여러 획으로 이루어진 문자 입력을 하는 경우 각 획 사이의 분리 문제가 있으므로, 2차원 상에서의 필기 동작과 3차원 상에서의 필기 동작을 비교하기 위하여 위와 같은 그래피티 단일 획 문자 입력 방식을 이용한다. FIG. 6 is a graffiti table used to recover a trajectory for a writing operation on a two-dimensional plane such as a PDA. The pen-type input system of the present invention assumes an input in a three-dimensional space, and when a character input consisting of multiple strokes has a problem of separation between strokes, the writing operation in two dimensions and the writing operation in three dimensions are performed. For comparison, the graffiti single stroke character input method is used.
도 7은 그래피티 테이블의 각 숫자 및 문자에 대해 본발명의 펜형 시스템을 이용하여 2차원 평면을 갖는 테블릿에 필기된 내용을 복원한 상태를 나타낸 도면이다. 도 7에서 몇 몇 문자의 경우는 제대로 복원이 되고 있지 않은 경우가 있으나, 이는 위 실험에서 아날로그 디바이스 사의 가속도계 ADXL202E의 평가보드인 ADXL202EB-232A를 선정한 관계로, 2축 가속도만을 측정하고 있으며, 본 발명에서 제안하는 회전 변환이 수행되지 않고 있음을 감안하여 평가해야 한다. FIG. 7 is a diagram illustrating a state in which contents written on a tablet having a two-dimensional plane are restored using a pen-type system of the present invention for each number and letter of a graffiti table. In the case of some characters in Fig. 7 may not be properly restored, this is because the ADXL202EB-232A, which is an evaluation board of the accelerometer ADXL202E of the analog device, is selected in the above experiment, and only two-axis acceleration is measured. It should be evaluated considering that the rotation transformation suggested in
또한, 도 8a 내지 도 8d는 각각 숫자 2, 숫자 9, 영문자 E, 숫자 7을 2차원 평면을 갖는 테블릿에 필기 했을 때 복원된 궤적과 3차원 공간 상에 필기 했을 때 복원된 궤적을 비교하여 나타낸 도면이다. 도면에서 실선은 테블릿에 필기했을 때 나타난 복원 결과이며, 점선은 공간 상에 필기했을 때 나타난 복원 결과이다. In addition, FIGS. 8A to 8D compare the reconstructed trajectories when the numbers 2, 9, the letter E, and the number 7 are written on a tablet having a two-dimensional plane, and the reconstructed trajectories when writing on a three-dimensional space, respectively. The figure shown. In the drawings, the solid line indicates the restoration result when writing on the tablet, and the dotted line indicates the restoration result when writing on the space.
또한, 도 9는 3차원 공간에 영문자 'SAIT'를 필기체 형태로 연속적으로 입력한 경우의 복원 결과이다. 실험결과, 약 5문자 이내로 이루어진 단어 또는 서명과 같이 빠르게 입력되는 경우는 인간이 인식할 정도의 궤적 복원이 수행됨을 알 수 있다. 9 is a restoration result when the English letter 'SAIT' is continuously written in a three-dimensional space in a cursive form. As a result of the experiment, it can be seen that the trajectory restoration that is recognized by humans is performed when a word or a signature composed of about 5 letters or less is input quickly.
이상과 같은 펜형 입력시스템 및 궤적 복원방법은 관성 센서들을 이용하여 3차원 공간에서의 필기 궤적을 복원할 때, 관성 센서 등에 의해 발생할 수 있는 누적 오차 및 각종 환경 변화에 의한 오차를 보정함으로서 보다 더 정확한 궤적 복원을 할 수 있게 한다. The pen-type input system and trajectory restoration method described above are more accurate by correcting errors caused by inertial sensors and various environmental changes when restoring the writing trajectory in three-dimensional space using inertial sensors. Enable trajectory restoration.
또한, 소형 장치에서의 입력 동작 불편 문제를 해결할 수 있을 뿐만 아니라 직관적인 인터페이스이므로 특별한 학습 과정 없이도 입력 시스템을 이용할 수 있어 사용자의 편의를 도모할 수 있다. In addition, the user may not only solve the problem of input operation in a small device but also use the input system without any special learning process because the intuitive interface is used.
이상에서는 본 발명의 바람직한 실시예에 대하여 설명하고 있으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.In the above description of the preferred embodiment of the present invention, the present invention is not limited to the above-described specific embodiment, it is common in the art to which the invention belongs without departing from the spirit of the invention claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.
도 1은 본 발명의 실시예에 따른 펜형 공간 입력시스템의 개략적인 블록도,1 is a schematic block diagram of a pen-type space input system according to an embodiment of the present invention;
도 2는 펜형 동체가 갖는 동체좌표계와 절대좌표계의 관계를 나타낸 도면, 2 is a view showing the relationship between the body coordinate system and the absolute coordinate system of the pen body;
도 3은 본 발명에 따른 펜형 공간 입력시스템의 센서 배치 구조를 나타낸 도면,3 is a view showing a sensor arrangement structure of a pen-type space input system according to the present invention;
도 4는 동체좌표계와 절대좌표계의 벡터 관계를 나타낸 도면,4 is a diagram showing a vector relationship between a fuselage coordinate system and an absolute coordinate system;
도 5는 도 1의 제어부에서 펜형 입력시스템의 초기 자세를 계산하기 위하여 이용되는 연산 처리 블록도,5 is a calculation processing block diagram used to calculate an initial posture of the pen-type input system in the control unit of FIG. 1;
도 6은 단일 획문자 그래피티 표6 is a single stroke graffiti table
도 7은 그래피티 표의 각 숫자 및 문자에 대해 도 1의 펜형 입력 시스템을 이용하여 태블릿에 필기한 궤적 복원 결과를 나타낸 도면,FIG. 7 is a diagram illustrating a trajectory restoration result written on a tablet by using the pen-type input system of FIG. 1 for each number and letter of a graffiti table; FIG.
도 8a 내지 도 8d는 각각 숫자 2, 숫자 9, 영문자 E, 그리고 숫자 7을 태블릿에 필기했을 때와 3차원 공간 상에 필기했을 때 나타나는 결과를 비교하여 나타낸 도면, 그리고 8A to 8D are diagrams showing the results of writing the number 2, the number 9, the letter E, and the number 7, respectively, on a tablet and in three-dimensional space, respectively, and
도 9는 영문자 SAIT를 3차원 공간 상에서 연속적으로 필기했을 때의 궤적 복원 결과를 나타낸 도면이다. 9 is a diagram illustrating a trajectory restoration result when the English letter SAIT is continuously written in a three-dimensional space.
*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings
110: 모션검출부 120: 디스플레이110: motion detector 120: display
130: 송수신부 140: 제어부130: transceiver 140: controller
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2003-0017142A KR100512963B1 (en) | 2003-03-19 | 2003-03-19 | Pen-shaped input device using inertial measurement units and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2003-0017142A KR100512963B1 (en) | 2003-03-19 | 2003-03-19 | Pen-shaped input device using inertial measurement units and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040082558A KR20040082558A (en) | 2004-09-30 |
KR100512963B1 true KR100512963B1 (en) | 2005-09-07 |
Family
ID=37366322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2003-0017142A KR100512963B1 (en) | 2003-03-19 | 2003-03-19 | Pen-shaped input device using inertial measurement units and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100512963B1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100643304B1 (en) * | 2005-02-15 | 2006-11-10 | 삼성전자주식회사 | Apparatus and method for correcting inertia measurement unit and recording medium for recording the method |
KR100777107B1 (en) | 2005-12-09 | 2007-11-19 | 한국전자통신연구원 | apparatus and method for handwriting recognition using acceleration sensor |
KR100711261B1 (en) * | 2006-06-21 | 2007-04-25 | (주)마이크로인피니티 | Method for recognizing space of inputting device and apparatus thereof |
KR100695445B1 (en) * | 2006-06-21 | 2007-03-16 | (주)마이크로텍시스템 | Method for indicating screen using space recognition set and apparatus thereof |
KR101457456B1 (en) | 2008-01-28 | 2014-11-04 | 삼성전자 주식회사 | Apparatus and Method of personal font generation |
-
2003
- 2003-03-19 KR KR10-2003-0017142A patent/KR100512963B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20040082558A (en) | 2004-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100543701B1 (en) | Apparatus and method for inputting information spatially | |
CN106933390B (en) | Stylus position and posture detection method and system combining inertia technology and ultrasonic waves | |
KR100501721B1 (en) | Pen-shaped input device using magnetic sensor and method thereof | |
TWI474265B (en) | Moving trajectory calibration method and moving trajectory generation method | |
KR101185144B1 (en) | Method and apparatus for estimating 2-dimension trajectory of a gesture | |
WO2010001970A1 (en) | Moving body posture angle processing device | |
Song et al. | Inertial motion tracking on mobile and wearable devices: Recent advancements and challenges | |
KR20120121595A (en) | Position calculation apparatus and method that use acceleration sensor | |
EP2930467A1 (en) | A system and method for sensing the inclination of a moving platform with respect to gravity | |
CN109764870B (en) | Carrier initial course estimation method based on transformation estimation modeling scheme | |
CN114485641A (en) | Attitude calculation method and device based on inertial navigation and satellite navigation azimuth fusion | |
US20130060516A1 (en) | Trace-generating devices and methods thereof | |
Yang et al. | Analysis and compensation of errors in the input device based on inertial sensors | |
Dong et al. | A low-cost motion tracker and its error analysis | |
KR100512963B1 (en) | Pen-shaped input device using inertial measurement units and method thereof | |
Renuka et al. | Online hand written character recognition using digital pen for static authentication | |
TWI472953B (en) | Inertial sensing input apparatus, system and method thereof | |
CN112328099B (en) | Low-power pointing method and electronic device for realizing same | |
Wang et al. | Effective inertial hand gesture recognition using particle filtering based trajectory matching | |
CN112284379B (en) | Inertial pre-integration method of combined motion measurement system based on nonlinear integral compensation | |
Luo et al. | An attitude compensation technique for a MEMS motion sensor based digital writing instrument | |
CN102306054A (en) | Attitude sensing equipment and positioning method and device thereof and method and device for controlling mouse pointer | |
JP3560418B2 (en) | Pen-type input device | |
US10359297B2 (en) | System and method for sensor calibration | |
JP3505057B2 (en) | Pen-type input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120730 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20130730 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20140730 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20150730 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |