KR100643400B1 - 입력 장치의 자세 측정 방법 및 그 장치 - Google Patents

입력 장치의 자세 측정 방법 및 그 장치 Download PDF

Info

Publication number
KR100643400B1
KR100643400B1 KR1020050001854A KR20050001854A KR100643400B1 KR 100643400 B1 KR100643400 B1 KR 100643400B1 KR 1020050001854 A KR1020050001854 A KR 1020050001854A KR 20050001854 A KR20050001854 A KR 20050001854A KR 100643400 B1 KR100643400 B1 KR 100643400B1
Authority
KR
South Korea
Prior art keywords
quaternion
calculating
angle
input device
posture
Prior art date
Application number
KR1020050001854A
Other languages
English (en)
Other versions
KR20060081509A (ko
Inventor
송진우
Original Assignee
(주)마이크로인피니티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)마이크로인피니티 filed Critical (주)마이크로인피니티
Priority to KR1020050001854A priority Critical patent/KR100643400B1/ko
Publication of KR20060081509A publication Critical patent/KR20060081509A/ko
Application granted granted Critical
Publication of KR100643400B1 publication Critical patent/KR100643400B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/14Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)

Abstract

본 발명은 입력 장치의 자세를 측정하기 위한 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 칼만 필터(Kalman Filter)를 사용하는 대신, 자이로 데이터를 이용하여 계산한 제1 쿼터니언과 가속도계 데이터를 이용하여 계산한 제2 쿼터니언의 가중합을 계산하고, 상기 가중합을 이용하여 입력 장치의 자세각을 계산하는 것을 특징으로 하는 입력 장치의 자세 측정 방법 및 그 장치에 관한 것이다.
본 발명에 따른 입력 장치의 자세 측정 방법은 x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터를 이용하여 제1 쿼터니언(quaternion)을 계산하는 제1 단계, x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 제2 쿼터니언을 계산하는 제2 단계, 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 쿼터니언과 상기 제2 쿼터니언의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 쿼터니언으로 결정하는 제3 단계 및 상기 제3 쿼터니언을 이용하여 상기 입력 장치의 자세각을 계산하는 제4 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 복잡한 설계 과정과 오랜 계산 시간을 필요로 하는 칼만 필터를 사용하지 않으면서도 입력 장치의 자세를 용이하게 측정할 수 있는 방법 및 그 장치가 제공된다.
칼만 필터, 가중합, 쿼터니언, 오일러각, 자이로

Description

입력 장치의 자세 측정 방법 및 그 장치{METHOD FOR MEASURING ATTITUDE OF INPUTTING DEVICE AND APPARATUS THEREOF}
도 1은 칼만 필터를 사용하는 종래기술에 따른 항법 알고리즘을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 항법 알고리즘을 개략적으로 도시한 블록도이다.
도 3은 도 2에 따른 항법 알고리즘을 이용한 입력 장치의 자세 측정 방법을 도시한 흐름도이다.
도 4는 본 발명의 또 다른 실시예에 따른 항법 알고리즘을 개략적으로 도시한 블록도이다.
도 5는 도 4에 따른 항법 알고리즘을 이용한 입력 장치의 자세 측정 방법을 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 입력 장치의 자세 측정 장치를 개략적으로 도시한 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 입력 장치의 자세 측정 장치를 개략적으로 도시한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
601 : 제1 쿼터니언 계산 수단
602 : 제2 쿼터니언 계산 수단
603 : 가중합 계산 수단
604 : 자세각 계산 수단
본 발명은 입력 장치의 자세를 측정하기 위한 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 칼만 필터(Kalman Filter)를 사용하는 대신, 자이로 데이터를 이용하여 계산한 제1 쿼터니언과 가속도계 데이터를 이용하여 계산한 제2 쿼터니언의 가중합을 계산하고, 상기 가중합을 이용하여 입력 장치의 자세각을 계산하는 것을 특징으로 하는 입력 장치의 자세 측정 방법 및 그 장치에 관한 것이다.
일반적으로 항법 시스템(navigation system)은 항법 센서를 이용하여 위치, 자세, 속도, 가속도, 시간, 방향각, 각속도 등 위치 파악에 관한 여러 가지 정보를 제공해 주는 시스템을 의미하는 것으로서, 항법 알고리즘(navigation algorithm)은 이러한 항법 시스템에서 도입되는 알고리즘의 하나로 항체의 자세를 측정하기 위한 목적으로 사용된다.
도 1은 칼만 필터를 사용하는 종래기술에 따른 항법 알고리즘을 개략적으로 도시한 블록도이다. 도 1에 도시한 것과 같이, 종래기술에 따른 항법 알고리즘에서는 자이로 데이터를 이용한 쿼터니언 계산 및 업데이트를 통해 쿼터니언을 이용 한 자세각 정보를 추출하고, 상기 추출된 자세각 정보를 가속도계를 이용하여 보정한 후, 칼만 필터링을 통한 상태 업데이트를 거쳐 새로운 쿼터니언을 계산하는 방식을 채택하고 있었다.
이와 같이, 본 발명 이전의 항법 알고리즘에서는 칼만 필터(Kalman Filter)가 채용되고 있었다. 칼만 필터는 이동중인 표적의 탐색 및 추적을 위해 가장 많이 응용되며, 선형 시스템의 상태변수를 추정하는 기법으로서 1960년 칼만에 의해 소개되었다. 그러나, 초기 칼만 필터링은 비교적 예측이 쉬운 선형 시스템에서 그 모델이 형성되었는 바, 선형 시스템에서 보장되는 최적성을 비선형 시스템에서도 유지할 수 있도록 하는 문제가 있고, 필터의 오차, 그리고 시스템이나 잡음에 대한 정확한 지식이 없을 때에는 칼만 필터가 갖는 장점들을 유지시키기 어려운 문제점이 있었다.
상기와 같은 문제점 중 초기 칼만 필터의 구조적 개선을 통하여 비선형 시스템의 상태변수를 추정하는 방법으로 개선된 것이 확장된 칼만 필터(Extended Kalman Filter)인데, 이러한 확장된 칼만 필터는 비선형 시스템의 선형화에 근거를 두고 있는 것으로 초기치를 선형화 시킨 다음, 선형화된 모델에서 추정치를 구하고, 그 이후 순간 순간의 시점에서 새로이 구한 추정치를 이용하여 선형화시켜 나가는 되먹임 필터(Recursive Filter) 알고리즘을 의미한다.
그러나, 확장된 칼만 필터는 상태를 추정할 때마다 새로운 선형화를 필요로 하게 되며, 이동하는 물체의 비선형성을 해석하기 위하여 상태변수의 증가가 불가피하게 되므로 그 계산량이 증가하게 된다. 따라서, 확장된 칼만 필터를 이동하는 물체에 관한 인식 분야에 적용할 경우, 시간적인 환경변화에 적절히 대응하기 위해서 칼만 필터의 상태변수를 지속적으로 업데이트해야만 하는 문제점이 있었다.
그 결과, 도 1에 도시한 도면 부호(101)을 참조하면 종래기술에 따른 항법 알고리즘에서는 상기와 같은 칼만 필터링을 위해, 자이로 데이터를 이용하여 시스템 행렬(system matrix)과 공분산 행렬(covariance matrix)을 계산하는 예측 단계와 칼만 이득(Kalman gain)을 계산하는 측정 단계를 거쳐, 칼만 필터링 상태 업데이트 단계를 수행하는 복잡한 과정을 거쳐야만 했다. 또한, 이와 같이 복잡한 과정을 거쳐야 하는 종래의 항법 알고리즘에 따르면, 필연적으로 오랜 계산 시간이 소요될 수 밖에 없었다.
이에, 복잡한 설계 과정과 오랜 계산 시간을 필요로 하는 칼만 필터를 사용하지 않으면서도 입력 장치의 자세를 용이하게 측정할 수 있는 새로운 항법 알고리즘의 출현이 요청되어 왔다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 칼만 필터를 사용하지 않고도 입력 장치의 자세를 용이하게 측정할 수 있는 새로운 항법 알고리즘을 제시한다.
따라서, 본 발명에 따른 입력 장치의 자세 측정 방법 및 그 장치는 자이로 데이터를 이용하여 계산한 제1 쿼터니언과 가속도계 데이터를 이용하여 계산한 제2 쿼터니언의 가중합을 계산하고, 상기 가중합을 이용하여 입력 장치의 자세각을 계산하는 새로운 항법 알고리즘을 채택함으로써, 그 구현이 어렵고 장시간의 계산이 소요되는 칼만 필터를 사용하지 않고도 입력 장치의 자세를 용이하게 측정하는 것을 그 목적으로 한다.
상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 입력 장치의 자세 측정 방법은 x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터를 이용하여 제1 쿼터니언(quaternion)을 계산하는 제1 단계, x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 제2 쿼터니언을 계산하는 제2 단계, 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 쿼터니언과 상기 제2 쿼터니언의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 쿼터니언으로 결정하는 제3 단계 및 상기 제3 쿼터니언을 이용하여 상기 입력 장치의 자세각을 계산하는 제4 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 입력 장치의 자세 측정 방법은 x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터를 이용하여 제1 오일러각을 계산하는 제1 단계, x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 제2 오일러각을 계산하는 제2 단계, 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 오일러각과 상기 제2 오일러각의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 오일러각으로 결정하는 제3 단계 및 상기 제3 오일러각을 이용하여 상기 입력 장치의 자세각을 계산하는 제4 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 일실시예에 따른 입력 장치의 자세 측정 장치는 x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터를 이용하여 제1 쿼터니언(quaternion)을 계산하는 제1 쿼터니언 계산 수단, x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 제2 쿼터니언을 계산하는 제2 쿼터니언 계산 수단, 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 쿼터니언과 상기 제2 쿼터니언의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 쿼터니언으로 결정하는 가중합 계산 수단 및 상기 제3 쿼터니언을 이용하여 상기 입력 장치의 자세각을 계산하는 자세각 계산 수단을 포함하는 것을 특징으로 한다.
본 명세서에서 사용되는 입력 장치는 PC용 공간 마우스, 디지털 TV용 확장형 공간 리모콘, 3차원 체감형 게임용 공간 입력기, HMD(Head Mounted Display) 입력 장치, 보행거리 기록계, 차량용 항법장치, 차량용 블랙박스 등과 같은 현재 일반적으로 사용되고 있는 장치뿐만 아니라, 앞으로 사용될 모든 입력 장치를 포괄하는 개념이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 입력 장치의 자세 측정 방법 및 그 장치를 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 항법 알고리즘을 개략적으로 도시한 블록도이다. 도 1과 도 2를 비교하면, 도 1에서는 칼만 필터(Kalman Filter)를 사용하기 위해 자이로 데이터를 이용하여 시스템 행렬(system matrix)과 공분산 행렬(covariance matrix)을 계산하는 예측 단계와 칼만 이득(Kalman gain)을 계산하는 측정 단계를 거쳐, 칼만 필터링 상태 업데이트 단계를 수행하는 복잡한 과정이 수 행되고 있는 반면(도면 부호(101)), 도 2에서는 상기의 과정이 모두 생략되고 자이로 데이터에 기초한 제1 쿼터니언과 가속도계 데이터에 기초한 제2 쿼터니언의 가중합을 통해 입력 장치의 자세각을 간단히 계산해내는 과정만이 수행되고 있음을 알 수 있다.
이하에서는 도 2에 따른 항법 알고리즘을 이용한 입력 장치의 자세 측정 방법을 도 3을 참조하여 설명하기로 한다. 도 3에 도시된 자세 측정 방법은 소정의 자세 측정 장치에서 수행될 수 있다.
단계(S301)에서 상기 자세 측정 장치는 자이로 데이터를 통해 단위 시간당 쿼터니언(quaternion) 변화량을 계산하고, 상기 계산된 단위 시간당 쿼터니언을 이용하여 직전 순환에서 결정되어 저장된 쿼터니언을 업데이트한다. 자이로 데이터는 각속도 측정 센서인 자이로스코프(gyroscope)에 의해 측정된 x, y, z축 방향에 대한 단위 시간당 각도 변화량을 의미하며, 이러한 자이로 데이터를 한번 적분하면 각도가 되므로 자이로스코프는 항법 시스템에서 자세를 계산하기 위해 반드시 필요한 센서에 해당한다.
단계(S302)에서 상기 자세 측정 장치는 단계(S301)에서 업데이트된 쿼터니언을 정규화(normalization)하여, 단계(S303)에서 제1 쿼터니언을 계산해낸다. 이와 같이, 제1 쿼터니언은 자이로 데이터, 즉 각속도를 이용하여 계산된 쿼터니언에 해당한다.
단계(S304)에서 상기 자세 측정 장치는 가속도계 데이터의 중력 성분을 보상한다. 가속도계 데이터는 가속도계(accelerator)에 의해 측정된 x, y, z축 방향에 대한 가속도를 의미하는데, 이러한 가속도계 데이터를 적분하여 속도, 거리 등을 산출할 수 있게 된다. 그런데, 가속도계가 기울어진 경우에는 입력 장치의 움직임에 의한 가속도와 더불어 지구 중력의 영향이 같이 측정되기 때문에 지구 중력의 영향을 정확히 보정하지 않으면 속도가 급격히 발산하는 문제점이 발생한다. 따라서, 상기 자세 측정 장치는 단계(S304)에서 가속도계의 출력 성분 중 입력 장치의 진행 방향만의 가속도 성분을 추출하는 방식으로 가속도계 데이터의 중력 성분을 보상한다.
단계(S305)에서 상기 자세 측정 장치는 단계(S303)에서 계산된 상기 제1 쿼터니언을 이용하여 요(yaw)각을 계산하고, 단계(S306)에서 중력 성분이 보상된 상기 가속도계 데이터와 상기 계산된 요각을 이용하여 오일러각(Euler angle)을 계산한다. 또한, 단계(S307)에서 상기 계산된 오일러각을 이용하여 제2 쿼터니언을 계산해낸다.
이와 같이 자이로 데이터에 기초한 제1 쿼터니언과 가속도계 데이터에 기초한 제2 쿼터니언을 계산해낸 상기 자세 측정 장치는 단계(S308)에서 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 쿼터니언과 상기 제2 쿼터니언의 가중합(weighted sum)을 계산하고, 상기 가중합을 새로운 쿼터니언에 해당하는 제3 쿼터니언으로 결정한다.
한편, 본 발명의 일실시예에 따르면 상기 자세 측정 장치는 상기 가중합(weighted sum)을 계산함에 있어서, 상기 적응 가중 함수에 기초하여 상기 제1 쿼터니언과 연관된 제1 가중치와 상기 제2 쿼터니언과 연관된 제2 가중치를 적응적으로(adaptively) 결정한다. 상기 자세 측정 장치는 일례로 "(1-ratio)*(제1 쿼터니언)"에 기초하여 상기 제1 쿼터니언과 연관된 제1 가중치를 결정하고, "(ratio)*(제2 쿼터니언)"에 기초하여 상기 제2 쿼터니언과 연관된 제2 가중치를 결정한다. 다른 예로 상기 제1 쿼터니언의 평균값으로 상기 제1 쿼터니언과 연관된 제1 가중치를 결정하고, 상기 제2 쿼터니언의 평균값으로 상기 제2 쿼터니언과 연관된 제2 가중치를 결정할 수 있다. 그리고, 상기 자세 측정 장치는 상기 결정된 제1 및 제2 가중치를 이용하여 상기 가중합을 계산해낼 수 있다. 일례로 상기 자세 측정 장치는 상기 가중합을 "(1-ratio)*(제1 쿼터니언) + (ratio)*(제2 쿼터니언)"과 같이 계산할 수도 있고, 다른 예로 상기 제1 쿼터니언과 상기 제2 쿼터니언의 평균값을 상기 가중합으로 결정할 수도 있다. 또한, 상술한 예들 이외에도 가중합을 계산하는 방법에는 다양한 방식이 존재할 수 있다.
이와 같이 가중합을 계산하여 새로운 쿼터니언인 제3 쿼터니언을 결정한 상기 자세 측정 장치는 단계(S309)에서 상기 제3 쿼터니언을 이용하여 입력 장치의 자세각을 계산하여, 롤(roll)각, 피치(pitch)각, 요(yaw)각을 측정해낼 수 있다.
단계(S301) 내지 단계(S309)는 순환적으로 반복 수행되며, 이를 위해 단계(S308)에서 결정된 제3 쿼터니언은 이전 순환의 쿼터니언으로 소정의 메모리에 저장된 후, 다음 순환의 단계(S301)에서 업데이트될 수 있다.
이상에서는 자이로 데이터에 기초한 제1 쿼터니언과 가속도계 데이터에 기초한 제2 쿼터니언의 가중합을 계산하여 입력 장치의 자세각을 측정하는 실시예들에 대하여 설명하였으나, 이하에서는 본 발명의 다른 실시예에 따라 자이로 데이터에 기초한 제1 오일러각과 가속도계 데이터에 기초한 제2 오일러각의 가중합을 계산하여 입력 장치의 자세각을 측정하는 방법 및 그 장치에 대하여 설명한다.
도 4는 본 발명의 또 다른 실시예에 따른 항법 알고리즘을 개략적으로 도시한 블록도이다. 도 1과 도 4를 비교하면, 도 1에서는 칼만 필터(Kalman Filter)를 사용하기 위해 자이로 데이터를 이용하여 시스템 행렬(system matrix)과 공분산 행 렬(covariance matrix)을 계산하는 예측 단계와 칼만 이득(Kalman gain)을 계산하는 측정 단계를 거쳐, 칼만 필터링 상태 업데이트 단계를 수행하는 복잡한 과정이 수행되고 있는 반면(도면 부호(101)), 도 4에서는 상기의 과정이 모두 생략되고 자이로 데이터에 기초한 제1 오일러각과 가속도계 데이터에 기초한 제2 오일러각의 가중합을 통해 입력 장치의 자세각을 간단히 계산해내는 과정만이 수행되고 있음을 알 수 있다. 또한, 도 2와 도 4를 비교하면, 도 2에서는 쿼터니언에 대한 가중합을 계산하여 자세를 계산하는 과정이 수행되고 있는 반면, 도 4에서는 오일러각에 대한 가중합을 계산하여 자세를 계산하는 과정이 수행되고 있음을 알 수 있다.
이하에서는 도 4에 따른 항법 알고리즘을 이용한 입력 장치의 자세 측정 방법을 도 5를 참조하여 설명하기로 한다. 도 5에 도시된 자세 측정 방법은 소정의 자세 측정 장치에서 수행될 수 있다.
단계(S501)에서 상기 자세 측정 장치는 자이로 데이터를 통해 단위 시간당 쿼터니언(quaternion) 변화량을 계산하고, 상기 계산된 단위 시간당 쿼터니언을 이용하여 직전 순환에서 결정되어 저장된 쿼터니언을 업데이트한다.
단계(S502)에서 상기 자세 측정 장치는 단계(S501)에서 업데이트된 쿼터니언을 이용하여 제1 오일러각을 계산해낸다. 이와 같이, 제1 오일러각은 자이로 데이터, 즉 각속도를 이용하여 계산된 오일러각에 해당한다.
단계(S503)에서 상기 자세 측정 장치는 중력 성분이 보상된 가속도계 데이터를 이용하여 제2 오일러각을 계산한다.
이와 같이 자이로 데이터에 기초한 제1 오일러각과 가속도계 데이터에 기초 한 제2 오일러각을 계산해낸 상기 자세 측정 장치는 단계(S504)에서 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 오일러각과 상기 제2 오일러각의 가중합(weighted sum)을 계산하고, 상기 가중합을 새로운 오일러각에 해당하는 제3 오일러각으로 결정한다.
한편, 본 발명의 일실시예에 따르면 상기 자세 측정 장치는 상기 가중합(weighted sum)을 계산함에 있어서, 상기 적응 가중 함수에 기초하여 상기 제1 오일러각과 연관된 제1 가중치와 상기 제2 오일러각과 연관된 제2 가중치를 적응적으로(adaptively) 결정한다. 상기 자세 측정 장치는 일례로 "(1-ratio)*(제1 오일러각)"에 기초하여 상기 제1 오일러각과 연관된 제1 가중치를 결정하고, "(ratio)*(제2 오일러각)"에 기초하여 상기 제2 오일러각과 연관된 제2 가중치를 결정한다. 다른 예로 상기 제1 오일러각의 평균값으로 상기 제1 오일러각과 연관된 제1 가중치를 결정하고, 상기 제2 오일러각의 평균값으로 상기 제2 오일러각과 연관된 제2 가중치를 결정할 수 있다. 그리고, 상기 자세 측정 장치는 상기 결정된 제1 및 제2 가중치를 이용하여 상기 가중합을 계산해낼 수 있다. 일례로 상기 자세 측정 장치는 상기 가중합을 "(1-ratio)*(제1 오일러각) + (ratio)*(제2 오일러각)"과 같이 계산할 수도 있고, 다른 예로 상기 제1 오일러각과 상기 제2 오일러각의 평균값을 상기 가중합으로 결정할 수도 있다. 또한, 상술한 예들 이외에도 가중합을 계산하는 방법에는 다양한 방식이 존재할 수 있다.
이와 같이 가중합을 계산하여 새로운 쿼터니언인 제3 오일러각을 결정한 상기 자세 측정 장치는 단계(S505)에서 상기 제3 오일러각을 이용하여 입력 장치의 자세각을 계산하여, 롤(roll)각, 피치(pitch)각, 요(yaw)각을 측정해낼 수 있다. 한편, 상기 자세 측정 장치는 단계(S506)에서 상기 제3 오일러각을 이용하여 쿼터니언(quarternion)을 계산할 수 있다.
단계(S501) 내지 단계(S506)은 순환적으로 반복 수행되며, 이를 위해 단계(S506)에서 결정된 쿼터니언은 이전 순환의 쿼터니언으로 소정의 메모리에 저장된 후, 다음 순환의 단계(S501)에서 업데이트될 수 있다.
본 발명에 따른 입력 장치의 자세 측정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이하에서는 본 발명의 또 다른 실시예에 따른 입력 장치의 자세 측정 장치에 대하여 설명한다.
도 6은 본 실시예에 따른 입력 장치의 자세 측정 장치의 구성을 개략적으로 도시한 블록도이다. 본 실시예에 따른 입력 장치의 자세 측정 장치(600)는 제1 쿼터니언 계산 수단(601), 제2 쿼터니언 계산 수단(602), 가중합 계산 수단(603) 및 자세각 계산 수단(604)을 포함하여 구성될 수 있다.
제1 쿼터니언 계산 수단(601)은 자이로 데이터를 이용하여 제1 쿼터니언을 계산하는 역할을 수행한다. 이를 위해, 제1 쿼터니언 계산 수단(601)은 자이로 데이터를 통해 단위 시간당 쿼터니언(quaternion) 변화량을 계산하고, 상기 계산된 단위 시간당 쿼터니언을 이용하여 직전 순환에서 결정되어 저장된 쿼터니언을 업데이트하며, 상기 업데이트된 쿼터니언을 정규화(normalization)하여 상기 제1 쿼터니언을 계산해낼 수 있다. 이와 같이, 제1 쿼터니언 계산 수단(601)은 자이로 데이터, 즉 각속도를 이용한 제1 쿼터니언을 계산한다.
제2 쿼터니언 계산 수단(602)은 가속도계 데이터를 이용하여 제2 쿼터니언을 계산하는 역할을 수행한다. 이를 위해, 제2 쿼터니언 계산 수단(602)은 가속도계 데이터의 중력 성분을 보상한다. 즉, 제2 쿼터니언 계산 수단(602)은 가속도계의 출력 성분 중 입력 장치의 진행 방향만의 가속도 성분을 추출하는 방식으로 상기 가속도계 데이터의 중력 성분을 보상한다. 그리고, 제2 쿼터니언 계산 수단(602)은 제1 쿼터니언 계산 수단(601)이 계산한 상기 제1 쿼터니언을 이용하여 요(yaw)각을 계산하며, 중력 성분이 보상된 상기 가속도계 데이터와 상기 계산된 요각을 이용하여 오일러각(Euler angle)을 계산할 수 있다. 또한, 이렇게 계산된 오일러각을 이용하여 제2 쿼터니언을 계산해낼 수 있다.
가중합 계산 수단(603)은 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 쿼터니언과 상기 제2 쿼터니언의 가중합(weighted sum)을 계산하고, 상기 가중합을 새로운 쿼터니언에 해당하는 제3 쿼터니언으로 결 정하는 역할을 수행한다. 가중합을 계산하는 방법에는 다양한 방식이 존재할 수 있음은 앞서 설명한 바 있다.
자세각 계산 수단(604)은 상기 제3 쿼터니언을 이용하여 입력 장치의 자세각을 계산하여, 롤(roll)각, 피치(pitch)각, 요(yaw)각을 측정해내는 역할을 수행한다.
한편, 본 실시예에 따른 입력 장치의 자세 측정 장치(600)의 제1 쿼터니언 계산 수단(601), 제2 쿼터니언 계산 수단(602), 가중합 계산 수단(603) 및 자세각 계산 수단(604)은 상기의 역할을 순환적으로 반복 수행하며, 이를 위해 입력 장치의 자세 측정 장치(600)는 상기 제3 쿼터니언을 이전 순환의 쿼터니언으로 저장하기 위한 소정의 메모리 수단(도시되지 않음)을 더 포함할 수 있다. 이 경우, 상기 메모리 수단에 저장된 상기 제3 쿼터니언은 다음 순환에서 제1 쿼터니언 계산 수단(601)에 의해 업데이트될 수 있다.
이상에서는 자이로 데이터에 기초한 제1 쿼터니언과 가속도계 데이터에 기초한 제2 쿼터니언의 가중합을 계산하여 입력 장치의 자세각을 측정하는 장치에 대하여 설명하였으나, 이하에서는 본 발명의 다른 실시예에 따라 자이로 데이터에 기초한 제1 오일러각과 가속도계 데이터에 기초한 제2 오일러각의 가중합을 계산하여 입력 장치의 자세각을 측정하는 장치에 대하여 설명한다.
도 7은 본 실시예에 따른 입력 장치의 자세 측정 장치의 구성을 개략적으로 도시한 블록도이다. 본 실시예에 따른 입력 장치의 자세 측정 장치(700)는 제1 오일러각 계산 수단(701), 제2 오일러각 계산 수단(702), 가중합 계산 수단(703) 및 자세각 계산 수단(704)을 포함하여 구성될 수 있다.
제1 오일러각 계산 수단(701)은 자이로 데이터를 이용하여 제1 오일러각을 계산하는 역할을 수행한다. 이를 위해, 제1 오일러각 계산 수단(701)은 자이로 데이터를 통해 단위 시간당 쿼터니언(quaternion) 변화량을 계산하고, 상기 계산된 단위 시간당 쿼터니언을 이용하여 직전 순환에서 결정되어 저장된 쿼터니언을 업데이트하며, 상기 업데이트된 쿼터니언을 이용하여 상기 제1 오일러각을 계산해낼 수 있다. 이와 같이, 제1 오일러각 계산 수단(701)은 자이로 데이터, 즉 각속도를 이용한 제1 오일러각을 계산한다.
제2 오일러각 계산 수단(702)은 가속도계 데이터를 이용하여 제2 오일러각을 계산하는 역할을 수행한다. 이를 위해, 제2 오일러각 계산 수단(702)은 가속도계 데이터의 중력 성분을 보상하고, 중력 성분이 보상된 상기 가속도계 데이터를 이용하여 상기 제2 오일러각을 계산할 수 있다. 즉, 제2 오일러각 계산 수단(702)은 가속도계의 출력 성분 중 입력 장치의 진행 방향만의 가속도 성분을 추출하는 방식으로 상기 가속도계 데이터의 중력 성분을 보상하고, 상기 중력 성분이 보상된 상기 가속도계 데이터를 이용하여 상기 제2 오일러각을 계산할 수 있다.
가중합 계산 수단(703)은 소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 오일러각과 상기 제2 오일러각의 가중합(weighted sum)을 계산하고, 상기 가중합을 새로운 오일러각에 해당하는 제3 오일러각으로 결정하는 역할을 수행한다. 가중합을 계산하는 방법에는 다양한 방식이 존재할 수 있음은 앞서 설명한 바 있다.
자세각 계산 수단(704)은 상기 제3 오일러각을 이용하여 입력 장치의 자세각을 계산하여, 롤(roll)각, 피치(pitch)각, 요(yaw)각을 측정해내는 역할을 수행한다.
한편, 본 실시예에 따른 입력 장치의 자세 측정 장치(700)는 상기 제3 오일러각을 이용하여 쿼터니언(quarternion)을 계산하는 쿼터니언 계산 수단(도시되지 않음)을 더 포함할 수 있다. 또한, 본 실시예에 따른 입력 장치의 자세 측정 장치(700)의 제1 오일러각 계산 수단(701), 제2 오일러각 계산 수단(702), 가중합 계산 수단(703), 자세각 계산 수단(704) 및 상기 쿼터니언 계산 수단은 상기의 역할을 순환적으로 반복 수행하며, 이를 위해 입력 장치의 자세 측정 장치(700)는 상기 계산된 쿼터니언을 이전 순환의 쿼터니언으로 저장하기 위한 소정의 메모리 수단(도시되지 않음)을 더 포함할 수 있다. 이 경우, 상기 메모리 수단에 저장된 상기 쿼터니언은 다음 순환에서 제1 오일러각 계산 수단(701)에 의해 업데이트될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명은 상기와 같은 구성을 통하여 칼만 필터를 사용하지 않고도 입력 장치의 자세를 용이하게 측정할 수 있는 새로운 항법 알고리즘을 제시한다.
따라서, 본 발명에 따른 입력 장치의 자세 측정 방법 및 그 장치에 의하면, 자이로 데이터를 이용하여 계산한 제1 쿼터니언과 가속도계 데이터를 이용하여 계 산한 제2 쿼터니언의 가중합을 계산하고, 상기 가중합을 이용하여 입력 장치의 자세각을 계산하는 새로운 항법 알고리즘을 채택함으로써, 그 구현이 어렵고 장시간의 계산이 소요되는 칼만 필터를 사용하지 않고도 입력 장치의 자세를 용이하게 측정할 수 있는 기술적 효과를 얻을 수 있다.

Claims (10)

  1. 삭제
  2. x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터 및 x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 입력 장치의 자세를 측정하기 위한 방법에 있어서,
    상기 자이로 데이터를 이용하여 제1 쿼터니언(quaternion)을 계산하는 제1 단계;
    상기 가속도계 데이터를 이용하여 제2 쿼터니언을 계산하는 제2 단계;
    소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 쿼터니언과 상기 제2 쿼터니언의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 쿼터니언으로 결정하는 제3 단계; 및
    상기 제3 쿼터니언을 이용하여 상기 입력 장치의 자세각을 계산하는 제4 단계
    를 포함하고,
    상기 제1 단계 내지 제4 단계는 순환적으로 반복 수행되며,
    상기 제1 단계는
    상기 자이로 데이터를 통해 계산된 단위 시간당 쿼터니언(quaternion) 변화량을 이용하여 직전 순환의 상기 제3 단계에서 결정된 상기 제3 쿼터니언을 업데이트하는 단계; 및
    상기 업데이트된 직전 순환의 상기 제3 쿼터니언을 정규화(normalization)하여 상기 제1 쿼터니언을 계산하는 단계
    를 포함하는 것을 특징으로 하는 입력 장치의 자세 측정 방법.
  3. 제2항에 있어서,
    상기 제2 단계는
    상기 가속도계 데이터의 중력 성분을 보상하는 단계;
    상기 제1 쿼터니언을 이용하여 요(yaw)각을 계산하는 단계;
    상기 중력 성분이 보상된 상기 가속도계 데이터와 상기 계산된 요각을 이용하여 오일러각을 계산하는 단계; 및
    상기 계산된 오일러각을 이용하여 상기 제2 쿼터니언을 계산하는 단계
    를 포함하는 것을 특징으로 하는 입력 장치의 자세 측정 방법.
  4. 제2항에 있어서,
    상기 가중합(weighted sum)을 계산하는 상기 단계는
    상기 적응 가중 함수에 기초하여 상기 제1 쿼터니언과 연관된 제1 가중치와 상기 제2 쿼터니언과 연관된 제2 가중치를 적응적으로(adaptively) 결정하는 단계; 및
    상기 결정된 제1 및 제2 가중치를 이용하여 상기 가중합을 계산하는 단계
    를 포함하는 것을 특징으로 하는 입력 장치의 자세 측정 방법.
  5. 삭제
  6. x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터 및 x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 입력 장치의 자세를 측정하기 위한 방법에 있어서,
    상기 자이로 데이터를 이용하여 제1 오일러각을 계산하는 제1 단계;
    상기 가속도계 데이터를 이용하여 제2 오일러각을 계산하는 제2 단계;
    소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 오일러각과 상기 제2 오일러각의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 오일러각으로 결정하는 제3 단계; 및
    상기 제3 오일러각을 이용하여 상기 입력 장치의 자세각을 계산하는 제4 단계
    를 포함하고,
    상기 제3 오일러각을 이용하여 쿼터니언(quaternion)을 계산하는 제5 단계를 더 포함하고,
    상기 제1 단계 내지 제5 단계는 순환적으로 반복 수행되며,
    상기 제1 단계는
    상기 자이로 데이터를 통해 계산된 단위 시간당 쿼터니언 변화량을 이용하여 직전 순환의 상기 제5 단계에서 계산된 상기 쿼터니언을 업데이트하는 단계; 및
    상기 업데이트된 직전 순환의 상기 쿼터니언을 이용하여 상기 제1 오일러각을 계산하는 단계
    를 포함하는 것을 특징으로 하는 입력 장치의 자세 측정 방법.
  7. 제6항에 있어서,
    상기 가중합(weighted sum)을 계산하는 상기 단계는
    상기 적응 가중 함수에 기초하여 상기 제1 오일러각과 연관된 제1 가중치와 상기 제2 오일러각과 연관된 제2 가중치를 적응적으로(adaptively) 결정하는 단계; 및
    상기 결정된 제1 및 제2 가중치를 이용하여 상기 가중합을 계산하는 단계
    를 포함하는 것을 특징으로 하는 입력 장치의 자세 측정 방법.
  8. 제2항 내지 제4항, 제6항, 제7항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
  9. x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터 및 x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 입력 장치의 자세를 측정하기 위한 장치에 있어서,
    상기 자이로 데이터를 이용하여 제1 쿼터니언(quaternion)을 계산하는 제1 쿼터니언 계산 수단;
    상기 가속도계 데이터를 이용하여 제2 쿼터니언을 계산하는 제2 쿼터니언 계산 수단;
    소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 쿼터니언과 상기 제2 쿼터니언의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 쿼터니언으로 결정하는 가중합 계산 수단; 및
    상기 제3 쿼터니언을 이용하여 상기 입력 장치의 자세각을 계산하는 자세각 계산 수단
    을 포함하는 것을 특징으로 하는 입력 장치의 자세 측정 장치.
  10. x, y, z축 방향에 대한 단위 시간당 각도 변화량인 자이로 데이터 및 x, y, z축 방향에 대한 가속도인 가속도계 데이터를 이용하여 입력 장치의 자세를 측정하기 위한 장치에 있어서,
    상기 자이로 데이터를 이용하여 제1 오일러각을 계산하는 제1 오일러각 계산 수단;
    상기 가속도계 데이터를 이용하여 제2 오일러각을 계산하는 제2 오일러각 계산 수단;
    소정의 적응 가중 함수(adaptive weighting function)를 이용하여 상기 제1 오일러각과 상기 제2 오일러각의 가중합(weighted sum)을 계산하고, 상기 가중합을 제3 오일러각으로 결정하는 가중합 계산 수단; 및
    상기 제3 오일러각을 이용하여 상기 입력 장치의 자세각을 계산하는 자세각 계산 수단
    을 포함하는 것을 특징으로 하는 입력 장치의 자세 측정 장치.
KR1020050001854A 2005-01-07 2005-01-07 입력 장치의 자세 측정 방법 및 그 장치 KR100643400B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050001854A KR100643400B1 (ko) 2005-01-07 2005-01-07 입력 장치의 자세 측정 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050001854A KR100643400B1 (ko) 2005-01-07 2005-01-07 입력 장치의 자세 측정 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20060081509A KR20060081509A (ko) 2006-07-13
KR100643400B1 true KR100643400B1 (ko) 2006-11-10

Family

ID=37172458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050001854A KR100643400B1 (ko) 2005-01-07 2005-01-07 입력 장치의 자세 측정 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR100643400B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100123660A1 (en) * 2008-11-14 2010-05-20 Kyu-Cheol Park Method and device for inputting a user's instructions based on movement sensing
US11340247B2 (en) 2013-03-15 2022-05-24 Invensense, Inc. Method to reduce data rates and power consumption using device based attitude generation

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100898169B1 (ko) * 2007-03-23 2009-05-19 국방과학연구소 관성항법시스템의 초기정렬 방법
KR101427365B1 (ko) * 2012-10-23 2014-08-07 이인택 관성 센서를 이용한 모션 캡쳐 시스템
KR101604024B1 (ko) * 2014-06-09 2016-03-28 주식회사 앱스톤 운동량 표시 장치 및 방법
KR101880940B1 (ko) * 2017-10-31 2018-07-23 드로젠(주) 자세 제어 방법 및 그를 적용한 드론
CN109459005B (zh) * 2018-12-20 2020-07-10 安徽果力智能科技有限公司 一种姿态估计方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100123660A1 (en) * 2008-11-14 2010-05-20 Kyu-Cheol Park Method and device for inputting a user's instructions based on movement sensing
US20170097690A1 (en) * 2008-11-14 2017-04-06 Microinfinity, Inc. Method and device for inputting a user's instructions based on movement sensing
US11340247B2 (en) 2013-03-15 2022-05-24 Invensense, Inc. Method to reduce data rates and power consumption using device based attitude generation

Also Published As

Publication number Publication date
KR20060081509A (ko) 2006-07-13

Similar Documents

Publication Publication Date Title
KR100643400B1 (ko) 입력 장치의 자세 측정 방법 및 그 장치
JP3947531B2 (ja) 加速度誤差の補正方法及び装置、並びにそれを利用した慣性航法システム
KR102017404B1 (ko) 9축 mems 센서에 기반하여 농기계의 전-자세 각도를 갱신하는 방법
US8645063B2 (en) Method and system for initial quaternion and attitude estimation
CN102822626B (zh) 校准在移动装置上的传感器测量
Phuong et al. A DCM based orientation estimation algorithm with an inertial measurement unit and a magnetic compass
US8457891B1 (en) Systems and methods for compensating nonlinearities in a navigational model
CN109891049B (zh) 对机具进行增量轨迹估计的***、介质和方法
JP2014089113A (ja) 姿勢推定装置及びプログラム
AU2015305864B2 (en) Earthmoving machine comprising weighted state estimator
US7711516B2 (en) Method for estimating movement of a solid
JP5164645B2 (ja) カルマンフィルタ処理における繰り返し演算制御方法及び装置
US11624757B2 (en) Modeling poses of tracked objects by predicting sensor data
CN110132271B (zh) 一种自适应卡尔曼滤波姿态估计算法
CN108450007B (zh) 使用廉价惯性传感器的冗余阵列的高性能惯性测量
EP3732549A1 (en) Method for predicting a motion of an object, method for calibrating a motion model, method for deriving a predefined quantity and method for generating a virtual reality view
CN114964214B (zh) 一种航姿参考***的扩展卡尔曼滤波姿态解算方法
KR101140379B1 (ko) 리 대수 및 칼만 필터를 이용한 자세 추정 방법 및 장치
CN110108301B (zh) 模值检测动基座鲁棒对准方法
JP6516332B2 (ja) 角速度センサを用いてユーザの前方方向を推定する携帯端末、プログラム及び方法
KR101665375B1 (ko) 이동체 항법 시스템 및 방법
JP2013159246A (ja) 車両位置姿勢推定装置及びプログラム
CN110579212B (zh) 室内定位方法及装置
KR102607487B1 (ko) 로봇팔의 노이즈 제거 방법 및 장치
KR20220060766A (ko) 관성센서를 이용한 보행항법 기반 상대/절대좌표 매칭 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121029

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160923

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 14