KR100711261B1 - 입력 장치의 공간 인식 방법 및 그 장치 - Google Patents

입력 장치의 공간 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR100711261B1
KR100711261B1 KR1020060055760A KR20060055760A KR100711261B1 KR 100711261 B1 KR100711261 B1 KR 100711261B1 KR 1020060055760 A KR1020060055760 A KR 1020060055760A KR 20060055760 A KR20060055760 A KR 20060055760A KR 100711261 B1 KR100711261 B1 KR 100711261B1
Authority
KR
South Korea
Prior art keywords
input device
space
coordinate system
movement
transmitter
Prior art date
Application number
KR1020060055760A
Other languages
English (en)
Inventor
송진우
임상수
Original Assignee
(주)마이크로인피니티
(주)마이크로텍시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)마이크로인피니티, (주)마이크로텍시스템 filed Critical (주)마이크로인피니티
Priority to KR1020060055760A priority Critical patent/KR100711261B1/ko
Application granted granted Critical
Publication of KR100711261B1 publication Critical patent/KR100711261B1/ko
Priority to US11/808,815 priority patent/US20070299626A1/en
Priority to EP07012000A priority patent/EP1870670A1/en
Priority to JP2007160827A priority patent/JP2008004096A/ja
Priority to CNA2007101115040A priority patent/CN101093167A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 각속도계 및 가속도계를 이용하여 오일러 각을 계산하여 입력 장치의 움직임에 대한 공간을 인식하는 방법 및 그 장치에 관한 것이다. 본 발명은 각속도계 및 가속도계를 이용하여 기준 좌표계에 대한 오일러 각을 계산하는 단계 및 상기 계산된 오일러 각을 이용하여 상기 입력 장치의 움직임에 대한 공간의 위치 정보를 인식하는 단계를 포함하는 것을 특징으로 하는 공간 인식 방법을 제공한다. 본 발명에 의하면, 각속도계와 가속도계를 이용하여 6자유도 항법 시스템을 구성하고, 기준 좌표계에 대한 오일러 각을 계산하여 공간 상에서 움직이며 동작하는 프리젠터, 마우스 또는 리모콘의 움직임을 인식할 수 있다.
각속도계, 가속도계, 공간, 인식, 리모콘

Description

입력 장치의 공간 인식 방법 및 그 장치{METHOD FOR RECOGNIZING SPACE OF INPUTTING DEVICE AND APPARATUS THEREOF}
도 1은 항법 좌표계와 동체 좌표계를 나타내는 도면이다.
도 2는 오일러 각을 나타내는 도면이다.
도 3은 본 발명에 따른 입력 장치의 공간 인식 장치에 대한 구성을 나타내는 도면이다.
도 4는 송신기에 대한 구성의 일례를 나타내는 도면이다.
도 5는 수신기에 대한 구성의 일례를 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 입력 장치의 공간 인식 방법의 흐름을 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
310: 송신기
320: 수신기
410: 관성 측정 모듈
411: 각속도계
412: 가속도계
420, 520: 주제어 모듈
430, 510: 무선 송수신 모듈
440: 키 모듈
450: 충전 모듈
530: 통신 모듈
본 발명은 입력 장치의 움직임에 대한 공간 인식 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 각속도계 및 가속도계를 이용하여 오일러 각을 계산하여 입력 장치의 움직임에 대한 공간을 인식하는 방법 및 그 장치에 관한 것이다.
일반적으로 항법 시스템(navigation system)은 항법 센서를 이용하여 위치, 자세, 속도, 가속도, 시간, 방향각, 각속도 등 위치 파악에 관한 여러 가지 정보를 제공해 주는 시스템을 의미하는 것으로서, 항법 알고리즘(navigation algorithm)은 이러한 항법 시스템에서 도입되는 알고리즘의 하나로 항체의 자세를 측정하기 위한 목적으로 사용된다.
항법 좌표계(navigational frame)는 도 1에 도시된 것과 같이 항체의 질량 중심을 원점으로 하고, N축을 북쪽으로 정의하고, E축을 동쪽으로 정의하고, D축이 수직 아래쪽으로 정의되는 로컬-레벨(local-level) 좌표계이다. 상기 D축은 지구 타원체에 수직이며, 상기 N축은 지구 회전 벡터의 로컬-레벨면에서 북쪽으로의 정사형이고, 상기 E축은 두 축(D축과 N축)이 이루는 면과 오른쪽으로 수직축을 형성 한다. 상기 항법 좌표계는 자세 계산의 기준이 되는 좌표계이다.
동체 좌표계(Body frame)는 도 1에 도시된 것과 같이 항체의 질량 중심을 원점으로 하고 Xb축은 항체의 선수 방향이며, Yb축은 Xb축에 대해 항체의 우측 방향, Zb축은 항체의 수직 아래 방향으로 정의되는 좌표계이다.
이와 같이, 상기 동체 좌표계와 상기 항법 좌표계는 같은 원점에 대한 회전에 의해 일치시킬 수 있으며, 이러한 회전은 곧 항체의 자세(attitude)에 해당한다.
하지만, 상기 동체 좌표계의 경우 좌표축의 방향이 항체의 운동에 따라 변하므로 항법의 기준 좌표계로 이용될 수 없다. 센서가 상기 항체에 직접 부착된 경우 센서 출력은 상기 동체 좌표계에서 표현되며, 이러한 경우 센서 출력을 다른 좌표계로 변환시키는 과정이 필요하다.
오일러 각(Euler angle)은 도 2에 도시된 것과 같이 기준 좌표계, 즉 지표면에 대해 고정되어 있는 항법 좌표계에 대한 회전 각도(피치(pitch), 롤(roll), 요(yaw))를 나타내므로 절대적인 각도를 표시할 수 있게 되어 상하/좌우의 기준이 절대적이 된다.
종래 가속도계를 이용한 입력 장치는 가속도계를 이용하여 항법 좌표계에서 롤각과 피치각을 구할 수 있으며, 상기 구해진 롤각과 피치각을 이용하는 입력 장치로 조이스틱, 가속도 마우스 등이 있다. 즉, 종래 가속도계를 이용한 입력 장치는 기울임을 감지하여 상기 롤각을 x좌표로 변환하고, 상기 피치각을 y좌표로 변환하여 커서를 이동시키고, 각도 변화 시 발생하는 중력 벡터 성분을 이용하여 각도 를 측정한다.
하지만, 종래 가속도계를 이용한 입력 장치는 경사의 변화를 측정하므로 좌우 이동 시 사용자의 움직임을 자연스럽게 측정하지 못하는 문제점이 있다. 또한, 종래 가속도계를 이용한 입력 장치는 움직이거나 걷고 있는 상태 등과 같은 동적 상태에서 중력 가속도 성분 이외에 전진 방향 가속도, 충격 등이 혼재하므로 정확한 움직임을 추출하지 못하는 문제점이 있다.
게다가, 종래 가속도계를 이용한 입력 장치는 거의 모든 경우 초기 상태는 레벨 상태를 유지해야 하므로 레벨 상태를 유지하지 않은 상태에서 초기화를 할 경우 이동의 한계가 발생하므로 중력을 감지하는 센서가 수직 상태로 서 있는 경우 각도를 구할 수 없는 문제점이 있다.
한편, 종래 각속도계를 이용한 입력 장치는 각속도계를 통해 각속도를 측정하고, 상기 측정된 각속도를 적분하는 과정을 통해 각도를 측정할 수 있다. 하지만, 종래 각속도계를 이용한 입력 장치는 바이어스의 시간/온도에 의한 변화로 인해 누적 오차가 발생하므로 정확한 자세를 얻을 수 없는 문제점이 있다.
또한, 종래 각속도계를 이용한 입력 장치는 동체 좌표계 내에서의 자세 변화만 구하므로 자세의 정확도가 저하되는 문제점이 있다. 게다가, 종래 각속도계를 이용한 입력 장치는 펜 또는 마우스를 잡고 있는 자세에 따라 축이 변화하므로 항상 일정한 방향으로 펜 또는 마우스를 잡고 동작시켜야 하므로 사용자가 사용하기 불편한 문제점이 있다.
아울러, 종래 각속도계를 이용한 입력 장치는 각속도 값만을 이용하므로 각 도를 측정하지 못하고 상대적인 값만을 취하므로 동작의 재연성이 떨어지는 문제점이 있다. 또한, 종래 임계치를 이용하는 방식의 경우 미세 신호에 대해 바이어스로 인식하여 정밀한 동작의 구현이 어려우며, 이때 잘못 추정된 바이어스 정보를 사용함으로 인해 각도의 흐름 현상이 발생되는 문제점이 있다.
따라서, 입력 장치가 공간에서 움직이는 경우 정확한 각도를 측정하여 입력 장치의 공간 움직임을 정확하게 인식하는 방안이 절실하게 요청되고 있다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 각속도계와 가속도계를 이용하여 6자유도 항법 시스템을 구성하고, 기준 좌표계에 대한 오일러 각을 계산하여 공간 상에서 움직이며 동작하는 입력 장치의 공간 인식 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 각속도계 뿐만 아니라 가속도계를 이용하여 각도의 발산을 막으며 절대적인 각도를 측정하여 각도의 정확성을 향상시킬 수 있는 입력 장치의 공간 인식 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 동체 좌표계에서의 각도가 아닌 기준 항법 좌표계와 동체 좌표계 사이의 오일러 각을 이용하여 프리젠터 또는 마우스 자체의 파지 형태나 자세에 관계없는 움직임을 나타낼 수 있는 입력 장치의 공간 인식 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 각속도계 이외에 가속도계를 이용하여 각속도계의 바이어스를 수학적으로 보정할 수 있는 입력 장치의 공간 인식 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 항법 좌표계와 동체 좌표계 간의 오일러 각을 측정하여 절대적인 자세 및 각도 정보를 추출할 수 있으므로 사용자가 입력 장치를 어떠한 형태로 쥐고 있더라도 절대적인 포지셔닝이 가능한 입력 장치의 공간 인식 방법 및 그 장치를 제공하는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 각속도계 및 가속도계를 이용하여 기준 좌표계에 대한 오일러 각을 계산하는 단계 및 상기 계산된 오일러 각을 이용하여 상기 입력 장치의 움직임에 대한 공간의 위치 정보를 인식하는 단계를 포함하는 것을 특징으로 하는 공간 인식 방법을 제공한다.
본 발명의 다른 일측에 따르는 입력 장치의 공간 인식 장치는 상기 입력 장치의 움직임에 따른 공간의 위치 정보를 인식하고, 상기 인식된 위치 정보를 전송하는 송신기 및 상기 송신기로부터 전송되는 상기 위치 정보를 수신하는 수신기를 포함하고, 상기 송신기는, 상기 입력 장치의 움직임에 따른 각속도 및 가속도를 측정하는 관성 측정 모듈과, 상기 각속도 및 상기 가속도를 이용하여 오일러 각을 계산하고, 상기 계산된 오일러 각을 이용하여 상기 입력 장치의 위치 정보를 생성하는 제1 주제어 모듈 및 무선 통신 방식에 따라 상기 위치 정보를 상기 수신기로 전송하고, 상기 수신기로부터 전송되는 데이터를 수신하는 제1 송수신 모듈을 포함하고, 상기 수신기는, 상기 송신기로부터 전송되는 위치 정보를 수신하고, 상기 송신기로 필요한 데이터를 전송하는 제2 송수신 모듈과, 상기 수신된 위치 정보를 처리 하는 제2 주제어 모듈 및 상기 처리된 위치 정보를 연결된 제품으로 전달하기 위한 통신을 수행하는 통신 모듈을 포함한다.
본 명세서에서 사용되는 입력 장치는 프리젠터, PC용 공간 마우스, 디지털 TV용 확장형 공간 리모콘, 3차원 체감형 게임용 공간 입력기, HMD(Head Mounted Display) 입력 장치, 보행거리 기록계, 차량용 항법장치, 차량용 블랙박스 등과 같은 현재 일반적으로 사용되고 있는 장치뿐만 아니라, 앞으로 사용될 모든 입력 장치를 포괄하는 개념이다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 입력 장치의 공간 인식 방법 및 그 장치를 상세히 설명한다.
도 3은 본 발명에 따른 입력 장치의 공간 인식 장치의 구성을 나타내는 도면이다.
도 3을 참조하면, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 송신기(310) 및 수신기(320)를 포함한다.
송신기(310)는 프리젠터, 마우스 또는 리모콘 등과 같은 입력 장치가 움직임에 따른 인식된 공간의 위치 정보를 무선 통신 방식을 통해 수신기(320)로 전송한다. 즉, 송신기(310)는 상기 입력 장치의 움직임에 따른 각속도 데이터 및 가속도 데이터를 측정하고, 상기 측정된 가속도 데이터 및 상기 가속도 데이터를 이용하여 오일러 각을 계산하고, 상기 계산된 오일러 각을 이용하여 상기 입력 장치의 움직임에 따른 공간의 위치 정보를 파악하여 무선 통신 방식을 통해 수신기(320)로 전송한다.
송신기(310)는 도 4에 도시된 것과 같은 구성으로 구현될 수 있다. 이하 도 4를 참조하여 송신기에 대한 구성 및 그 동작을 하기에서 상세하게 설명한다.
도 4는 송신기에 대한 구성의 일례를 나타내는 도면이다.
도 4를 참조하면, 송신기(310)는 관성 측정 모듈(410), 주제어 모듈(420), 무선 송수신 모듈(430), 키 입력 모듈(440) 및 충전 모듈(450)를 포함한다.
관성 측정 모듈(Inertial Measurement Module)(410)은 각속도계(411) 및 가속도계(412)를 포함하고, 송신기(310)의 움직임에 따른 각속도 데이터 및 가속도 데이터를 각각 측정한다.
각속도계(411)는 송신기(310)의 움직임에 따른 각속도 데이터를 측정한다. 상기 각속도 데이터는 각속도계(411)인 자이로스코프(gyroscope)에 의해 단위 시간당 각도 변화량을 의미하며, 상기 각속도 데이터를 한번 적분하면 각도가 되므로 각속도계(411)는 자세를 계산하기 위해 반드시 필요한 센서에 해당한다.
가속도계(accelerator)(412)는 송신기(310)의 움직임에 따른 가속도 데이터를 측정한다. 상기 가속도 데이터는 가속도계(412)에 의해 측정된 가속도를 의미하는데, 이러한 가속도계 데이터를 적분하여 속도, 거리 등을 산출할 수 있게 된다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 각속도계(411) 및 가속도계(412)를 통합한 관성 측정 모듈(410)을 통해 상기 각속도 데이터 및 상기 가속도 데이터를 측정한다.
주제어 모듈(420)은 관성 측정 모듈(410)에서 측정된 상기 각속도 데이터 및 상기 가속도 데이터를 이용하여 오일러 각을 계산한다.
이와 같이, 본 발명에 따른 송신기(310)는 각속도계(411) 뿐만 아니라 가속도계(412)를 사용하여 오일러 각을 계산하므로 상기 계산된 오일러 각에 대한 정확도를 향상시킬 수 있다.
또한, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 각속도계(411)와 가속도계(412)를 통합하여 각도를 측정하므로 동체 좌표계에서의 각도가 아닌 항법 좌표계와 동체 좌표계 간의 오일러 각을 계산할 수 있다.
따라서, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 상기 동체 좌표계에서의 각도가 아닌 상기 기준 항법 좌표계와 상기 동체 좌표계 사이의 오일러 각을 이용하므로 프리젠터 또는 마우스 자체의 파지 형태나 자세에 관계없는 움직임을 나타낼 수 있다. 상기 오일러 각은 지표면에 대해 고정되어 있는 기준 좌표계에 대한 각도를 나타내므로 절대적인 각도를 표시할 수 있고 상하/좌우의 기준이 절대적이 된다.
주제어 모듈(420)은 가속도계(412) 정보를 이용하여 각속도계(411)의 바이어스를 추정하므로 종래 데드 존(dead zone)을 주는 방식과 달리 수학적으로 각속도계(411)의 바이어스를 추정할 수 있다.
주제어 모듈(420)은 각속도계(411)와 가속도계(412) 간의 통합 및 바이어스 추정에 칼만 필터링(Kalman Filtering) 기법을 이용한다. 상기 칼만 필터링 기법은 이동중인 표적의 탐색 및 추적을 위해 가장 많이 응용되며, 선형 시스템의 상태변수를 추정하는 기법으로서 1960년 칼만에 의해 소개되었다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 종래 활성화 버튼 등을 이용하여 바이어스를 추정하는 방식이 아니므로 바이어스의 추정이 체계적이다.
주제어 모듈(420)은 상기 계산된 오일러 각을 이용하여 송신기(310)의 움직임에 따른 위치 정보를 파악한다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 절대적인 자세 및 오일러 각 정보를 추출할 수 있으므로 사용자가 상기 입력 장치를 어떠한 형태로 쥐고 있더라도 절대적인 포지셔닝(positioning)이 가능하다.
무선 송수신 모듈(430)은 상기 위치 정보를 무선 통신 방식에 따라 수신기(320)로 전송하고, 수신기(320)로부터 전송되는 데이터를 상기 무선 통신 방식에 따라 수신한다.
키 모듈(440)은 송신기(310)의 동작에 필요한 키를 구비하고, 상기 구비된 키가 사용자에 의해 눌려지는 경우 그에 대응되는 키 데이터를 생성하고, 상기 생성된 키 데이터를 주제어 모듈(420)로 제공한다.
주제어 모듈(420)은 키 모듈(440)로부터 제공된 상기 키 데이터를 분석하고, 상기 분석된 키 데이터에 대응되는 동작을 수행되도록 송신기(310)를 제어한다.
주제어 모듈(420)은 오일러 각의 흐름 현상을 수학적으로 계산하여 방지할 수 있으므로 장시간 사용하거나 미세한 입력을 지속적으로 가할 경우에도 바이어스의 추정을 수행할 수 있다.
충전 모듈(450)은 송신기(310)의 동작에 필요한 전원을 공급하는 배터리를 충전한다.
이와 같이, 본 발명에 따른 입력 장치의 송신기(310)는 각속도계(411) 및 가속도계(412)를 이용하여 기준 좌표계에 대한 오일러 각을 계산하고, 상기 계산된 오일러 각을 이용하여 상기 입력 장치의 움직임에 대한 인식된 공간의 위치 정보를 상기 무선 통신 방식을 통해 수신기(320)로 전송한다.
수신기(320)는 상기 무선 통신 방식을 통해 송신기(310)로부터 전송되는 상기 위치 정보를 수신한다.
도 5는 수신기에 대한 구성의 일례를 나타내는 도면이다.
도 5를 참조하면, 수신기(320)는 무선 송수신 모듈(510), 주제어 모듈(520) 및 통신 모듈(530)을 포함한다.
무선 송수신 모듈(510)은 송신기(310)로부터 전송되는 상기 위치 정보를 상기 무선 통신 방식에 따라 수신하고, 송신기(310)로 전달하고자 하는 데이터를 상기 무선 통신 방식에 따라 송신기(310)로 전송한다.
주제어 모듈(520)은 수신기(320)의 동작을 전반적으로 제어하고, 상기 수신된 위치 정보에 대한 처리를 수행한다.
통신 모듈(530)은 컴퓨터(500), 프로젝터(projector) 또는 텔레비전 등과 같은 제품과 연동되며, 상기 연동된 제품과의 통신을 수행하기 위한 인터페이스 모듈로서 USB(Universal Serial Bus) 또는 SPI(Serial Peripheral Interface) 등을 포함한다. 즉, 통신 모듈(530)은 상기 위치 정보를 컴퓨터(500), 프로젝터 또는 텔레비전 등과 같은 제품으로 전송한다. 따라서, 상기 제품은 통신 모듈(530)을 통 해 전송된 상기 위치 정보에 의해 공간 상에서 움직이며 동작하는 프리젠터, 마우스 또는 리모콘 등의 움직임을 파악하여 이를 화면상에 표시할 수 있다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 각속도계와 가속도계를 이용하여 6자유도 항법 시스템을 구성하고, 기준 좌표계에 대한 오일러 각을 계산하여 공간 상에서 움직이며 동작하는 프리젠터, 마우스 또는 리모콘의 움직임을 인식할 수 있다.
따라서, 본 발명에 따른 입력 장치의 공간 인식 장치(300)는 송신기(310)로부터 상기 입력 장치의 움직임에 따른 위치 정보를 무선 통신 방식을 이용하여 수신기(320)를 전송하고, 수신기(320)가 상기 위치 정보를 컴퓨터(500), 프로젝터 또는 텔레비전 등과 같은 제품으로 전달함으로써 상기 제품에서 정보 입력 장치로 사용될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 입력 장치의 공간 인식 방법의 흐름을 나타내는 도면이다.
도 6을 참조하면, 단계(610)에서 입력 장치는 각속도계를 통해 각속도 데이터를 측정하고, 단계(620)에서 가속도계를 통해 가속도 데이터를 측정한다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 방법은 상기 각속도계를 통해 각속도 데이터를 측정하는 단계(610) 및 상기 가속도계를 통해 가속도 데이터를 측정하는 단계(620)를 순차적으로 수행하여 상기 각속도 데이터와 상기 가속도 데이터를 순차적으로 측정할 수 있지만 단계(610) 및 단계(620)를 동시에 수행하여 상기 각속도 데이터와 상기 가속도 데이터를 동시에 측정할 수도 있다.
단계(630)에서 상기 입력 장치는 상기 가속도계를 통해 측정된 가속도 데이터를 이용하여 상기 각속도계의 바이어스를 추정한다.
또한, 단계(630)에서 상기 입력 장치는 칼만 필터링 기법을 이용하여 상기 각속도계의 바이어스를 추정할 수 있다. 상기 칼만 필터링 기법은 상기 각속도계 및 상기 가속도계를 통합하는 데에도 이용된다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 방법은 가속도계 정보를 이용하여 각속도계의 바이어스를 추정하므로 종래의 데드 존을 주는 방식 등과 달리 수학적으로 각속도계의 바이어스를 추정할 수 있다.
따라서, 본 발명에 따른 입력 장치의 공간 인식 방법은 각도의 흐름 현상을 수학적으로 계산하여 방지할 수 있으므로 장시간 사용하거나 미세한 입력을 지속적으로 가할 경우에도 바이어스의 추정이 이루어진다.
또한, 본 발명에 따른 입력 장치의 공간 인식 방법은 상기 각속도계의 바이어스를 수학적으로 보정할 수 있으므로 상기 각속도계의 바이어스 현상을 배제할 수 있다.
단계(640)에서 상기 입력 장치는 상기 측정된 각속도 데이터 및 상기 가속도 데이터를 이용하여 오일러 각을 계산한다. 즉, 단계(640)에서 상기 입력 장치는 상기 측정된 각속도 데이터 및 상기 가속도 데이터를 이용하여 기준 항법 좌표계와 동체 좌표계 사이의 오일러 각을 계산한다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 방법은 상기 각속도 데이터 및 상기 가속도 데이터를 사용하여 오일러 각을 계산하므로 상기 계산된 오일러 각의 정확도를 향상시킬 수 있다.
단계(650)에서 상기 입력 장치는 상기 계산된 오일러 각을 이용하여 움직임에 대한 공간의 위치 정보를 인식한다. 상기 입력 장치는 송신기를 통해 상기 인식된 위치 정보를 무선 통신 방식에 따라 컴퓨터, 프로젝터 또는 텔레비전과 연동된 수신기로 전송하고, 상기 수신기에서 수신된 상기 위치 정보를 상기 연동된 제품으로 전달한다. 상기 제품은 공간 인식 기능을 가지는 상기 입력 장치를 통해 위치 정보를 전달 받음으로써 상기 입력 장치를 정보 입력 장치로 사용할 수 있다.
이와 같이, 본 발명에 따른 입력 장치의 공간 인식 방법은 동체 좌표계에서의 각도가 아닌 기준 항법 자표계와 동체 좌표계 사이의 오일러 각을 이용하므로 프리젠 터 또는 마우스 자체의 파지 형태나 자세와 관계없는 움직임을 나타낼 수 있다.
또한, 본 발명에 따른 입력 장치의 공간 인식 방법은 각속도계와 가속도계를 통합하여 각도를 측정하므로 동체 좌표계에서의 각도가 아닌 항법 좌표계와 동체 좌표계 간의 오일러 각을 측정하여 절대적인 자세 및 각도 정보를 추출할 수 있으므로 입력 장치를 어떠한 형태로 쥐고 있더라도 절대적인 포지셔닝이 가능하다.
또한, 본 발명에 따른 입력 장치의 공간 인식 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 각속도계와 가속도계를 이용하여 6자유도 항법 시스템을 구성하고, 기준 좌표계에 대한 오일러 각을 계산하여 공간 상에서 움직이며 동작하는 프리젠터, 마우스 또는 리모콘의 움직임을 인식할 수 있다.
또한 본 발명에 따르면, 각속도계 뿐만 아니라 가속도계를 이용하여 각도의 발산을 막으며 절대적인 각도를 측정할 수 있으므로 각도의 정확성을 향상시킬 수 있다.
또한 본 발명에 따르면, 동체 좌표계에서의 각도가 아닌 기준 항법 좌표계와 동체 좌표계 사이의 오일러 각을 이용하므로 프리젠터 또는 마우스 자체의 파지 형태나 자세에 관계없는 움직임을 나타낼 수 있다.
또한 본 발명에 따르면, 각속도계 이외에 가속도계를 이용하여 각속도계의 바이어스를 수학적으로 보정할 수 있다.
또한 본 발명에 따르면, 동체 좌표계에서의 각도가 아닌 항법 좌표계와 동체 좌표계 간의 오일러 각을 측정하여 절대적인 자세 및 각도 정보를 추출할 수 있으므로 사용자가 입력 장치를 어떠한 형태로 쥐고 있더라도 절대적인 포지셔닝이 가능하다.

Claims (10)

  1. 입력 장치의 움직임에 대한 공간을 인식하는 방법에 있어서,
    각속도계를 통해 각속도를 측정하는 단계;
    가속도계를 통해 가속도를 측정하는 단계;
    상기 가속도 데이터를 이용하여 상기 각속도계의 바이어스를 추정하는 단계;
    상기 각속도 데이터 및 상기 가속도 데이터를 이용하여 기준 항법 좌표계와 동체 좌표계 사이의 오일러 각을 계산하는 단계; 및
    상기 계산된 오일러 각을 이용하여 상기 입력 장치의 움직임에 대한 공간의 위치 정보를 인식하는 단계
    를 포함하는 것을 특징으로 하는 공간 인식 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 각속도계의 바이어스를 추정하는 상기 단계는,
    칼만 필터링 기법을 통해 상기 각속도계의 바이어스를 추정하는 것을 특징으로 하는 공간 인식 방법.
  5. 제1항 또는 제4항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
  6. 입력 장치의 움직임에 대한 공간을 인식하는 장치에 있어서,
    상기 입력 장치의 움직임에 따른 공간의 위치 정보를 인식하고, 상기 인식된 위치 정보를 전송하는 송신기; 및
    상기 송신기로부터 전송되는 상기 위치 정보를 수신하는 수신기
    를 포함하고,
    상기 송신기는,
    상기 입력 장치의 움직임에 따른 각속도 데이터 및 가속도 데이터를 측정하는 관성 측정 모듈;
    상기 각속도 데이터 및 상기 가속도 데이터를 이용하여 기준 항법 좌표계와 동체 좌표계 사이의 오일러 각을 계산하고, 상기 계산된 오일러 각을 이용하여 상기 입력 장치의 위치 정보를 생성하고, 상기 가속도 데이터를 이용하여 상기 각속도계의 바이어스를 추정하는 제1 주제어 모듈; 및
    무선 통신 방식에 따라 상기 위치 정보를 상기 수신기로 전송하고, 상기 수신기로부터 전송되는 데이터를 수신하는 제1 송수신 모듈
    을 포함하고,
    상기 수신기는,
    상기 송신기로부터 전송되는 위치 정보를 수신하고, 상기 송신기로 필요한 데이터를 전송하는 제2 송수신 모듈;
    상기 수신된 위치 정보를 처리하는 제2 주제어 모듈; 및
    상기 처리된 위치 정보를 연결된 제품으로 전달하기 위한 통신을 수행하는 통신 모듈
    을 포함하는 것을 특징으로 하는 공간 인식 장치.
  7. 제6항에 있어서,
    상기 관성 측정 모듈은,
    상기 각속도 데이터를 측정하는 각속도계; 및
    상기 가속도 데이터를 측정하는 가속도계
    를 포함하는 것을 특징으로 하는 공간 인식 장치.
  8. 삭제
  9. 제6항에 있어서,
    상기 제1 주제어 모듈은,
    칼만 필터링 기법을 이용하여 상기 각속도계의 상기 바이어스를 추정하는 것을 특징으로 하는 공간 인식 장치.
  10. 제6항에 있어서,
    상기 입력 장치는,
    프리젠터, 마우스 또는 리모콘을 포함하는 것을 특징으로 하는 공간 인식 장치.
KR1020060055760A 2006-06-21 2006-06-21 입력 장치의 공간 인식 방법 및 그 장치 KR100711261B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060055760A KR100711261B1 (ko) 2006-06-21 2006-06-21 입력 장치의 공간 인식 방법 및 그 장치
US11/808,815 US20070299626A1 (en) 2006-06-21 2007-06-13 Space recognition method and apparatus of input device
EP07012000A EP1870670A1 (en) 2006-06-21 2007-06-19 Method and apparatus for space recognition according to the movement of an input device
JP2007160827A JP2008004096A (ja) 2006-06-21 2007-06-19 入力装置の空間認識方法および装置
CNA2007101115040A CN101093167A (zh) 2006-06-21 2007-06-20 输入设备的空间识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060055760A KR100711261B1 (ko) 2006-06-21 2006-06-21 입력 장치의 공간 인식 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR100711261B1 true KR100711261B1 (ko) 2007-04-25

Family

ID=38182252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060055760A KR100711261B1 (ko) 2006-06-21 2006-06-21 입력 장치의 공간 인식 방법 및 그 장치

Country Status (5)

Country Link
US (1) US20070299626A1 (ko)
EP (1) EP1870670A1 (ko)
JP (1) JP2008004096A (ko)
KR (1) KR100711261B1 (ko)
CN (1) CN101093167A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100885416B1 (ko) * 2007-07-19 2009-02-24 건국대학교 산학협력단 일체형 가속도계·각속도계 구동 시스템
CN102331894A (zh) * 2011-09-27 2012-01-25 利信光学（苏州）有限公司 一种电容式触摸屏结构
KR101118358B1 (ko) * 2010-03-29 2012-02-28 (주)나노포인트 칼만 필터를 이용한 가속도 센서 바이어스 계산시스템
KR101778807B1 (ko) * 2008-06-27 2017-09-14 모베아 데이터 융합을 이용하는 모션 캡처 포인터

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5117898B2 (ja) * 2008-03-19 2013-01-16 ラピスセミコンダクタ株式会社 リモートコントロール装置
GB0808081D0 (en) * 2008-05-02 2008-06-11 In2Games Ltd Bridging ultrasonic position with accelerometer/gyroscope inertial guidance
KR101185589B1 (ko) * 2008-11-14 2012-09-24 (주)마이크로인피니티 움직임 감지를 통한 사용자 명령 입력 방법 및 디바이스
US9690386B2 (en) 2009-07-14 2017-06-27 Cm Hk Limited Method and apparatus for performing motion recognition using motion sensor fusion, and associated computer program product
KR20110035609A (ko) * 2009-09-30 2011-04-06 삼성전자주식회사 움직임 감지 장치 및 방법
EP2520904B1 (en) * 2011-02-28 2014-06-18 BlackBerry Limited Portable Electronic Device Adapted to Provide an Improved Attitude Matrix
US8896301B2 (en) 2011-02-28 2014-11-25 Blackberry Limited Portable electronic device adapted to compensate for gyroscope bias
US8688403B2 (en) 2011-02-28 2014-04-01 Blackberry Limited Portable electronic device adapted to provide an improved attitude matrix
EP2520903B1 (en) * 2011-02-28 2014-06-18 BlackBerry Limited Portable electronic device adapted to compensate for gyroscope bias
US8884877B2 (en) * 2011-04-29 2014-11-11 Movea Pointing device
CN102435192B (zh) * 2011-11-25 2013-10-09 西北工业大学 基于角速度的欧拉角任意步长正交级数指数型近似输出方法
ITTO20111144A1 (it) * 2011-12-13 2013-06-14 St Microelectronics Srl Sistema e metodo di compensazione dell'orientamento di un dispositivo portatile
EP2960627B1 (en) * 2013-02-22 2020-01-01 Asahi Kasei Kabushiki Kaisha Carry-state change detection device, carry-state change detection method, and program
JP6175127B2 (ja) * 2013-02-22 2017-08-02 旭化成株式会社 保持状態判定装置およびプログラム
CN103175540B (zh) * 2013-03-10 2015-08-05 南京中科盟联信息科技有限公司 一种高精度步行速度和距离的计算方法
WO2014179449A1 (en) * 2013-05-01 2014-11-06 Hillcrest Laboratories, Inc. Mapped variable smoothing evolution method and device
CN106125904B (zh) * 2013-11-26 2019-03-26 青岛海信电器股份有限公司 手势数据处理方法和手势输入设备
CN103713746B (zh) * 2013-12-18 2017-01-04 深圳市宇恒互动科技开发有限公司 三维惯性遥控装置的输入方法及三维惯性遥控装置
CN104503602A (zh) * 2014-12-17 2015-04-08 济南大学 一种基于立体感应的无线鼠标
CN105629267B (zh) * 2016-01-26 2018-07-31 北京航空航天大学 基于径向动态控制的gnss模拟器测试场景生成方法和***
CN106054914A (zh) * 2016-08-17 2016-10-26 腾讯科技（深圳）有限公司 一种飞行器的控制方法及飞行器控制装置
CN108803673A (zh) * 2018-05-07 2018-11-13 约肯机器人（上海）有限公司 定向控制方法和装置
US11886182B2 (en) 2018-12-31 2024-01-30 Tomahawk Robotics, Inc. Systems and methods of detecting intent of spatial control
TWI765509B (zh) * 2020-12-31 2022-05-21 群光電子股份有限公司 指向裝置及其控制方法
CN113515201B (zh) * 2021-07-27 2024-03-19 北京字节跳动网络技术有限公司 光标位置更新方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040082558A (ko) * 2003-03-19 2004-09-30 삼성전자주식회사 관성항법시스템을 이용한 펜형 공간 입력시스템 및 그궤적 복원 방법
KR20040108218A (ko) * 2003-06-17 2004-12-23 삼성전자주식회사 공간형 입력 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3710603B2 (ja) * 1997-07-25 2005-10-26 株式会社リコー ペン型入力装置
US6212296B1 (en) * 1997-12-23 2001-04-03 Ricoh Company, Ltd. Method and apparatus for transforming sensor signals into graphical images
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
FR2789172B1 (fr) * 1999-02-02 2001-04-13 Sextant Avionique Appareil a gyrometres et accelerometres pour la determination des attitudes d'un aerodyne
US6453239B1 (en) * 1999-06-08 2002-09-17 Schlumberger Technology Corporation Method and apparatus for borehole surveying
US6473713B1 (en) * 1999-09-20 2002-10-29 American Gnc Corporation Processing method for motion measurement
US6744420B2 (en) * 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US6853909B2 (en) * 2001-12-03 2005-02-08 Applanix Corporation, Inc Walking stick navigator for position determination
JP3970724B2 (ja) * 2002-08-30 2007-09-05 Ｎｅｃ東芝スペースシステム株式会社 飛翔体の姿勢変更制御装置及び姿勢変更制御方法
US20040140962A1 (en) * 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
KR100501721B1 (ko) * 2003-03-19 2005-07-18 삼성전자주식회사 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
FR2855258B1 (fr) * 2003-05-19 2006-06-30 Giat Ind Sa Procede de controle de la trajectoire d'un projectile girant
US7509216B2 (en) * 2004-03-29 2009-03-24 Northrop Grumman Corporation Inertial navigation system error correction
US20050240347A1 (en) * 2004-04-23 2005-10-27 Yun-Chun Yang Method and apparatus for adaptive filter based attitude updating
EP1743322A4 (en) * 2004-04-30 2008-04-30 Hillcrest Lab Inc METHOD AND DEVICES FOR REMOVING UNINTENDED MOVEMENTS IN FREE-AIR INDICATORS
CA2605177C (en) * 2005-04-19 2011-06-21 Jaymart Sensors, Llc Miniaturized inertial measurement unit and associated methods
US8239162B2 (en) * 2006-04-13 2012-08-07 Tanenhaus & Associates, Inc. Miniaturized inertial measurement unit and associated methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040082558A (ko) * 2003-03-19 2004-09-30 삼성전자주식회사 관성항법시스템을 이용한 펜형 공간 입력시스템 및 그궤적 복원 방법
KR20040108218A (ko) * 2003-06-17 2004-12-23 삼성전자주식회사 공간형 입력 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100885416B1 (ko) * 2007-07-19 2009-02-24 건국대학교 산학협력단 일체형 가속도계·각속도계 구동 시스템
KR101778807B1 (ko) * 2008-06-27 2017-09-14 모베아 데이터 융합을 이용하는 모션 캡처 포인터
KR101118358B1 (ko) * 2010-03-29 2012-02-28 (주)나노포인트 칼만 필터를 이용한 가속도 센서 바이어스 계산시스템
CN102331894A (zh) * 2011-09-27 2012-01-25 利信光学（苏州）有限公司 一种电容式触摸屏结构

Also Published As

Publication number Publication date
EP1870670A1 (en) 2007-12-26
JP2008004096A (ja) 2008-01-10
CN101093167A (zh) 2007-12-26
US20070299626A1 (en) 2007-12-27

Similar Documents

Publication Publication Date Title
KR100711261B1 (ko) 입력 장치의 공간 인식 방법 및 그 장치
US20210208180A1 (en) Correction of accumulated errors in inertial measurement units attached to a user
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
US10093280B2 (en) Method of controlling a cursor by measurements of the attitude of a pointer and pointer implementing said method
JP5218016B2 (ja) 入力装置およびデータ処理システム
KR101778807B1 (ko) 데이터 융합을 이용하는 모션 캡처 포인터
EP2353063B1 (en) Method and device for inputting a user&#39;s instructions based on movement sensing
US10540006B2 (en) Tracking torso orientation to generate inputs for computer systems
US9092071B2 (en) Control device with an accelerometer system
US20150247729A1 (en) System and method for device bearing estimation
JP2011075559A (ja) 動き検出装置および方法
US11009964B2 (en) Length calibration for computer models of users to generate inputs for computer systems
EP1462926A2 (en) Magnetic sensor- based handheld input system and a handwriting trajectory recovery method therefor
JP5464706B2 (ja) 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法
KR101504063B1 (ko) 이동 가방
US20160313128A1 (en) Travel direction determination apparatus, map matching apparatus, travel direction determination method, and computer readable medium
Yang et al. Analysis and compensation of errors in the input device based on inertial sensors
US9740307B2 (en) Processing unit, computer program amd method to control a cursor on a screen according to an orientation of a pointing device
US20130085712A1 (en) Inertial sensing input apparatus and method thereof
KR101146748B1 (ko) 항체의 자세 제어 장치 및 방법
KR100940095B1 (ko) 포인터 이동 값 계산 장치, 포인터 이동 값 보정 방법 및자세 각도 변화량 보정 방법, 이를 사용하는 3차원 포인팅디바이스
KR100948806B1 (ko) 무선 공간인식 3차원 마우스 장치 및 이의 제어 방법
KR100695445B1 (ko) 공간 인식 장치를 이용한 화면 지시 방법 및 그 장치
US9352230B1 (en) Method and system for tracking motion-sensing device

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130228

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140228

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee