KR20230047761A - Character input system using 3D electronic pen - Google Patents

Character input system using 3D electronic pen Download PDF

Info

Publication number
KR20230047761A
KR20230047761A KR1020210130988A KR20210130988A KR20230047761A KR 20230047761 A KR20230047761 A KR 20230047761A KR 1020210130988 A KR1020210130988 A KR 1020210130988A KR 20210130988 A KR20210130988 A KR 20210130988A KR 20230047761 A KR20230047761 A KR 20230047761A
Authority
KR
South Korea
Prior art keywords
writing instrument
dimensional
data
measurement unit
mobile device
Prior art date
Application number
KR1020210130988A
Other languages
Korean (ko)
Inventor
유현석
Original Assignee
주식회사 에이유이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이유이 filed Critical 주식회사 에이유이
Priority to KR1020210130988A priority Critical patent/KR20230047761A/en
Publication of KR20230047761A publication Critical patent/KR20230047761A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a letter input system using an electronic pen, and more particularly, to a system for inputting a three-dimensionally written letter, which can write and input a letter in a space using an electronic pen capable of tracking a three-dimensional trajectory. According to the present invention, the system comprises: a writing instrument type case; an inertial measurement unit (IMU) embedded in the writing instrument type case; a microcomputer unit (MCU) for converting a three-dimensional movement of the IMU into two-dimensional data; a Bluetooth low energy module for transmitting data converted by the MCU; a writing instrument including a battery; and a mobile device for converting two-dimensional data generated by the writing instrument into an image file, and changing the converted image file to a text file.

Description

3차원 전자펜을 이용한 글자 입력 시스템{Character input system using 3D electronic pen}Character input system using 3D electronic pen}

본 발명은 전자펜을 이용한 글자 입력 시스템에 관한 것으로서, 보다 상세하게는 3차원 궤적을 추적할 수 있는 전자펜을 이용하여 공간에 글자를 적어 입력할 수 있는 3차원 적힌 글자를 입력할 수 있는 시스템에 관한 것이다.The present invention relates to a letter input system using an electronic pen, and more particularly, to a system capable of inputting three-dimensional written letters by writing letters in a space using an electronic pen capable of tracking a three-dimensional trajectory. It is about.

스마트폰, 스마트 패드의 보급에 따라 화면 위에 글자를 입력할 수 있도록, 다양한 방식으로 구동되는 전자펜 들이 개발되고 있다. 이러한 스마트폰 또는 스마트 패드에 사용하는 전자펜들은 스마트폰이나 패드의 위에서 매끄럽게 작동하지만, 글자를 입력할 수 있는 디스플레이나 패드가 없을 경우 사용하기 어렵다는 한계가 있다. With the spread of smart phones and smart pads, electronic pens driven in various ways are being developed so that characters can be input on the screen. Electronic pens used in such smart phones or smart pads work smoothly on the smart phone or pad, but there is a limitation that it is difficult to use when there is no display or pad capable of inputting letters.

이러한 문제를 해결하기 위해서 관성항법시스템(INS: Inertial Navigation System)의 이론을 이용하여 3차원 공간에서 필기구의 움직임을 추적하여 글자를 인식하는 방안들이 개발되고 있다. INS는 관성측정치를 이용하여 3차원 공간 상에서 운동하는 물체의 위치, 속도, 자세 등과 같은 항법 정보를 계산한다. 이론적으로 스트랩다운 INS(Strapdown INS: SDINS)의 경우 3축 가속도와 3축 각속도만으로 3차원 운동 물체에 대해 필요한 정보를 얻을 수 있다. SDINS는 각속도 측정치의 적분치를 이용하여 시스템의 자세 계산 및 가속도를 보정하고, 보정된 가속도를 한번 적분하여 속도, 두번 적분하여 펜의 위치 정보를 계산한다. In order to solve this problem, methods for recognizing letters by tracking the movement of a writing instrument in a three-dimensional space using the theory of an inertial navigation system (INS) have been developed. INS uses inertial measurements to calculate navigation information such as the position, speed, and attitude of an object moving in a three-dimensional space. Theoretically, in the case of strapdown INS (SDINS), necessary information about a 3-dimensional moving object can be obtained with only 3-axis acceleration and 3-axis angular velocity. SDINS calculates the posture of the system and corrects the acceleration using the integral of the angular velocity measurement, and calculates the speed by integrating the corrected acceleration once and the position information of the pen by integrating twice.

미국 특허 US 6,181,329(공개일자, 2001-01-30)에는 펜 내부에 3축 가속도 센서와 3축 자이로 센서를 내장하고, 오일러 변환을 통해서 3차원 운동을 하는 펜의 위치를 구하는 방법을 제시하고 있다. 하지만, 추적된 3차원 운동에서 글씨를 추출하기 위해서는 필기구를 사용하기 전에 미리 정의된 여러 위치에서 필기구를 잡고, 센서 판독값을 가져와 사전 정의된 해당 위치에 매핑하는 복잡한 과정이 필요하게 된다. U.S. Patent No. 6,181,329 (published date, 2001-01-30) proposes a method of obtaining the position of a pen performing a three-dimensional movement through Euler transformation by incorporating a 3-axis acceleration sensor and a 3-axis gyro sensor inside the pen. . However, in order to extract writing from the tracked three-dimensional motion, a complicated process of holding the writing instrument at various predefined positions before using the writing instrument, taking sensor readings, and mapping them to the corresponding predefined positions is required.

이에 따라, 추적된 필기구의 3차원 운동을 글씨로 변환할 수 있는 새로운 시스템에 대한 요구가 여전히 계속되고 있다. Accordingly, there is still a demand for a new system capable of converting the three-dimensional motion of the tracked writing instrument into writing.

미국 특허 US 5,434,371(공개일자, 19950618)US Patent US 5,434,371 (published 19950618) 미국 특허 US 6,181,329(공개일자, 20010130)US Patent US 6,181,329 (published date: 20010130)

본 발명에서 해결하고자 하는 과제는 3차원 공간에서 필기를 하고 이를 인식할 수 있는 시스템을 제공하는 것이다.An object to be solved by the present invention is to provide a system capable of writing and recognizing handwriting in a three-dimensional space.

본 발명에서 해결하고자 하는 과제는 3차원 공간에서 필기를 하고 이를 인식할 수 있는 3차원 필기 입력 시스템에 사용되는 전자펜을 제공하는 것이다.An object to be solved by the present invention is to provide an electronic pen used in a 3D writing input system capable of writing and recognizing writing in a 3D space.

상기와 같은 과제를 해결하기 위해서, 본 발명은 In order to solve the above problems, the present invention

필기구형 케이스, pen case,

상기 필기구형 케이스에 내장된 관성 측정 유닛(IMU:Internal Measurement Unit),An inertial measurement unit (IMU: Internal Measurement Unit) built into the writing instrument-type case,

상기 관성 측정 유닛의 3차원 움직임을 2차원 데이터로 변환시키는 마이크로 컴퓨터 유닛(MCU: Micro Computer Unit),A micro computer unit (MCU: Micro Computer Unit) that converts the three-dimensional movement of the inertial measurement unit into two-dimensional data;

상기 MCU에서 변환된 데이터를 전송하는 블루투스 저전력(Bluetooth Low Energy) 모듈, 및A Bluetooth Low Energy module for transmitting the data converted by the MCU, and

배터리를 포함하는 필기구와; 그리고 a writing instrument containing a battery; and

상기 필기구에서 생성된 2차원 데이터를 이미지 파일로 변환시키고, 변환된 이미지 파일을 텍스 파일로 변경하는 모바일 장치를; 포함하는 3차원 필기 입력 시스템을 제공한다. a mobile device that converts the two-dimensional data generated by the writing instrument into an image file and converts the converted image file into a Tex file; A three-dimensional handwriting input system including

본 발명은 일 측면에서, In one aspect, the present invention

필기구형 케이스, pen case,

상기 필기구형 케이스에 내장된 관성 측정 유닛(IMU:Internal Measurement Unit),An inertial measurement unit (IMU: Internal Measurement Unit) built into the writing instrument-type case,

상기 관성 측정 유닛의 3차원 움직임을 2차원 데이터로 변환시키는 마이크로 컴퓨터 유닛(MCU: Micro Computer Unit),A micro computer unit (MCU: Micro Computer Unit) that converts the three-dimensional movement of the inertial measurement unit into two-dimensional data;

상기 MCU에서 변환된 데이터를 전송하는 블루투스 저전력(Bluetooth Low Energy) 모듈, 및A Bluetooth Low Energy module for transmitting the data converted by the MCU, and

배터리를 포함하는 3차원 필기 입력용 필기구;를 제공한다. A writing instrument for 3D writing input including a battery is provided.

본 발명은 다른 일 측면에 있어서, In another aspect of the present invention,

필기구형 케이스, pen case,

상기 필기구형 케이스에 내장된 관성 측정 유닛(IMU:Internal Measurement Unit),An inertial measurement unit (IMU: Internal Measurement Unit) built into the writing instrument-type case,

상기 관성 측정 유닛의 3차원 움직임을 2차원 데이터로 변환시키는 마이크로 컴퓨터 유닛(MCU: Micro Computer Unit),A micro computer unit (MCU: Micro Computer Unit) that converts the three-dimensional movement of the inertial measurement unit into two-dimensional data;

상기 MCU에서 변환된 데이터를 전송하는 블루투스 저전력(Bluetooth Low Energy) 모듈, 및A Bluetooth Low Energy module for transmitting the data converted by the MCU, and

배터리를 포함하는 필기구로 소정 3차원 공간에 글자를 쓰는 단계; writing a character in a predetermined 3-dimensional space with a writing instrument including a battery;

상기 필기구에서 생성된 2차원 데이터를 이미지 파일로 변환시키는 단계;converting the two-dimensional data generated by the writing instrument into an image file;

변환된 이미지 파일을 모바일 장치에 전송하는 단계;Transmitting the converted image file to a mobile device;

모바일 장치에서 전송된 이미지 파일을 텍스트 파일로 변경하는 단계;를 포함하는 3차원 필기 입력 방법을 제공한다. A 3D handwriting input method including a step of changing an image file transmitted from a mobile device into a text file is provided.

본 발명에 있어서, 상기 필기구형 케이스는 통형 몸체부와 콘 형태의 전방 돌기를 가지는 필기구를 가질 수 있으며, 예를 들어, 연필, 볼펜, 만년필 형태의 케이스일 수 있다. In the present invention, the writing instrument-type case may have a writing instrument having a cylindrical body and a cone-shaped forward protrusion, and may be, for example, a case in the form of a pencil, ballpoint pen, or fountain pen.

본 발명에 있어서, 상기 관성 측정 유닛은 가속도 센서 및 자이로 센서를 포함할 수 있다. 본 발명의 실시에 있어서, 관성 측정 유닛은 3축 가속도 센서와 3축 자이로 센서를 이용할 수 있다. 본 발명의 실시에 있어서, 상기 관성 측정 유닛은 3축 가속도와 3축 각속도를 이용하여 필기구의 3차원 궤적을 추적하는 스트랩다운 INS(Strapdown INS: SDINS) 방식의 관성 측정 유닛일 수 있다. In the present invention, the inertial measurement unit may include an acceleration sensor and a gyro sensor. In the implementation of the present invention, the inertial measurement unit may use a 3-axis acceleration sensor and a 3-axis gyro sensor. In the implementation of the present invention, the inertial measurement unit may be a strapdown INS (SDINS) type inertial measurement unit that tracks the 3-dimensional trajectory of the writing instrument using 3-axis acceleration and 3-axis angular velocity.

본 발명에 있어서, 상기 마이크로 컴퓨터 유닛은 관성 측정 유닛에 의해서 추적되는 필기구의 3차원 공간에서의 궤적을 2차원 평면에 맵핑하여 2차원 데이터로 변경할 수 있다. 본 발명의 실시에 있어서, 상기 맵핑은 움직임이 가장 적은 축을 z축으로 하여 이루어질 수 있다. In the present invention, the microcomputer unit may convert the trajectory of the writing instrument tracked by the inertial measurement unit in the 3D space into 2D data by mapping it to a 2D plane. In an embodiment of the present invention, the mapping may be performed using an axis with the least movement as the z-axis.

본 발명에 있어서, 상기 2차원 데이터로의 변경은 3차원 데이터에서 z 축을 축소하여 나머지 x, y 축에 대한 궤적으로의 변경일 수 있다. 본 발명의 실시에 있어서, 상기 z축의 축소는 z축의 값을 0으로 수렴 및/또는 변환시키는 것일 수 있다. In the present invention, the change to the 2D data may be a change to a trajectory for the remaining x and y axes by reducing the z axis in the 3D data. In an embodiment of the present invention, the reduction of the z-axis may be converging and/or converting a value of the z-axis to 0.

본 발명에 있어서, 상기 모바일 장치는 2차원 데이터를 수신하기 위해서 상기 필기구와 블루투스 통신할 수 있는 통신 기능과, 상기 필기구로부터 수신되는 2차원 데이터를 2차원 이미지로 변경하는 기능과, 상기 2차원 이미지를 텍스트 파일로 변경시키는 기능을 포함하는 모바일 장치일 수 있다. In the present invention, the mobile device has a communication function capable of performing Bluetooth communication with the writing instrument to receive 2-dimensional data, a function of converting 2-dimensional data received from the writing instrument into a 2-dimensional image, and the 2-dimensional image It may be a mobile device that includes a function of converting a text file into a text file.

본 발명의 실시에 있어서, 상기 모바일 장치는 통신기능과, 클라우드 웹의 접속 기능, 이미지 변환 프로그램을 구비한 모바일 장치, 예를 들어, 스마트폰, 스마트패드, PDA, 스마트워치 또는 노트북 등의 장치일 수 있다. In the practice of the present invention, the mobile device is a mobile device having a communication function, a cloud web connection function, and an image conversion program, for example, a device such as a smart phone, a smart pad, a PDA, a smart watch, or a laptop computer. can

본 발명의 실시에 있어서, 상기 2차원 데이터를 2차원 이미지 파일로 변환하는 것은 디스플레이의 표면을 이동하는 전자펜의 움직임을 이미지 파일로 변환시키는 포토샵 등의 공지된 프로그램을 이용할 수 있다. 본 발명이 일 실시에 있어서, 상기 모바일 장치에는 상기 2차원 궤적 데이터를 2차원 글자 이미지 파일로 변경하는 전용 어플이 설치될 수 있다.In the implementation of the present invention, the conversion of the 2D data into a 2D image file may use a known program such as Photoshop that converts the motion of an electronic pen moving on the surface of a display into an image file. In one embodiment of the present invention, a dedicated application for changing the 2D trajectory data into a 2D character image file may be installed in the mobile device.

본 발명의 실시에 있어서, 상기 2차원 이미지 파일을 텍스트 파일로 변경하는 기능은 2차원 궤적 데이터를 이미지로 변경한 2차원 이미지 파일을 클라이드 OCR 서버에 접속하여 전송하고, 클라우드 OCR 서버에서 변환된 텍스트 파일을 수신하는 방식으로 구현될 수 있다. In the practice of the present invention, the function of changing the 2D image file into a text file connects the 2D image file in which the 2D trajectory data is converted into an image to the Clyde OCR server and transmits it, and the text converted in the cloud OCR server It can be implemented in a way of receiving a file.

본 발명에 있어서, 상기 클라우드 OCR 서버는 모바일 기기에서 송신된 이미지 파일을 수신하고, 수신된 이미지 파일을 텍스트 파일로 변경하고, 변경된 텍스트 파일을 모바일 기기으로 다시 송신하는 클라우드형 OCR 서버로 이루어질 수 있다.In the present invention, the cloud OCR server may include a cloud-type OCR server that receives an image file transmitted from a mobile device, changes the received image file into a text file, and transmits the changed text file back to the mobile device. .

본 발명에 의해서 3차원 공간에서 쓴 글자를 입력할 수 있는 새로운 글자 입력 시스템이 제공되었다. 본 발명에 따른 글자 입력 시스템은 별도의 디스플레이나 패드가 없이 사용자가 3차원 공간에 쓴 글자를 텍스트로 입력할 수 있다. According to the present invention, a new character input system capable of inputting characters written in a three-dimensional space is provided. The character input system according to the present invention can input characters written in a 3D space as text without a separate display or pad.

본 발명은 또한 3차원 공간에서 쓴 글자를 입력할 수 있는 새로운 글자 입력 도구를 제공한다. The present invention also provides a new text input tool capable of inputting written text in a three-dimensional space.

도 1은 본 발명에 따른 3차원 입력 시스템의 구성을 전체적으로 보여주는 도면이며, 3차원 입력 시스템(10)은 필기구(100)와 모바일 기기(200)와 클라우드 OCR서버(300)의 조합으로 이루어진다.
도 2는 도 1의 3차원 입력 시스템을 기능적으로 설명하는 도면이다.
도 3은 본 발명의 실시에 따른 글자의 궤적으로 보여주는 도면이다. 1 is a diagram showing the configuration of a 3D input system according to the present invention as a whole, and the 3D input system 10 is composed of a combination of a writing instrument 100, a mobile device 200, and a cloud OCR server 300.
FIG. 2 is a diagram functionally explaining the 3D input system of FIG. 1 .
3 is a diagram showing trajectories of characters according to an embodiment of the present invention.

이하, 실시예를 통해서 본 발명을 상세하게 설명한다. 실시 예에 대한 다음의 설명은 첨부 도면을 참조한다. 다른 도면들에서 동일한 참조 번호는 동일하거나 유사한 요소를 나타낸다. 다음의 상세한 설명은 본 발명을 제한하지 않는다. 대신, 본 발명의 범위는 첨부된 청구 범위에 의해 정의된다. Hereinafter, the present invention will be described in detail through examples. The following description of embodiments refers to the accompanying drawings. Like reference numbers in different drawings indicate the same or similar elements. The following detailed description does not limit the invention. Instead, the scope of the invention is defined by the appended claims.

명세서 전체에 걸쳐서, "일 실시 예" 또는 "실시 예"에 대한 언급은 한 실시 예와 관련하여 설명된 특정 특징, 구조 또는 특성이 개시된 주제의 적어도 하나의 실시 예에 포함된다는 것을 의미한다. 따라서, 명세서 전체에 걸쳐 다양한 위치에서 나타나는 "일 실시 예에서"또는 "실시 예에서"라는 문구는 반드시 동일한 실시 예를 지칭하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다.Throughout the specification, reference to “one embodiment” or “an embodiment” means that a particular feature, structure, or characteristic described in connection with an embodiment is included in at least one embodiment of the disclosed subject matter. Thus, the appearances of the phrases “in one embodiment” or “in an embodiment” in various places throughout the specification are not necessarily all referring to the same embodiment. In addition, certain features, structures or characteristics may be combined in any suitable way in one or more embodiments.

본 발명에 따른 3차원 필기 입력 시스템(10)은, 도 1에 도시된 바와 같이, 필기구형 케이스(110)와, 상기 필기구형 케이스(110)에 내장된 관성 측정 유닛(IMU:Internal Measurement Unit)(120)과, 상기 관성 측정 유닛(120)의 3차원 움직임을 2차원 데이터로 변환시키는 마이크로 컴퓨터 유닛(MCU: Micro Computer Unit)(130)과, 상기 MCU에서 변환된 데이터를 전송하는 블루투스 저전력(Bluetooth Low Energy) 모듈(140), 및 배터리(150)를 포함하는 필기구(100)와; 상기 필기구(100)에서 생성된 2차원 데이터를 이미지 파일로 변환시키고, OCR 서버(300)을 통해서 텍스트 파일로 변경하는 모바일 기기(200)와, 모바일 기기(200)에서 송신된 이미지 파일을 수신하고, 수신된 이미지 파일을 텍스트 파일로 변경하고, 변경된 텍스트 파일을 모바일 기기(200)으로 송신하는 클라우드형 OCR 서버(300)으로 이루어진다.As shown in FIG. 1, the 3D writing input system 10 according to the present invention includes a writing instrument-type case 110 and an inertial measurement unit (IMU) built into the writing instrument-type case 110. 120, a micro computer unit (MCU) 130 that converts the three-dimensional motion of the inertial measurement unit 120 into two-dimensional data, and Bluetooth low power that transmits the data converted by the MCU ( a writing instrument 100 including a Bluetooth Low Energy) module 140 and a battery 150; The mobile device 200 converts the two-dimensional data generated by the writing instrument 100 into an image file and converts it into a text file through the OCR server 300, and receives the image file transmitted from the mobile device 200, , The cloud-type OCR server 300 changes the received image file into a text file and transmits the changed text file to the mobile device 200.

필기구형 케이스(110)는 원통형 몸체부(111)와 콘 형태의 전방 돌기(112)를 가지며, 원통형 몸체부(111) 내부에 관성 측정 유닛(120)과, 마이크로컴퓨터 유닛(130)과, 블루투스 칩(140) 및 배터리(150)가 내장된다. The writing instrument-type case 110 has a cylindrical body 111 and a cone-shaped front protrusion 112, and an inertial measurement unit 120, a microcomputer unit 130, and Bluetooth inside the cylindrical body 111. A chip 140 and a battery 150 are embedded.

관성 측정 유닛(120)은 콘 형태의 전방 돌기를 기준으로 글자를 쓰는 사용자의 특성을 고려하여, 원통형 몸체부(111)에서 콘 형태의 전방 돌기에 인접한 위치에 배치된다. The inertial measurement unit 120 is disposed adjacent to the cone-shaped front projection of the cylindrical body 111 in consideration of the characteristics of a user who writes on the basis of the cone-shaped front projection.

원통형 몸체부(111)의 중간에는 관성 측정 유닛(120) 및 배터리(150)에 유선으로 연결된 마이크로컴퓨터 유닛(130)이 배치되고, 상기 마이크로컴퓨터 유닛에 블루투스 저전력 모듈이 통합된다. 원통형 몸체부(111)의 후방에는 배터리가 배치되며, 상기 배터리는 재충전 가능한 배터리를 사용한다. A microcomputer unit 130 wired to the inertial measurement unit 120 and the battery 150 is disposed in the middle of the cylindrical body 111, and a Bluetooth low energy module is integrated into the microcomputer unit. A battery is disposed at the rear of the cylindrical body 111, and the battery uses a rechargeable battery.

필기구형 케이스(110)의 내부에 내장되는 관성 측정 유닛(120)은 3개의 가속도 센서(121)와 3개의 자이로센서(122)와 상기 가속도 센서 및 자이로센서들에서 생성되는 데이터를 가공하여 3차원 궤적 데이터를 출력하는 관성 측정 유닛 제어부(123)으로 이루어진다. The inertial measurement unit 120 embedded inside the writing instrument-type case 110 processes data generated by three acceleration sensors 121 and three gyro sensors 122 and the acceleration sensors and gyro sensors to obtain a three-dimensional data. It consists of an inertial measurement unit controller 123 that outputs trajectory data.

관성측정유닛 제어부(123)에서는 3개의 가속도 센서(121)들과 3개의 자이로 센서(122)들에서 얻어지는 비가공된 측정 데이터에 칼만 필터를 적용하여 에러 및 오차를 보정한다. 글자는 다양한 획으로 구성되어 비선형 함수를 나타내기 때문에 단일 근사치를 사용하는 확장 Kalman 필터(EKF)보다 분산점 Kalman 필터(UKF)를 사용하며, 데이터의 예상 가우스 분포를 이용하는 결정론적 샘플링 접근 방식을 이용하여 오차를 줄이고, Roll, Yaw, Pitch 값, X, Y, Z 위치 값으로 구성된 보정된 데이터를 출력한다. The inertial measurement unit controller 123 applies a Kalman filter to unprocessed measurement data obtained from the three acceleration sensors 121 and the three gyro sensors 122 to correct errors and errors. Since letters consist of various strokes and represent non-linear functions, a distributed-point Kalman filter (UKF) is used rather than an extended Kalman filter (EKF) using a single approximation, and a deterministic sampling approach using the expected Gaussian distribution of the data is used. to reduce errors and output corrected data consisting of Roll, Yaw, Pitch values, and X, Y, Z position values.

마이크로 컴퓨터 유닛(130)에서는 관성측정유닛(123)의 제어부에서 입력되는 3차원 궤적 데이터를 2차원 평면에 맵핑한다. 2차원 맵핑은 측정된 값의 X, Y, Z 위치의 값에서 Z 축을 0으로 변환시켜 X, Y 공간의 단일 평면 데이터로 변경하여 이루어진다. 마이크로 컴퓨터 유닛에서는 얻어진 단일 평면 데이터 값을 블루투스 통신을 통해 모바일 기기로 전송한다. The microcomputer unit 130 maps the 3D trajectory data input from the controller of the inertial measurement unit 123 to a 2D plane. Two-dimensional mapping is performed by converting the Z-axis to 0 in the X, Y, and Z position values of the measured values and changing them into single plane data in the X and Y spaces. The microcomputer unit transmits the obtained single plane data value to the mobile device through Bluetooth communication.

도 1 및 도 2에서 도시된 바와 같이, 모바일 기기(200)에는 필기구(100)으로부터 2차원 데이터를 수신하기 위해서 필기구(100)와 블루투스 통신할 수 있는 모바일 블루투스 모듈(210)과, 상기 필기구로부터 수신되는 2차원 데이터를 2차원 이미지로 변경하는 모바일 어플리케이션(220)과, 상기 2차원 이미지를 텍스트 파일로 변경하기 위해 클라우드 OCR 서버(300)에 접속하는 OCR 접속부(230)와 사용자 서비스부(240)을 가진다. 1 and 2, the mobile device 200 includes a mobile Bluetooth module 210 capable of Bluetooth communication with the writing instrument 100 in order to receive two-dimensional data from the writing instrument 100, and from the writing instrument 100. A mobile application 220 that converts received 2D data into a 2D image, an OCR connection unit 230 that accesses the cloud OCR server 300 to convert the 2D image into a text file, and a user service unit 240 ) has

모바일 어플리케이션(220)에서는 입력된 2차원 궤적 데이터 중에서, 입력 완료 정보 및 글자의 획을 구성하지 않는 데이터 정보를 구별하고, 이를 제외한 데이터를 이미지 형태로 변환한다. The mobile application 220 distinguishes input completion information and data information that does not constitute a stroke of a character from among the input two-dimensional trajectory data, and converts the data except for this into an image form.

입력 완료 정보는 펜을 특정 방식으로 움직일 때 생성되는 미리 결정된 정보로서, 예를 들어, 펜을 특정 축, 예를 들어 Z축으로 길게 이동시킨 상태의 데이터이며, 글자 획을 구성하지 않는 정보는 동일한 값의 위치 정보 출력(예를 들어, 멈춤), 글자로 판단되는 획보다 연속적으로 큰 값, 너무 작은 값의 데이터일 수 있다.Input completion information is predetermined information generated when the pen is moved in a specific way, for example, it is data in a state where the pen is moved for a long time in a specific axis, for example, the Z axis, and information that does not constitute a character stroke is the same It may be data of value position information output (for example, stop), a value that is continuously greater than a stroke judged as a character, or a value that is too small.

모바일 기기(200)에서는 어플리케이션(220)에서 이미지 형태를 텍스트 정보로 변환시키기 위해서, 얻어진 2차원 이미지 정보를 클라우드 OCR 서버(300)으로 전송한다. The mobile device 200 transmits the obtained 2D image information to the cloud OCR server 300 in order to convert the image type into text information in the application 220 .

클라우드 OCR 서버(300)에서는 입력된 이미지 정보를 분석한다. 이때 기존에 학습된 유형과 패턴을 바탕으로 해당 글자를 판단하여 글자를 추출하고, 판독된 글자는 다시 어플리케이션(220)으로 전송된다. 사용자는 어플리케이션(220)에서 판독된 글자를 바탕으로 사용자에게 다양한 서비스를 제공한다.The cloud OCR server 300 analyzes the input image information. At this time, the corresponding character is determined based on the previously learned type and pattern, the character is extracted, and the read character is transmitted to the application 220 again. The user provides various services to the user based on the text read by the application 220 .

이 설명은 본 발명을 제한하려는 것이 아님을 이해해야한다. 반대로, 예시적인 실시 예는 첨부된 청구 범위에 의해 정의된 본 발명의 사상 및 범위에 포함되는, 대안, 수정 및 등가물을 포함하도록 의도된다. 또한, 예시적인 실시 예의 상세한 설명에서, 청구 된 발명의 포괄적인 이해를 제공하기 위해 다수의 특정 세부 사항이 설명된다. 예를 들어, 클라우드 OCR 서버(300)로 송신하지 않고, 모바일 기기에 내장된 OCR 프로그램에서 판독하는 것도 가능하다. 그러나, 당업자는 이러한 특정 세부 사항 없이 다양한 실시 예가 실시될 수 있음을 이해할 것이다. It should be understood that this description is not intended to limit the invention. On the contrary, the exemplary embodiments are intended to cover alternatives, modifications and equivalents included within the spirit and scope of the invention as defined by the appended claims. In addition, in the detailed description of the exemplary embodiments, numerous specific details are set forth in order to provide a comprehensive understanding of the claimed subject matter. For example, it is also possible to read in an OCR program built into a mobile device without transmitting to the cloud OCR server 300 . However, those skilled in the art will understand that various embodiments may be practiced without these specific details.

본 실시 예의 특징 및 요소가 특정 조합으로 실시 예에서 설명되었지만, 각각의 특징 또는 요소는 실시 예의 다른 특징 및 요소없이 단독으로 또는 개시된 다른 특징 및 요소와 함께 또는 없이 다양한 조합으로 사용될 수있다. 이 기록된 설명은 임의의 장치 또는 시스템을 만들고 사용하고 임의의 통합 된 방법을 수행하는 것을 포함하여 당업자가 동일한 것을 실행할 수 있도록 개시된 주제의 예를 사용한다. 주제의 특허 가능한 범위는 청구 범위에 의해 정의되며, 당업자에게 발생하는 다른 예를 포함할 수 있다. 그러한 다른 실험예는 청구항의 범위 내에있는 것으로 의도된다.Although features and elements of this embodiment have been described in the embodiments in particular combinations, each feature or element may be used alone without other features and elements of the embodiment or in various combinations with or without the other features and elements disclosed. This written description uses examples of the disclosed subject matter to enable those skilled in the art to practice the same, including making and using any device or system and performing any incorporated method. The patentable scope of the subject matter is defined by the claims and may include other examples that occur to one skilled in the art. Such other experimental examples are intended to be within the scope of the claims.

100: 필기구
110: 필기구 케이스
120: 관성측정유닛
130: 마이크로컴퓨터 제어유닛
140: 블루투스 저전력 모듈
150: 배터리
200: 모바일 기기
300: 클라우드 OCR 서버100: writing instrument
110: writing instrument case
120: inertial measurement unit
130: microcomputer control unit
140: Bluetooth low energy module
150: battery
200: mobile device
300: cloud OCR server

Claims (8)

필기구형 케이스,
상기 필기구형 케이스에 내장된 관성 측정 유닛(IMU:Internal Measurement Unit),
상기 관성 측정 유닛의 3차원 움직임을 2차원 데이터로 변환시키는 마이크로 컴퓨터 유닛(MCU: Micro Computer Unit),
상기 MCU에서 변환된 데이터를 전송하는 블루투스 저전력(Bluetooth Low Energy) 모듈, 및
배터리를 포함하는 필기구와; 그리고
상기 필기구에서 생성된 2차원 데이터를 이미지 파일로 변환시키고, 변환된 이미지 파일을 텍스 파일로 변경하는 모바일 장치를; 포함하는 3차원 필기 입력 시스템.pen case,
An inertial measurement unit (IMU: Internal Measurement Unit) built into the writing instrument-type case,
A micro computer unit (MCU: Micro Computer Unit) that converts the three-dimensional movement of the inertial measurement unit into two-dimensional data;
A Bluetooth Low Energy module for transmitting the data converted by the MCU, and
a writing instrument containing a battery; and
a mobile device that converts the two-dimensional data generated by the writing instrument into an image file and converts the converted image file into a Tex file; A three-dimensional handwriting input system that includes 제1항에 있어서,
상기 필기구형 케이스는 통형 몸체부와 콘 형태의 전방 돌기를 가지는 필기구를 가지는 것을 특징으로 하는 3차원 필기 입력 시스템.According to claim 1,
The three-dimensional writing input system, characterized in that the writing instrument-type case has a writing instrument having a cylindrical body and a cone-shaped forward projection. 제1항에 있어서,
상기 마이크로 컴퓨터 유닛은 3차원 데이터에서 z 축을 0으로 수렴 및/또는 변경하여 2차원 데이터로 변경시키는 것을 특징으로 하는 3차원 필기 입력 시스템.According to claim 1,
The 3D handwriting input system, characterized in that the microcomputer unit converges and/or changes the z-axis to 0 in the 3D data to convert it into 2D data. 제1항에 있어서,
상기 모바일 장치는 2차원 데이터를 수신하기 위해서 상기 필기구와 블루투스 통신할 수 있는 통신 기능과, 상기 필기구로부터 수신되는 2차원 데이터를 2차원 이미지로 변경하는 기능과, 및 상기 2차원 이미지를 텍스트 파일로 변경시키는 기능을 포함하는 것을 특징으로 하는 3차원 필기 입력 시스템.According to claim 1,
The mobile device has a communication function capable of performing Bluetooth communication with the writing instrument to receive 2D data, a function of converting 2D data received from the writing instrument into a 2D image, and converting the 2D image into a text file. A three-dimensional handwriting input system comprising a function of changing. 제1항에 있어서,
상기 모바일 장치는 클라우드 OCR 서버에 2차원 이미지를 송신하여 텍스트 파일로 변경하고, 변경된 텍스트 파일을 수신하는 것을 특징으로 하는 3차원 필기 입력 시스템.According to claim 1,
The 3D handwriting input system according to claim 1 , wherein the mobile device transmits a 2D image to a cloud OCR server, converts the 2D image into a text file, and receives the changed text file. 제5항에 있어서,
상기 클라우드 OCR 서버는 모바일 기기에서 송신된 이미지 파일을 수신하고, 수신된 이미지 파일을 텍스트 파일로 변경하고, 변경된 텍스트 파일을 모바일 기기으로 다시 송신하는 것을 특징으로 하는 3차원 필기 입력 시스템.According to claim 5,
The cloud OCR server receives an image file transmitted from a mobile device, changes the received image file into a text file, and transmits the changed text file back to the mobile device. 필기구형 케이스,
상기 필기구형 케이스에 내장된 관성 측정 유닛(IMU:Internal Measurement Unit),
상기 관성 측정 유닛의 3차원 움직임을 2차원 데이터로 변환시키는 마이크로 컴퓨터 유닛(MCU: Micro Computer Unit),
상기 MCU에서 변환된 데이터를 전송하는 블루투스 저전력(Bluetooth Low Energy) 모듈, 및
배터리
를 포함하는 3차원 필기 입력용 필기구. pen case,
An inertial measurement unit (IMU: Internal Measurement Unit) built into the writing instrument-type case,
A micro computer unit (MCU: Micro Computer Unit) that converts the three-dimensional movement of the inertial measurement unit into two-dimensional data;
A Bluetooth Low Energy module for transmitting the data converted by the MCU, and
battery
A writing instrument for 3-dimensional handwriting input comprising a. 필기구형 케이스,
상기 필기구형 케이스에 내장된 관성 측정 유닛(IMU:Internal Measurement Unit),
상기 관성 측정 유닛의 3차원 움직임을 2차원 데이터로 변환시키는 마이크로 컴퓨터 유닛(MCU: Micro Computer Unit),
상기 MCU에서 변환된 데이터를 전송하는 블루투스 저전력(Bluetooth Low Energy) 모듈, 및
배터리를 포함하는 필기구로 소정 3차원 공간에 글자를 쓰는 단계;
상기 필기구에서 생성된 2차원 데이터를 이미지 파일로 변환시키는 단계;
변환된 이미지 파일을 모바일 장치에 전송하는 단계;
모바일 장치에서 전송된 이미지 파일을 텍스트 파일로 변경하는 단계;를 포함하는 3차원 필기 입력 방법.pen case,
An inertial measurement unit (IMU: Internal Measurement Unit) built into the writing instrument-type case,
A micro computer unit (MCU: Micro Computer Unit) that converts the three-dimensional movement of the inertial measurement unit into two-dimensional data;
A Bluetooth Low Energy module for transmitting the data converted by the MCU, and
writing a character in a predetermined 3-dimensional space with a writing instrument including a battery;
converting the two-dimensional data generated by the writing instrument into an image file;
Transmitting the converted image file to a mobile device;
A 3D handwriting input method comprising: converting an image file transmitted from a mobile device into a text file.
KR1020210130988A 2021-10-01 2021-10-01 Character input system using 3D electronic pen KR20230047761A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210130988A KR20230047761A (en) 2021-10-01 2021-10-01 Character input system using 3D electronic pen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210130988A KR20230047761A (en) 2021-10-01 2021-10-01 Character input system using 3D electronic pen

Publications (1)

Publication Number Publication Date
KR20230047761A true KR20230047761A (en) 2023-04-10

Family

ID=85984790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210130988A KR20230047761A (en) 2021-10-01 2021-10-01 Character input system using 3D electronic pen

Country Status (1)

Country Link
KR (1) KR20230047761A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434371A (en) 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
US6181329B1 (en) 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434371A (en) 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
US6181329B1 (en) 1997-12-23 2001-01-30 Ricoh Company, Ltd. Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface

Similar Documents

Publication Publication Date Title
US11243617B2 (en) Multi-function stylus with sensor controller
US6181329B1 (en) Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
CN100377043C (en) Three-dimensional hand-written identification process and system thereof
CN103353793B (en) A kind of Novel electronic pen and intelligent terminal
US9098123B2 (en) Moving trajectory generation method
US20090183929A1 (en) Writing system with camera
US20060159344A1 (en) Method and system for three-dimensional handwriting recognition
JP2004227563A (en) Integration of inertia sensor
CN201689394U (en) Stylus based on multi-sensor fusion
CN105607764B (en) Trace input device and track input method
KR100501721B1 (en) Pen-shaped input device using magnetic sensor and method thereof
EP3771968A1 (en) Low-power tilt-compensated pointing method and corresponding pointing electronic device
CN102375567A (en) Penicillar indicator device, displacement information providing method and displacement information providing system
CN103793074A (en) Input apparatus and input controlling method thereof
CN104049773A (en) Writing position data processing method and device of electronic pen and writing system
Pan et al. A noise reduction method for IMU and its application on handwriting trajectory reconstruction
CN112328099B (en) Low-power pointing method and electronic device for realizing same
Zhang et al. Towards an ubiquitous wireless digital writing instrument using MEMS motion sensing technology
KR20230047761A (en) Character input system using 3D electronic pen
US20120169726A1 (en) System for inputting graphical elements
CN205263759U (en) Trajectory input device
Choi et al. Development of the gyro-free handwriting input device based on inertial navigation system (INS) theory
KR20200138572A (en) System for digital pen with handwriting and memo function
Tsang et al. A novel real-time error compensation methodology for μIMU-based digital writing instrument
CN114882148A (en) Handwriting recovery method and device, electronic pen and display device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right