KR102613361B1 - Authenticity assessment method for digital handwriring - Google Patents

Abstract

본 발명은 국가의 행정기관, 사법기관, 금융기관, 의료기관, 교육기관, 언론기관, 공공기관에 제출하는 문서에 쓰여지는 필적은 물론 사인이 스스로 작성한 유언장, 유서, 편지, 메모 또는 사인간이나 법인간 또는 법인과 사인간에 작성되는 각종 계약서, 약정서, 확인서, 거래명세표, 영수증, 차용증 등의 문서에 쓰여지는 필적 정보를 디지털 데이터로 변환하여 그것을 구조화한 후 구조화된 디지털 필적 데이터(이를 "원시필적"이라 함)를 기반으로 감정이 필요한 디지털 필적에 대한 진정성 감정방법에 관한 것이다.The present invention applies not only to handwriting written on documents submitted to national administrative agencies, judicial agencies, financial institutions, medical institutions, educational institutions, media organizations, and public institutions, but also to wills, wills, letters, memos, or between signatures or laws written by the person himself or herself. The handwriting information written in various documents such as contracts, agreements, confirmations, transaction statements, receipts, and IOUs written between a person or a corporation and a signature is converted into digital data and structured, and then structured digital handwriting data (this is called "raw handwriting") This is about an authenticity appraisal method for digital handwriting that requires appraisal based on the method.

Description

디지털 필적에 대한 진정성 감정방법{AUTHENTICITY ASSESSMENT METHOD FOR DIGITAL HANDWRIRING}Authenticity assessment method for digital handwriting {AUTHENTICITY ASSESSMENT METHOD FOR DIGITAL HANDWRIRING}

본 발명은 국가의 행정기관, 사법기관, 금융기관, 의료기관, 교육기관, 언론기관, 공공기관에 제출하는 문서에 쓰여지는 필적은 물론 사인이 스스로 작성한 유언장, 유서, 편지, 메모 또는 사인간이나 법인간 또는 법인과 사인간에 작성되는 각종 계약서, 약정서, 확인서, 거래명세표, 영수증, 차용증 등의 문서에 쓰여지는 필적 정보를 디지털 데이터로 변환하여 그것을 구조화한 후 구조화된 디지털 필적 데이터(이를 "원시필적"이라 함)를 기반으로 감정이 필요한 디지털 필적에 대한 진정성 감정방법에 관한 것이다.The present invention applies not only to handwriting written on documents submitted to national administrative agencies, judicial agencies, financial institutions, medical institutions, educational institutions, media organizations, and public institutions, but also to wills, wills, letters, memos, or between signatures or laws written by the person himself or herself. The handwriting information written in various documents such as contracts, agreements, confirmations, transaction statements, receipts, and IOUs written between a person or a corporation and a signature is converted into digital data and structured, and then structured digital handwriting data (this is called "raw handwriting") This is about an authenticity appraisal method for digital handwriting that requires appraisal based on the method.

글씨(이하 "필적")는 글쓴이를 식별할 수 있는 고유한 속성정보를 가지고 있다. Handwriting (hereinafter referred to as “handwriting”) has unique attribute information that can identify the writer.

자필로 작성된 유언장, 유서, 편지 또는 사회적 계약서 등과 같은 문서의 진정성이 의심되는 경우 필적 감정을 하기도 한다.If the authenticity of a handwritten document such as a will, will, letter, or social contract is questionable, a handwriting analysis may be performed.

필적 감정은 종이에 쓰여진 필세(글쓰기의 속도), 필압(글쓸 때 펜을 누르는 힘), 필순(자음과 모음의 글쓰기 순서), 배지형태(글자간의 간격이나 위치의 특징), 자획구성(자음과 모음의 기재시 크기나 위치의 특징), 그외에 자/모음의 길이 및 크기, 시종부 특징, 연결기재의 특징, 오용문자 특징을 통해 필적의 유연성, 지속성, 주저흔, 미세한 떨림을 감정하여 임서(타인의 글씨본을 보면서 쓰는 글씨), 투사(타인의 필적에 종이를 대고 아래쪽에 광을 비추어 그대로 따라 쓰는 글씨), 골서(위조하고자 하는 필적이나 서명 아래에 종이를 강하게 압력을 가해 쓰는 글씨) 등을 종합하여 육안으로 친필여부를 감정한다.Handwriting emotions include stroke size (speed of writing) written on paper, pen pressure (force of pressing the pen when writing), stroke order (writing order of consonants and vowels), badge shape (characteristics of spacing or position between letters), and stroke composition (consonants and vowels). (characteristics of size or position when writing vowels), and in addition, the flexibility, continuity, stroke marks, and slight tremors of handwriting are evaluated through the length and size of letters/vowels, characteristics of the beginning and end, characteristics of linking elements, and characteristics of misused characters. (writing while looking at a copy of another person's handwriting), projection (writing by copying another person's handwriting by holding a piece of paper and shining a light on the bottom), golseo (writing by applying strong pressure to the paper under the handwriting or signature to be forged), etc. By combining the above, the handwriting is evaluated with the naked eye.

최근 다양한 디지털기기의 보급과 더불어 디지털 서명이 활발하게 이루어지고 있다. Recently, with the spread of various digital devices, digital signatures are being actively used.

디지털 서명과 관련된 선행기술으로는 대한민국 공개특허 10-2006-0062654(2006.06.12), 대한민국 공개특허 10-2005-0116041(2005.12.09), 대한민국 공개특허 10-2013-0028383(2013.03.19)가 있다.Prior technologies related to digital signatures include Korea Patent Publication No. 10-2006-0062654 (June 12, 2006), Republic of Korea Patent Publication No. 10-2005-0116041 (December 9, 2005), and Republic of Korea Patent Publication No. 10-2013-0028383 (Mar. 19, 2013). there is.

전술한 공개특허 10-2006-0062654는 펜의 몸체 내부에 2개의 카메라센서(이미지센서)를 배치하고, 카메라 센서(이미지 센서)로부터 패턴인쇄필름에 인쇄된 패턴을 촬영하는 과정에서 자이로센서를 통해 펜 몸체의 회전각과 경사각을 검출할 수 있는 전자 펜에 관한 것이고, The above-mentioned published patent No. 10-2006-0062654 places two camera sensors (image sensors) inside the body of the pen, and uses a gyro sensor in the process of photographing the pattern printed on the pattern printing film from the camera sensor (image sensor). It relates to an electronic pen capable of detecting the rotation angle and inclination angle of the pen body,

전술한 공개특허 10-2005-0116041는 스위칭 및 압력 감지를 위한 장치를 포함하는 전자 펜에 관한 것이며, The above-mentioned published patent No. 10-2005-0116041 relates to an electronic pen including a device for switching and pressure sensing,

전술한 공개특허 10-2013-0028383는 전자 펜에서 디스플레이 장치 표면 또는 내부에 형성된 정보패턴을 감지하여 전자 펜의 궤적에 따른 위치정보를 판단하는 전자 펜의 궤적을 표시하는 전자 펜 시스템 및 디스플레이 장치에 관한 것이다.The above-mentioned patent publication No. 10-2013-0028383 relates to an electronic pen system and display device that displays the trajectory of an electronic pen by detecting information patterns formed on the surface or inside the display device by the electronic pen and determining location information according to the trajectory of the electronic pen. It's about.

전술한 전자 펜에 의해 종이에 쓰여지는 필체(이하 "필적")로부터 디지털 필적 데이터를 독출하고 그것을 구조화하는 것이 가능하지만, 구조화된 필적 데이터는 타인의 모사에 의해 오염된 것일 수 있다.Although it is possible to read digital handwriting data from handwriting (hereinafter "handwriting") written on paper by the aforementioned electronic pen and structure it, the structured handwriting data may be contaminated by someone else's copying.

그래서, 신뢰할 수 있는 디지털 필적 데이터의 구조화를 위해서는, 오염된 데이터를 미리 필터링해야 하고, 글쓴 이의 글쓰기 자세, 감정의 기복, 글을 쓸 수 있는 시간, 펜의 형태와 종류, 펜촉이 접촉되는 종이의 재질 등 여러가지 복합 요인에 의해 동일인의 쓴 글씨가 필적은 다르게 보일 수 있지만 동일인의 친필로 감정해야 하는 해결과제가 있다. Therefore, in order to structure reliable digital handwriting data, contaminated data must be filtered in advance, the writer's writing posture, emotional ups and downs, time available for writing, type and type of pen, and paper that the pen tip touches. Although the handwriting of the same person may appear different due to various complex factors such as material, there is a problem to be solved that must be appraised as the handwriting of the same person.

위와 같은 해결과제의 극복은 필적에 대한 진정성을 명확히 감정(또는 감식)을 통해 구조화하는데 매우 중요한 의미가 있다.Overcoming the above challenges is very important in structuring the authenticity of handwriting through clear appraisal (or connoisseurship).

본 발명은 전술한 바와 같은 해결과제를 극복하기 위해 창안하기에 이르렀고 괄목할 만한 성과가 있어 이를 본 발명을 통해 제안하려고 한다.The present invention was created to overcome the problems described above, and has achieved remarkable results, so we intend to propose this through the present invention.

본 발명에서 정의하는 "원시필적"이라는 용어는 최초 데이터베이스에 구조화된 디지털 필적 데이터를 말하고, "감정대상필적"이라 함은 종이 또는 펜 접촉 반응형 전자 패드에 쓰여지는 필적을 디지털 데이터로 변환되어 위 "원시필적"과 비교할 누군가의 필적 데이터(또는 정보)를 말한다.The term "raw handwriting" defined in the present invention refers to digital handwriting data structured in the original database, and the "evaluation target handwriting" refers to handwriting written on paper or a pen contact responsive electronic pad converted into digital data. Refers to someone's handwriting data (or information) that is compared to "raw handwriting."

전술한 감정대상필적은 실시간으로 작성되는 필적으로부터 독출된 디지털 필적이거나 저장매체에 저장된 디지털 필적일 수 있다.The above-mentioned handwriting subject to appraisal may be digital handwriting read from handwriting written in real time or digital handwriting stored in a storage medium.

그리고, 디지털 데이터는 다른 용어로 디지털 정보로 기술될 수 있다.And, digital data can be described as digital information in another term.

그리고 "유저"라는 용어는 본 발명에 따른 "감식프로그램"을 실행하는 단수 혹은 복수의 사용자를 총칭하는 용어이다. 한편, 본 발명의 배경이 되는 디지털 펜에 관한 배경기술로는, 대한민국 등록특허 10-1957030를 참조할 수 있는데, 해당 기술에서는 펜은 소정의 판서면에 대한 접촉 압력을 측정하는 압력센서와, 판서면에 대한 기울기를 측정하는 기울기센서와, 판서면에 대한 판서점의 변위를 산출하기 위한 가속도를 측정하는 가속도센서, 및 압력센서와 기울기센서 및 가속도센서의 각 측정값을 전송하는 통신부를 구비한다. 단말기는 전자펜으로부터 측정값을 수신하는 수신부와, 가속도센서의 측정값을 기반으로 전자펜의 변위를 산출하는 변위 산출부, 및 압력센서의 측정값과 전자펜의 변위를 기반으로 판서정보를 생성하는 판서정보 생성부를 구비한다. 빔프로젝트는 판서정보를 스크린에 투사하여 표시하는 모션 기반의 전자칠판 시스템 및 전자칠판 판서 방법을 제안하고 있으므로 참조할 수 있다.And the term “user” is a general term for single or multiple users who execute the “identification program” according to the present invention. Meanwhile, as background technology regarding the digital pen that forms the background of the present invention, reference can be made to Republic of Korea Patent No. 10-1957030, in which the pen includes a pressure sensor that measures contact pressure on a predetermined writing surface, and a plate. It is equipped with a tilt sensor that measures the inclination of the writing surface, an acceleration sensor that measures acceleration to calculate the displacement of the writing point with respect to the writing surface, and a communication unit that transmits the respective measured values of the pressure sensor, tilt sensor, and acceleration sensor. . The terminal includes a receiver that receives the measurement value from the electronic pen, a displacement calculation unit that calculates the displacement of the electronic pen based on the measurement value of the acceleration sensor, and generates writing information based on the measurement value of the pressure sensor and the displacement of the electronic pen. and a writing information generating unit. Beam Project can be referred to as it proposes a motion-based electronic whiteboard system and electronic whiteboard writing method that projects and displays writing information on the screen.

본 발명의 목적은 국가의 행정기관, 사법기관, 금융기관, 의료기관, 교육기관, 언론기관, 공공기관에 제출하는 문서에 쓰여지는 필적은 물론 사인이 스스로 작성한 유언장, 유서, 편지, 메모 또는 사인간이나 법인간 또는 법인과 사인간에 작성되는 각종 계약서, 약정서, 확인서, 거래명세표, 영수증, 차용증 등의 문서에 쓰여지는 필적 정보를 디지털 데이터로 변환하여 그것을 구조화한 후 구조화된 디지털 필적 데이터를 기반으로 감정이 필요한 디지털 필적의 진정성 감정방법을 제공하려는 것이다.The purpose of the present invention is to use handwriting on documents submitted to national administrative agencies, judicial agencies, financial institutions, medical institutions, educational institutions, media organizations, and public institutions, as well as wills, wills, letters, memos, or signatures written by the person himself or herself. Handwriting information written on documents such as various contracts, agreements, confirmations, transaction statements, receipts, and IOUs written between corporations or between corporations and signatures is converted into digital data, structured, and then appraised based on the structured digital handwriting data. The goal is to provide a method for assessing the authenticity of digital handwriting.

본 발명에 따른 필적 감정장치는,The handwriting evaluation device according to the present invention,

디지털 전자 펜과;digital electronic pen;

상기 펜에 의해 생성된 디지털 정보를 출력하는 디스플레이장치를 포함하는 데이터베이스를 갖춘 컴퓨터 또는 모바일 디바이스와;a computer or mobile device equipped with a database including a display device that outputs digital information generated by the pen;

상기 디스플레이장치에 출력되는 인터페이스를 갖춘 응용프로그램 또는 어플리케이션(이하 "감식프로그램"이라 함)을 포함한다.It includes an application program or applications (hereinafter referred to as “detection program”) with an interface that is output to the display device.

전술한 데이터베이스와 감식프로그램은 컴퓨터, 모바일 디바이스, 가상공간에 설치될 수 있고, 접속권한이 부여된 경우 유/무선 네트워킹에 의해 접속될 수 있다.The above-mentioned database and forensic program can be installed on a computer, mobile device, or virtual space, and can be accessed through wired/wireless networking if access rights are granted.

전술한 전자 펜은 컴퓨터 또는 모바일 디바이스와 유/무선 통신이 가능하게 연결될 수 있고, 필적으로부터 시간이 포함된 객체 바운딩 박스 X축 최소값, 객체 바운딩 박스 Y축 최소값, 객체 바운딩 박스 X축 최대값, 객체 바운딩 박스 Y축 최대값, 객체 꼭지점 위치값 등의 시간과 위치에 대한 기초 데이터를 취득할 수 있다.The above-described electronic pen can be connected to a computer or mobile device to enable wired/wireless communication, and the object bounding box X-axis minimum value, object bounding box Y-axis minimum value, object bounding box X-axis maximum value, and object bounding box including time from handwriting You can obtain basic data about time and location, such as the maximum value of the bounding box Y-axis and the position of object vertices.

전술한 전자 펜은 프로세서, 센서부, 전원 공급부, 통신부를 포함하고, 통신부를 통해 감식프로그램이 설치된 단말기와 통신할 수 있다.The electronic pen described above includes a processor, a sensor unit, a power supply unit, and a communication unit, and can communicate with a terminal on which an identification program is installed through the communication unit.

전술한 감식프로그램은 전술한 전자 펜에 의해 독출된 필적 데이터를 그것이 설치된 단말기의 디스플레이장치를 통해 출력할 수 있다.The above-described identification program can output handwriting data read by the above-described electronic pen through the display device of the terminal in which it is installed.

전술한 감식프로그램은, 디지털 필적 데이터로부터, 객체 가려짐 여부(occluded), 객체 세부 정보(property), 객체의 대분류(property.supercategory), 객체의 고유 번호(property.category id), 객체의 글자와 문자열 값(property.name), 시계열 데이터의 시간 정보(time stamp), 시계열 데이터의 센서, 필적 상태 DOWN/UP/MOVE, 필적 위치 x 좌표(x), 필적 위치 y 좌표(y), 필압(pressure), 방향(vector), 필적의 속도(velocity magnitude), 필적의 가속도(cceleration magnitude), 연속된 5개 샘플에 대한 최저속도와 최대속도의 비(ratio minimum maximum speed 5 samples), 연속된 3개 샘플이 이루는 각의 라디안 값(angle consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 사인 값(sine consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 코사인 값(cosine consecutive samples) 등의 기초로 하는 분석값 또는 위 각 분석값들의 조합에 의해 계산된 분석값을 도출할 수 있다.The above-described identification program determines whether the object is occluded (occluded), detailed object information (property), supercategory of the object (property.supercategory), unique number of the object (property.category id), letters of the object, and String value (property.name), time information of time series data (time stamp), sensor of time series data, handwriting status DOWN/UP/MOVE, handwriting position x coordinate (x), handwriting position y coordinate (y), pen pressure (pressure) ), direction (vector), handwriting speed (velocity magnitude), handwriting acceleration (acceleration magnitude), ratio minimum maximum speed 5 samples in a row, 3 in a row The radian value of the angle formed by the samples (angle consecutive samples), the sine of the radian value of the angle formed by three consecutive samples (sine consecutive samples), the cosine value of the radian value of the angle formed by three consecutive samples Samples), etc., or analysis values calculated by a combination of the above analysis values can be derived.

도출된 각 분석값은 감식프로그램에 의해 데이터베이스에 고유한 색인코드로 명명된 "원시필적" 데이터로 기록될 수 있다. 원시필적은 일정 기간동안 데이터베이스에 축적(기록)될 수 있다. 상기 데이터베이스는 딥러닝을 구성하는 히든층일 수 있다.Each derived analysis value can be recorded by the forensic program as “raw handwriting” data named with a unique index code in the database. Raw handwriting can be accumulated (recorded) in a database for a certain period of time. The database may be a hidden layer that constitutes deep learning.

데이터베이스에 기록된 원시필적 데이터는, 색인코드로 구별되는 분석값은 인공지능 학습용 데이터로 제공될 수 있고, 감정대상필적의 진위 감정 요청이 있는 경우 요청인의 색인코드에 해당하는 원시필적 데이터를 요청한 유저에게 반환할 수 있다.As for the raw handwriting data recorded in the database, analysis values distinguished by index codes can be provided as data for artificial intelligence learning, and when there is a request for authenticity of the handwriting subject to appraisal, raw handwriting data corresponding to the requester's index code is requested. It can be returned to the user.

전술한 감식프로그램은 유저의 컴퓨터 또는 모바일 디바이스에 구비된 전자 펜에 설치될 수 있고, 감정대상필적과 원시필적과의 비교결과를 디스플레이장치를 통해 출력할 수 있다.The above-described identification program can be installed on an electronic pen provided on the user's computer or mobile device, and the comparison results between the handwriting subject to analysis and the original handwriting can be output through a display device.

인공지능 학습(딥러닝) 알고리즘은 CNNs+LSTM이 바람직할 수 있으나, 이는 발명의 이해를 돕기 위해 예시한 것일 뿐 이것을 한정하는 의미가 아님을 이미 밝혀둔다CNNs+LSTM may be preferable for artificial intelligence learning (deep learning) algorithms, but we have already made it clear that this is only an example to aid understanding of the invention and is not intended to limit it.

디지털 필적에 대한 진정성 감정방법의 일 실시 예로서, As an example of an authenticity appraisal method for digital handwriting,

전자 펜으로 작성되고 그것에 의해 독출되는 필적정보로부터, 시간에 따른 객체 바운딩 박스 X축 최소값, 객체 바운딩 박스 Y축 최소값, 객체 바운딩 박스 X축 최대값, 객체 바운딩 박스 Y축 최대값, 객체 꼭지점 위치값 등의 시간/위치, 필압과 같은 기초 데이터를 취득하는 제1 단계와;From handwriting information written with an electronic pen and read by it, object bounding box X-axis minimum value, object bounding box Y-axis minimum value, object bounding box X-axis maximum value, object bounding box Y-axis maximum value, object vertex position value over time. A first step of acquiring basic data such as time/position and pen pressure of the back;

제1 단계에서 얻어진 디지털 필적 데이터로부터, 객체 가려짐 여부(occluded), 객체 세부 정보(property), 객체의 대분류(property supercategory), 객체의 고유 번호(property category id), 객체의 글자와 문자열 값(property name), 시계열 데이터의 시간 변화정보(time stamp), 시계열 데이터의 센서, 필적 상태 DOWN/UP/MOVE, 필적 위치 x 좌표(x), 필적 위치 y 좌표(y), 필압(pressure), 필적 방향(vector), 필적의 속도(velocity magnitude), 필적의 가속도(cceleration magnitude), 연속된 5개 샘플에 대한 최저속도와 최대속도의 비(ratio minimum maximum speed 5 samples), 연속된 3개 샘플이 이루는 각의 라디안 값(angle consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 사인 값(sine consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 코사인 값(cosine consecutive samples)의 기초 데이터의 분석값을 도출하는 제2 단계와;From the digital handwriting data obtained in the first step, whether the object is occluded (occluded), object details (property), object supercategory (property supercategory), object unique number (property category id), object letter and string values ( property name), time change information of time series data (time stamp), sensor of time series data, handwriting status DOWN/UP/MOVE, handwriting position x coordinate (x), handwriting position y coordinate (y), pen pressure, handwriting Direction (vector), handwriting speed (velocity magnitude), handwriting acceleration (acceleration magnitude), ratio minimum maximum speed for 5 consecutive samples (ratio minimum maximum speed 5 samples), 3 consecutive samples The radian value of the angle formed by three consecutive samples (angle consecutive samples), the sine of the radian value of the angle formed by three consecutive samples (sine consecutive samples), the cosine of the radian value of the angle formed by three consecutive samples (cosine consecutive samples) a second step of deriving an analysis value of the basic data;

전술한 제2 단계에서 도출된 어느 하나의 분석값 또는 복수의 분석값을 원시필적 데이터와 프로그램적으로 비교되거나 학습된 인공지능 알고리즘의 판단을 통해 감정대상필적의 진정성을 판단하고, 그 결과를 유저에게 반환하는 제3 단계;The authenticity of the handwriting subject to appraisal is determined through programmatic comparison of any one analysis value or multiple analysis values derived in the above-described second step with the raw handwriting data, or through the judgment of a learned artificial intelligence algorithm, and the results are sent to the user. Third step to return to;

를 포함하는 것을 특징으로 한다.It is characterized by including.

전술한 제1 단계에서 디지털 필적 데이터를 취득하는 방법과 제2 단계에서의 각 분석값 도출방법은 이하에서 설명될 것이다. The method of acquiring digital handwriting data in the above-described first step and the method of deriving each analysis value in the second step will be described below.

본 발명에 의하면, 저장매체에 저장된 디지털 필적 또는 실시간으로 쓰여지는 필적을 원시필적과 비교하여 감정대상필적에 대한 진정성을 감식할 수 있다.According to the present invention, the authenticity of the handwriting subject to appraisal can be identified by comparing digital handwriting stored in a storage medium or handwriting written in real time with the original handwriting.

또한, 본 발명은 개인을 인증하는 중요한 요소인 필적정보를 생체 인식과 더불어 금융 분야에서 개인 ID를 인증하는 기본 솔루션으로 제공될 수 있고, 또한 각 개인의 필적에 대한 특성에 대한 데이터 확대와 함께 기능을 추출하기 위해 딥러닝 모델을 학습 또는 훈련하는 데에도 매우 유용하게 채용될 수 있다.In addition, the present invention can be provided as a basic solution for authenticating personal ID in the financial field along with biometrics using handwriting information, which is an important element of authenticating an individual, and can also function as a function of expanding data on the characteristics of each individual's handwriting. It can also be very usefully employed to learn or train a deep learning model to extract .

도 1은 본 발명에 따른 디지털 필적 데이터의 구조화를 도시한 플로우챠트이다.
도 2는 본 발명에 채용된 딥러닝 알고리즘의 개념도이다.
도 3은 본 발명에 따른 디지털 데이터의 유형을 기재한 목록이다.
도 4와 도 5는 본 발명에 따라 전자 펜으로부터 생성된 데이터로부터 도출되는 분석값의 유형을 기재한 목록이다.1 is a flowchart showing the structuring of digital handwriting data according to the present invention.
Figure 2 is a conceptual diagram of the deep learning algorithm employed in the present invention.
Figure 3 is a list of types of digital data according to the present invention.
Figures 4 and 5 are a list of types of analysis values derived from data generated from an electronic pen according to the present invention.

본 명세서에서 인용된 간행물, 특허출원, 및 특허를 포함한 모든 참고문헌은, 마치 각 참고문헌이 인용에 의해 본 명세서에 통합되는 것으로 개별적으로 그리고 명시적으로 표시되고 그 전체가 본 명세서에 기재된 것과 동일한 정도로, 인용에 의해 본 명세서에 통합된다.All references, including publications, patent applications, and patents, cited herein are the same as if each reference were individually and expressly indicated to be incorporated by reference and were set forth in its entirety herein. To this extent, they are incorporated herein by reference.

본 발명을 설명하는 맥락에서(특히 하기 청구범위의 맥락에서), 단수 지시어 및 "적어도 하나" 및 유사한 지시어의 사용은, 본 명세서에서 달리 표시되거나 문맥 상 명백히 모순되지 않는 한, 단수 및 복수 둘 다를 포함하는 것으로 해석된다. 하나 이상의 항목들의 목록 다음에 "적어도 하나"라는 용어를 사용하는 것(예를 들어, "A 및 B 중 적어도 하나")은, 본 명세서에서 달리 표시되거나 문맥 상 명백히 모순되지 않는 한, 나열된 항목들로부터 선택된 하나의 항목(A 또는 B), 또는 나열된 항목들 중 둘 이상의 조합(A 및 B)을 의미하는 것으로 해석되어야 한다. In the context of describing the invention (and especially in the context of the claims below), the use of the singular referents and "at least one" and similar referents refers to both the singular and the plural, unless otherwise indicated herein or clearly contradictory from the context. It is interpreted as including. The use of the term “at least one” following a list of one or more items (e.g., “at least one of A and B”) means that the listed items, unless otherwise indicated herein or otherwise clearly contradicted by context, refer to the listed items. It should be interpreted to mean one item (A or B) selected from, or a combination of two or more of the listed items (A and B).

본 명세서에서 값들의 범위 기재는, 본 명세서에서 달리 지시되지 않는 한, 그 범위 내에 속하는 각각의 개별 값을 개별적으로 언급하는 것의 약식 방법으로서의 역할을 하는 것으로 의도되고, 각각의 개별 값은 마치 본 명세서에서 개별적으로 기재된 것처럼 본 명세서에 통합된다. 본 명세서에 설명된 모든 방법은 본 명세서에서 달리 지시되거나 문맥 상 명백히 모순되지 않는 한 임의의 적합한 순서로 수행될 수 있다.Recitation of ranges of values herein is intended to serve as a shorthand way of referring individually to each individual value falling within the range, unless otherwise indicated herein, and each individual value is referred to herein as if it were a separate value. are incorporated herein as if individually indicated. All methods described herein can be performed in any suitable order unless otherwise indicated herein or otherwise clearly contradicted by context.

본 명세서에 제공된 임의의 모든 예, 또는 예시적 표현(예를 들어, "~와 같은")의 사용은 단지 본 발명을 더 잘 설명하기 위한 것이며 달리 청구되지 않는 한 본 발명의 범위를 제한하지 않는다. 본 명세서의 어떤 표현도, 비청구된 임의의 요소를 본 발명의 실시에 필수적인 것으로 표시하는 것으로 해석되어서는 안된다.The use of any or all examples or exemplary language (e.g., “such as”) provided herein is merely to better illustrate the invention and does not limit the scope of the invention unless otherwise claimed. . No language in the specification should be construed as indicating that any non-claimed element is essential to the practice of the invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들은 도면에 예시하고 여기에서 이를 상세히 설명하고자 한다. The present invention can make various changes and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail here.

그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것들로 이해되어야 한다.However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명할 것이다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention.

그러나, 본 발명에 관한 설명은 기능적 설명을 위한 실시 예에 불과하므로 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 안된다.However, since the description of the present invention is only an example for functional explanation, the scope of the present invention should not be construed as limited by the examples described in the text.

예를 들어, 실시 예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.For example, since the embodiments are capable of various changes and may have various forms, the scope of rights of the present invention should be understood to include equivalents that can realize the technical idea.

또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시 예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니기 때문에 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 안된다.In addition, the purpose or effect presented in the present invention does not mean that a specific embodiment must include all or only such effects, so the scope of the present invention should not be understood as limited thereby.

본 명세서에서, 본 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.In this specification, the present embodiments are provided to ensure that the disclosure of the present invention is complete and to fully inform those skilled in the art of the scope of the invention. And the present invention is only defined by the scope of the claims.

따라서, 몇몇 실시 예에서 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명하지 않는다.Accordingly, in some embodiments, well-known components, well-known operations, and well-known techniques are not specifically described to avoid ambiguous interpretation of the present invention.

한편, 본 발명에서 서술되는 용어의 의미는 사전적 의미에 제한되지 않으며, 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present invention is not limited to the dictionary meaning and should be understood as follows.

본 발명에서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다.All terms used in the present invention, unless otherwise defined, have the same meaning as commonly understood by a person of ordinary skill in the field to which the present invention pertains.

일반적으로, 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.In general, terms defined in used dictionaries should be interpreted as consistent with the meaning they have in the context of the related technology, and cannot be interpreted as having an ideal or excessively formal meaning unless clearly defined in the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the attached drawings. However, identical or similar components will be assigned the same reference numbers regardless of reference numerals, and duplicate descriptions thereof will be omitted.

이하의 설명에서 사용되는 구성요소는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. The components used in the following description are given or used interchangeably considering only the ease of preparing the specification, and do not have distinct meanings or roles in themselves.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Additionally, in describing the embodiments disclosed in this specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed descriptions will be omitted.

또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In addition, the attached drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed in this specification is not limited by the attached drawings, and all changes included in the spirit and technical scope of the present invention are not limited. , should be understood to include equivalents or substitutes.

본 발명에 따른 필적감정장치는, The handwriting evaluation device according to the present invention,

전자 펜(Electronic Pen)과;Electronic Pen;

상기 펜에 의해 생성된 디지털 필적 정보가 표시되는 디스플레이장치와, 생성된 디지털 정보를 저장하기 위한 메모리 또는 데이터베이스를 갖춘 컴퓨터 또는 모바일 디바이스와;a computer or mobile device equipped with a display device for displaying digital handwriting information generated by the pen and a memory or database for storing the generated digital information;

컴퓨터 또는 모바일 디바이스에 설치되어 상기 디스플레이장치에 출력되는 인터페이스를 갖춘 감식프로그램을 포함한다.It includes an identification program installed on a computer or mobile device and having an interface that is output to the display device.

필적감정장치는 디지털 전자 펜, 사용자 단말기(예, 모바일 디바이스, 컴퓨터, 웹서버), 응용프로그램 또는 어플리케이션 등을 포함하는 개념이며, 적어도 하나의 통신 프로토콜을 통해 신호, 데이터, 정보를 교환할 수 있는 장치를 의미한다.A handwriting recognition device is a concept that includes a digital electronic pen, a user terminal (e.g., mobile device, computer, web server), an application program, or an application, and is capable of exchanging signals, data, and information through at least one communication protocol. It means device.

전술한 전자 펜은 아날로그 펜과 펜 접촉 감응형 전자 패드, 후술하는 센서부를 갖춘 디지털 전자 펜, 전자기기에서 제공하는 펜을 포괄하는 것으로, 본 발명에서는 전자식 디지털 펜을 채용 예로 예시한다.The above-described electronic pen includes an analog pen, a pen contact-sensitive electronic pad, a digital electronic pen equipped with a sensor unit described later, and a pen provided by an electronic device. In the present invention, an electronic digital pen is exemplified as an example of adoption.

전술한 전자 펜은 컴퓨터 또는 모바일 디바이스와 유무선 통신되도록 연결될 수 있고, 필적으로부터 시간에 따른 객체 바운딩 박스 X축 최소값, 객체 바운딩 박스 Y축 최소값, 객체 바운딩 박스 X축 최대값, 객체 바운딩 박스 Y축 최대값, 객체 꼭지점 위치, 필압 정규값(이하의 정규식 참조)을 통해 디지털 데이터로 독출할 수 있다.The above-described electronic pen may be connected to a computer or mobile device for wired or wireless communication, and from handwriting, the object bounding box X-axis minimum value, object bounding box Y-axis minimum value, object bounding box X-axis maximum value, and object bounding box Y-axis maximum value according to time. It can be read as digital data through the value, object vertex position, and pen pressure regular value (see regular expressions below).

전술한 전자 펜은 사용자 단말기와 응용프로그램 또는 어플리케이션을 포함할 수 있다.The aforementioned electronic pen may include a user terminal and an application program or applications.

[정규식][regular expression]

X는 시계열 데이터(24개 특성(feeatures)) 임.X is time series data (24 features).

평균(X)은 각 특성(feeatures)의 평균값임Average (X) is the average value of each feature

std(x)는 각 특성의 표준 편차임.std(x) is the standard deviation of each characteristic.

전술한 전자 펜은, X 좌표에 대한 정보, Y 좌표에 대한 정보, 압력 정보, 시간 정보, 오너 ID 정보, 문서 ID 정보, 페이지 ID 정보를 포함할 수 있다.The aforementioned electronic pen may include information about X coordinates, information about Y coordinates, pressure information, time information, owner ID information, document ID information, and page ID information.

X 좌표에 대한 정보는, 디지털 전자 펜의 펜촉이 종이에 접촉된 상태에서, 접촉된 지점의 X 좌표에 대한 정보를 의미할 수 있다. 전자 펜은 펜촉이 접촉된 지점의 패턴을 인식하여 X 좌표에 대한 정보를 생성할 수 있다.Information about the X coordinate may mean information about the The electronic pen can generate information about the X coordinate by recognizing the pattern of the point where the pen tip is in contact.

Y 좌표에 대한 정보는, 전술한 전자 펜의 펜촉이 종이에 접촉된 상태에서, 접촉된 지점의 Y 좌표에 대한 정보를 의미할 수 있다. 전자 펜은, 펜촉이 접촉된 지점을 인식하여 Y 좌표에 대한 정보를 생성할 수 있다.Information about the Y coordinate may mean information about the Y coordinate of the point where the pen tip of the aforementioned electronic pen is in contact with the paper. The electronic pen can generate information about the Y coordinate by recognizing the point where the pen tip is in contact.

시간 정보는, 전술한 전자 펜의 펜촉이 종이에 처음으로 접촉한 시점부터 접촉이 종료되는 시점까지 측정된 시간과, 획 작성시간, 획간의 시차, 총 서명시간 중 어느 하나 또는 그것을 모두 포함한 정보 일 수 있다.Time information is information that includes any or all of the time measured from the time the nib of the aforementioned electronic pen first contacts the paper to the end of contact, stroke creation time, time difference between strokes, and total signature time. You can.

오너 ID 정보는, 주민등록번호와 같이 고유한 코드번호이거나 문서의 실소유자에 대한 정보일 수 있다. Owner ID information may be a unique code number, such as a resident registration number, or information about the actual owner of the document.

문서 ID 정보는, 복수의 종이 또는 펜 접촉 감응형 전자 패드의 집합으로 유저에 의해 명명된 파일 ID 정보를 의미할 수 있다. 예를 들면, 복수의 페이지로 이루어진 하나의 전자 문서 파일은 고유한 색인번호에 종속되는 세부 ID(문서명, 파일명)로 명명되어 동일인의 식별인자(예를 들어 ID)로 구분되게 구조화될 수 있다.Document ID information may mean file ID information named by the user as a set of a plurality of paper or pen touch-sensitive electronic pads. For example, one electronic document file consisting of a plurality of pages may be named with a detailed ID (document name, file name) subordinate to a unique index number and structured to be distinguished by an identifier (eg, ID) of the same person.

필적은, 펜촉이 종이와 접촉한 상태로 종이 또는 펜 접촉 감응형 전자 패드 위에서 위치를 변경하는 것을 의미하고, 필적 정보는 필적에 의해 생성되는 정보로 정의될 수 있다. Handwriting means changing the position on paper or a pen contact-sensitive electronic pad while the pen tip is in contact with the paper, and handwriting information can be defined as information generated by handwriting.

압력 정보는, 전자 펜의 펜촉이 종이 또는 펜 접촉 감응형 전자 패드에 접촉된 필압 정보일 수 있다.The pressure information may be pen pressure information when the nib of the electronic pen is in contact with paper or a pen contact-sensitive electronic pad.

컴퓨터 또는 모바일 디바이스는 네트워크와 연결된 감식프로그램을 통해 구조화되도록 전송할 수 있다.A computer or mobile device can transmit structured data through an identification program connected to a network.

이러한 과정을 통해 전자 펜에 의해 생성된 디지털 필적 데이터는 데이터베이스에 기록될 수 있다.Through this process, digital handwriting data generated by the electronic pen can be recorded in the database.

전술한 감식프로그램은 그것이 설치된 기기 예를 들어, 컴퓨터 또는 모바일 디바이스가 읽을 수 있는 코드(프로그램 언어)로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 저장매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.The above-described identification program may be implemented as code (program language) that can be read by a device on which it is installed, such as a computer or mobile device. Computer-readable storage media includes all types of recording devices that store data that can be read by a computer system.

컴퓨터나 모바일 디바이스가 읽을 수 있는 기억매체로는, 네트웍드라이브, 클라우드 저장장치, 하드 디스크 드라이브(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 중 어느 하나일 수 있다. 또한, 상기 컴퓨터나 모바일 디바이스는 프로세서(또는 제어부)를 포함할 수 있다.Storage media that can be read by computers or mobile devices include network drives, cloud storage devices, hard disk drives, SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, and CD-ROM. , it may be any one of magnetic tape, floppy disk, and optical data storage device. Additionally, the computer or mobile device may include a processor (or control unit).

정보는, 종이에 쓰여지는 필적을 전자 펜으로 센싱하여 생성된 디지털 필적 데이터, 또는 펜 접촉 감응형 전자 패드 위에 쓰여진 필적을 센싱하여 생성된 디지털 필적 데이터를 포괄한다.The information includes digital handwriting data generated by sensing handwriting written on paper with an electronic pen, or digital handwriting data generated by sensing handwriting written on a pen contact-sensitive electronic pad.

전자 펜은, 근거리 무선 통신(예를 들면, 블루투스)을 이용하여 컴퓨터 또는 모바일 디바이스로 필적에 대한 센싱 정보를 전송할 수 있다.The electronic pen can transmit sensing information about handwriting to a computer or mobile device using short-range wireless communication (eg, Bluetooth).

전자 펜은 통신부, 센서부, 전원 공급부, 건술한 기억매체 중 어느 하나와 프로세서를 포함할 수 있고, 아날로그 필적의 센싱에 의해 디지털 필적 데이터로 변환할 수 있다.The electronic pen may include any one of a communication unit, a sensor unit, a power supply unit, a storage medium, and a processor, and can convert analog handwriting data into digital handwriting data by sensing.

통신부는, 적어도 하나의 통신 프로토콜을 통해 신호, 데이터, 정보를 교환할 수 있는 장치를 포괄하고, 복수의 유저들이 동시에 무선 통신을 수행하기 위한 적어도 하나의 안테나, RF(Radio Frequency) 회로를 포함할 수 있다. 통신부는 전자 펜과 컴퓨터 또는 모바일 디바이스과 데이터를 교환(통신)할 수 있다. The communication unit includes a device capable of exchanging signals, data, and information through at least one communication protocol, and may include at least one antenna and an RF (Radio Frequency) circuit for simultaneous wireless communication by multiple users. You can. The communication unit can exchange (communicate) data with the electronic pen and a computer or mobile device.

센서부는, 이미지 센서, 압력 센서 및 자세 센서(자이로 센서) 중 어느 하나 또는 모두 포함할 수 있다. 이미지 센서는 필적 이미지를 생성할 수 있고, 압력 센서는, 필압을 감지할 수 있으며, 자세 센서는 전자 펜의 자세를 감지할 수 있다.The sensor unit may include one or all of an image sensor, a pressure sensor, and an attitude sensor (gyro sensor). The image sensor can generate a handwriting image, the pressure sensor can detect pen pressure, and the posture sensor can detect the posture of the electronic pen.

따라서, 전자 펜은 센서부에 의해 펜촉의 이동에 따른 위치와 자세 변화를 감지하여 종이에 쓰여지는 글자나 그림 정보에 대한 필적를 디지털 데이터로 생성할 수 있다.Therefore, the electronic pen can detect changes in position and posture as the pen tip moves through the sensor unit and generate digital data for handwriting information about letters or pictures written on paper.

전자 펜의 프로세서는, 코프로세서(co-processor)를 포함할 수 있고, 전원 공급부로부터 제공되는 전원에 의해 구동될 수 있으며, 상기 전원 공급부에 의해 전원이 공급되는 상태에서 데이터를 수신하고, 데이터를 처리하고, 신호를 생성할 수 있고, 생성된 디지털 데이터는 통신부를 통해 컴퓨터 또는 모바일 디바이스로 전송하도록 제어할 수 있으며 감식프로그램을 구동시켜 결과(분석값)를 도출할 수 있다.The processor of the electronic pen may include a co-processor, may be driven by power provided from a power supply, and may receive data while being powered by the power supply, and transmit data. It can process and generate signals, and the generated digital data can be controlled to be transmitted to a computer or mobile device through the communication unit, and a forensic program can be run to derive results (analysis values).

즉, 전자 펜의 프로세서는, 센서부 및 통신부와 전기적으로 연결되어 센서부 및 통신부를 제어할 수 있다.That is, the processor of the electronic pen is electrically connected to the sensor unit and the communication unit and can control the sensor unit and the communication unit.

필적 정보는, 디지털 신호로 전환된 상태로, 컴퓨터 또는 모바일 디바이스에 제공될 수 있다. 컴퓨터 또는 모바일 디바이스는 필적 정보에 기초하여 필적의 내용을 디스플레이장치에 표시할 수 있다. Handwriting information may be converted to a digital signal and provided to a computer or mobile device. A computer or mobile device can display the contents of handwriting on a display device based on handwriting information.

전술한 감식프로그램은 전술한 전자 펜에 의해 독출된 정보를 디스플레이장치를 통해 출력할 수 있다.The above-described identification program can output information read by the above-described electronic pen through a display device.

전술한 감식프로그램은 도 4의 No. 1~5에 따른 데이터는 디지털 전자 펜에 의해 독출되고, 독출된 그 데이터로부터, 도 4의 No. 6 ~ 도 5의 No. 24에 도시된 바와 같이 객체 가려짐 여부(occluded), 객체 세부 정보(property), 객체의 대분류(property.supercategory), 객체의 고유 번호(property.category_id), 객체의 글자와 문자열 값(property.name), 시계열 데이터의 시간 정보(time stamp), 시계열 데이터의 센서, 필적 상태 DOWN/UP/MOVE, 필적 위치 x 좌표(x), 필적 위치 y 좌표(y), 필압(pressure), 필적의 방향(vector), 필적의 속도(velocity magnitude), 필적의 가속도(cceleration magnitude), 연속된 5개 샘플에 대한 최저속도와 최대속도의 비(ratio minimum maximum speed 5 samples), 연속된 3개 샘플이 이루는 각의 라디안 값(angle consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 사인 값(sine consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 코사인 값(cosine consecutive samples) 등의 기초 데이터 분석값의 도출 또는 추출(계산)할 수 있다.The above-described identification program is numbered in FIG. 4. Data according to numbers 1 to 5 are read by a digital electronic pen, and from the read data, number 1 in FIG. 4 is obtained. 6 to No. 5 of FIG. As shown in Figure 24, whether the object is occluded (occluded), object details (property), the object's supercategory (property.supercategory), the object's unique number (property.category_id), and the object's letter and string value (property.name) ), time information of time series data (time stamp), sensor of time series data, handwriting status DOWN/UP/MOVE, handwriting position x coordinate (x), handwriting position y coordinate (y), pen pressure, direction of handwriting ( vector), handwriting speed (velocity magnitude), handwriting acceleration (acceleration magnitude), ratio minimum maximum speed 5 samples, angle formed by 3 consecutive samples radian value (angle consecutive samples), sine value of the radian value of the angle formed by three consecutive samples (sine consecutive samples), cosine value of the radian value of the angle formed by three consecutive samples, etc. Basic data analysis values can be derived or extracted (calculated).

위와 같이 도출 및 추출된 분석값은 감식프로그램에 마련된 인터페이스를 통해 메모리 또는 데이터베이스에 고유한 색인코드로 명명된 "원시필적" 데이터로 기록되어 구조화될 수 있다. 원시필적은 일정 기간동안 축적(기록)된 형태일 수 있다.The analysis values derived and extracted as above can be recorded and structured as "raw handwriting" data named with a unique index code in memory or a database through an interface provided in the forensic program. Raw handwriting may be in a form that has been accumulated (recorded) over a certain period of time.

데이터베이스에 기록된 원시필적 데이터는, 제2 단계에서 도출된 기초 데이터 분석값을 통해 인공지능을 위한 학습 데이터로 사용될 수 있고, 어떤 감정대상필적에 대한 감정 요청이 있는 경우 요청인의 색인코드에 해당하는 원시필적 데이터를 요청한 감식프로그램의 기준값으로 활용 및 반환될 수 있다.The raw handwriting data recorded in the database can be used as learning data for artificial intelligence through the basic data analysis value derived in the second step, and when there is a request for an appraisal for a certain handwriting subject to appraisal, it corresponds to the requester's index code. The raw handwriting data can be used and returned as a reference value for the requested identification program.

전술한 색인코드는 필자에게 부여된 고유번호, 예를 들어 주민등록번호 일 수 있고, 색인코드는 필적이 쓰여진 문서의 ID로 세분될 수 있고, 글쓴이를 고유하게 구분하는 용어로 사용된다.The above-mentioned index code may be a unique number assigned to the writer, for example, a resident registration number, and the index code may be subdivided into the ID of the document on which the handwriting was written, and is used as a term to uniquely distinguish the writer.

인공지능 학습용 딥러닝 알고리즘은 CNNs(Convolutional Neural Networks), LSTMs(Long Short Term Memory Networks), RNNs(Recurrent Neural Networks), GANs(Generative Adversarial Networks), RBFNs(Radial Basis Function Networks), MLPs(Multilayer Perceptrons), SOMs(Self Organizing Maps), DBNs(Deep Belief Networks), RBMs( Restricted Boltzmann Machines), ViT(VIsion Transformer) 중 어느 하나일 수 있고, 보다 바람직하게는 CNNs+LSTM 일 수 있다.Deep learning algorithms for artificial intelligence learning include CNNs (Convolutional Neural Networks), LSTMs (Long Short Term Memory Networks), RNNs (Recurrent Neural Networks), GANs (Generative Adversarial Networks), RBFNs (Radial Basis Function Networks), and MLPs (Multilayer Perceptrons). , SOMs (Self Organizing Maps), DBNs (Deep Belief Networks), RBMs (Restricted Boltzmann Machines), ViT (VIsion Transformer), and more preferably CNNs+LSTM.

프로세서는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 채용한 디지털 전자 펜 또는 PC 프로그램으로 구현될 수 있다.Processors include ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), processors, and controllers. , may be implemented as a digital electronic pen or PC program employing at least one of micro-controllers, microprocessors, and other electrical units for performing functions.

전술한 감식프로그램은 감정대상필적과 원시필적 데이터와의 비교결과를 디스플레이장치를 통해 출력할 수 있다. 위 비교방법에 대해서는 후술되어질 것이다.The above-described identification program can output a comparison result between the handwriting subject to appraisal and the raw handwriting data through a display device. The above comparison method will be described later.

메모리는, 프로세서와 전기적으로 연결된다. 메모리는 유닛에 대한 기본 데이터, 유닛의 동작제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다. 메모리는, 감식프로그램의 실행에 따라 수신된 데이터를 메모리 또는 데이터베이스에 기록할 수 있다. 메모리 또는 데이터베이스는 딥러닝을 구성하는 히든층일 수 있다.Memory is electrically connected to the processor. The memory can store basic data about the unit, control data for controlling the operation of the unit, and input/output data. The memory may record received data into memory or a database according to the execution of the identification program. Memory or database may be a hidden layer that constitutes deep learning.

메모리는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리는 프로세서의 처리 또는 제어를 위한 프로그램 등, 컴퓨터 또는 모바일 디바이스 전반의 동작을 위한 데이터를 저장할 수 있다. 메모리는, 프로세서와 일체형으로 구현될 수 있다. In terms of hardware, the memory may be comprised of at least one of ROM, RAM, EPROM, flash drive, and hard drive. Memory can store data for the overall operation of a computer or mobile device, such as programs for processing or controlling a processor. The memory may be implemented integrally with the processor.

디스플레이장치는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.Display devices include liquid crystal display (LCD), thin film transistor-liquid crystal display (TFT LCD), organic light-emitting diode (OLED), flexible display, It may include at least one of a 3D display and an e-ink display.

디스플레이장치는, 전자 펜을 통해 획득된 디지털 데이터(정보)를 시각적으로 보이도록 표시할 수 있다.The display device can visually display digital data (information) acquired through an electronic pen.

전술한 응용프로그램(감식프로그램) 또는 어플리케이션은 관리자용 어플리케이션과 유저용 어플리케이션을 포함한다.The above-described application program (forensic program) or applications include an administrator application and a user application.

유저용 어플리케이션은 인증모듈(API or log-in)을 통해 구조화된 데이터베이스에 접근하여 감정대상필적을 입력하여 원시필적과 비교할 수 있는 권한을 가질 수 있다.The user application can access the structured database through an authentication module (API or log-in) and have the authority to enter the handwriting to be evaluated and compare it with the original handwriting.

관리자용 어플리케이션은 유저의 접근뿐 아니라 유저를 제어하고 원시필적과 감정대상필적을 비교하여 감정한 결과를 도출할 수 있는 권한을 갖는다.The administrator application has the authority to not only access users, but also control users and derive appraisal results by comparing raw handwriting and appraised handwriting.

전술한 데이터베이스는 컴퓨터의 하드 디스크, 모바일 디바이스의 메모리, 웹하드, 웹서버에 마련될 수 있고, 네트워킹 망을 통해 유저로부터의 정보 요청시 해당 유저에게 응답할 수 있다.The above-described database can be provided on a computer's hard disk, a mobile device's memory, a web hard drive, or a web server, and can respond to a user when requesting information from a user through a networking network.

본 발명에서는 발명의 이해도를 높이기 위해 퍼스널 컴퓨터(PC)의 하드 디스크에 저장하는 과정과 감정대상필적에 대한 진정성을 감정하는 방법에 대해 기술할 것이나, 이는 본 발명을 예시적인 실시 예에 불과할 뿐 복수의 유저들에게 할당한 인증모듈 예를들어, API(application programming interface) 또는 로그인(log-in)에 의해 각 유저들이 구조화된 단일의 서버에 다중 접속하여 감정대상필적의 진정성 감정을 동시 다발적으로 수행하게 하는 것도 가능하다.In the present invention, in order to increase the understanding of the invention, the process of storing on the hard disk of a personal computer (PC) and the method of appraising the authenticity of the handwriting of the subject to be appraised will be described. However, this is only an exemplary embodiment of the present invention and is not intended to be used in multiple ways. Authentication module assigned to users. For example, each user multiple times accesses a single structured server through API (application programming interface) or log-in, and simultaneously evaluates the authenticity of the subject's handwriting. It is also possible to have it performed.

본 발명에 따른 필적에 대한 진정성 감정방법에 대한 바람직한 실시 예를 이하의 도 1을 참조하여 상세히 설명한다.A preferred embodiment of the method for assessing the authenticity of handwriting according to the present invention will be described in detail with reference to FIG. 1 below.

도 1은 감정대상필적의 감정에 따른 플로우챠트를 도시한 도면이다.Figure 1 is a diagram showing a flow chart according to the appraisal of the handwriting subject to appraisal.

감정대상필적은 본 발명에 의해 저장된 원시필적 데이터와 감정대상필적의 비교를 통해 인증될 수 있다.The handwriting subject to appraisal can be authenticated through comparison of the original handwriting data stored by the present invention and the handwriting subject to appraisal.

감정대상필적에 대한 진정성 감정방법에 따른 일 실시 예로서, As an example of an authenticity appraisal method for the handwriting subject to appraisal,

전자 펜으로 작성되는 필적 정보로부터, 시간이 포함된 객체 바운딩 박스 X축 최소값, 객체 바운딩 박스 Y축 최소값, 객체 바운딩 박스 X축 최대값, 객체 바운딩 박스 Y축 최대값, 객체 꼭지점 위치값 등의 시간/위치 및 필압과 같은 기초 데이터를 취득하는 제1 단계(도 3의 No. 1 내지 No. 5 참조)와;From handwriting information written with an electronic pen, the object bounding box X-axis minimum value, object bounding box Y-axis minimum value, object bounding box X-axis maximum value, object bounding box Y-axis maximum value, object vertex position value, etc. /The first step of acquiring basic data such as position and pen pressure (see No. 1 to No. 5 in FIG. 3);

제1 단계에서 얻어진 디지털 필적 정보로부터, 객체 가려짐 여부(occluded), 객체 세부 정보(property), 객체의 대분류(property supercategory), 객체의 고유 번호(property.category_id), 객체의 글자와 문자열 값(property name), 시계열 데이터의 시간 변화정보(time stamp), 시계열 데이터의 센서, 필적 상태 DOWN/UP/MOVE, 필적 위치 x 좌표(x), 필적 위치 y 좌표(y), 필압(pressure), 방향(vector), 필적의 속도(velocity magnitude), 필적의 가속도(cceleration magnitude), 연속된 5개 샘플에 대한 최저속도와 최대속도의 비(ratio minimum maximum speed 5 samples), 연속된 3개 샘플이 이루는 각의 라디안 값(angle consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 사인 값(sine consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 코사인 값(cosine consecutive samples) 등의 기초 데이터의 분석값을 도출하는 제2 단계(도 4의 No. 6 ~ 도 5의 No. 24 참조)와From the digital handwriting information obtained in the first step, whether the object is occluded (occluded), object details (property), the object's supercategory (property supercategory), the object's unique number (property.category_id), the object's letter and string values ( property name), time change information of time series data (time stamp), sensor of time series data, handwriting status DOWN/UP/MOVE, handwriting position x coordinate (x), handwriting position y coordinate (y), pen pressure, direction (vector), handwriting speed (velocity magnitude), handwriting acceleration (acceleration magnitude), ratio minimum maximum speed 5 samples for 5 consecutive samples, ratio of 3 consecutive samples The radian value of the angle (angle consecutive samples), the sine of the radian value of the angle formed by three consecutive samples (sine consecutive samples), the cosine of the radian value of the angle formed by three consecutive samples, etc. The second step of deriving the analysis value of the basic data (see No. 6 in Fig. 4 to No. 24 in Fig. 5) and

전술한 제2 단계에서 도출된 어느 하나의 분석값, 또는 복수의 분석값을 원시필적 데이터와 프로그램적으로 비교하거나 인공지능 학습용 데이터셋(딥러닝 알고리즘)의 판단하여 감정대상필적의 진정성을 감정하고, 그 결과를 디스플레이장치를 통해 유저에게 반환하는 제3 단계를 포함할 수 있다.Evaluate the authenticity of the handwriting subject to appraisal by programmatically comparing any one analysis value or multiple analysis values derived in the above-mentioned second step with the raw handwriting data or judging the artificial intelligence learning dataset (deep learning algorithm) , It may include a third step of returning the result to the user through a display device.

디지털 필적의 진정성 감정 플로우와 같다. 만일 저장매체에 저장된 디지털 필적 데이터는 도 1의 좌측의 플로우와 같은 시계열적 절차에 의해 감정하고, 실시간으로 생성되는 디지털 필적 데이터는 도 1의 우측의 플로우와 같은 시계열적 절차에 의해 감정할 수 있다.It’s like the authentic emotional flow of digital handwriting. If digital handwriting data stored in a storage medium can be appraised by a time-series procedure such as the flow on the left side of FIG. 1, digital handwriting data generated in real time can be appraised by a time-series procedure such as the flow on the right side of FIG. 1. .

도 1에서 인공지능 CNNs+LSTM에 의한 필적의 진정성 감정에 사용되는 필적 특성은 도 3에 도시되어 있다. The handwriting characteristics used to evaluate the authenticity of handwriting by artificial intelligence CNNs+LSTM in Figure 1 are shown in Figure 3.

도 4와 도 5에 기재된 항목별 분석값 도출(또는 추출)방식에 대한 바람직한 실시 예에 대하여 기술한다.A preferred embodiment of the method for deriving (or extracting) analysis values for each item shown in FIGS. 4 and 5 is described.

전술한 전자 펜으로부터 디지털 정보를 취득에 대해서는 공개된 참조문헌을 통해 확인할 수 있으므로 그에 대해서는 상세한 설명은 생략한다.Acquisition of digital information from the above-described electronic pen can be confirmed through published references, so detailed description thereof will be omitted.

도 4에서, 특징 순번(Feature number) 중 순번 1 내지 순번 5는 전자 펜에 의해 필정정보를 취득하는 것으로, 해당 도면의 순번 1(time interval)은 두개의 샘플 포인트 간의 시차(샘플링 시간) 정보를 취득한다. 즉, Time interval 정보와 이에 의해 샘플링된 필기의 가로/세로방향의 좌표값과 필압 값들을 구할 수 있다.In FIG. 4, among the feature numbers, numbers 1 to 5 refer to acquiring stroke information using an electronic pen, and number 1 (time interval) in the figure indicates time difference (sampling time) information between two sample points. acquire. In other words, it is possible to obtain time interval information and the horizontal/vertical coordinate values and pen pressure values of the sampled handwriting.

도 4에서, 순번 2(Action)은 전자 펜의 글쓰기에 따른 펜의 업(Up) 다운(Down) 및 이동(Move) 정보를 취득하고, 순번 3 및 4는 전자 펜의 글쓰기에 따른 전자 펜의 시간 경과에 따른 x, y 위치(좌표) 정보를 취득한다. In Figure 4, sequence number 2 (Action) acquires the up, down, and movement information of the pen according to writing with the electronic pen, and sequence numbers 3 and 4 acquire the information of the pen's up, down, and movement according to writing with the electronic pen. Acquire x, y location (coordinates) information over time.

여기서here

[수식 1][Formula 1]

x(t)x(t)

[수식 2][Formula 2]

y(t)y(t)

위의 수식1, 2에서 t는 time interval을 나타내다. x(t)와 y(t)는 시간 t에서의 전자펜의 위치센서로부터 받은 필기의 가로와 세로축의 위치 정보 나타낸다. 위치센서는 터치패널 또는 적외선 카메라 등과 같이 필기 위치정보를 센싱할 수 있는 센서로, 전술한 전자 펜에 의해 취득될 수 있다.In equations 1 and 2 above, t represents the time interval. x(t) and y(t) represent the position information of the horizontal and vertical axes of the handwriting received from the position sensor of the electronic pen at time t. The position sensor is a sensor that can sense handwriting position information, such as a touch panel or an infrared camera, and can be acquired by the electronic pen described above.

그리고, 도 4에서, 순번 5(Pressure)는 전자 펜의 글쓰기에 따른 전자 펜의 시간 경과에 따른 전자 펜의 압력 정보를 취득한다. 취득 수식은 아래의 수식 3과 같다.And, in FIG. 4, number 5 (Pressure) acquires pressure information of the electronic pen over time according to writing with the electronic pen. The acquisition formula is as formula 3 below.

[수식 3][Formula 3]

f(t)f(t)

f(t)에서 t는 time interval을 나타내고, t 시간에서의 전자 펜의 압력 센서로부터 받은 펜압 정보로, 전술한 전자 펜에 의해 구할 수 있다.In f(t), t represents a time interval, and is pen pressure information received from the pressure sensor of the electronic pen at time t, which can be obtained using the electronic pen described above.

도 4에서, 순번 6[속도 크기(velocity magnitude}]은 전자 펜의 글쓰기에 따른 전자 펜의 속도 크기를 검출한다. 검출식은 아래의 수식 4와 같다.In Figure 4, sequence number 6 (velocity magnitude}) detects the speed magnitude of the electronic pen according to writing with the electronic pen. The detection equation is as Equation 4 below.

[수식 4:][Formula 4:]

위 수식 4는 수식 1,2에서 취득한 위치정보로부터 계산된 가로·세로 방향의 속도를 이용하여 t 시간에서의 필기속도를 계산하는 수식이다. Equation 4 above is a formula that calculates the writing speed at time t using the horizontal and vertical speeds calculated from the location information acquired in Equations 1 and 2.

도 4에서, 순번 7[가속도 크기(Accelaration magnitude}]는 전자 펜의 글쓰기에 따른 가속도를 구한다. 그 수식은 아래의 수식 5와 같다.In Figure 4, number 7 [Acceleration magnitude}] calculates the acceleration according to writing of the electronic pen. The formula is the same as Equation 5 below.

[수식 5][Formula 5]

위 수식 5는 수식 1, 2에서 취득한 위치정보로부터 계산된 가로·세로 방향의 가속도를 이용하여 t 시간에서의 가속도를 계산하는 수식이다. Equation 5 above is a formula that calculates the acceleration at time t using the acceleration in the horizontal and vertical directions calculated from the location information acquired in Equations 1 and 2.

도 4에서, 순번 8(Ratio of minimim and maximum of speed over 5 sample)는 전자 펜의 글쓰기에 따른 5개 샘플에 대한 최소 속도와 최대 속도의 비율을 검출한다. 검출식은 아래의 수식 6과 같다.In Figure 4, number 8 (Ratio of minimum speed and maximum of speed over 5 samples) detects the ratio of minimum speed and maximum speed over 5 samples according to writing with an electronic pen. The detection formula is as Equation 6 below.

[수식 6][Formula 6]

위 수식 6에서 vN은 N개의 샘플을 포함한 속도 벡터이고, max와 min은 속도 벡터의 최대값과 최소값을 구하는 수식이다. 수식 6은 N개의 샘플 중 최대값과 최소값의 비를 특징으로 활용한다.In Equation 6 above, vN is a velocity vector including N samples, and max and min are formulas for calculating the maximum and minimum values of the velocity vector. Equation 6 uses the ratio of the maximum and minimum values among N samples as a feature.

도 4에서, 순번 9(Angle(α) of consecutive 5 sample )는 전자 펜의 글쓰기에 따른 연속 5개 시료의 각도(α) 값을 구한다. 그 식은 아래의 수식 7과 같다.In Figure 4, number 9 (Angle(α) of consecutive 5 samples) obtains the angle (α) value of five consecutive samples according to writing with an electronic pen. The formula is as Equation 7 below.

[수식 7][Formula 7]

주어진 점 pt[n]에 대해For a given point pt[n]

연속각 α는The continuous angle α is

이다. am.

위 수식 7에서 pt[n]은 n번 샘플의 위치정보를 나타내고, a,b,c는 각각 n-1번샘플과 n번샘플 위치 차이에 대한 L2 norm, n번 샘플과 n+1번 샘플 위치 차이에 대한 L2 norm, n-1번 샘플과 n+1번 샘플 위치 차이에 대한 L2 norm을 나타내고, cos-¹ 는 a, b ,c가 이루고 있는 각도를 나타내는 특징이다.In Equation 7 above, pt[n] represents the location information of the n sample, and a, b, and c are the L2 norm for the difference in position between the n-1 sample and the n sample, respectively, the n sample and the n+1 sample. L2 norm for the position difference, represents the L2 norm for the position difference between the n-1 sample and the n+1 sample, cos- ¹ is a feature that represents the angle formed by a, b, and c.

도 4에서, 순번 10는 위 수식 7의 α의 사인(sine) 값을 도출한다. 도출식은 아래의 수식 8과 같다.In Figure 4, turn number 10 derives the sine value of α in Equation 7 above. The derivation formula is as Equation 8 below.

[수식 8][Formula 8]

sin(α)sin(α)

위 수식 8은 수식7에서 계산된 α 각도의 sine값을 나타내는 특징이다. Equation 8 above is a feature that represents the sine value of the α angle calculated in Equation 7.

도 4에서, 순번 11는 위 수식 7의 α의 코사인(cosine) 값을 도출한다. 도출식은 아래의 수식 9과 같다.In Figure 4, number 11 derives the cosine value of α in Equation 7 above. The derivation formula is as Equation 9 below.

[수식 9][Formula 9]

cos(α)cos(α)

위 수식 9는 수식 7에서 계산된 α 각도의 cosine값을 나타내는 특징이다.Equation 9 above is a feature that represents the cosine value of the α angle calculated in Equation 7.

도 4에서, 순번 12(Log of the curvature radius)는 전자 펜의 글쓰기에 따른 필적에 대한 곡률 반경의 로그 정보를 도출한다. 도출식은 아래의 수식 10과 같다.In Figure 4, number 12 (Log of the curvature radius) derives log information of the radius of curvature for handwriting according to writing with an electronic pen. The derivation formula is as Equation 10 below.

[수식 10][Formula 10]

모든 지점에서 우리는 log(R)을 계산한다.At every point we compute log(R).

여기서 R은Here R is

일차 파생 primary derivative

: 2차 파생 : 2nd derivative

위 수식 10은 곡률반경에 log를 취한 특징으로 글씨패턴의 곡률특징을 log 정규화하여 표현하였다. R은 각 위치에서의 1차 미분과 2차 미분으로 계산된 곡률반경을 나타낸다. Equation 10 above is a feature that takes log of the radius of curvature, and the curvature feature of the writing pattern is expressed by log normalization. R represents the radius of curvature calculated by the first and second derivatives at each location.

도 5에서, 순번 13(Difference of x)는 전술한 x 값의 차이값을 도출한다. 도출식은 아래의 수식 11과 같다.In Figure 5, number 13 (Difference of x) derives the difference value of the above-described x values. The derivation formula is as Equation 11 below.

[수식 11][Formula 11]

d[x_n] = x[n] - x[n-1]d[x _n ] = x[n] - x[n-1]

위 수식 11은 n번째와 n-1번째 샘플의 x위치 차분을 나타내는 특징이다. Equation 11 above is a feature that represents the x-position difference between the nth and n-1th samples.

도 5에서, 순번 14(Difference of y)는 전술한 y 값의 차이값을 도출한다. 도출식은 아래의 수식 12와 같다.In Figure 5, number 14 (Difference of y) derives the difference value of the y values described above. The derivation formula is as Equation 12 below.

[수식 12][Formula 12]

d[y_n] = y[n] - y[n-1]d[y _n ] = y[n] - y[n-1]

위 수식 12는 n번째와 n-1번째 샘플의 y 위치 차분을 나타내는 특징이다. Equation 12 above is a feature that represents the difference in y positions between the nth and n-1th samples.

도 5에서, 순번 15(Difference of pressure)는 전술한 펜 압의 차이값을 도출한다. 도출식은 아래의 수식 13과 같다.In Figure 5, number 15 (Difference of pressure) derives the above-described difference value of pen pressure. The derivation formula is as Equation 13 below.

[수식 13][Formula 13]

d[f_n] = f[n] - f[n-1]d[f _n ] = f[n] - f[n-1]

위 수식 13은 n번째와 n-1번째 샘플의 펜 압의 차분을 나타내는 특징이다. Equation 13 above is a feature that represents the difference in pen pressure between the nth and n-1th samples.

도 5에서, 순번 16(Difference of velocity magnitude)는 전술한 전자 펜의 속도 차이값을 도출한다. 도출식은 아래의 수식 14와 같다.In Figure 5, number 16 (Difference of velocity magnitude) derives the velocity difference value of the aforementioned electronic pen. The derivation formula is as Equation 14 below.

[수식 14][Formula 14]

d[v_n] = v[n] - v[n-1]d[v _n ] = v[n] - v[n-1]

위 수식 14은 n번째와 n-1번째 샘플의 속도에 대한 차분을 나타내는 특징이다. Equation 14 above is a feature that represents the difference between the speeds of the nth and n-1th samples.

도 5에서, 순번 17(Difference of accelaration magnitude)는 전술한 전자 펜의 가속도 차이값을 도출한다. 도출식은 아래의 수식 15와 같다.In Figure 5, number 17 (Difference of acceleration magnitude) derives the acceleration difference value of the electronic pen described above. The derivation formula is as Equation 15 below.

[수식 15][Formula 15]

d[α_n] = α[n] - α[n-1]d[α _n ] = α[n] - α[n-1]

위 수식 15는 n번째와 n-1번째 샘플의 가속도의 차분에 대한 magnitude를 나타내는 특징이다. Equation 15 above is a feature that represents the magnitude of the difference in acceleration between the nth and n-1th samples.

도 5에서, 순번 18(Difference of α)는 전술한 α 차이값을 도출한다. 도출식은 아래의 수식 16과 같다.In Figure 5, number 18 (Difference of α) derives the α difference value described above. The derivation formula is as Equation 16 below.

[수식 16][Formula 16]

d[α_n] = α[n] - α[n-1]d[α _n ] = α[n] - α[n-1]

위 수식 16은 n번째와 n-1번째 샘플의 가속도에 대한 차분을 나타내는 특징이다. Equation 16 above is a feature that represents the difference between the accelerations of the nth and n-1th samples.

도 5에서, 순번 19(Second order difference of x)는 전술한 x의 2차 미분을 도출한다. 도출식은 아래의 수식 17과 같다.In Figure 5, order number 19 (Second order difference of x) derives the above-described second order difference of x. The derivation formula is as Equation 17 below.

[수식 17][Formula 17]

T[n]은 샘플 n의 타임스탬프임 T[n] is the timestamp of sample n

위 수식 17은 n번째와 n-1번째 샘플의 x 위치 차분과 시간 차분의 비율을 나타내는 특징이다. Equation 17 above is a feature that represents the ratio of the x position difference and time difference of the nth and n-1th samples.

도 5에서, 순번 20(Second order difference of y)는 전술한 y의 2차 차이값을 도출한다. 도출식은 아래의 수식 18과 같다.In Figure 5, second order difference of y (second order difference of y) derives the above-described second difference value of y. The derivation formula is as Equation 18 below.

[수식 18][Formula 18]

위 수식 18은 n번째와 n-1번째 샘플의 y 위치 차분과 시간 차분의 비율을 나타내는 특징이다. Equation 18 above is a feature that represents the ratio of the y position difference and time difference of the nth and n-1th samples.

도 5에서, 순번 21[Stroke length ratio(3 sample)]는 스트로크 길이 비율(3개의 샘플)을 도출한다. 도출식은 아래의 수식 19과 같다.In Figure 5, sequence number 21 [Stroke length ratio (3 samples)] derives the stroke length ratio (3 samples). The derivation formula is as Equation 19 below.

[수식 19][Formula 19]

위 수식 19는 3개 샘플에 대한 위치 차분 L2 norm의 합을 나타내는 특징으로 글씨의 간격에 대한 특징을 반영한다. Equation 19 above is a feature that represents the sum of the position difference L2 norm for the three samples and reflects the feature of the spacing of the letters.

도 5에서, 순번 22[Stroke length ratio(5 sample)]는 스트로크 길이 비율(5개의 샘플)을 도출한다. 도출식은 아래의 수식 20과 같다.In Figure 5, sequence number 22 [Stroke length ratio (5 samples)] derives the stroke length ratio (5 samples). The derivation formula is as Equation 20 below.

[수식 20][Formula 20]

도 5에서, 위 수식 20는 5개 샘플에 대한 위치 차분 L2 norm의 합을 나타내는 특징으로 글씨의 간격에 대한 특징을 반영한다. In Figure 5, the above equation 20 is a feature representing the sum of the position difference L2 norm for 5 samples and reflects the feature of the spacing of letters.

순번 23[Stroke length ratio(7 sample)]는 스트로크 길이 비율(7개의 샘플)을 도출한다. 도출식은 아래의 수식 21과 같다.Sequence number 23 [Stroke length ratio (7 samples)] derives the stroke length ratio (7 samples). The derivation formula is as Equation 21 below.

[수식 21][Formula 21]

위 수식 21은 7개 샘플에 대한 위치 차분 L2 norm의 합을 나타내는 특징으로 글씨의 간격에 대한 특징을 반영한다. Equation 21 above is a feature that represents the sum of the position difference L2 norm for 7 samples and reflects the feature of the spacing of letters.

도 5에서, 순번 24(Stroke length ratio(2 sample))는 스트로크 길이 비율(2개의 샘플)을 도출한다. 도출식은 아래의 수식 22과 같다.In Figure 5, sequence number 24 (Stroke length ratio (2 samples)) results in the stroke length ratio (2 samples). The derivation formula is as Equation 22 below.

[수식 22][Formula 22]

위 수식 22는 12개 샘플에 대한 위치 차분 L2 norm의 합을 나타내는 특징으로, 글씨의 간격에 대한 특징을 반영한다. Equation 22 above is a feature representing the sum of the position difference L2 norm for 12 samples, and reflects the feature of the spacing of letters.

전술한 수식들은, 단독 혹은 각 수식들에 의해 게산된 분석값을 복수로 계산된 다른 형태의 분석값으로 도출될 수 있다.The above-mentioned formulas can be derived as different types of analysis values, either individually or by multiplying the analysis values calculated by each equation.

이하에서는 전술한 전자 펜으로부터 획득된 디지털 정보를 딥러닝 알고리즘을 통해 원시필적과 비교 판단하는 방법에 대하여, 도 2를 참조하여 설명한다. Hereinafter, a method of comparing and determining digital information obtained from the above-described electronic pen with raw handwriting through a deep learning algorithm will be described with reference to FIG. 2.

여기서, 원시필적은 고유한 식별인자 별로 메모리에 구조화(데이터베이스)되어 있고, 글쓴이의 감정할 대상 필적의 ID가 구조화된 식별인자와 일치된 것을 전제로 하고, 또한 원시필적은 감정대상자의 필적 데이터로부터 획득된 데이터에 의해 학습 또는 훈련된 딥러닝 알고리즘(CNNs+LSTM)를 통해 판단하는 것으로 가정한다.Here, the raw handwriting is structured (database) in memory for each unique identifier, assuming that the ID of the writer's handwriting to be appraised matches the structured identifier, and the raw handwriting is obtained from the handwriting data of the appraised subject. It is assumed that the decision is made through a deep learning algorithm (CNNs+LSTM) learned or trained based on the acquired data.

본 발명에 따른 디지털 필적에 대한 진정성 감정방법은, The authenticity appraisal method for digital handwriting according to the present invention is,

감정대상필적으로부터 디지털 필적 데이터를 취득하는 제1 단계와, 전술한 취득 데이터를 기초로 원시필적과 비교할 분석값을 도출하는 제2 단계와, 감식프로그램을 통해 도출된 상기 분석값을 원시필적과 딥러닝 알고리즘에 의해 비교하고 그 결과를 유저에게 반환하는 제3 단계를 포함한다.A first step of acquiring digital handwriting data from the handwriting subject to analysis, a second step of deriving analysis values to be compared with the raw handwriting based on the above-described acquired data, and the analysis values derived through the identification program being compared to the raw handwriting and the deep handwriting. It includes a third step of comparing using a learning algorithm and returning the results to the user.

전술한 a단계는, 펜 첩촉 반응형 전자 패드 또는 전자 펜 중 어느 하나로 부터 감정할 대상 디지털 필적에 대한 시간에 따른 객체 바운딩 박스 X축 최소값, 객체 바운딩 박스 Y축 최소값, 객체 바운딩 박스 X축 최대값, 객체 바운딩 박스 Y축 최대값, 객체 꼭지점 위치값 등의 시간/위치 정보 중 어느 하나의 정보 또는 혼용한 정보 및 이미지를 시계열적 취득할 수 있다.The above-described step a is the object bounding box X-axis minimum value, object bounding box Y-axis minimum value, and object bounding box , any one of time/position information such as object bounding box Y-axis maximum value, object vertex position value, etc., or mixed information and images can be acquired in time series.

아래의 그림 1의 이미지는 글쓰기 시작부터 끝마칠 때까지의 시계열적 이미지 중 글쓰기를 마친 상태의 획득된 감정대상필적에 대한 이미지를 예시한 것으로, 그 중 그림 1의 (a)는 진짜, (b)는 가짜이다. The image in Figure 1 below is an example of an image of the acquired emotional object handwriting in the state of finishing writing among the time series images from the start of writing to the end of writing. Among them, (a) in Figure 1 is the real one, (b) is the real one. ) is fake.

그리고, 아래의 그림 2는 펜 첩촉 반응형 전자 패드 또는 전자 펜 중 어느 하나로부터 획득된 필적 데이터의 시계열적 정보를 예시한 것이다.And, Figure 2 below illustrates the time series information of handwriting data obtained from either a pen touch-sensitive electronic pad or an electronic pen.

[그림 1][Figure 1]

(a) (a)

(b) (b)

[그림 2][Figure 2]

위 그림 2에서, "type"은 지면을 향해 전자 펜의 내려감(DOWN), 올라감(UP), 이동(MOVE) 여부를 전자 펜으로부터 획득한 값으로, 이와 같은 방식으로 펜 첩촉 반응형 전자 패드의 반응형 표면을 향해 필기구의 내려감(DOWN), 올라감(UP), 이동(MOVE) 여부를 획득한 값 일 수 있다.In Figure 2 above, “type” is a value obtained from the electronic pen to determine whether the electronic pen is lowered, raised, or moved toward the ground. In this way, the pen touch-sensitive electronic pad is activated. This may be a value obtained whether the writing instrument is DOWN, UP, or MOVE toward the responsive surface.

위 그림 2에서, "time"은 전자 펜 또는 펜 첩촉 반응형 전자 패드를 통해 글쓰기 시간을 독출한 값이고, "x", "y"는 필적의 진행방향(좌표값)을 독출한 값이며, "force"을 필압 값이다.In Figure 2 above, “time” is a reading of the writing time using an electronic pen or pen touch-sensitive electronic pad, and “x” and “y” are readings of the direction (coordinates) of the handwriting. “force” is the pen pressure value.

전술한 그림 2에서, 각 type 값은 글쓰기 시작과 종료시까지의 시계열적 디지털 필적 감정대상 데이터이고, 시계열적 디지털 필적 감정대상 데이터는 펜 첩촉 반응형 전자 패드 또는 전자 펜과 응용프로그램(또는 앱어플리케이션 또는 서버측 언어)과 전기 회로적으로 연동되는 PC, 각종 디바이스에 내장된 메모리부에 기록되거나 유무선 통신수단을 통해 원격지로 전송되어 서버(또는 데이터베이스)에 구조화 또는 저장될 수 있다.In the above-mentioned Figure 2, each type value is time-series digital handwriting appraisal object data from the start and end of writing, and the time-series digital handwriting appraisal object data is a pen tactile responsive electronic pad or electronic pen and an application (or app application or It can be recorded in the memory unit built into a PC or various devices that are electrically linked with the server-side language, or transmitted to a remote location through wired or wireless communication means and structured or stored in a server (or database).

전술한 그림 2에서, 감정대상필적 데이터는 전자 펜 또는 펜 첩촉 반응형 전자 패드가 갖추고 있는 센싱수단에 따라 더 선택될 수 있다.In the above-mentioned Figure 2, the emotion object handwriting data can be further selected depending on the sensing means equipped with the electronic pen or pen touch-sensitive electronic pad.

예를 들어, 가속도 센서와 자세센서(자이로 센서)를 갖춘 전자 펜의 경우, 글쓰기에서 해당 전자 펜을 통해 필적의 가속도와 각속도 값을 기초로 분석값을 도출할 수 있다.For example, in the case of an electronic pen equipped with an acceleration sensor and a posture sensor (gyro sensor), analysis values can be derived based on the acceleration and angular velocity values of handwriting through the electronic pen when writing.

전술한 제2 단계는, 응용프로그램 또는 앱어플리케이션에 미리 프로그램밍된 알고리즘에 의해 감정대상필적으로부터 획득된 정보(또는 데이터)를 원시필적과 비교하기 위한 분석값을 도출할 수 있다.In the above-mentioned second step, an analysis value can be derived for comparing the information (or data) obtained from the handwriting of the object of appraisal with the original handwriting by an algorithm pre-programmed in the application or app application.

전술한 분석값은 딥러닝에 마련된 은닉층(hidden layer)에 해당하는 메모리 또는 데이터베이스에 구조화될 수 있다. The above-described analysis values can be structured in a memory or database corresponding to a hidden layer provided in deep learning.

지속적인 수집에 의해 데이터 확대와 함께 기능을 추출하기 위해 CNN 모델을 훈련하는 유용하게 축적될 수 있다.By continuous collection, data can be accumulated usefully for training CNN models to extract features along with augmentation.

사용되는 CNN 아키텍처는 VGG16, Inception-v3, ResNet50 및 Xception이고, 추출된 특징은 Logistic Regression, Random Forest, SVM 및 그 변형과 같은 유클리드 거리, 코사인 유사도 및 감독 학습 알고리즘을 사용하여 진짜 또는 위조의 두 가지 클래스로 분류될 수 있다.The CNN architectures used are VGG16, Inception-v3, ResNet50 and Can be classified into classes.

전술한 제2 단계에 따른 분석값은, 도 3을 참조하여 전술한 수식들을 통해 도출되는 것을 예시하여 설명되었으나, 이는 본 발명의 이해를 돕기 위해 오직 예시적인 목적으로 설명한 것일 뿐 감정대상필적으로부터 획득된 정보 중 어느 하나 혹은 그들을 혼용하거나 임의의 수를 획득된 데이터에 대입하여 다른 형태의 분석값을 도출하는 등의 응용 예들은 본 발명을 통해 사후적으로 구현할 수 있을 것이나, 그러한 응용 예들은 본 발명자가 의도하는 진정한 의미의 기적적 사상과 이하의 특허청구범위에서 정의된 권리범위에 포함된다는 것을 미리 밝혀두는 바이다. The analysis value according to the above-described second step has been described by illustrating that it is derived through the above-described formulas with reference to FIG. 3, but this is only explained for illustrative purposes to aid understanding of the present invention and is obtained from the handwriting of an appraised object. Application examples such as using any one of the information provided, or mixing them together, or substituting an arbitrary number into the obtained data to derive a different type of analysis value, can be implemented ex post through the present invention, but such application examples are provided by the present inventor. We would like to clarify in advance that the true miraculous idea intended by and is included in the scope of rights defined in the patent claims below.

전술한 제3 단계는, 제2 단계에서 응용프로그램(감식프로그램)을 통해 도출된 분석값을 원시필적정보와 딥러닝을 통해 비교하고 그 결과를 유저에게 반환될 수 있다. In the above-described third step, the analysis value derived through the application program (forensic program) in the second step is compared with the raw handwriting information through deep learning, and the results can be returned to the user.

이것은 PNG(Portable Network Graphics Image)파일 형식의 두 서명간에 부울 값(1 또는 0)을 통해 진정성을 감정하는 종래의 필적 감정방식에 비해 시간에 따른 객체 바운딩 박스 X축 최소값, 객체 바운딩 박스 Y축 최소값, 객체 바운딩 박스 X축 최대값, 객체 바운딩 박스 Y축 최대값, 객체 꼭지점 위치값의 시간/위치 등의 시계열적 정보를 통해 미리 축적된 원시필적과 도 2에 도시된 바와 같이 여러 개의 은닉층(hidden layer)으로 구성된 딥러닝(Deep Learning)에 의해 필적에 대한 진정성을 감정하는 것은 각 개인의 필적에 대한 진정성을 더 정확하고 정밀하게 감정할 수 있음을 시사한다.Compared to the conventional handwriting evaluation method that evaluates authenticity through a Boolean value (1 or 0) between two signatures in the PNG (Portable Network Graphics Image) file format, this is the minimum value of the object bounding box on the X-axis and the minimum value of the object bounding box on the Y-axis over time. , raw handwriting accumulated in advance through time-series information such as the maximum value of the object bounding box Appraising the authenticity of handwriting using deep learning, which is composed of layers, suggests that the authenticity of each individual's handwriting can be assessed more accurately and precisely.

따라서, 본 발명은 개인을 인증하는 중요한 요소인 필적정보를 생체 인식과 더불어 금융 분야에서 개인 ID를 인증하는 기본 솔루션으로 제공될 수 있고, 또한 각 개인의 필적에 대한 특성에 대한 데이터 확대와 함께 기능을 추출하기 위해 딥러닝 모델을 학습 또는 훈련하는 데에도 매우 유용하게 채용될 수 있다.Therefore, the present invention can be provided as a basic solution for authenticating personal IDs in the financial field along with biometrics using handwriting information, which is an important element for authenticating individuals, and can also function as a function of expanding data on the characteristics of each individual's handwriting. It can also be very usefully employed to learn or train a deep learning model to extract .

이상에서는 본 발명에 대한 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명하였으나, 본 발명이 속한 기술분야에 통상의 지식을 가진 사람이면 본 발명을 기초로 다양한 응용 예나 변경 예를 실시할 수 있을 것이나, 이러한 응용 예나 변경 예는 본 발명자가 의도하는 진정한 의미의 기술적 사상과 이하의 특허청구범위에 정의된 권리범위에 포함된다는 것을 미리 밝혀두는 바이다.In the above, preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, but those skilled in the art will be able to implement various applications or modifications based on the present invention. , it is stated in advance that these application examples and modified examples are included in the true technical idea intended by the present inventor and the scope of rights defined in the following patent claims.

Claims (12)

감정대상필적으로부터, 시간이 포함된 객체 바운딩 박스 X축 최소값, 객체 바운딩 박스 Y축 최소값, 객체 바운딩 박스 X축 최대값, 객체 바운딩 박스 Y축 최대값, 객체 꼭지점 위치값 등의 시간과 위치, 필압, 필적의 가속도, 필적의 각속도 중 어느 하나 이상인 디지털 필적 데이터를 취득하는 제1 단계와;
상기 디지털 필적 데이터에서 원시필적과 비교할 분석값을 도출하는 제2 단계로서,
상기 분석값은,
객체 가려짐 여부(occluded), 객체 세부 정보(property), 객체의 대분류(property supercategory), 객체의 고유 번호(property category id), 객체의 글자와 문자열 값(property name), 시계열 데이터의 시간 변화정보(time stamp), 시계열 데이터의 센서, 필적 상태 DOWN/UP/MOVE, 필적 위치 x 좌표(x), 필적 위치 y 좌표(y), 필압(pressure), 방향(vector), 필적 속도(velocity magnitude), 필적 가속도(cceleration magnitude), 연속된 5개 샘플에 대한 최저속도와 최대속도의 비(ratio minimum maximum speed 5 samples), 연속된 3개 샘플이 이루는 각의 라디안 값(angle consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 사인 값(sine consecutive samples), 연속된 3개 샘플이 이루는 각의 라디안 값의 코사인 값(cosine consecutive samples) 중 어느 하나 또는 그 것들을 혼용하여 계산된 분석값을 포함하고,
감식프로그램을 통해 도출된 상기 분석값을 원시필적과 딥러닝 알고리즘을 통해 비교되어, 그 결과를 유저에게 반환하는 제3 단계로 이루어진 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.
From the handwriting of the subject to be evaluated, the time and position of the object bounding box X-axis minimum value, the object bounding box Y-axis minimum value, the object bounding box A first step of acquiring digital handwriting data that is at least one of handwriting acceleration and handwriting angular velocity;
As a second step of deriving an analysis value to be compared with the original handwriting from the digital handwriting data,
The analysis value is,
Whether the object is occluded (occluded), object details (property), object supercategory (property supercategory), object unique number (property category id), object letter and string value (property name), time change information of time series data (time stamp), sensor of time series data, handwriting status DOWN/UP/MOVE, handwriting position x coordinate (x), handwriting position y coordinate (y), pen pressure, direction (vector), handwriting speed (velocity magnitude) , acceleration magnitude, ratio minimum maximum speed 5 samples, radian value of the angle formed by 3 consecutive samples (angle consecutive samples), An analysis value calculated using either the sine value of the radian value of the angle formed by three samples (sine consecutive samples) or the cosine value of the radian value of the angle formed by three consecutive samples (cosine consecutive samples), or a combination thereof. Contains,
An authenticity assessment method for digital handwriting, characterized in that the third step is to compare the analysis value derived through an identification program with the raw handwriting through a deep learning algorithm and return the result to the user.
삭제delete 삭제delete 제1항에 있어서,
상기 딥러닝 알고리즘은,
CNNs(Convolutional Neural Networks), LSTMs(Long Short Term Memory Networks), RNNs(Recurrent Neural Networks), GANs(Generative Adversarial Networks), RBFNs(Radial Basis Function Networks), MLPs(Multilayer Perceptrons), SOMs(Self Organizing Maps), DBNs(Deep Belief Networks), RBMs( Restricted Boltzmann Machines), ViT(VIsion Transformer) 중 어느 하나인 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.
According to paragraph 1,
The deep learning algorithm is,
Convolutional Neural Networks (CNNs), Long Short Term Memory Networks (LSTMs), Recurrent Neural Networks (RNNs), Generative Adversarial Networks (GANs), Radial Basis Function Networks (RBFNs), Multilayer Perceptrons (MLPs), Self Organizing Maps (SOMs) , an authenticity appraisal method for digital handwriting, characterized by one of DBNs (Deep Belief Networks), RBMs (Restricted Boltzmann Machines), and ViT (VIsion Transformer).
제1항에 있어서,
상기 딥러닝 알고리즘은,
CNNs+LSTM인 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.
According to paragraph 1,
The deep learning algorithm is,
An authenticity assessment method for digital handwriting characterized by CNNs+LSTM.
삭제delete 제1항에 있어서,
상기 디지털 필적 데이터는,
디지털 전자 펜 또는 펜 접촉 감응형 전자 패드 중 어느 하나에 의해 독출되는 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.
According to paragraph 1,
The digital handwriting data is,
An authenticity assessment method for digital handwriting, characterized in that it is read by either a digital electronic pen or a pen contact-sensitive electronic pad.
삭제delete 제1항에 있어서,
상기 원시필적은,
상기 제1 단계에서 획득된 디지털 필적 데이터의 축적에 의해 생성된 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.
According to paragraph 1,
The original handwriting is,
An authenticity appraisal method for digital handwriting, characterized in that it is created by accumulating digital handwriting data obtained in the first step.
제1항 또는 제9항 중 어느 한 항에 있어서,
상기 원시필적은,
딥러닝을 구성하는 은닉층(hidden layer)에 기록되거나 구조화되는 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.
According to any one of paragraphs 1 and 9,
The original handwriting is,
An authenticity appraisal method for digital handwriting, which is characterized by being recorded or structured in a hidden layer that constitutes deep learning.
제1항에 있어서,
상기 감식프로그램은,
디지털 전자 펜 또는 펜 접촉 감응형 전자 패드와 회로적으로 연동되도록 PC 또는 모바일 디바이스에 설치되는 응용프로그램 또는 앱어플리케이션 중 어느 하나인 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.
According to paragraph 1,
The detection program is,
An authenticity assessment method for digital handwriting, characterized in that it is one of an application program or app application installed on a PC or mobile device to be circuitly linked to a digital electronic pen or pen contact-sensitive electronic pad.
제1항 또는 제11항 중 어느 한 항에 있어서,
상기 감식프로그램은, 유저용과 관리자용 감식프로그램을 포함하는 것을 특징으로 하는 디지털 필적에 대한 진정성 감정방법.According to any one of claims 1 and 11,
The authentication program is a method of authenticating digital handwriting, characterized in that it includes an identification program for users and an administrator.