KR102093379B1 - Method for digital management and analysis of test and system thereof - Google Patents
Method for digital management and analysis of test and system thereof Download PDFInfo
- Publication number
- KR102093379B1 KR102093379B1 KR1020180082758A KR20180082758A KR102093379B1 KR 102093379 B1 KR102093379 B1 KR 102093379B1 KR 1020180082758 A KR1020180082758 A KR 1020180082758A KR 20180082758 A KR20180082758 A KR 20180082758A KR 102093379 B1 KR102093379 B1 KR 102093379B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- test
- electronic pen
- analysis
- item
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 253
- 238000004458 analytical method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims description 29
- 238000007726 management method Methods 0.000 claims description 67
- 238000012790 confirmation Methods 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000000059 patterning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 238000012038 vulnerability analysis Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템은, 패턴 데이터가 포함된 시험지와 OMR 카드를 포함한 패턴 종이; 상기 패턴 종이상의 펜의 움직임 데이터를 생성하는 전자펜; 상기 전자펜에서 생성된 데이터로부터 시험 데이터를 추출하여 채점 데이터를 생성하고 시험 분석 데이터를 생성하는 컴퓨팅 장치; 및 상기 전자펜에서 생성된 데이터를 상기 컴퓨팅 장치로 전달하고, 상기 컴퓨팅 장치로부터 수신된 채점 데이터와 시험 분석 데이터를 출력하는 단말;을 포함하는 것을 특징으로 한다.Digital test management / analysis system according to an embodiment of the present invention, the pattern paper including the test paper and OMR card containing the pattern data; An electronic pen that generates motion data of the pen on the pattern paper; A computing device that extracts test data from data generated by the electronic pen to generate scoring data and generates test analysis data; And a terminal which transmits data generated by the electronic pen to the computing device and outputs scoring data and test analysis data received from the computing device.
Description
본 발명은 디지털 시험 관리 및 분석에 관한 것으로 특히, 디지털 방식으로 시험에 대한 실시간 채점 및 분석을 위한 방법과 그를 위한 시스템에 관한 것이다.The present invention relates to digital test management and analysis, and more particularly, to a method and system for real-time scoring and analysis of digital tests.
종래 학교, 학원, 및 전문 교육기관들과 같은 교육 현장에서는 시험지와 OMR 카드를 제공하고 응시자는 수성펜을 도구로 하여 상기 OMR 카드에 답을 마킹하면, 이를 읽을 수 있는 매체를 통하여 채점하는 방식을 이용하였다. 다만, 이러한 방식은 시험 채점 및 분석에 많은 시간과 비용이 소요되어 비효율적이고 최근 대두되는 맞춤형 학습과 관련한 학습 지도에 한계가 있다.Conventional schools, academies, and professional educational institutions provide a test paper and an OMR card, and candidates use a water-based pen as a tool to mark the answer on the OMR card. Did. However, this method is time-consuming and costly for test scoring and analysis, so it is inefficient and has limitations in learning guidance related to customized learning.
한편, 교육 현장에서는 최근 이러한 종이를 이용한 전통적인 시험 방식에 나아가 컴퓨터를 이용한 온라인 시험을 채용하기도 하는데, 이러한 온라인 시험 방식은 별도의 특정 소프트웨어를 다운로드받아 설치하는 등 컴퓨터 사용에 익숙해야 하는 점, 반드시 지정된 장소에서 시험을 치러야 하는 점, 컴퓨터가 필요한 환경이어야만 하는 한계가 있어 여전히 불편함이 있다.
다른 한편, 본 발명과 관련된 기술로는 일본 공개특허공보 특개2003-107979호(2003. 04. 11.), 인용발명2: 공개특허공보 제10-2013-0137974호(2013. 12. 18.) 및/또는 일본 공개특허공보 특개2009-199381호(2009. 09. 03.) 등을 찾아볼 수 있다.On the other hand, in the field of education, in addition to the traditional test method using paper, online test using a computer is also employed in recent years, and these online test methods must be familiar with computer use, such as downloading and installing specific software. There is still the inconvenience of having to take a test in a place, and there is a limitation that it must be an environment where a computer is required.
On the other hand, as a technology related to the present invention, Japanese Patent Application Publication No. 2003-107979 (2003. 04. 11.), Citation Invention 2: Patent Publication No. 10-2013-0137974 (2013. 12. 18.) And / or Japanese Patent Application Laid-open No. 2009-199381 (2009. 09. 03.).
본 발명의 일 과제는, 디지털 시험 관리 및 분석 방법을 제안하는데 있다.One object of the present invention is to propose a digital test management and analysis method.
본 발명의 다른 과제는, 특정 패턴과 전자펜을 이용한 디지털 방식으로 실시간으로 시험 채점 및 풀이 분석 방법을 제안하는데 있다.Another object of the present invention is to propose a test scoring and solution analysis method in real time digitally using a specific pattern and an electronic pen.
본 발명의 또 다른 과제는, 시험 응시자 개별적으로 전자펜을 이용한 정답 체크, 문제 풀이 과정 등의 기록 행동 패턴 분석을 통해 시간의 형태로 결과를 추출 및 데이터로 산출하여 각 시험 문제마다 풀이한 시간에 대한 취약점 분석 등을 지원하는 방법을 제안하는데 있다.Another subject of the present invention, test takers individually extract the results in the form of time through the analysis of recorded behavior patterns such as correct answer check and problem solving process using an electronic pen, and calculate the data at the time solved for each test question This is to propose a method to support vulnerability analysis for Korea.
본 발명의 또 다른 과제는, 디지털 시험 관리 및 분석 방법을 통하여 시험 관리의 시간을 줄이고 비용 절감 및 시험 관리 효율성을 높이는데 있다.Another object of the present invention is to reduce the time of test management through digital test management and analysis methods, to reduce costs and increase test management efficiency.
본 발명의 또 다른 과제는, 위와 같은 방법(들)을 구현하기 위한 장치 내지 시스템을 제안하는데 있다.Another object of the present invention is to propose an apparatus or system for implementing the above method (s).
본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the above technical problems, and other technical problems that are not mentioned will be clearly understood by those having ordinary knowledge in the technical field to which the present invention belongs from the following description.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템은, 패턴 데이터가 포함된 시험지와 OMR 카드를 포함한 패턴 종이; 상기 패턴 종이상의 펜의 움직임 데이터를 생성하는 전자펜; 상기 전자펜에서 생성된 데이터로부터 시험 데이터를 추출하여 채점 데이터를 생성하고 시험 분석 데이터를 생성하는 컴퓨팅 장치; 및 상기 전자펜에서 생성된 데이터를 상기 컴퓨팅 장치로 전달하고, 상기 컴퓨팅 장치로부터 수신된 채점 데이터와 시험 분석 데이터를 출력하는 단말;을 포함하는 것을 특징으로 한다.Digital test management / analysis system according to an embodiment of the present invention, the pattern paper including the test paper and OMR card containing the pattern data; An electronic pen that generates motion data of the pen on the pattern paper; A computing device that extracts test data from data generated by the electronic pen to generate scoring data and generates test analysis data; And a terminal which transmits data generated by the electronic pen to the computing device and outputs scoring data and test analysis data received from the computing device.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 패턴 데이터는, 상기 전자펜에 의해 읽을 수 있는 도트 패턴을 이용하여 구현되고, 각 도트는 좌표 데이터를 가지는 것을 특징으로 한다.According to a digital test management / analysis system according to an embodiment of the present invention, the pattern data is implemented using a dot pattern readable by the electronic pen, and each dot is characterized by having coordinate data.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 움직임 데이터는, 상기 펜의 움직임 감지에 따른 펜의 위치, 속도, 및 필압 데이터 중 적어도 하나를 포함하고, 그로부터 계산된 펜의 움직임에 관한 데이터인 것을 특징으로 한다.According to a digital test management / analysis system according to an embodiment of the present invention, the motion data includes at least one of a pen position, speed, and pen pressure data according to the motion detection of the pen, and the pen data calculated therefrom It is characterized in that it is data about movement.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 컴퓨팅 장치는, 상기 OMR 카드 내 특정 영역에 대한 상기 전자펜의 움직임 데이터에 기초하여 상기 채점 데이터를 생성하고, 상기 시험지에 대한 상기 전자펜의 움직임 데이터로부터 시험 개시, 문항 확인, 문항 중복 확인, 문항 풀이 종료, 및 시험 종료에 대한 타임 스탬프를 발행하고 상기 발행된 타임 스탬프와 관련된 식별 데이터를 함께 발행하는 것을 특징으로 한다.According to a digital test management / analysis system according to an embodiment of the present invention, the computing device generates the scoring data based on motion data of the electronic pen with respect to a specific area in the OMR card, and for the test paper It is characterized by issuing time stamps for test initiation, item confirmation, item duplication confirmation, item resolution termination, and test termination from the motion data of the electronic pen, and issuing identification data associated with the issued time stamp together.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 시험지상에 각 문항 영역에는, 해당 문항을 식별하는 식별자를 포함하는 것을 특징으로 한다.According to a digital test management / analysis system according to an embodiment of the present invention, each item area on the test paper includes an identifier for identifying the item.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 OMR 카드는, 상기 시험 응시자의 ID 넘버와 이름을 식별하는 식별항목, 응시 등록을 위한 엔트리항목, 문항에 대한 답을 마킹하는 항목 및 시험 종료를 식별을 위한 종료항목을 포함하는 것을 특징으로 한다. According to a digital test management / analysis system according to an embodiment of the present invention, the OMR card marks an identification item identifying an ID number and a name of the test taker, an entry item for test registration, and an answer to a question It characterized by including the end item for identification of the item and the end of the test.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 컴퓨팅 장치는, 상기 전자펜을 통해 입력되는 데이터로부터 정답 및 문제풀이 결과가 정상적으로 집계되는지 판단하고, 상기 판단 결과에 따라 시스템의 이상 유무를 체크하고 수동 모드 전환 여부를 결정하는 것을 특징으로 한다. According to a digital test management / analysis system according to an embodiment of the present invention, the computing device determines whether a correct answer and a problem solving result are normally aggregated from data input through the electronic pen, and according to the determination result, It is characterized by checking whether there is an abnormality and determining whether to switch to the manual mode.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 컴퓨팅 장치는, 상기 전자펜을 통해 입력되는 데이터로부터 시험 종료가 인식되면, 자동으로 채점을 수행하여 상기 채점 결과 데이터를 상기 단말로 전송하고, 상기 단말을 통해 전송된 채점 결과 데이터에 대한 피드백 또는 상기 전자펜을 통해 채점 결과 데이터에 대한 피드백에 따라 상기 전자펜을 통해 입력되는 데이터로부터 주관식 항목에 대한 데이터에 대해 재채점을 하고, 변동이 없는 경우에는 수동 확인 요청을 상기 단말로 전송하는 것을 특징으로 한다.According to the digital test management / analysis system according to an embodiment of the present invention, when the end of the test is recognized from the data input through the electronic pen, the computing device automatically performs scoring to transmit the scoring result data to the terminal. And re-scoring the data for the subjective item from the data input through the electronic pen according to the feedback on the scoring result data transmitted through the terminal or the feedback on the scoring result data through the electronic pen. In case there is no change, a manual confirmation request is transmitted to the terminal.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 시스템에 따르면, 상기 컴퓨팅 장치는, 상기 채점 결과 데이터와 함께 상기 시험지상의 전자펜의 움직임 데이터로부터 추출된 필기 데이터를 추출하여 인식된 데이터와 상기 전자펜의 움직임 데이터 또는 그에 대응하여 발행된 타임스탬프로부터 추출된 문항별 문제풀이 시간 데이터를 참조하여 상기 시험 분석 데이터를 생성하는 것을 특징으로 한다. According to a digital test management / analysis system according to an embodiment of the present invention, the computing device extracts handwritten data extracted from motion data of the electronic pen on the test paper along with the scoring result data and the recognized data and the It is characterized in that the test analysis data is generated by referring to the problem solving time data for each item extracted from the motion data of the electronic pen or a timestamp issued correspondingly.
본 발명의 일실시예에 따른 디지털 시험 관리/분석 방법은, 전자펜 상태를 확인하고 시험 시작을 확인하는 단계; 패턴 데이터가 포함된 시험지와 OMR 카드를 포함한 패턴 종이상의 상기 전자펜 움직임 데이터를 수신하는 단계; 상기 전자펜 움직임 데이터로부터 시험 데이터를 추출하여 채점 및 시험 분석을 수행하여 채점 결과 데이터와 시험 분석 데이터를 생성하는 단계; 및 상기 생성된 채점 결과 데이터와 시험 분석 데이터를 단말을 통해 출력하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.Digital test management / analysis method according to an embodiment of the present invention, checking the state of the electronic pen and confirming the start of the test; Receiving the motion data of the electronic pen on a pattern paper including an OMR card and a test paper including pattern data; Extracting test data from the electronic pen motion data to perform scoring and test analysis to generate scoring result data and test analysis data; And outputting the generated scoring result data and test analysis data through a terminal.
상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.According to the present invention as described above, the effects described below can be obtained. However, the effect obtainable through the present invention is not limited thereto.
첫째, 본 발명에 따르면, 디지털 시험 관리 및 분석 방법을 제안할 수 있는 효과가 있다.First, according to the present invention, there is an effect that can propose a digital test management and analysis method.
둘째, 본 발명에 따르면, 특정 패턴과 전자펜을 이용한 디지털 방식으로 실시간으로 시험 채점 및 풀이 분석 방법을 제안할 수 있는 효과가 있다.Second, according to the present invention, it is possible to propose a test scoring and solution analysis method in real time in a digital manner using a specific pattern and an electronic pen.
셋째, 본 발명에 따르면, 시험 응시자 개별적으로 전자펜을 이용한 정답 체크, 문제 풀이 과정 등의 기록 행동 패턴 분석을 통해 시간의 형태로 결과를 추출 및 데이터로 산출하여 각 시험 문제마다 풀이한 시간에 대한 취약점 분석 등을 지원하는 방법을 제안할 수 있는 효과가 있다.Third, according to the present invention, test takers individually extract the results in the form of time and analyze the recorded behavior patterns, such as checking the correct answer using an electronic pen and solving problems, and calculate the data for each test question. It has the effect of suggesting a method to support vulnerability analysis.
넷째, 본 발명에 따르면, 디지털 시험 관리 및 분석 방법을 통하여 시험 관리의 시간을 줄이고 비용 절감 및 시험 관리 효율성을 높일 수 있는 효과가 있다.Fourth, according to the present invention, through the digital test management and analysis method, there is an effect of reducing the time of test management and reducing costs and increasing test management efficiency.
다섯째, 본 발명에 따르면, 위와 같은 방법(들)을 구현하기 위한 장치 내지 시스템을 제안할 수 있는 효과가 있다.Fifth, according to the present invention, there is an effect that can propose an apparatus or system for implementing the above method (s).
도 1은 본 발명에 따른 디지털 시험 관리/분석 시스템 (100)을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 서버(130) 또는 관리 단말(140)의 구성 블록도이다.
도 3은 본 발명의 일실시예에 따른 디지털 시험 관리/분석 방법을 설명하기 위해 도시한 순서도이다.
도 4는 본 발명의 다른 일실시예에 따른 디지털 시험 관리/분석 방법을 설명하기 위해 도시한 순서도이다.
도 5는 본 발명의 일실시예에 따른 시험지(112)의 상세 도면이다.
도 6은 본 발명의 일실시예에 따른 OMR 카드(114)의 상세 도면이다.
도 7은 본 발명의 일실시예에 따른 디지털 시험 분석 데이터를 설명하기 위해 도시한 도면이다.1 is a diagram illustrating a digital test management /
2 is a configuration block diagram of a
3 is a flowchart illustrating a digital test management / analysis method according to an embodiment of the present invention.
4 is a flowchart illustrating a digital test management / analysis method according to another embodiment of the present invention.
5 is a detailed diagram of a
6 is a detailed view of the
7 is a diagram illustrating digital test analysis data according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below, in conjunction with the accompanying drawings, is intended to describe exemplary embodiments of the invention, and is not intended to represent the only embodiments in which the invention may be practiced.
단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Only the present embodiments are provided to make the publication of the present invention complete, and to fully disclose the scope of the invention to those skilled in the art to which the invention pertains, and the present invention will be defined by the scope of the claims. That's it.
몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted, or block diagrams centered on the core functions of each structure and device may be illustrated. In addition, the same components throughout the specification will be described using the same reference numerals.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part "comprising or including" a certain component, it means that other components may be further included instead of excluding other components, unless otherwise specified. do.
또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, the term “… part” described in the specification means a unit that processes at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software. Furthermore, "a (an or an)", "one (one)", and similar terms in the context of describing the present invention, unless otherwise indicated or explicitly contradicted by the context, both singular and plural. It can be used in a sense that includes.
아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.In addition, specific terms used in the embodiments of the present invention are provided to help understanding of the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms, are used in the present invention. It has the same meaning as commonly understood by those of ordinary skill in the art. The use of these specific terms can be changed to other forms without departing from the technical spirit of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The detailed description set forth below, in conjunction with the accompanying drawings, is intended to describe exemplary embodiments of the invention, and is not intended to represent the only embodiments in which the invention may be practiced.
본 발명은 교육 현장에서 시행되고 있는 종래 종이를 이용한 시험 방식을 디지털화하여 실시간 채점, 분석 등이 가능한 디지털 시험 관리/분석 방법 및 시스템을 제공하고자 한다. 이를 위해, 본 발명에서는 후술하는 바와 같이, 패턴 종이, 전자펜, 단말(또는 서버) 등을 이용하여 더욱 간단하면서 빠르고 효율적인 디지털 시험 관리/분석 시스템을 구성한다.The present invention intends to provide a digital test management / analysis method and system capable of real-time scoring, analysis, etc. by digitizing a test method using a conventional paper that is being executed in an educational field. To this end, in the present invention, as described later, a simple, fast and efficient digital test management / analysis system is constructed using a pattern paper, an electronic pen, a terminal (or a server), and the like.
도 1은 본 발명에 따른 디지털 시험 관리/분석 시스템 (100)을 설명하기 위해 도시한 도면이다.1 is a diagram illustrating a digital test management /
도 1을 참고하면, 디지털 시험 관리/분석 시스템(100)은, 패턴 종이(110), 전자펜(116), 및 서버(130)를 포함하여 구성된다. 여기서, 상기 전자펜(116)과 서버(130) 간 데이터 커뮤니케이션 내지 통신(이하 데이터 커뮤니케이션)은 유/무선 통신 네트워크(120)를 통하여 이루어진다.Referring to FIG. 1, the digital test management /
상기 패턴 종이(110)는, 패턴 데이터가 포함된 시험지(112)와 OMR 카드(114)를 포함한다. 여기서, 상기 시험지(112)와 OMR 카드(114)는 둘 다 또는 어느 하나가 미리 정의된 방식으로 전자펜(116)에 의해 읽을 수 있도록 패턴화되어 있을 수 있다. 여기서, 상기 패턴화는 도 1에 도시된 바와 같이, 도트 패턴(Dot pattern) 방식을 예로 하나, 반드시 이에 한정되는 것은 아니다. 또한, 상기 패턴화(118)는 상기 시험지(112)와 OMR 카드(114)의 전체 또는 적어도 일영역에 대하여 이루어질 수 있으며, 후자의 경우 상기 전자펜(116)과 연동하여 상기 시험지(112)와 OMR 카드(114) 내 백지 부분을 제외한 유의미한 데이터를 형성할 수 있는 영역을 의미할 수 있다. 한편, 상기 도트 패턴(118)은 각각 좌표 데이터를 가질 수 있으며 구현 예에 따라 그 모양, 크기, 간격 등이 다양한 방식으로 정의될 수 있다.The
상기 전자펜(116)은 상기 패턴 종이(110)상에 펜의 움직임 감지에 따른 펜의 위치, 속도, 필압 데이터 등 중 적어도 하나에 대한 움직임 데이터를 생성하는데, 상기 펜의 위치는 상기 패턴 종이(110)상에 형성된 도트 패턴(118)을 이용하여 획득될 수 있다. 이러한 전자펜(116)은, 디지털 방식의 펜, 스타일러스 등 디지털 또는 전자적으로 데이터를 읽거나 생성하는 모든 장치를 포함하며 그 명칭에 구애되지 않는다. 시스템에 따라 상기 전자펜(116)은 특정 데이터를 임의 제거하거나 카메라와 같은 이미지 센서를 통하여 특정 영역을 캡쳐(capture)할 수도 있다.The
상기 서버(130)는, 상기 전자펜(116)을 통한 디지털 데이터를 수신하여 시험 채점, 분석, 관리 등을 하는 전자 장치를 의미하는 것으로, 도 1을 참조하면, 관리 단말(140)과 컴퓨팅 장치(150)를 포함하여 구성되나, 반드시 이에 한정되는 것은 아니다. 예컨대, 도 1에 도시된 바와 달리, 상기 관리 단말(140)과 컴퓨팅 장치(150)는 하나의 구성요소로서 구현될 수도 있다. 한편, 상기 관리 단말(140)과 컴퓨팅 장치(150)는 각각 복수 개일 수 있다. 상기 컴퓨팅 장치(150)는 상기 전자펜(116)에서 생성된 디지털 데이터로부터 시험 데이터를 추출하여 채점 데이터를 생성하고 시험 분석 데이터를 생성할 수 있다. 구현 예에 따라, 상기 컴퓨팅 장치(150)는 기록용 서버나 데이터베이스를 포함할 수도 있다. 한편, 상기 관리 단말(140)은 상기 전자펜(116)에서 생성된 디지털 데이터를 상기 컴퓨팅 장치(150)로 전달하고, 상기 컴퓨팅 장치(150)로부터 수신된 채점 데이터와 시험 분석 데이터를 출력할 수 있다. 다만, 상기 관리 단말(140)과 컴퓨팅 장치(150)의 각 기능은 전술한 내용에 의해 제한되지 않는다.The
한편, 상기 유/무선 통신 네트워크(120)는 상기 전자펜(116)과 서버(130) 사이에는 텍스트(Text), 디지털 이미지, 디지털 영상, 디지털 음성 정보 등 다양한 포맷의 데이터 커뮤니케이션을 지원하는 데이터 통신망으로서, 그 종류가 특별히 제한되지는 않느다. 도 1에서는 편의상 블루투스 방식이 예시되었으나, 반드시 이에 한정되는 것은 아니다. 이때, 상기 블루투스 방식의 경우, 한 번에 상기 서버(130)로 연결되는 전자펜(116)이 복수개(예컨대, 20개 이상과 같이)인 경우에 데이터 커뮤니케이션을 지원하기 위하여 블루투스 게이트웨이가 채용될 수도 있다. 예를 들어, 인터넷 프로토콜을 통하여 대용량 데이터 커뮤니케이션을 지원하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망일 수 있다. 또한, 상기 유/무선 통신 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동 통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동 통신망, LTE advanced(LTE-A)를 포함하는 이동 통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나이거나 또는 이들 중 적어도 하나 이상의 결합에 의하여 형성될 수도 있다.Meanwhile, the wired /
한편, 상기 서버(130)는 비록 도 1에 도시되진 않았으나 결제 서버(PG: Payment server), 클라이언트 서버 등을 더 포함할 수 있다. Meanwhile, the
본 발명에서, 상기 전자펜(116)은 시험과 관련하여 생성한 데이터를 상기 서버(130)로, 실시간으로 스트리밍 방식으로 전송, 미리 정의된 시간 내지 시험 문항(예컨대, 5문항 마다, 10문항 마다 등) 또는 데이터 크기 단위로 전송, 또는 후술하는 바와 같이 시험 시작 인식 후 시험 종료 인식 시에 한꺼번에 데이터를 전송할 수도 있다.In the present invention, the
또한, 상기 서버(130)는 본 발명에 따른 디지털 시험 관리/분석을 위한 장치로서 상기 전자펜(116)과 데이터 커뮤니케이션을 수행하여 획득한 데이터를 처리 가능한 모든 장치를 포함할 수 있다. 이러한 상기 서버(130)는 단말 형태로 구현될 수도 있으며, 단말 장치, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D 장치(Device-to-Device) 장치 중 적어도 하나를 일실시예로 할 수 있다. 물론, 어디까지나 이는 예시에 불과할 뿐이며, 본 발명에서의 단말은 상술한 예시들 이외에도 현재 개발되어 상용화되었거나 또는 향후 개발될 데이터 또는 신호 전송이 가능한 모든 장치를 포함하는 개념으로 해석되어야 한다.In addition, the
이 때, 상기 서버(130)와 전자펜(116) 중 적어도 하나 이상은, 본 발명과 관련하여, 디지털 시험 관리/분석을 위하여 관련 서비스 어플리케이션 또는 그 이용과 관련된 API(Application Program Interface) 또는 임베디드 소프트웨어(Embaded Software)를 포함할 수 있다. At this time, at least one or more of the
또는, 상기 서버(130)와 전자펜(116) 중 적어도 하나 이상은 본 발명에 일실시예에 따른 디지털 시험 관리/분석과 관련하여 상호 간에 데이터 커뮤니케이션을 위한 전용 장치(dedicated apparatus)일 수도 있다.Alternatively, at least one of the
한편, 본 발명에 따른 상기 서버(130)는 상기 전자펜(116)에 관한 데이터 등으로부터 맞춤형 서비스 및 학습 지도 서비스 등을 위하여 필요한 데이터/빅데이터를 수집, 처리, 저장 등을 수행하는 장치, 모듈 등을 더 포함할 수 있다. On the other hand, the
전술한 결제 서버(미도시)는, 상기 서버(130)의 일 구성요소 또는 별도의 외부 결제 서버 또는 결제 서비스 플랫폼과 연동될 수 있다.The above-described payment server (not shown) may be linked to one component of the
또한, 상기 서버(130)는, 클라우드(Cloud) 서버, IMS(IP Multimedia Subsystem) 서버, 텔레포니 어플리케이션(Telephony Application) 서버, IM(Instant Messaging) 서버, MGCF(Media Gateway Control Function) 서버, MSG(Messaging Gateway) 서버, CSCF(Call Session Control Function) 서버 등 중 적어도 하나를 일실시예로 할 수 있으며, 상기 서버(130)는 PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer) 등 데이터 커뮤니케이션이 가능한 개체를 지칭하는 장치로 구현될 수도 있다.In addition, the
도 2는 본 발명의 일실시예에 따른 서버(130) 또는 관리 단말(140)의 구성 블록도이다.2 is a configuration block diagram of a
도 2를 참조하면, 본 발명의 일실시예에 따른 디지털 시험 관리/분석을 위한 서버(130) 또는 컴퓨팅 장치(150)는, 상기 OMR 카드(114) 내 특정 영역에 대한 상기 전자펜(116)의 움직임 데이터에 기초하여 상기 채점 데이터를 생성하고, 상기 시험지(112)에 대한 상기 전자펜(116)의 움직임 데이터로부터 시험 개시, 문항 확인, 문항 중복 확인, 문항 풀이 종료, 및 시험 종료에 대한 타임 스탬프(time stamp)(도 7 참조)를 발행하고 상기 발행된 타임 스탬프와 관련된 식별 데이터(도 7 참조)를 함께 발행한다. 이를 위해 서버(130) 또는 컴퓨팅 장치(150)는, 데이터 통신부(201), 식별 모듈(202), 전자펜 데이터 처리 모듈(203), 채점 데이터 처리 모듈(204), 시험 분석 모듈(205), 그 밖에 디지털 시험 관리/분석 서비스에 관련된 서비스 제어 모듈(206) 등 중 적어도 하나 이상을 포함하여 구현될 수 있다.Referring to FIG. 2, a
이때, 상기 서버(130) 또는 컴퓨팅 장치(150)는 전술한 각종 데이터를 저장하는 데이터베이스(DB)(207), 결제 서버(미도시) 등 중 적어도 하나를 더 포함할 수도 있다. In this case, the
상기 데이터베이스(DB)(207)는 편의상 상기 서버(130) 또는 컴퓨팅 장치(150)의 일 구성요소로 도시하고 설명하나, 반드시 이에 한정되는 것은 아니며, 전술한 바와 같이 상기 서버(130) 또는 컴퓨팅 장치(150)와는 별개 구성이나 서버(130) 또는 컴퓨팅 장치(150)로부터 전자펜 데이터, 디지털 시험 분석 데이터를 포함한 다양한 데이터를 수신하여 저장하거나 상기 서버(130) 또는 컴퓨팅 장치(150)의 데이터 독출 요청에 따라 저장된 데이터를 상기 서버(130) 또는 컴퓨팅 장치(150))(또는 외부 단말장치)로 전송 가능한 모든 장치를 포함할 수 있다.The database (DB) 207 is illustrated and described as a component of the
상기 데이터 통신부(201)는 전용선 또는 유/무선 인터넷(IP)망 등을 통하여 전자펜(116)과 데이터를 송/수신한다. 상기 데이터 통신부(201)로 입력되는 데이터들은 상기 전자펜(116) 식별 정보 또는/및 상기 전자펜(116) 사용자 즉, 시험 응시자의 개인 정보, 디지털 시험 응시/학습/분석 정보, 관련 서비스 어플리케이션 실행 정보, 상기 서비스 어플리케이션의 각종 이용 정보, 서비스 어플리케이션을 통한 서비스 요청 및 이용 정보, 서비스 이용 언어 정보, 실시간 서비스 이용 시간, 기 이용 히스토리 등에 관한 정보, 시험 레벨/횟수 정보 등 중 적어도 하나 이상이 포함될 수 있다. 상술한 입력 데이터는 데이터베이스(DB)(208)에 단말(또는 전자펜(116)), 응시자, 그룹 단위 등으로 구분되어 저장될 수 있다.The
식별 모듈(202)은, 서버(130) 또는 컴퓨팅 장치(150)에서 제공하는 디지털 시험 관리/분석 서비스 플랫폼을 이용하여 전자펜(116)의 입력 데이터로부터 상기 전자펜(116), 응시자, 시험 등에 대한 데이터를 추출하여 인식하고 식별한다. 이때, 상기 전자펜(116)에 마이크(미도시)가 부착된 경우에는 음성 인식을 통하여, 터치 또는 지문인식센서가 부착된 경우에는 지문을 통하여, 이미지 센서가 부착된 경우에는 이미지 센싱을 통하여, 기타 센서에 기초한 제스처 인식을 통하여, 또는 상기한 실시예들의 하나 또는 그 이상의 조합을 통하여 식별이 이루어질 수 있다.The identification module 202 uses the digital test management / analysis service platform provided by the
상기 전자펜 데이터 처리 모듈(203)은 전자펜(116)으로부터 입력되는 데이터로부터 시험 채점, 시험 분석 등과 관련된 데이터를 식별하여 추출하여 디코딩한다. 상기 시험 채점, 시험 분석 등과 관련된 데이터라 함은 본 발명과 관련하여, 응시자가 시험지(112), OMR 카드(114) 등에 마킹한 데이터, 항목당 답안 마킹 소요시간, 답안 마킹을 위한 과정 데이터, 주관식 입력 데이터, 질문에 대한 반응이나 지문에 대한 반응 등을 포함한 상기 시험 채점 및 분석과 관련된 모든 데이터를 포함하는 의미이다. 상기 추출되는 데이터는 텍스트, 이미지, 비디오, 음성 등의 형태일 수 있으며, 그에 따른 데이터 디코더를 포함할 수도 있다. 이렇게 디코딩된 데이터는 채점 데이터 처리 모듈(204), 시험 분석 모듈(205), 서비스 제어 모듈(206), 데이터베이스(DB)(207) 중 적어도 하나로 전송될 수 있다.The electronic pen data processing module 203 identifies, extracts, and decodes data related to test scoring and test analysis from data input from the
상기 전자펜(116)을 통하여 입력되는 데이터가 텍스트이거나 음성인 경우에 필요시 STT(Speech to Text)나 TTS(Text to Speech)를 통해 이를 가공 처리하여 이용하는 것도 본 발명의 권리범위에 포함된다 할 것이다.When the data input through the
상기 전자펜(116)으로부터 입력되는 데이터에 음성 데이터가 포함되면, 음성인식 모듈(미도시)은 활성화되어 상기 입력 데이터 내 음성 데이터를 인식하고 인식된 음성 데이터의 언어 종류를 식별하고, 인식 및 식별된 음성 데이터를 텍스트 등의 형태로 가공하여 제공할 수 있다. 이를 통해, 예컨대, 신체적인 장애가 있는 응시자(handicapped user)의 경우에도 본 발명에 따르면 디지털 시험 관리/분석 서비스를 이용할 수 있다. 상기 언어 종류라 함은, 예컨대 한국어, 영어, 중국어, 일본어 등을 의미한다.When voice data is included in data input from the
채점 데이터 처리 모듈(204)은, 상기 전자펜 데이터 처리 모듈(203)으로부터 전송된 답안 데이터로부터 정답과 응시자의 답안을 대조하여 채점 관련 데이터를 처리한다.The scoring data processing module 204 processes scoring-related data by comparing the correct answer with the candidate's answer from the answer data transmitted from the electronic pen data processing module 203.
시험 분석 모듈(205)은, 상기 전자펜 데이터 처리 모듈(203), 채점 데이터 처리 모듈(204) 등의 데이터를 수신하여, 응시자의 시험에 대하여 미리 정의된 사항에 대한 분석을 수행한다. 여기서, 상기 미리 정의된 사항이라 함은, 채점 결과에 따른 응시자의 순위, 문항이나 문제 타입에 따른 응시자의 성취도, 응시자의 약점 부분과 장점 부분 판단, 상기 판단에 따른 추후 학습 모델링, 계획 등 다양한 사항이 포함될 수 있다. The
상기 시험 분석 모듈(205)은, 빅데이터 또는 머신 러닝 내지 딥 러닝(machine learning or deep learning)에 기반한 인공지능 프로세서(AI processor)를 이용하여 해당 시험에 대한 다양한 분석과 상기 분석에 따른 결과를 생성하여 저장/피드백할 수 있다. The
서비스 제어 모듈(206)은, 전술한 서버(130) 또는 컴퓨팅 장치(150)의 구성요소들을 관리 및 제어하여 디지털 시험 관리/분석 서비스 플랫폼의 기능을 관리 제어하기 위한 수단이다.The
그 밖에, 데이터베이스(DB)(207)는 전술한 구성들 중 적어도 하나와 데이터 커뮤니케이션하여 전자펜(116)의 입력 데이터, 디지털 시험 관리/분석 서비스 데이터 등을 포함한 다양한 데이터를 수집, 저장, 추출, 전달 등 중 적어도 하나를 수행한다. 상기 데이터베이스(DB)(207)는 본 발명과 관련하여 필요한 경우에는 추가로 더 포함될 수 있다.In addition, the database (DB) 207 collects, stores, and extracts various data including input data of the
한편, 전술한 도 1과 2의 각 구성요소 및 그들 간의 상호 연동 등 디지털 시험 관리/분석 서비스 상세에 대하여, 도 3 내지 도 7을 참조하여 더욱 상세하게 설명한다.On the other hand, the details of the digital test management / analysis service, such as the above-described components of FIG. 1 and 2, and interworking between them, will be described in more detail with reference to FIGS. 3 to 7.
도 3은 본 발명의 일실시예에 따른 디지털 시험 관리/분석 방법을 설명하기 위해 도시한 순서도이고, 도 4은 본 발명의 다른 일실시예에 따른 디지털 시험 관리/분석 방법을 설명하기 위해 도시한 순서도이고, 도 5는 본 발명의 일실시예에 따른 시험지(112)의 상세 도면이고, 도 6은 본 발명의 일실시예에 따른 OMR 카드(114)의 상세 도면이고, 도 7은 본 발명의 일실시예에 따른 디지털 시험 분석 데이터를 설명하기 위해 도시한 도면이다.3 is a flowchart illustrating a digital test management / analysis method according to an embodiment of the present invention, and FIG. 4 is a flowchart illustrating a digital test management / analysis method according to another embodiment of the present invention. Flowchart, Figure 5 is a detailed view of the
이하에서 서버(130)라 명명하여 설명하는 경우에도 그것은 관리 단말(140)과 컴퓨팅 장치(150)를 모두 포함하는 의미거나 상기 둘 중 어느 하나를 의미할 수 있으며, 이는 문맥에 따라 판단될 수 있다.In the following description, even if it is referred to as the
도 3을 참조하면, 본 발명의 일실시예에 따른 디지털 시험 관리/분석 방법은 다음과 같다.Referring to Figure 3, the digital test management / analysis method according to an embodiment of the present invention is as follows.
서버(130)는, 전자펜(116) 상태를 확인하고 시험 시작을 확인한다(S301).The
서버(130)는, 패턴 데이터가 포함된 시험지(112)와 OMR 카드(114)를 포함한 패턴 종이(110)상의 상기 전자펜(116) 움직임 데이터를 수신한다(S302).The
서버(130)는, 상기 전자펜(116) 움직임 데이터로부터 시험 데이터를 추출하여 채점 및 시험 분석을 수행하여 채점 결과 데이터와 시험 분석 데이터를 생성한다(S303).The
서버(130)는, 상기 생성된 채점 결과 데이터와 시험 분석 데이터를 단말(140)을 통해 출력한다(S304).The
도 4는 본 발명의 다른 일실시예에 따른 디지털 시험 분석/관리 방법에 관한 것으로, 이는 도 3의 상세 프로세스일 수도 있다.4 relates to a digital test analysis / management method according to another embodiment of the present invention, which may be a detailed process of FIG. 3.
디지털 시험 관리/분석을 위하여 해당 시험이 등록되었는지 판단하고(S401), 필요시 시험을 등록한다(S402). For digital test management / analysis, it is determined whether the corresponding test is registered (S401), and if necessary, the test is registered (S402).
시험 등록이 완료되었으면, 응시자가 이용할 전자펜(116)이 사용 준비되었는지 판단하고(S403), 필요시 전자펜(116) 사용 준비를 한다(S404).When the test registration is completed, it is determined whether the
전자펜 사용 준비가 되었으면, 시험지(112)와 OMR 카드(114)를 포함한 페턴 종이(110)가 준비되었는지 판단하고(S405), 필요시 시험지(112)와 OMR 카드(114)를 포함한 패턴 종이(110)를 준비한다(S406).When the electronic pen is ready for use, it is determined whether the
상기 S401 내지 S406 단계가 완료되면, 응시자에게 시험지(112), OMR 카드(114) 및 전자펜(116)을 교부한다(S407).When the steps S401 to S406 are completed, the
상기 S401 내지 S407 단계는 시험 관리를 위한 사람에 의해 이루어질 수 있으며, 이 경우 상기 각 단계는 반드시 도 4 및 전술한 순서에 의해 제한되지 않는다.The steps S401 to S407 may be performed by a person for test management, and in this case, each step is not necessarily limited by the sequence shown in FIG. 4 and above.
한편, 상기 S401 내지 S407 단계 중 적어도 하나 이상의 단계는 전자적으로 이루어질 수 있으며, 이 경우 서버(130) 또는 응시자의 전자펜(116)을 통해 이루어질 수 있고, 특히 후자의 경우에는 S407 단계가 미리 이루어진 경우로 볼 수 있다.Meanwhile, at least one of the steps S401 to S407 may be performed electronically, in this case through the
예를 들어, 서버(130)에서 전자펜(116)의 소유자 즉, 응시자의 시험 등록 여부를 판단하고, 필요한 경우 상기 응시자의 시험 등록을 요청할 수 있다. 이때, 상기 응시자의 시험 등록을 돕기 위해 상기 서버(130)는 데이터를 제공할 수 있다. 이러한 데이터는 음성, 진동 등 다양한 형태로 이루어질 수 있다. 한편, 상기 시험 등록은 별도의 웹페이지나 오프라인상에서 이루어질 수도 있다. 또는, 도 6에 도시된 OMR 카드(114)상의 ID 넘버와 이름을 포함한 응시자 정보란(610)에 전자펜(116)을 이용한 식별 데이터를 입력하고 엔트리 항목(620)을 체크함으로써 자동으로 등록이 이루어질 수도 있다.For example, the
서버(130)는 응시자의 전자펜(116)이 사용 준비되었는지 판단하고, 필요한 경우 전자펜(116) 사용 준비를 요청할 수도 있다. 여기서, 상기 전자펜(116) 사용 준비 판단은 응시자가 전자펜(116)을 이용하여 임의 데이터 또는 미리 정의된 데이터를 입력하고, 서버(130)에서 이를 수신하여 인식하는 것으로 간단히 판단할 수도 있다. 후자의 미리 정의된 데이터의 경우에는 단순 전자펜(116)이 인식에 그치는 것이 아니라 전자펜(116)의 기능 확인까지 함께 수행할 수 있다. 상기 미리 정의된 데이터는 응시자의 이름, 해당 시험 과목 이름, 응시 번호, 기타 미리 설정되어 저장된 데이터 등이 포함되어 해당 응시자, 시험 및 전자펜(116)의 기능까지 함께 판단할 수도 있다.The
서버(130)는 수험번호로 모든 응시자가 확인되었는지 판단하고(S408), 시험지(112), OMR 카드(114) 및 전자펜 상태를 확인한 후(S409), 문제가 없으면, 시험을 진행한다(S410). 상기 S408 내지 S409 단계는 전술한 바와 같이, 서버(130)와 전자펜(116)을 통한 디지털 방식으로 수행될 수 있다. 예를 들어, 도 6의 OMR 카드(112)상의 응시자 정보 항목(610)에 포함한 ID 넘버와 이름에 대한 응시자의 입력 데이터로부터 필기인식(HWR: Handwritten Recognition)을 통해 등록된 응시자 여부를 확인할 수도 있다. 관련하여, 전자펜(116)은 시험지(112)와 OMR 카드(114) 중 적어도 하나상에 응시자의 입력 데이터 즉, 필기 이동 궤적에 해당하는 좌표값들을 계산하고 이를 서버(130)로 전송하고, 서버에서는 상기 전자펜(116)으로부터 입력되는 값들의 기록 시간을 계산하여 저장한다.The
서버(130)는 OMR 카드(114)의 표기 오류로 교체를 원하는지 판단하고(S411), 필요시 OMR 카드(114) 교체 및 관련 데이터를 초기화할 수 있다(S412). 이때, 필요에 따라 초기화되는 데이터를 임의 설정할 수 있다. 예를 들어, 하나의 답이 잘못된 경우에는 해당 답에 대한 데이터만을 제거하면 족하고 모든 데이터를 초기화하는 것은 비효율적일 수 있다. 또한, 수험번호나 이름을 잘못 적은 경우에는 답에 관한 데이터를 굳이 초기화할 필요는 없을 수 있다.The
시험이 정상적으로 진행되면, 서버(130)는 정답/문제풀이 결과가 정상적으로 수신 및 집계되는지 판단한다(S413).If the test proceeds normally, the
상기 S413 단계 판단 결과, 만약 정상적으로 정답/문제풀이 결과가 수신 및 집계되면, 응시자의 선택이나 미리 설정된 시험 종료 설정 사항에 따라 시험을 종료하고, 기 수신한 데이터에 기초하여 자동 채점한다(S417). 이때, 서버(130)는 전자펜(116)을 통해 수신된 데이터에 기초하여 OMR 카드(114)에 기록된 응시자의 답의 기록위치를 통하여 문항별 객관식 정답 채점과 기록 내용을 필기인식(HWR)을 통해 주관식 정답에 대한 채점을 자동 처리할 수 있다. 이를 통해 서버(130)는 응시자의 시험 종료와 함께 실시간으로 채점 결과를 보고할 수 있으며, 상기 실시간 채점 결과로부터 분석을 수행하고 그 분석 결과를 리포트할 수 있다. 한편, 주관식의 경우 필요시에 보다 정확한 처리를 위하여 기록한 원본과 정답 확인을 확인 후에 채점 결과를 조정할 수 있으며, 이를 통해 최종 확정될 수도 있다. 이러한 조정은, 응시자의 채점 결과에 대한 피드백에 따라 수행될 수 있다.As a result of the determination in step S413, if the correct answer / problem solving result is normally received and aggregated, the test is terminated according to the test taker's selection or the preset test end setting, and automatic scoring is performed based on the received data (S417). At this time, the
또는 상기 S413 단계 판단 결과 만약 서버(130)에서 정상적으로 정답/문제풀이 결과가 수신 또는 집계가 되지 않으면, 먼저 시스템 이상 유무를 확인하고(S414), 수동 시험 모드로 변경 여부를 판단하여(S415), 수동 모드로 전환한다(S416).Alternatively, if the result of the determination in step S413 is that the correct answer / problem solving result is not received or aggregated in the
서버(130)는 S417 단계의 시험이 종료되면, 수동 모드인지 먼저 판단하여(S418), 필요시 수동 채점 입력을 한다(S419).When the test of step S417 ends, the
서버(130)는 채점 결과를 확인하고(S420) 미리 등록된 응시자 단말(미도시) 또는 데이터베이스에 저장한다. 또는, 관리 단말(140)에서 프린트 가능하도록 데이터를 상기 관리 단말(140)로 전송하고 데이터베이스에 저장할 수도 있다.The
상기 서버(130)는, 상기 전자펜(116)을 통해 입력되는 데이터로부터 시험 종료가 인식되면, 자동으로 채점을 수행하여 상기 채점 결과 데이터를 상기 단말(140)로 전송하고, 상기 단말(140)을 통해 전송된 채점 결과 데이터에 대한 피드백 또는 상기 전자펜을 통해 채점 결과 데이터에 대한 피드백에 따라 상기 전자펜(116)을 통해 입력되는 데이터로부터 주관식 항목에 대한 데이터에 대해 재채점을 하고, 변동이 없는 경우에는 수동 확인 요청을 상기 단말(140)로 전송할 수도 있다. When the end of the test is recognized from the data input through the
또한, 상기 서버(130)는, 상기 채점 결과 데이터와 함께 상기 시험지(112)상의 전자펜(116)의 움직임 데이터로부터 추출된 필기 데이터를 추출하여 인식된 데이터와 상기 전자펜(116)의 움직임 데이터 또는 그에 대응하여 발행된 타임스탬프로부터 추출된 문항별 문제풀이 시간 데이터를 참조하여 상기 시험 분석 데이터를 생성할 수도 있다. 상기 문제풀이 시간 데이터와 관련하여, 전자펜(116)을 통해 입력되는 데이터로부터 해당 문항의 지문에 대한 읽기 시간, 반복 횟수, 분당 읽기 속도 등을 계산하고, 각 문항의 문제 풀이 시간을 기록하여, 이로부터 추출할 수 있다. 이는 시험 과목의 개인 취약점 분석 및 전체 수험색 대비 비교 분석 자료로부터 획득되고, 제공될 수도 있다.In addition, the
한편, 본 발명에 따른 전자펜(116)의 입력 데이터로부터 상기 서버(130)의 주요 연산은, 지문이 있는 경우에는 시작과 종료 체크 박스로 읽은 시간을 계산하거나 시작 및 종료 체크 박스에 미체크 상태에서 밑줄 또는 해당 영역에 기록한 시간도 포함하여 이루어지고, 문항 풀이의 경우에는 체크 표시를 누르면 다음 문항 체크까지의 시간을 계산하여 산출하는데 이 경우 체크 표시 후에 지문을 읽는 경우에 지문 시간은 별도 적용되어 시간에서 제외될 수 있으며, 기 풀었던 문항을 다시 푸는 경우로 판단되면, 이는 이전 시간에 시간을 누적하여 기록하되, 구분하여 기록함으로써, 관련 항목을 별도 체크할 수도 있으며, OMR 카드(114)의 경우 각 문항에 대한 OMR 답안 표기 시간을 문항 풀이 시간으로 누적 기록할 수 있으며, 답안과 답안 기록 시간으로 시간을 산출할 수 있고, 마지막 문항 답안 처리 후에 OMR 카드(114)의 일영역에 구비된 종료 박스 체크로 시험 최종 종료 처리를 할 수 있다. 이와 같이, 상기 서버(130)는 전자펜(116)을 통한 응시생의 행동패턴을 분석하여 시험 분석 데이터 생성에 참조함으로써, 시험 데이터뿐만 아니라 시험 외적인 부분에 대한 데이터(예컨대, 집중도, 컨디션 등)에 대한 데이터도 함께 생성하여 응시생의 관리 감독에 참고할 수도 있다.On the other hand, the main operation of the
도 5에서는 본 발명의 일실시예에 따른 시험지(112)의 구성이 도시되었는데, 시험지(112)상에는 시험종류, 시험과목, 문항 등을 식별하는 식별자(510)가 더 포함될 수 있다. 예컨대, 도 5에서는 편의상 각 문항의 식별을 위한 식별자(510)가 도시되었다. 따라서, 서버(130)는 응시자가 전자펜(116)을 이용하여 상기 식별자를 체크 등 액세스하면 해당 문항에 대한 문제풀이 시작을 인식할 수 있으며, 다른 문항에 대한 식별자가 식별되면 이전 문항에 대한 문제풀이 종료로 인식하고 새로운 문항에 대한 문제풀이로 인식할 수 있다. 이를 통해 서버(130)는 각 문항에 대한 문제풀이 시간, 문제풀이 과정 등에 대한 데이터를 수집하여 시험 분석에 이용할 수 있다. 상기 문제풀이 과정의 경우에는 지문이나 응시자가 직접 입력한 데이터 등의 필기인식(HWR)을 통해 이루어질 수 있다. 또한, 상기 방식과 달리, 전술한 식별자는 각 문항에 대한 식별뿐만 아니라 문항의 영역을 식별하는데 이용될 수도 있다. 다시 말해, 식별자와 식별자 사이에는 특정 문항의 영역으로 인식하고 상기 인식된 영역에 대응되는 전자펜(116)의 입력 데이터가 수신되면, 해당 문항의 문제풀이로 인식하고 그에 대한 시간 측정, 분석 등을 수행할 수 있다. 이 경우, 경우에 따라 특정 문항에 대한 문제풀이 과정 중 다른 문항에 대한 입력이 수신되면, 소정 시간 동안 전자펜(116)을 통해 입력되는 데이터를 분석하여 해당 문항인지 아니면 다른 문항에 대한 것인지를 판단하여 시험 분석 데이터로 활용할 수도 있다. 한편, 서버(130)는 OMR 카드(114)의 정답 여부에도 불구하고 시험지(112)상의 전자펜(116)을 통한 입력 데이터를 더 참조하여, 시험 분석에 이용할 수 있다. 예를 들어, 수학이나 과학 과목을 예로 든다면, 응시자는 문제를 풀기 위해 통상 시험지(112)상에 공식이나 문제풀이 과정을 적는 경우가 많다. 이 경우, 전술한 바와 같이, 정답 여부를 떠나 상기 전자펜(116)을 통해 입력되는 데이터로부터 공식의 적정성, 문제풀이 과정의 오류 여부 등을 더 판단할 수 있으며, 시험 분석 데이터로 참조할 수 있다. 또한, 이를 통해 점수를 보다 세분화하여 제공할 수도 있다.In FIG. 5, the configuration of the
도 6에서는 OMR 카드(114)가 도시되었고, 일영역에는 응시자의 ID 번호와 이름에 대한 응시자 정보(610) 입력란이 존재하고, 등록을 위한 엔트리란(620)이 존재하고, 다른 영역에는 각 문항에 대한 응시자의 답을 마킹하는 부분이 존재한다. 또한, 상기 OMR 카드(114)의 다른 일영역에는 시험 종료를 식별하기 위한 종료 식별자(630)가 존재하고, 이를 통해 서버(130)는 응시자의 해당 시험에 대한 시험 종료 여부를 식별할 수 있다. 또한, 서버(130)는 상기 시험 종료 이후에 전자펜(116)을 통하여 입력되는 데이터에 대해서는 미리 정의된 방식에 따른 시험종료취소가 아닌한 해당 데이터는 무시할 수 있다.In FIG. 6, the
도 7은 본 발명의 일실시예에 따른 시험 분석과 관련된 내용으로, 도 7의 (a)는 분석 데이터의 상세 내용을 그리고 도 7의 (b)에서는 상기 분석과 관련된 데이터의 범례의 예시를 도시하였다.FIG. 7 is a content related to test analysis according to an embodiment of the present invention, FIG. 7 (a) shows details of the analysis data, and FIG. 7 (b) shows an example of a legend of the data related to the analysis. Did.
도 7의 (a)를 참조하면, 지정 시험 시간은 T1과 T8 사이로 정의되며, T1에서 T2 사이의 시간은 첫 문항 체크 또는 지문 체크에 관한 것으로 이를 통해 서버(130)는 시험이 개시된 것(E1)을 식별할 수 있다. T2 내지 T7은 각각 문항별 확인 시간에 대한 타임 스탬프일 수 있으며, 이는 응시생의 개별 실제 시험 진행 시간을 나타낼 수 있다. T2 내지 T7의 타임 스탬프 간격은 각 문항에 대한 문제 풀이 시간이 다를 수 있으므로 서로 상이할 수 있다. 이때, 상기 T2 내지 T7의 타임 스탬프는 문항 시작시에 발행되거나 OMR 카드(114)상의 답안 체크에 따라 발행될 수 있다. T2에서부터 T7 사이에 각 문항에 대한 시험 데이터를 수집하는데 이때 수집되는 데이터는 문제 풀이 시간, 시험지, OMR 카드의 기록 좌료 등에 대한 데이터가 포함될 수 있다. 도 7의 (a)와 (b)를 참조하면, 서버(130)는 T1 시점에 E1(시험 개시)로 인식하고, T2 시점에 E2(문항 확인)으로 인식하고, T3 시점에 E4(문항 중복 확인)을 확인하고, T4 시점에 E3(다음 문항 확인)으로 인식하고, T5 시점에 E5(OMR 첫 기록)을 인식하고, T6 시점에 E6(OMR 다음 기록)를 인식하고, T7 시점에 E7(문항 풀이 종료)를 인식하고, T8 시점에 E8(시험 종료, End 마크 체크)를 인식할 수 있다. 이는 다시 말해, 서버(130)에서 전자펜(116)의 입력 데이터로부터 분석하여 해당 이벤트(E1-E8) 발생에 따른 타임 스탬프(T1-T8)을 발행한 것으로 볼 수 있다.Referring to (a) of FIG. 7, the designated test time is defined between T1 and T8, and the time between T1 and T2 is related to the first item check or fingerprint check, through which the
상기에서, 도 1을 참조하면, 서버(130) 내 관리 단말(140)은 단순히 시험 분석 데이터를 출력만 할 수 있으며, 실질적인 전자펜(116)을 통해 생성된 데이터는 상기 서버(130) 내 데이터베이스 또는 기록 서버(150)에서 직접 수신하여 채점 결과 데이터를 생성하고 분석 데이터를 생성할 수 있다. 이후 이렇게 생성된 데이터들은 상기 관리 단말(140)을 통하여 출력되거나 출력 가능한 형태로 제공될 수 있다. 다시 말해, 전자펜(116)을 통해 생성된 시험 데이터는 관리 단말(140)에 전송되어 채점 및 분석 후 결과 데이터가 기록 서버(150)에 저장되거나 그 반대일 수 있다.In the above, referring to FIG. 1, the
또한, 상기 패턴 종이(110) 역시, 시험지(112)와 OMR 카드(114) 중 어느 하나만 본 발명에 따라 패턴화될 수도 있다. 이 경우, 패턴화되지 않은 패턴 종이는 전자펜(116)을 이용한 음성 데이터나 캡쳐 데이터를 활용할 수도 있다. 또한, 상기 패턴화는 편의상 본 명세서에서는 도트 포맷을 예로 하였으나, 이에 한정되지 않으며, 상기 도트 포맷도 시험 과목, 시험 문항, 첫문항, 끝문항, 배분된 점수에 따른 문항별, 객관식과 주관식 등에 따라 다양한 형태로 식별 가능하도록 형성될 수 있다. 따라서, 서버(130)는 전자펜(116)을 통한 도트의 좌표 데이터나 내지 위치 데이터와 문항에 대한 정보를 대조하여 오류 여부를 실시간으로 체크할 수도 있다. 예컨대, 서버(130)는 전자펜(116)을 통해 인식된 도트 포맷으로부터 특정 문항을 인식하였으나, 이후 상기 전자펜(116)을 통해 입력되는 도트 좌표 데이터나 위치 데이터가 상기 인식된 특정 문항과 대조하여 상이하다고 판단되면, 이를 오류로 인식하여 재인식 내지 재처리 요청을 수행하거나 수동 확인을 요청할 수 있다.In addition, the
한편, 서버(130)는 전자펜(116)을 통하여 입력되는 데이터 중 실제 시험 관련 데이터와 무의미한 데이터(예를 들어, 응시자가 문제 풀이 과정에서 전자펜(116)을 다른 곳을 응시하거나 전자펜(116)을 돌림에 따른 데이터 등)를 도트 좌표 데이터로부터 바로 인식 가능하고, 이를 통해 무의미한 데이터를 제거함으로써 더욱 빠르고 정확한 데이터 처리를 할 수 있다.On the other hand, the
한편, 도시되진 않았으나, 서버(130)는 OMR 카드(114)가 존재하지 않는 경우, 시험지(112)를 스캔하여 상기 시험지(112)상에 전자펜(116)을 통해 마킹한 데이터로부터 채점 및 시험 분석을 수행할 수도 있다. 상기 스캔은 시험 감독관에 의해 별도의 스캐너(미도시)를 통해 수행될 수도 있고, 상기 전자펜(116)에 이미지 센서가 포함된 경우 이를 이용하여 스캔 내지 캡쳐링을 하면, 그로부터 관련 데이터를 생성하여 이용할 수도 있다.On the other hand, although not shown, the
그 밖에, 도시되진 않았으나, 서버(130)는 응시자의 미리 등록된 단말(미도시)이나 별도의 장치로 채점 결과 데이터와 시험 분석 데이터를 그래프, 테이블 형태로 제공하여 직관적으로 이를 식별 가능하도록 구성하여 제공할 수도 있다.In addition, although not shown, the
본 발명의 다른 일실시예에 따른 디지털 시험 관리/분석 시스템은, 패턴 데이터가 포함된 시험지와 OMR 카드를 포함한 패턴 종이; 상기 패턴 종이상의 펜의 움직임 데이터를 생성하는 전자펜; 상기 전자펜에서 생성된 데이터로부터 시험 데이터를 추출하여 채점 데이터를 생성하고 시험 분석 데이터를 생성하는 컴퓨팅 장치; 및 상기 전자펜에서 생성된 데이터를 상기 컴퓨팅 장치로 전달하고, 상기 컴퓨팅 장치로부터 수신된 채점 데이터와 시험 분석 데이터를 출력하는 단말;을 포함하고, 상기 패턴 데이터는, 상기 전자펜에 의해 읽을 수 있는 도트 패턴을 이용하여 구현되고, 각 도트는 좌표 데이터를 가지며, 상기 움직임 데이터는, 상기 펜의 움직임 감지에 따른 펜의 위치, 속도, 및 필압 데이터 중 적어도 하나를 포함하고, 그로부터 계산된 펜의 움직임에 관한 데이터이고, 상기 컴퓨팅 장치는, 상기 OMR 카드 내 특정 영역에 대한 상기 전자펜의 움직임 데이터에 기초하여 상기 채점 데이터를 생성하고, 상기 시험지에 대한 상기 전자펜의 움직임 데이터로부터 시험 개시, 문항 확인, 문항 중복 확인, 문항 풀이 종료, 및 시험 종료에 대한 타임 스탬프를 발행하고 상기 발행된 타임 스탬프와 관련된 식별 데이터를 함께 발행하고, 상기 시험지상에 각 문항 영역에는, 해당 문항을 식별하는 식별자를 포함하고, 상기 OMR 카드는, 상기 시험 응시자의 ID 넘버와 이름을 식별하는 식별항목, 응시 등록을 위한 엔트리항목, 문항에 대한 답을 마킹하는 항목 및 시험 종료를 식별을 위한 종료항목을 포함하며, 상기 컴퓨팅 장치는, 상기 전자펜을 통해 입력되는 데이터로부터 정답 및 문제풀이 결과가 정상적으로 집계되는지 판단하고, 상기 판단 결과에 따라 시스템의 이상 유무를 체크하고 수동 모드 전환 여부를 결정하고, 상기 컴퓨팅 장치는, 상기 전자펜을 통해 입력되는 데이터로부터 시험 종료가 인식되면, 자동으로 채점을 수행하여 상기 채점 결과 데이터를 상기 단말로 전송하고, 상기 단말을 통해 전송된 채점 결과 데이터에 대한 피드백 또는 상기 전자펜을 통해 채점 결과 데이터에 대한 피드백에 따라 상기 전자펜을 통해 입력되는 데이터로부터 주관식 항목에 대한 데이터에 대해 재채점을 하고, 변동이 없는 경우에는 수동 확인 요청을 상기 단말로 전송하며, 상기 컴퓨팅 장치는, 상기 채점 결과 데이터와 함께 상기 시험지상의 전자펜의 움직임 데이터로부터 추출된 필기 데이터를 추출하여 인식된 데이터와 상기 전자펜의 움직임 데이터 또는 그에 대응하여 발행된 타임스탬프로부터 추출된 문항별 문제풀이 시간 데이터를 참조하여 상기 시험 분석 데이터를 생성하고, 상기 OMR 카드의 표기 오류로 교체를 원하는지 판단하고, 필요시 OMR 카드 교체 및 관련 데이터를 초기화하되, 상기 초기화되는 데이터는 상기 전자펜의 입력 데이터로부터 하나의 답이 잘못된 경우에는 해당 답에 대한 데이터만을 제거하고, 수험번호나 이름을 잘못 적은 경우에는 답에 관한 데이터는 초기화하지 않는 것을 특징으로 한다.A digital test management / analysis system according to another embodiment of the present invention includes: a pattern paper including a test paper containing pattern data and an OMR card; An electronic pen that generates motion data of the pen on the pattern paper; A computing device that extracts test data from data generated by the electronic pen to generate scoring data and generates test analysis data; And a terminal that transmits data generated by the electronic pen to the computing device and outputs scoring data and test analysis data received from the computing device, wherein the pattern data can be read by the electronic pen. Implemented using a dot pattern, each dot has coordinate data, and the motion data includes at least one of a pen position, speed, and pen pressure data according to the motion detection of the pen, and the pen motion calculated therefrom Data, and the computing device generates the scoring data based on the motion data of the electronic pen with respect to a specific area in the OMR card, and starts a test from the motion data of the electronic pen with respect to the test paper, confirming an item Issue timestamp for item duplication check, question resolution end, and test end and issued above Identification data related to the time stamp is issued together, and each item area on the test paper includes an identifier for identifying the item, and the OMR card includes an identification item for identifying the test taker's ID number and name, and an exam. It includes an entry item for registration, an item for marking the answer to the question, and an end item for identifying the end of the test, and the computing device checks whether the correct answer and the problem solving result are normally aggregated from the data input through the electronic pen. Determine, check whether there is an abnormality in the system according to the result of the determination, determine whether to switch to manual mode, and the computing device automatically performs scoring when the end of the test is recognized from the data input through the electronic pen. The scoring result data is transmitted to the terminal, and the scoring result data transmitted through the terminal is compared. Re-scoring the data for the subjective item from the data input through the electronic pen according to the feedback or feedback on the scoring result data through the electronic pen, and if there is no change, sends a manual confirmation request to the terminal, , The computing device extracts the handwriting data extracted from the motion data of the electronic pen on the test paper along with the scoring result data, and the recognized data and the motion data of the electronic pen or a timestamp issued corresponding thereto. The test analysis data is generated by referring to the problem solving time data for each item, and it is determined whether or not to replace the OMR card with a typographical error, and if necessary, the OMR card replacement and related data are initialized, but the initialized data is the electronic pen. If one answer is incorrect from the input data of It is characterized in that only the data about the answer is removed, and the data on the answer is not initialized if the test number or name is incorrectly written.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.Meanwhile, the above-described method can be implemented in a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. Further, the structure of the data used in the above-described method can be recorded on a computer-readable medium through various means. Computer-readable media that store executable computer code for performing various methods of the present invention include magnetic storage media (eg, ROM, floppy disks, hard disks, etc.), optical reading media (eg, CD-ROMs, DVDs). Etc.).
본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those of ordinary skill in the art related to the embodiments of the present invention will understand that it may be implemented in a modified form without departing from the essential characteristics of the above description. Therefore, the disclosed methods should be considered from an explanatory point of view rather than a restrictive point of view. The scope of the present invention is shown in the claims rather than the detailed description of the invention, and all differences within the equivalent range should be interpreted as being included in the scope of the invention.
Claims (10)
상기 패턴 종이상의 펜의 움직임 데이터를 생성하되, 특정 데이터를 임의로 제거하거나 이미지 센서를 구비하여 특정영역을 캡쳐할 수 있으며, 마이크가 부착되어 있어 음성 인식이 가능한 전자펜;
상기 전자펜에서 생성된 데이터로부터 시험 데이터를 추출하여 채점 데이터를 생성하고,
응시자 순위, 문항 또는 문제 타입에 따른 응시자의 성취도, 응시자의 장단 부분, 학습 모델링 및 계획을 포함하여, 인공지능 프로세서에 의해 분석된 시험 분석 데이터를 생성하되,
상기 시험 분석 데이터는 상기 움직임 데이터 또는 그에 대응하여 발행된 타임스탬프로부터 추출된 문항별 문제풀이 시간 데이터를 참조하여 생성될 수 있으며,
상기 문제풀이 시간 데이터는 상기 전자펜을 통해 입력되는 데이터로부터 해당 문항의 지문에 대한 읽기 시간, 반복 횟수, 분당 읽기 속도를 계산하고, 각 문항의 문제 풀이 시간을 추출하여 생성될 수 있으며,
상기 전자펜으로부터 입력되는 데이터에 음성 데이터가 포함되면, 상기 음성 데이터를 인식하고 인식된 음성 데이터의 언어 종류를 식별하여, 텍스트로 가공할 수 있으며,
상기 OMR 카드를 포함한 패턴 종이에 표기 오류가 있을 시 교체 여부를 판단하고, 만약 상기 OMR 카드를 포함한 패턴 종이를 교체하게 될 경우 그에 따른 펜의 움직임 데이터, 시험 데이터, 채점 데이터 및 시험 분석 데이터를 초기화할 수 있되, 어느 일부의 답이 잘못된 경우에는 해당 답에 대한 데이터만을 초기화하고, 수험번호나 이름이 잘못된 경우에는 답에 관한 데이터는 초기화하지 않는 컴퓨팅 장치; 및
상기 전자펜에서 생성된 데이터를 상기 컴퓨팅 장치로 전달하고, 상기 컴퓨팅 장치로부터 수신된 채점 데이터와 시험 분석 데이터를 출력하는 단말; 을 포함하는 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
Pattern papers including test papers containing pattern data and OMR cards;
An electronic pen capable of generating movement data of the pen on the pattern paper, removing specific data arbitrarily, or capturing a specific area by having an image sensor, and having a microphone attached thereto to recognize speech;
Scoring data is generated by extracting test data from data generated by the electronic pen,
Produce test analysis data analyzed by the AI processor, including test taker ranking, test taker achievement according to item or question type, test taker's long and short part, learning modeling and planning,
The test analysis data may be generated by referring to the time data for problem solving for each item extracted from the motion data or a timestamp issued correspondingly,
The problem solving time data may be generated by calculating the reading time, the number of repetitions, and the reading speed per minute for the fingerprint of the corresponding item from the data input through the electronic pen, and extracting the problem solving time for each item,
When voice data is included in data input from the electronic pen, the voice data may be recognized and a language type of the recognized voice data may be identified and processed into text.
If there is an error in writing on the pattern paper including the OMR card, it is determined whether to replace it, and if the pattern paper including the OMR card is replaced, the pen movement data, test data, scoring data and test analysis data are initialized accordingly. A computing device capable of initializing only the data for the corresponding answer when some of the answers are incorrect, and not initializing the data for the answer when the test number or name is incorrect; And
A terminal which transmits data generated by the electronic pen to the computing device and outputs scoring data and test analysis data received from the computing device; Digital test management / analysis system comprising a.
상기 패턴 데이터는,
상기 전자펜에 의해 읽을 수 있는 도트 패턴을 이용하여 구현되고,
각 도트는 좌표 데이터를 가지는 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
According to claim 1,
The pattern data,
It is implemented using a dot pattern that can be read by the electronic pen,
Digital test management / analysis system, characterized in that each dot has coordinate data.
상기 움직임 데이터는,
상기 펜의 움직임 감지에 따른 펜의 위치, 속도, 및 필압 데이터 중 적어도 하나를 포함하고, 그로부터 계산된 펜의 움직임에 관한 데이터인 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
According to claim 1,
The motion data,
Digital test management / analysis system comprising at least one of the position, speed, and pen pressure data of the pen according to the motion detection of the pen, characterized in that the data about the movement of the pen calculated therefrom.
상기 컴퓨팅 장치는,
상기 OMR 카드 내 특정 영역에 대한 상기 전자펜의 움직임 데이터에 기초하여 상기 채점 데이터를 생성하고,
상기 시험지에 대한 상기 전자펜의 움직임 데이터로부터 시험 개시, 문항 확인, 문항 중복 확인, 문항 풀이 종료, 및 시험 종료에 대한 타임 스탬프를 발행하고 상기 발행된 타임 스탬프와 관련된 식별 데이터를 함께 발행하는 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
According to claim 1,
The computing device,
The scoring data is generated based on the motion data of the electronic pen for a specific area in the OMR card,
Issuing a time stamp for the test start, item check, item duplication check, item solution end, and test end from the movement data of the electronic pen for the test paper, and issuing identification data associated with the issued time stamp together Digital test management / analysis system.
상기 시험지상에 각 문항 영역에는,
해당 문항을 식별하는 식별자가 포함되는 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
According to claim 1,
In each question area on the test paper,
Digital test management / analysis system characterized in that it includes an identifier for identifying the item.
상기 OMR 카드는,
시험 응시자의 ID 넘버와 이름을 식별하는 식별항목, 응시 등록을 위한 엔트리항목, 문항에 대한 답을 마킹하는 항목 및 시험 종료를 식별을 위한 종료항목을 포함하는 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
According to claim 1,
The OMR card,
A digital test management / analysis system comprising an identification item for identifying the test taker's ID number and name, an entry for registration for the test, an item for marking the answer to the question, and an end for identifying the test end .
상기 컴퓨팅 장치는,
상기 전자펜을 통해 입력되는 데이터로부터 정답 및 문제풀이 결과가 정상적으로 집계되는지 판단하고, 상기 판단 결과에 따라 시스템의 이상 유무를 체크하고 수동 모드 전환 여부를 결정하는 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
According to claim 1,
The computing device,
Digital test management / analysis system characterized by determining whether correct answer and problem solving results are normally aggregated from data input through the electronic pen, checking whether there is an abnormality in the system and determining whether to switch to manual mode according to the determination result .
상기 컴퓨팅 장치는,
상기 전자펜을 통해 입력되는 데이터로부터 시험 종료가 인식되면, 자동으로 채점을 수행하여 상기 채점 데이터를 상기 단말로 전송하고,
상기 단말을 통해 전송된 상기 채점 데이터에 대한 피드백 또는 상기 전자펜을 통해 상기 채점 데이터에 대한 피드백에 따라 상기 전자펜을 통해 입력되는 데이터로부터 주관식 항목에 대한 데이터에 대해 재채점을 하고, 변동이 없는 경우에는 수동 확인 요청을 상기 단말로 전송하는 것을 특징으로 하는 디지털 시험 관리/분석 시스템.
According to claim 1,
The computing device,
When the end of the test is recognized from the data input through the electronic pen, it automatically performs scoring and transmits the scoring data to the terminal,
According to the feedback for the scoring data transmitted through the terminal or the feedback for the scoring data through the electronic pen, the data for the subjective item is re-scored from the data input through the electronic pen, and there is no change. In case, a digital test management / analysis system characterized by transmitting a manual confirmation request to the terminal.
서버가 전자펜 상태를 확인하고 시험 시작을 확인하는 단계;
상기 서버가 패턴 데이터가 포함된 시험지와 OMR 카드를 포함한 패턴 종이상의 전자펜 움직임 데이터를 수신하는 단계;
상기 서버가 상기 전자펜 움직임 데이터로부터 시험 데이터를 추출하여 채점 및 시험 분석을 수행하여 채점 결과 데이터와 시험 분석 데이터를 생성하는 단계; 및
상기 서버가 상기 생성된 채점 결과 데이터와 시험 분석 데이터를 단말을 통해 출력하는 단계;를 포함하여 이루어지되
상기 전자펜은 특정 데이터를 임의로 제거하거나 이미지 센서를 구비하여 특정영역을 캡쳐할 수 있으며, 마이크가 부착되어 있어 음성 인식이 가능하고,
상기 서버는 상기 전자펜으로부터 입력되는 데이터에 음성 데이터가 포함되면, 상기 음성 데이터를 인식하고 인식된 음성 데이터의 언어 종류를 식별하여, 텍스트로 가공할 수 있으며,
상기 시험 분석 데이터는 응시자 순위, 문항 또는 문제 타입에 따른 응시자의 성취도, 응시자의 장단 부분, 학습 모델링 및 계획을 포함하여, 인공지능 프로세서에 의해 분석된 것; 및 상기 전자펜을 통해 입력되는 데이터로부터 해당 문항의 지문에 대한 읽기 시간, 반복 횟수, 분당 읽기 속도를 계산하고, 각 문항의 문제 풀이 시간을 추출하여 생성되는 상기 문제풀이 시간 데이터를 포함하며,
상기 서버는 상기 OMR 카드를 포함한 패턴 종이에 표기 오류가 있을 시 교체 여부를 판단하고, 만약 상기 OMR 카드를 포함한 패턴 종이를 교체하게 될 경우 그에 따른 펜의 움직임 데이터, 시험 데이터, 채점 데이터 및 시험 분석 데이터를 초기화할 수 있되, 어느 일부의 답이 잘못된 경우에는 해당 답에 대한 데이터만을 초기화하고, 수험번호나 이름이 잘못된 경우에는 답에 관한 데이터는 초기화하지 않는 것을 특징으로 하는 디지털 시험 관리/분석 방법.In the digital test management / analysis method,
The server confirms the state of the electronic pen and confirms the start of the test;
Receiving, by the server, motion data of the electronic pen on the pattern paper including the test paper and the OMR card including the pattern data;
The server extracting test data from the electronic pen motion data to perform scoring and test analysis to generate scoring result data and test analysis data; And
The server outputs the generated scoring result data and test analysis data through a terminal.
The electronic pen can arbitrarily remove specific data or have an image sensor to capture a specific area, and a microphone is attached to recognize the voice.
When the voice data is included in the data input from the electronic pen, the server may recognize the voice data and identify a language type of the recognized voice data, and process the text into text.
The test analysis data is analyzed by an artificial intelligence processor, including test taker ranking, test taker achievement according to item or question type, test taker's long and short part, learning modeling and planning; And the problem solving time data generated by calculating the reading time, the number of repetitions, and the reading speed per minute for the fingerprint of the corresponding item from the data input through the electronic pen, and extracting the problem solving time of each item.
The server determines whether or not to replace when there is a typographical error in the pattern paper including the OMR card, and if the pattern paper including the OMR card is replaced, the pen movement data, test data, scoring data and test analysis accordingly Digital test management / analysis method characterized in that data can be initialized, but if some of the answers are incorrect, only the data for the corresponding answers are initialized, and if the test number or name is incorrect, the data about the answers are not initialized. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180082758A KR102093379B1 (en) | 2018-07-17 | 2018-07-17 | Method for digital management and analysis of test and system thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180082758A KR102093379B1 (en) | 2018-07-17 | 2018-07-17 | Method for digital management and analysis of test and system thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200008732A KR20200008732A (en) | 2020-01-29 |
| KR102093379B1 true KR102093379B1 (en) | 2020-03-25 |
Family
ID=69322339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180082758A KR102093379B1 (en) | 2018-07-17 | 2018-07-17 | Method for digital management and analysis of test and system thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102093379B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220000582A (en) | 2020-06-26 | 2022-01-04 | 엔에이치엔 주식회사 | Method and system for answer processing |
| KR20220116818A (en) | 2021-02-15 | 2022-08-23 | 엔에이치엔클라우드 주식회사 | Mehtod and device for information extraction through deep learning-based answer sheet scanning |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102482291B1 (en) * | 2020-09-25 | 2022-12-29 | (주)인프라케이 | Preventing dishonest acts for online examinations by using permissioned blockchain network and online examination server using the same |
| CN113256457A (en) * | 2021-04-22 | 2021-08-13 | 深圳市鹰硕教育服务有限公司 | Online learning diagnosis method and device based on artificial intelligence |
| CN114021984A (en) * | 2021-11-05 | 2022-02-08 | 北京云蝶智学科技有限公司 | Invigilation data processing method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003107979A (en) * | 2001-09-29 | 2003-04-11 | Kokuyo Co Ltd | System and method for supporting learning |
| JP2009199381A (en) * | 2008-02-22 | 2009-09-03 | Dainippon Printing Co Ltd | Terminal unit for managing writing progress by electronic pen, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130137974A (en) * | 2012-06-08 | 2013-12-18 | 이투스교육 주식회사 | Examinee equipment, test managing server, test progressing method of examinee equipment, and test analyzing method of test managing server |
| KR101700317B1 (en) * | 2014-03-27 | 2017-01-31 | 주식회사 나이츠넷 | System, method and computer readable recording medium for managing an education using a smart pen based on a dot code |
-
2018
- 2018-07-17 KR KR1020180082758A patent/KR102093379B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003107979A (en) * | 2001-09-29 | 2003-04-11 | Kokuyo Co Ltd | System and method for supporting learning |
| JP2009199381A (en) * | 2008-02-22 | 2009-09-03 | Dainippon Printing Co Ltd | Terminal unit for managing writing progress by electronic pen, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220000582A (en) | 2020-06-26 | 2022-01-04 | 엔에이치엔 주식회사 | Method and system for answer processing |
| KR20220116818A (en) | 2021-02-15 | 2022-08-23 | 엔에이치엔클라우드 주식회사 | Mehtod and device for information extraction through deep learning-based answer sheet scanning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200008732A (en) | 2020-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102093379B1 (en) | Method for digital management and analysis of test and system thereof | |
| CN110659612B (en) | Digital paper marking method and system based on paper pen improvement | |
| CN110956138B (en) | Auxiliary learning method based on home education equipment and home education equipment | |
| CN109656465B (en) | Content acquisition method applied to family education equipment and family education equipment | |
| CN111144191A (en) | Font identification method and device, electronic equipment and storage medium | |
| US8768241B2 (en) | System and method for representing digital assessments | |
| CN103778818A (en) | Method and device for prompting spelling errors | |
| CN103903491A (en) | Method and device for achieving writing inspection | |
| CN109410984B (en) | Reading scoring method and electronic equipment | |
| CN112507294B (en) | English teaching system and teaching method based on human-computer interaction | |
| CN110826872A (en) | Method, system and device for generating examination result analysis report | |
| CN111768170A (en) | Method and device for displaying operation correction result | |
| JP4353729B2 (en) | Information processing apparatus, program, and medium | |
| JP4948239B2 (en) | Information processing system, information processing apparatus, server apparatus, and information processing method | |
| CN104915666A (en) | Information card information positioning acquisition method based on paper-made image scanning | |
| JP5339574B2 (en) | Answer information processing apparatus, scoring information processing apparatus, answer information processing method, scoring information processing method, and program | |
| CN111078983B (en) | Method for determining page to be identified and learning equipment | |
| CN115294573A (en) | Job correction method, device, equipment and medium | |
| WO2005104060A1 (en) | Information processing device and program | |
| JP3856448B2 (en) | Information processing apparatus and program thereof | |
| JP2006171249A (en) | Information processing system, server device, and program | |
| CN111090989B (en) | Prompting method based on character recognition and electronic equipment | |
| CN114092944A (en) | Processing method and system of teaching and assisting materials | |
| JP4996919B2 (en) | Information processing system, server device, and program | |
| JP6766987B1 (en) | Scoring support device, scoring support system, scoring support method and scoring support program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |