KR20220120253A - Artificial intelligence-based subjective automatic grading system - Google Patents

Artificial intelligence-based subjective automatic grading system Download PDF

Info

Publication number
KR20220120253A
KR20220120253A KR1020210024112A KR20210024112A KR20220120253A KR 20220120253 A KR20220120253 A KR 20220120253A KR 1020210024112 A KR1020210024112 A KR 1020210024112A KR 20210024112 A KR20210024112 A KR 20210024112A KR 20220120253 A KR20220120253 A KR 20220120253A
Authority
KR
South Korea
Prior art keywords
essay
data
correction information
scoring
artificial intelligence
Prior art date
Application number
KR1020210024112A
Other languages
Korean (ko)
Inventor
김원회
Original Assignee
주식회사 브레인벤쳐스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브레인벤쳐스 filed Critical 주식회사 브레인벤쳐스
Priority to KR1020210024112A priority Critical patent/KR20220120253A/en
Publication of KR20220120253A publication Critical patent/KR20220120253A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Acoustics & Sound (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

The present invention relates to an artificial intelligence-based essay automatic scoring system including: a device that transmits essay questions and answers thereto in text and voice, and receives recommended correction information based on keyword data among the transmitted answers; and a server. The server includes: a comparison module for verifying keywords by comparing the answers to the essay questions received from the device with previously stored answers; a correction module that scores text-type answers and voice-type answers to essay questions based on pre-established big data and artificial intelligence; an analysis module that analyzes device vulnerabilities based on the keywords of essay questions identified in the comparison module and the scoring results of the correction module; and a communication unit that searches pre-stored correction information using the analyzed vulnerability as an input value and transmits recommended correction information to the device.

Description

인공지능 기반 논술 자동 채점 시스템{ARTIFICIAL INTELLIGENCE-BASED SUBJECTIVE AUTOMATIC GRADING SYSTEM}Artificial intelligence-based essay grading system {ARTIFICIAL INTELLIGENCE-BASED SUBJECTIVE AUTOMATIC GRADING SYSTEM}

본 발명은 인공지능 기반 논술 자동 채점 시스템에 관한 것이다. 상세하게, 빅데이터를 이용하여 답안을 자동으로 실시간 채점 및 분석하고, 분석결과에 따라 취약점을 보완할 수 있는 첨삭 결과를 전송하는 플랫폼에 관한 것이다.The present invention relates to an automatic scoring system based on artificial intelligence. In detail, it relates to a platform that automatically scores and analyzes answers in real time using big data, and transmits correction results that can compensate for weaknesses according to the analysis results.

논술은 논리적 구조에 따라 작성자의 주장 및 그를 뒷받침하는 근거를 전개하는 작문 방식의 일종으로, 대입 시험에서 수험생들을 대상으로 논술 능력을 평가하여 해당 응시자의 논리 능력을 판단하는 척도로 활용되고 있다. 물론 대학별로 필요 여부의 차이는 있지만, 대부분의 주요 대학에서 논술 시험을 전형으로 수험생을 평가하는 많큼 다수의 수험생들이 논술 시험을 준비하고 있다.Essay writing is a type of writing method that develops an author's argument and supporting evidence according to a logical structure. Of course, there is a difference in whether or not it is necessary for each university, but most of the major universities evaluate candidates based on the essay test, so a large number of candidates are preparing for the essay test.

이러한 논술 시험의 채점은 답안의 주 쟁점이 되는 키워드를 기초로 하여 얼만큼 논리적으로 글이 전개되었는지를 평가하게 되는데, 이를 사람이 하게 되는 경우 주관적인 평가가 들어가고 상당한 노동력이 요구된다는 문제가 있었다. 이를 해결하기위해, 대한민국 공개특허 제2014-0052266호(2014.05.07. 공개)에는, 문제에 대하여 입력되는 평가 대상 문장에 대한 구문 및 의미 분석을 통하여 평가 대상 문장의 주제와 유형을 추출하고, 추출된 주제와 유형을 기반으로 평가 대상 문장을 주어, 서술어, 목적어를 포함하는 RDF 모델 형태의 의미 표현으로 생성하고, 기 저장된 RDF 모델 형태의 기준 데이터의 의미 표현과 RDF 모델 형태의 평가 대상 문장의 의미 표현을 비교하여, 해당 문제의 내용 조건에 대한 충족 여부를 평가함으로써, 언어 영역에 대한 자동 평가가 가능하고, RDF 기반의 정확한 일치도를 통해 자동채점이 가능한 구성이 개시된 바 있다.The scoring of this essay test evaluates how logically the writing is developed based on the keywords that are the main issues in the answer. However, if a person does this, there is a problem that subjective evaluation is involved and a considerable amount of labor is required. In order to solve this problem, in Korean Patent Laid-Open No. 2014-0052266 (published on May 7, 2014), the subject and type of the sentence to be evaluated are extracted and extracted through syntactic and semantic analysis of the sentence to be evaluated that is input for the problem. Based on the given subject and type, the sentence to be evaluated is given and generated as a semantic expression in the form of an RDF model including a predicate and an object. By comparing expressions and evaluating whether the content condition of the problem is satisfied, automatic evaluation of the language domain is possible, and a configuration has been disclosed in which automatic scoring is possible through RDF-based exact match.

다만, 상술한 구성은 각각의 시험마다 추출, 생성, 비교 및 평가의 과정이 반복되어야 하기 때문에 다수의 학습자의 시험을 바로 실시간으로 채점하여 피드백을 줄 수 없다. 또한, 다양한 유형의 시험평가 등의 파라미터가 반영되어 있지 않아 유연한 결과를 도출해내기 어렵고, 일치도만을 이용하여 채점을 하기 때문에 자연어의 복잡성에서 드러나게 되는 어휘변형이 존재하는 답안을 제대로 채점을 할 수가 없어 오류가 발생하게 되고, 다시 사람이 재검수를 해야 하는 등의 문제점이 있었다.However, in the above configuration, since the process of extraction, generation, comparison, and evaluation must be repeated for each test, it is not possible to directly score the tests of a large number of learners in real time and give feedback. In addition, it is difficult to derive flexible results because parameters such as various types of test and evaluation are not reflected, and because the scoring is done using only the degree of concordance, it is not possible to properly score answers with lexical variations revealed in the complexity of natural language. , and there were problems such as having to re-inspect by a person again.

본 발명의 일 실시예는, 언어평가, 특히 논술시험에서 주어지는 논술 문제 및 논술 문제에 대한 답안을 수집하여 빅데이터를 구축하고, 구축된 빅데이터를 채점 결과를 이용하여 훈련시킴으로써 이후 학습자의 답안 데이터가 수신되는 경우, 이를 질의(Query)로 입력하여 그 결과인 채점 결과를 쉽고 빠르며 정확하게 얻어낼 수 있고, 더 나아가 채점 결과에 따라 학습자가 부족한 부분의 첨삭정보를 확인할 수 있도록, 취약점을 분석하여 필요한 첨삭정보를 전송해줄 수 있는,인공지능 기반 논술 자동 채점 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.An embodiment of the present invention collects answers to essay questions and essay questions given in language evaluation, in particular, an essay test, builds big data, and trains the constructed big data using the scoring results, so that learners' answer data is received, it is entered as a query and the result, the scoring result, can be obtained easily, quickly and accurately, and furthermore, according to the scoring result, it is necessary An artificial intelligence-based essay scoring system that can transmit correction information can be provided. However, the technical task to be achieved by the present embodiment is not limited to the above-described technical task, and other technical tasks may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 논술 문제와, 논술 문제에 대한 답을 텍스트 및 음성으로 전송하고, 전송한 답 중 키워드 데이터에 기반하여 추천된 첨삭정보를 수신하는 디바이스; 및 디바이스로부터 수신된 논술 문제에 대한 답과 기 저장된 답을 비교하여 키워드를 확인하는 비교모듈, 기 구축된 빅데이터 및 인공지능에 기반하여 논술 문제에 대한 텍스트형 답 및 음성형 답을 채점하는 첨삭모듈, 비교모듈에서 확인된 논술 문제의 키워드와 첨삭모듈의 채점결과에 기반하여 디바이스의 취약점을 분석하는 분석모듈, 분석된 취약점을 입력값으로 기 저장된 첨삭정보를 검색하여 디바이스로 추천 첨삭정보를 전송하는 통신부를 포함하는 서버;를 포함한다.As a technical means for achieving the above-described technical problem, an embodiment of the present invention transmits an essay problem and an answer to the essay problem in text and voice, and correction information recommended based on keyword data among the transmitted answers a device for receiving; and a comparison module that checks keywords by comparing the answers to the essay questions received from the device with the pre-stored answers; Analysis module that analyzes device vulnerabilities based on the keywords of the essay problem identified in the module and comparison module and the scoring results of the correction module and a server including a communication unit.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 논술시험에서 주어지는 논술 문제 및 논술 문제에 대한 답안을 수집하여 빅데이터를 구축하고, 구축된 빅데이터를 채점 결과를 이용하여 훈련시킴으로써 이후 학습자의 답안 데이터가 수신되는 경우, 이를 질의(Query)로 입력하여 그 결과인 채점 결과를 쉽고 빠르며 정확하게 얻어낼 수 있고, 더 나아가 채점 결과에 따라 학습자가 부족한 부분의 첨삭정보를 들을 수 있도록, 취약점을 분석하여 필요한 첨삭정보를 전송할 수 있다.According to any one of the above-described problem solving means of the present invention, by collecting the answers to the essay questions and the essay questions given in the essay test, big data is constructed, and the built big data is trained using the scoring results, so that the learner's When answer data is received, it is entered as a query and the result, the scoring result, can be obtained easily, quickly and accurately, and furthermore, the vulnerability is analyzed so that the learner can hear the correction information of the missing part according to the scoring result. Thus, necessary correction information can be transmitted.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 논술 자동 채점 시스템의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 논술 자동 채점 시스템을 설명하기 위한 도면이다.
도 3은 도 2의 시스템에 포함된 서버를 설명하기 위한 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반 논술 자동 채점 시스템에서 논술 문제를 채점하는 일 실시예를 설명하기 위한 도면이다.1 is a flowchart of an artificial intelligence-based automatic essay scoring system according to an embodiment of the present invention.
2 is a view for explaining an artificial intelligence-based automatic essay scoring system according to an embodiment of the present invention.
3 is a block diagram illustrating a server included in the system of FIG. 2 .
4 is a diagram for explaining an embodiment of scoring an essay question in an artificial intelligence-based automatic writing scoring system according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated, and one or more other features However, it is to be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded in advance.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다. The terms "about," "substantially," and the like, to the extent used throughout the specification are used in or close to the numerical values when manufacturing and material tolerances inherent in the stated meaning are presented, and are intended to enhance the understanding of the present invention. To help, precise or absolute figures are used to prevent unfair use by unscrupulous infringers of the stated disclosure. As used throughout the specification of the present invention, the term "step of (to)" or "step of" does not mean "step for".

본 명세서에 있어서 '모듈(module)'이란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. In this specification, the term "module" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. In addition, one unit may be implemented using two or more hardware, and two or more units may be implemented by one hardware.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by the terminal, apparatus, or device may be performed instead of in a server connected to the terminal, apparatus, or device. Similarly, some of the operations or functions described as being performed by the server may also be performed in a terminal, apparatus, or device connected to the server.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described as mapping or matching with the terminal means mapping or matching the terminal's unique number or personal identification information, which is the identification data of the terminal. can be interpreted as

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시예에 따른 인공지능 기반 논술 자동 채점 시스템을 설명하기 위한 도면이다. 도 2를 참조하면, 인공지능 기반 논술 자동 채점 시스템(1)은, 디바이스(100) 및 서버(300)를 포함할 수 있다. 다만, 이러한 도 2의 인공지능 기반 논술 자동 채점 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 2을 통하여 본 발명이 한정 해석되는 것은 아니다.2 is a view for explaining an artificial intelligence-based automatic essay scoring system according to an embodiment of the present invention. Referring to FIG. 2 , the automatic scoring system 1 based on artificial intelligence may include a device 100 and a server 300 . However, since the artificial intelligence-based automatic scoring system 1 of FIG. 2 is only an embodiment of the present invention, the present invention is not limitedly interpreted through FIG. 2 .

이때, 도 2의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 2에 도시된 바와 같이, 디바이스(100)는 네트워크(200)를 통하여 서버(300)와 연결될 수 있다. 그리고, 서버(300)는, 네트워크(200)를 통하여 디바이스(100)와 연결될 수 있다.At this time, each component of FIG. 2 is generally connected through a network 200 . For example, as shown in FIG. 2 , the device 100 may be connected to the server 300 through the network 200 . And, the server 300 may be connected to the device 100 through the network 200 .

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network refers to a connection structure in which information exchange is possible between each node, such as a plurality of terminals and servers, and examples of such networks include RF, 3rd Generation Partnership Project (3GPP) network, and Long Term (LTE). Evolution) network, 5th Generation Partnership Project (5GPP) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network) , PAN (Personal Area Network), Bluetooth (Bluetooth) network, NFC network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, and the like are included, but are not limited thereto.

하기에서, "적어도 하나의"라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.In the following, the term "at least one" is defined as a term including the singular and the plural, and even if the term "at least one" does not exist, each element may exist in the singular or plural, and may mean the singular or plural. It will be obvious that there is. In addition, that each component is provided in singular or plural may be changed according to embodiments.

디바이스(100)는, 인공지능 기계학습 기반 자동채점을 이용한 논술 첨삭정보 추천 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 논술 문제 또는 논술 문제가 포함된 시험 등에 응시하는 학습자의 단말일 수 있다. 이때, 디바이스(100)는, 논술 문제에 대한 답을 서버(300)로 전송하고, 키워드로 기재한 문제를 분석한 결과와, 이에 맞는 첨삭정보를 추천받는 단말일 수 있다. 그리고, 디바이스(100)는, 논술 문제에 대한 답을 음성 또는 텍스트의 형식으로 서버(300)로 전송하고, 서버(300)로부터 채점한 결과와, 이에 기반하여 추천된 첨삭정보목록을 수신하는 단말일 수 있다.The device 100 may be a terminal of a learner taking an essay question or a test including an essay question using a web page, an app page, a program or an application related to the essay correction information recommendation service using automatic scoring based on artificial intelligence machine learning. have. In this case, the device 100 may be a terminal that transmits an answer to the essay question to the server 300 , analyzes the problem written as a keyword, and recommends correction information corresponding thereto. And, the device 100 transmits the answer to the essay question to the server 300 in the form of voice or text, and receives the scoring result from the server 300 and a list of correction information recommended based thereon. can be

여기서, 디바이스(100)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 디바이스(100)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 디바이스(100)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the device 100 may be implemented as a computer capable of accessing a remote server or terminal through a network. Here, the computer may include, for example, navigation, a laptop equipped with a web browser, a desktop, and a laptop. In this case, the device 100 may be implemented as a terminal capable of accessing a remote server or terminal through a network. The device 100 is, for example, a wireless communication device that ensures portability and mobility, and includes navigation, a personal communication system (PCS), a global system for mobile communications (GSM), a personal digital cellular (PDC), and a personal handyphone (PHS). System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminal, smart It may include all kinds of handheld-based wireless communication devices such as a smartphone, a smart pad, and a tablet PC.

서버(300)는, 인공지능 기계학습 기반 자동채점을 이용한 논술 첨삭정보 추천 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 전송하는 서버일 수 있다. 그리고, 서버(300)는, 수신된 채점 결과를 빅데이터로 수집하고, 수집된 빅데이터를 기계학습으로 훈련하여 자동채점 알고리즘을 구축하는 서버일 수 있다. 그리고, 서버(300)는, 각 논술 문제 및 논술 문제에 각각에 해당 문제에서 요구되는 기본개념 등을 메타데이터로 저장하여 데이터베이스화하는 서버일 수 있다. 또한, 서버(300)는, 디바이스(100)로부터 수집된 논술 답안 데이터 및 논술 답안 데이터를 자동채점 알고리즘으로 채점하고, 키워드처리되거나 점수가 낮게 부여된 문제의 메타데이터를 추출하고, 추출된 메타데이터를 취약점 태그로 설정하는 서버일 수 있다. 그리고, 서버(300)는, 기 저장된 첨삭정보 리스트에 라벨링된 라벨와, 취약점 태그를 비교하여 일치도를 검색하고, 취약점 태그와 동일한 라벨을 가진 첨삭정보, 또는 취약점 태그와 유사한 라벨을 가진 첨삭정보를 추출하여 디바이스(100)로 추천 첨삭정보 리스트로 전송하는 서버일 수 있다. 또한, 서버(300)는, 디바이스(100)로부터 수신된 추천 첨삭정보에 대한 피드백을 다시 빅데이터에 훈련 데이터로 입력하여 기계학습을 진행하는 서버일 수 있다.The server 300 may be a server that transmits an essay correction information recommendation service web page, an app page, a program, or an application using automatic scoring based on artificial intelligence machine learning. In addition, the server 300 may be a server that collects the received scoring results as big data, trains the collected big data with machine learning, and builds an automatic scoring algorithm. In addition, the server 300 may be a server that stores each essay problem and a basic concept required for each essay problem as metadata and forms a database. In addition, the server 300 scores the essay answer data and the essay answer data collected from the device 100 with an automatic scoring algorithm, and extracts the metadata of the problem that is keyword-processed or given a low score, and the extracted metadata It may be a server that sets as a vulnerability tag. Then, the server 300 compares the label labeled in the pre-stored correction information list with the vulnerability tag to search for a match, and extracts correction information having the same label as the vulnerability tag, or correction information having a label similar to the vulnerability tag Thus, it may be a server that transmits the recommended correction information list to the device 100 . Also, the server 300 may be a server that performs machine learning by inputting feedback on the recommended correction information received from the device 100 as training data back to the big data.

여기서, 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.Here, the server 300 may be implemented as a computer that can connect to a remote server or terminal through a network. Here, the computer may include, for example, navigation, a laptop equipped with a web browser, a desktop, and a laptop.

도 3은 도 2의 시스템에 포함된 서버를 설명하기 위한 블록 구성도이다.3 is a block diagram illustrating a server included in the system of FIG. 2 .

도 3을 참조하면, 서버(300)는, 비교모듈(310), 첨삭모듈(320), 분석모듈(330), 통신부(340); 및 빅데이터모듈(350)을 포함할 수 있다.Referring to FIG. 3 , the server 300 includes a comparison module 310 , an editing module 320 , an analysis module 330 , and a communication unit 340 ; and a big data module 350 .

본 발명의 일 실시예에 따른 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 디바이스(100)로 인공지능 기계학습 기반 자동채점을 이용한 논술 첨삭정보 추천 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 디바이스(100)는, 인공지능 기계학습 기반 자동채점을 이용한 논술 첨삭정보 추천 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 디바이스(100)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.The server 300 according to an embodiment of the present invention or another server (not shown) operating in conjunction with the device 100 is an essay correction information recommendation service application, program, app page, using artificial intelligence machine learning-based automatic scoring, When transmitting a web page, etc., the device 100 may install or open an essay correction information recommendation service application, a program, an app page, a web page, etc. using automatic scoring based on artificial intelligence machine learning. In addition, a service program may be driven in the device 100 using a script executed in a web browser. Here, the web browser is a program that enables the use of a web (world wide web) service, and refers to a program that receives and displays hypertext written in HTML (hyper text mark-up language), for example, Netscape , Explorer, and Chrome. In addition, the application means an application on the terminal, for example, includes an app (app) executed in a mobile terminal (smartphone).

도 3을 참조하면, 비교모듈(310)은, 디바이스(100)로부터 수신된 논술 문제에 대한 답과 기 저장된 답을 비교하여 키워드를 확인할 수 있다.Referring to FIG. 3 , the comparison module 310 may check a keyword by comparing an answer to an essay question received from the device 100 with a pre-stored answer.

첨삭모듈(320)은, 기 구축된 빅데이터 및 인공지능에 기반하여 논술 문제에 대한 텍스트형 답 및 음성형 답을 채점할 수 있다. 이를 위해, 디바이스(100)는, 논술 문제에 대한 답을 음성 및 텍스트로 각각 전송할 수 있다. 이에 따라, 본 발명의 일 실시예에서 자동으로 채점하기 위해서는, 우선 음성으로 발화된 문장을 텍스트로 변환하고, 변환된 텍스트에서 각 평가항목에 따라 문장을 평가하며, 음성 신호를 이용하여 강세, 억양 및 유창함(끊기지 않고 말하는 정도) 등을 분석하는 경우, 자동으로 채점하는 것이 가능해진다.The correction module 320 may score text-type answers and voice-type answers to the essay questions based on previously built big data and artificial intelligence. To this end, the device 100 may transmit an answer to an essay question by voice and text, respectively. Accordingly, in order to automatically score in an embodiment of the present invention, first, a sentence uttered by voice is converted into text, the sentence is evaluated according to each evaluation item in the converted text, and stress and intonation using a voice signal and fluency (the degree of speaking without interruption), it becomes possible to automatically score.

한편, 이 외에도 요약문의 전개와 구성뿐만 아니라 적절한 어휘 사용 여부, 내용의 정확성 등의 요소를 평가하여 채점한다. 즉, 전반적인 글의 전개와 구성, 적절한 어휘의 선택 여부, 효과적으로 주제와 문제를 서술하고, 명료하게 적합한 설명, 예시 및 세부사항을 사용하여 체계적이고 자연스럽게 구성되고 전개되도록 하고, 일관성, 연속성, 통일성 등의 항목이 나누어 채점될 수 있다.On the other hand, in addition to this, factors such as the development and composition of the summary as well as the use of appropriate vocabulary and the accuracy of the content are evaluated and scored. That is, the overall development and composition of the text, the selection of appropriate vocabulary, effectively describing the topic and problem, and using clearly appropriate explanations, examples, and details to be structured and developed systematically and naturally, consistency, continuity, unity, etc. items can be divided and scored.

이때, 논술 문제에 대한 자동채점에 대한 방법으로는, 자동채점 알고리즘 또는 프로그램을 이용할 수 있으며, 자동채점 알고리즘 또는 프로그램은, 통계적 접근 방식에 따라 회귀분석에 근거한 프로그램, 자연어 처리를 기반으로 한 프로그램, 잠재의미분석에 근거한 프로그램, 베이지안 방법에 근거한 프로그램이 이용될 수 있다. 개념 기반 채점 프로그램과, 다문장을 기술하는 수필 형식의 답안에 대해 기계학습 방법을 이용하는 프로그램을 이용할 수도 있다. 이때, 전자의 경우, 자연언어 처리를 기반으로 한 대표적인 영작문 자동채점 프로그램으로, 학습자 답안이 의미 측면에서 정답과 얼마나 유사한가를 평가하여 점수를 부여하는 자동채점을 수행할 수 있다. 후자의 경우, 정답의 의미와 답안의 의미의 유사성을 판단할 수 있도록 설계될 수 있고, 특정 교과목의 이해 정도를 평가할 수 있도록 구현될 수 있다. 이러한 프로그램을 사용하여 자동채점을 실시하기 위해서는 먼저 출제자가 전송한 정답 문장에서 정규화된 개념만을 추출하여 정답 모델을 구축해야 한다. 이때, 구축된 정답 개념은 실제 문장에서 다양한 형태로 나타날 수 있고, 하나의 개념이 다양한 형태의 문장으로 나타나는 것을 바꾸어 말하기라 하며, 바꾸어 말하기를 통해 표현된 다양한 변형 형태에 내재되어 있는 핵심 개념을 추출하여 정답모델과 비교하고 채점을 수행할 수 있다.At this time, as a method for automatic scoring for essay problems, an automatic scoring algorithm or program can be used, and the automatic scoring algorithm or program is a program based on regression analysis, a program based on natural language processing, A program based on the latent semantic analysis and a program based on the Bayesian method may be used. Concept-based scoring programs and programs that use machine learning methods for multi-sentence essay-style answers are also available. At this time, in the former case, it is a representative automatic scoring program for English writing based on natural language processing, and automatic scoring can be performed by evaluating how similar the learner's answer is to the correct answer in terms of meaning. In the latter case, it can be designed to judge the similarity between the meaning of the correct answer and the meaning of the answer, and can be implemented to evaluate the degree of understanding of a specific subject. In order to perform automatic scoring using such a program, it is first necessary to construct a correct answer model by extracting only normalized concepts from the correct answer sentences sent by the test taker. At this time, the constructed correct answer concept can appear in various forms in actual sentences, and when a concept appears in various types of sentences is called paraphrasing, and extracting the core concept inherent in various modified forms expressed through paraphrasing. Thus, it is possible to compare it with the correct answer model and perform scoring.

그리고, 자동채점 프로그램은, 채점자가 채점할 때 사용하는 채점 기준표를 XML 형식의 정답 템플릿 파일로 기술하여 컴퓨터 기반으로 채점을 수행할 수도 있고, 채점 기준표를 작성하고 빅데이터를 학습시킨 후, 학습자 답안을 채점할 수도 있으며, 채점 결과를 축적하고 기계학습을 이용하여 인공지능으로 실시간 채점을 하여 그 결과를 피드백하는 방식으로 구성될 수도 있다. 덧붙여서, 첨삭모듈(320)은, 음성으로 제공된 답을 음성발화를 인식한 후, STT(Speaking To Text)를 이용하여 텍스트로 변환하고, 변환된 텍스트를 기준으로 기 저장된 정답 템플릿(Template)을 이용하여 채점을 수행할 수도 있다.In addition, the automatic scoring program can perform computer-based scoring by describing the scoring standard table used by the scorer as a correct answer template file in XML format. may be scored, or it may be configured in such a way that the scoring results are accumulated and the results are fed back by real-time scoring with artificial intelligence using machine learning. In addition, the correction module 320, after recognizing the voice utterance of the answer provided by voice, converts it into text using STT (Speaking To Text), and uses a pre-stored answer template based on the converted text. scoring may be performed.

분석모듈(330)은, 비교모듈(320)에서 확인된 논술 문제의 키워드와, 첨삭모듈(320)의 채점결과에 기반하여 디바이스(100)의 취약점을 분석할 수 있다. 이때, 분석모듈(330)은, 키워드가 발생한 논술 문제 및 논술 문제에 기 매핑되어 저장된 메타데이터를 추출하고, 추출된 메타데이터를 취약점을 반영하는 태그로 설정할 수 있다. The analysis module 330 may analyze the weakness of the device 100 based on the keyword of the essay problem identified by the comparison module 320 and the scoring result of the correction module 320 . In this case, the analysis module 330 may extract the stored metadata that is pre-mapped to the essay problem and the essay problem in which the keyword occurs, and set the extracted metadata as a tag reflecting the vulnerability.

통신부(340)는, 분석된 취약점을 입력값으로 기 저장된 첨삭정보를 검색하여 디바이스(100)로 추천 첨삭정보를 전송할 수 있다. 이에 따라, 디바이스(100)는, 전송한 답 중 키워드 데이터에 기반하여 추천된 첨삭정보를 수신할 수 있다. 여기서, 기 저장된 첨삭정보는, 첨삭정보의 특징을 설명하는 라벨이 라벨링된 첨삭정보일 수 있다. 이때, 통신부(340)는, 분석된 취약점이 입력값으로 수신된 경우, 취약점에 대응하는 태그와 라벨을 비교하여 기 설정된 일치도를 초과하면, 일치도가 초과된 라벨이 라벨링된 첨삭정보를 추천 첨삭정보 리스트에 포함시켜 업데이트할 수 있다.The communication unit 340 may search for pre-stored correction information using the analyzed vulnerability as an input value and transmit the recommended correction information to the device 100 . Accordingly, the device 100 may receive correction information recommended based on keyword data among the transmitted answers. Here, the pre-stored correction information may be correction information labeled with a label explaining the characteristics of the correction information. At this time, when the analyzed vulnerability is received as an input value, the communication unit 340 compares the tag and the label corresponding to the vulnerability and, when the matching degree exceeds a preset degree of matching, recommends correction information labeled with the label exceeding the matching degree. You can update it by including it in the list.

즉, 학습 시스템에서는 한 가지 콘텐츠가 다양한 학습자들에게 전송되고, 기초 지식이 각각 다른 학습자들이 같은 콘텐츠를 수강하므로 첨삭정보 콘텐츠가 효율적으로 전달되지 않으며, 해당 교육 콘텐츠의 내용을 모두 알고 있는 학습자에게는 첨삭정보 수강이 의미없는 반복일 뿐이고，기초 지식이 없는 학습자는 어려운 첨삭정보를 제대로 수강하지 못하게 될 수 있다. 이에 따라, 본 발명은 논술 문제 및 논술 문제에 대한 답변을 정확히 분석하여, 각 학습자마다 필요한 첨삭정보를 학습할 수 있도록 해주는 것을 목표로 한다.In other words, in the learning system, one content is transmitted to various learners, and since learners with different basic knowledge take the same content, the correction information content is not delivered efficiently, and correction information is not transmitted efficiently to learners who know all the contents of the educational content. Taking information is only meaningless repetition, and learners without basic knowledge may not be able to properly take difficult correction information. Accordingly, an object of the present invention is to accurately analyze an essay problem and an answer to an essay problem, and to learn correction information required for each learner.

이를 위해, 통신부(340)는 각 첨삭정보 콘텐츠를 데이터베이스화할 때 첨삭정보 콘텐츠가 무엇을 설명하고 있는지를 알려주는 라벨 뿐만 아니라, 해당 난이도도 함께 라벨링할 수 있도록 하고, 논술 문제 및 논술 문제에도 난이도가 함께 메타데이터로 매핑될 수 있도록 한다. 학습자에게 전달되는 첨삭정보 콘텐츠는 복수의 레벨로 나누어진 난이도로 구분될 수 있다.To this end, the communication unit 340 makes it possible to label not only the label indicating what the correction information content describes, but also the corresponding difficulty level, when each correction information content is converted into a database, and the difficulty is also increased in essay problems and essay problems. It allows them to be mapped together as metadata. The correction information content delivered to the learner may be divided into difficulty levels divided into a plurality of levels.

이때, 레벨 1의 메타데이터가 라벨링된 문제를 틀린 학습자가 존재한다고 가정한다. 여기서, 해당 학습자는 상술한 첨삭정보 콘텐츠 중 레벨 1 부분을 수강해야 한다. 반대로, 레벨 3의 메타데이터가 라벨링된 문제를 틀린 학습자가 존재한다고 가정하면, 해당 학습자는 상술한 첨삭정보 콘텐츠 중 레벨 3 부분을 수강해야 한다. 이렇게 각 첨삭정보를 레벨이나 개념에 따라서 모듈화(분할, 분리)를 하고, 각 학습자가 부족한 취약점만을 조합하여 학습자의 시간낭비를 줄여주고, 학습효과는 높여줄 수 있다. 예를 들어, 레벨 2의 첨삭정보 콘텐츠를 배정받는 학습자는 기본적으로 레벨 1, 2의 첨삭정보 모듈을 배정 받는데 학습자가 레벨 3과 관련된 문제를 맞춘 경우, 레벨 2의 첨삭정보 콘텐츠는 모두 알고 있다고 가정하고 해당 레벨 단계의 첨삭정보 콘텐츠를 전송하지 않을 수 있다. 알고 있는 내용을 다시 첨삭정보 하는 것보다 학습자가 모르는 내용을 첨삭정보 하는 것이 일반적으로 학습자들에게 더 도움이 되기 때문이다.At this time, it is assumed that there is a learner who misinterprets the problem labeled with level 1 metadata. Here, the learner must take the level 1 part of the above-mentioned correction information contents. Conversely, if it is assumed that there is a learner who misinterprets the problem labeled with the level 3 metadata, the learner must take the level 3 part of the correction information content described above. In this way, each correction information is modularized (divided, separated) according to the level or concept, and only the weak points that each learner lacks can be combined to reduce the learner's waste of time and increase the learning effect. For example, a learner who is assigned level 2 correction information content is basically assigned level 1 and 2 correction information module. and may not transmit the correction information content of the corresponding level stage. This is because, in general, it is more helpful for learners to correct information that the learner does not know than to correct information again for what they know.

이때, 통신부(340)는 취약점을 분석하고 첨삭정보를 추천하기 위하여, 연관관계 분석을 통해 빈발 출현 태그쌍을 추출하고 이를 근거로 전체 태그 간 네트워크를 구축함으로써，중심 태그 및 연계 태그를 구축할 수 있다. 또한, 통신부(340)는 퍼지 관계 및 퍼지합성의 개념을 적용시켜서 첨삭정보 추천 결정을 하는데 필요한 정보를 전송할 수도 있고, 각 첨삭정보 콘텐츠를 대표하는 개념별로 그룹화함으로써 추천을 위해 첨삭정보를 검색할 때, 모든 문서를 검색할 필요가 없도록 할 수도 있다. 그리고, 통신부(340)는 디바이스(100)에서 치른 시험 결과 및 첨삭정보 로그 데이터를 수집하여, 학습자를 노드(node)로 설정하고, 해당 학습자가 치른 시험과 수강한 첨삭정보를 연결선(edge)으로 이은 논술 준비 네트워크를 구성할 수도 있다. 이러한 방법을 바탕으로 통계적 접근법을 기초로 하여 학습했던 첨삭정보, 치뤘던 시험 간의 관계정보를 이용하여 적극적으로 첨삭정보를 추천할 수 있는 시스템이 구축될 수 있다. 마지막으로, 통신부(340)는 군집화 기법과 XML 기반의 서비스 기술표준인 WSDL의 의미적 가치를 이용하여 다수의 웹 서비스를 군집화하는 프레임워크를 이용할 수도 있다. 이 방법은 특정 도메인에 과도하게 치중한 온톨로지를 피하며 웹 서비스들 간의 의미론적 관계를 시각화할 수 있다.At this time, the communication unit 340 extracts the frequent occurrence tag pairs through correlation analysis in order to analyze vulnerabilities and recommend correction information, and builds a network between all tags based on this, thereby constructing a central tag and a linked tag. have. In addition, the communication unit 340 may transmit information necessary to make a recommendation decision for correction information by applying the concepts of fuzzy relationship and fuzzy synthesis, and group correction information by concepts representing each correction information content when searching for correction information for recommendation. , you can also avoid having to search through all the documents. Then, the communication unit 340 collects the test result and correction information log data taken by the device 100, sets the learner as a node, and connects the test taken by the learner and the correction information taken by the learner as an edge. This may constitute an essay preparation network. Based on this method, a system can be built that can actively recommend correction information using the relational information between the correction information learned based on a statistical approach and the test taken. Finally, the communication unit 340 may use a framework for clustering a plurality of web services by using the clustering technique and the semantic value of WSDL, which is an XML-based service technology standard. This method avoids ontology that is excessively focused on a specific domain and can visualize the semantic relationship between web services.

빅데이터모듈(350)은, 수신된 논술 문제에 대한 텍스트형 답 및 음성형 답의 채점 결과를 수집하고, 수집된 로우 데이터((Raw Data)를 병렬 및 분산하여 저장하고, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 전처리된 데이터를 데이터 마이닝(Data Mining) 기계학습(Machine Learning)으로 트레이닝하여 빅데이터를 구축할 수 있다. 이때, 기계학습은, 지도 학습(Supervised Learning), 반지도 학습(Semi-Supervised Learning), 비지도 학습(Unsupervised Learning), 및 강화 학습(Reinforcement Learning) 중 어느 하나 또는 적어도 하나의 조합일 수 있다. 그리고, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함할 수 있다. 여기서, 빅데이터의 구축을 위해, 논술 문제를 수신하고, 답을 채점한 결과 데이터를 서버(300)로 전송할 수 있다.The big data module 350 collects the scoring results of text-type answers and voice-type answers to the received essay questions, stores the collected raw data in parallel and distributed, and includes them in the stored raw data. Refine unstructured data, structured data and semi-structured data, perform preprocessing including classification as meta data, and perform data mining on the preprocessed data Learning) to build big data, where machine learning is supervised learning, semi-supervised learning, unsupervised learning, and reinforcement learning ) or a combination of at least one. And, data mining is a classification that predicts a class of new data by learning a training data set whose class is known by exploring the inherent relationship between preprocessed data, or It may include performing clustering of grouping data based on similarity without class information, where, for the construction of big data, an essay question is received, and the result data obtained by scoring the answer is transferred to the server 300 . can be sent to

이하, 상술한 도 3의 서버의 구성에 따른 동작 과정은 다음과 같이 수행될 수 있다. 상세하게, (a) 서버(300)는 수집된 채점 결과 등의 데이터를 수집하여 빅데이터를 구축하고, (b) 이를 기계학습을 통하여 그 다음 답안지가 입력된 경우 논술 답안을 채점할 수 있을 정도로 훈련을 진행한다. 그리고, (c) 학습자의 논술 답안이 입력된 경우, 서버(300)는 기 저장된 답안, 기 설정된 평가방법, 항목, 점수 환산 방법 등에 기초하여 채점을 진행하고, (d) 분석 결과를 토대로 취약점을 추출하고, 추출된 취약점을 보완해줄 수 있는 첨삭정보를 산출하여 디바이스(100)로 전송한다.Hereinafter, an operation process according to the configuration of the server of FIG. 3 described above may be performed as follows. In detail, (a) the server 300 builds big data by collecting data such as the collected scoring results, and (b) it is possible to score an essay answer when the next answer sheet is input through machine learning. conduct training. And, (c) when the student's essay answer is input, the server 300 performs scoring based on pre-stored answers, preset evaluation methods, items, score conversion methods, etc., and (d) finds vulnerabilities based on the analysis results It is extracted, and correction information that can supplement the extracted vulnerabilities is calculated and transmitted to the device 100 .

도 4는 본 발명의 일 실시예에 따른 인공지능 기반 논술 자동 채점 시스템을 이용한 논술 문제를 채점하는 일 실시예를 설명하기 위한 도면이다.4 is a view for explaining an embodiment of scoring an essay problem using an artificial intelligence-based automatic writing scoring system according to an embodiment of the present invention.

도 4를 참조하면, 각각의 문제는 메타데이터를 포함하고 있고, 이는 복수일 수 있다. 그리고, 서버(300)는, 논술 문제를 채점할 때, 학습자 답안과 정답을 비교하여 채점하되, 키워드가 발생된 문항의 메타데이터를 추출하고, 이를 취약점의 검색어로 설정한 후에 태그(검색어)를 이용하여 기 구축된 데이터베이스와 비교하고, 동일 또는 유사한 라벨을 가지는 첨삭정보를 추출함으로써 학습자에게 적합한 첨삭정보를 추천해줄 수 있다.Referring to FIG. 4 , each problem includes metadata, which may be plural. And, when scoring the essay question, the server 300 compares the learner's answer with the correct answer and scores, extracts the metadata of the question in which the keyword is generated, sets it as the search word for the vulnerability, and then sets the tag (search word) It is possible to recommend correction information suitable for the learner by comparing it with a previously constructed database and extracting correction information having the same or similar label.

다른 실시예로, 하나의 문제는 복수개의 테스크(Task)를 포함하고, 이를 만족해야 높은 점수를 받을 수 있으며, 그렇지 않은 경우 낮은 점수를 면치 못한다. 이때, 논술 문제와 다른 점은 자연어가 각 학습자의 어휘실력이나 배경지식에 따라 서로 다르게 표현될 수 있고 다양한 방향으로 전개가 될 수 있기 때문에 인공지능 채점이 어려워지는데, 이를 위하여 본 발명은, 상술한 바와 같이 자동채점 프로그램을 이용할 수 있다. 이때, 각 항목별로 채점을 수행하는 것을 제외하면 나머지 프로세스는 도 4와 동일하므로 설명은 생략하기로 한다.In another embodiment, one problem includes a plurality of tasks and must be satisfied to receive a high score, otherwise, a low score cannot be avoided. At this time, the difference from the essay problem is that artificial intelligence scoring becomes difficult because natural language can be expressed differently depending on the vocabulary skills or background knowledge of each learner and can be developed in various directions. You can use the automatic scoring program as shown. At this time, since the rest of the process is the same as that of FIG. 4 except for performing scoring for each item, a description thereof will be omitted.

예를 들어, 개념답안생성모듈로 문항정보를 생성하고, 수동으로 기준점수가 부여된 학습용 학습자답안과 전문가의 정보입력을 통해 자동채점과 관련된 문항정보를 담고 있는 문항정보파일을 생성하며, 자질추출모듈과 채점모델생성모듈을 이용하여 학습 모델을 생성할 수 있다. 그리고, 언어처리기를 통해 학습용 학습자 답안을 분석하고, 분석된 학습자의 답안으로부터 자질추출기를 이용하여 기계학습에 사용할 자질을 추출한다. 이렇게 생성된 학습자답안의 자질과 문항정보파일은 채점모델생성모듈의 채점모델생성기가 학습모델과 최적조합을 생성하기 위해 사용할 수 있다. 마지막으로 학습자들의 답안을 자동채점하기 위해 자질추출모듈과 답안채점모듈이 사용될 수 있는데, 자질추출모듈은 자동채점을 수행할 학습자의 답안을 분석하고 자질을 추출한다. 추출된 자질을 학습모델에 적용하여 자동채점 점수를 생성하고 최적조합과 문항정보파일을 이용하여 몇 가지 예외사항적용과 최적조합을 통해 최종 채점결과를 생성할 수 있다. 이하, 각 모듈에 대하여 상세히 설명한다.For example, the question information is created with the conceptual answer generation module, and the question information file containing the question information related to automatic scoring is generated through the learner answer for learning to which the reference score is manually given and the expert's information input, and quality is extracted. A learning model can be created using the module and the scoring model creation module. Then, the learner's answer for learning is analyzed through the language processor, and qualities to be used for machine learning are extracted from the analyzed learner's answer by using the feature extractor. The quality and item information file of the learner answer generated in this way can be used by the scoring model generator of the scoring model generation module to create an optimal combination with the learning model. Finally, the feature extraction module and the answer scoring module can be used to automatically score learners' answers. The feature extraction module analyzes the learners' answers to perform automatic scoring and extracts the qualities. By applying the extracted qualities to the learning model, an automatic scoring score can be generated, and the final scoring result can be generated through the application of some exceptions and the optimum combination using the optimal combination and item information file. Hereinafter, each module will be described in detail.

자질추출모듈은 학습자 답안으로부터 자동채점에 필요한 자질을 추출할 수 있다. 자질추출모듈은 언어처리기와 자질추출기로 구성된다. 언어처리기는 입력 답안에 대한 언어분석 결과와 분석과정에서 검출된 답안의 각종 오류정보를 출력하고, 언어처리기의 출력은 자질추출기의 입력으로 사용될 수 있다. 자질추출기에서 추출되는 자질은 두 부류로 나눌 수 있다. 첫 번째는, 개념답안 후보단어 자질로, 수동으로 기채점된 학습자 답안 중 고득점 답안들을 대상으로 언어처리기를 통한 분석을 수행할 수 있다. 수행 결과 각 답안에서 기능어와 일부 불용어(stop word)를 제외한 단어의 원형을 복원하여 개념답안 후보단어 자질로 이용할 수 있고, 이 자질은 개념답안생성모듈에서 사용할 수 있다. 두 번째는, 자동채점 자질로, 자동채점 대상인 수험생의 답안을 언어처리기를 통해 분석을 수행할 수 있다. 답안의 언어처리 결과와 문항정보파일에 있는 개념답안 집합, 문제 정보 등을 이용하여 자동채점을 위한 자질을 추출할 수 있다.The feature extraction module can extract the qualities required for automatic scoring from the learner's answers. The feature extraction module consists of a language processor and a feature extractor. The language processor outputs the result of language analysis for the input answer and various error information of the answer detected in the analysis process, and the output of the language processor can be used as an input of the feature extractor. The features extracted from the feature extractor can be divided into two categories. The first is the quality of candidate words for conceptual answers, and analysis can be performed through a language processor on high-scoring answers among manually scored learner answers. As a result of the execution, the original form of words excluding function words and some stop words in each answer can be restored and used as a candidate word quality for a concept answer, and this feature can be used in the concept answer generation module. The second is the automatic scoring feature, which can analyze the answers of the examinees who are the subjects of automatic scoring through a language processor. Qualities for automatic scoring can be extracted using the language processing result of the answer, the conceptual answer set in the item information file, and problem information.

이때, 자질을 추출할 때 고려되어야 하는 파라미터는 아래와 같다.In this case, the parameters to be considered when extracting features are as follows.

복잡도(perplexity)는 본래 언어모델(Language model)의 성능을 측정하기 위해 개발되었는데, 수집된 문장을 학습 데이터(트레이닝 데이터)와 테스트 데이터로 나누어 학습데이터로 언어모델을 생성하고, 언어모델에 테스트 데이터를 적용했을 때, 테스트 문장이 생성될 확률이 높을수록 작은 값을 가지도록 설계된 평가도구이다. 이를 이용하여 언어모델에 어떤 문장을 입력하여 그 문장이 올바른 문장인지 아닌지 판단할 수 있다. 복잡도 계산을 위한 언어모델은 British Academic Written English Corpus(BAWE) 코퍼스로부터 추출된 5-gram을 이용하여 생성할 수 있으나 이에 한정되는 것은 아니다.The complexity (perplexity) was originally developed to measure the performance of a language model. The collected sentences are divided into training data (training data) and test data to create a language model with the training data, and test data to the language model. It is an evaluation tool designed to have a smaller value as the probability of generating a test sentence increases when . Using this, it is possible to input a certain sentence into the language model and determine whether the sentence is a correct sentence or not. A language model for calculating complexity may be generated using 5-grams extracted from a British Academic Written English Corpus (BAWE) corpus, but is not limited thereto.

답안에 사용된 아무런 의미 없는 노이즈(noise) 단어는 철자 오류나 띄어쓰기 오류와는 의미가 다르기 때문에 노이즈 단어를 제대로 인식해야 한다. 비속어의 사용여부와 노이즈 단어의 사용여부를 철자오류와 구분해서 자동채점의 자질로 사용할 수 있다. 오류 문장도 자동채점의 자질로 사용할 수 있는데, 오류 문장을 분석할 수 있는 구문 규칙을 작성하는 일은 매우 어렵고, 오류를 많이 포함하고 있는 문장의 경우 구문 분석이 완료되지 못하고 중간에 실패하게 되는 경우가 많다. 이러한 경우 구문 오류 검출이 전혀 이루어지지 못하기 때문에 오류가 없는 문장으로 간주되는 경우가 발생할 수 있다. 따라서, 일반적인 구문오류와, 완전히 비문법적 단어 나열과 같은 오류를 구분하여 자질로 이용할 수 있고, 비문법적 단어 나열 오류는 일반적인 구문분석기가 아닌 유한상태 오토마타(finite state automata)를 이용하여 검출할 수도 있다. 또한, 미완성으로 끝나는 문장 오류도 상술한 자질과 구분하도록 할 수도 있다. 상술한 세 개 모두 구문오류 관련 자질이지만 표현하는 오류의 심각성은 서로 다를 수 있는데, 세 자질을 구분하여 설정하였기 때문에 자동 채점에 미치는 영향을 다르게 반영할 수 있다.Since the meaningless noise word used in the answer has a different meaning from a spelling error or a space error, it is necessary to properly recognize the noise word. Whether or not to use profanity and noise words can be distinguished from spelling errors and used as the features of automatic scoring. Error sentences can also be used as a feature of automatic scoring. It is very difficult to write syntax rules that can analyze error sentences, and in the case of sentences containing a lot of errors, parsing analysis is not completed and fails in the middle. . In this case, since syntax error detection is not performed at all, it may be regarded as an error-free sentence. Therefore, general syntax errors and errors such as completely non-grammatical word ordering can be distinguished and used as a feature, and non-grammatical word ordering errors can be detected using a finite state automata instead of a general parser. . In addition, sentence errors ending in incompleteness may be distinguished from the above-described qualities. Although all three of the above-described characteristics are related to syntax errors, the severity of the errors expressed may be different. Since the three characteristics are set separately, the effect on automatic scoring can be reflected differently.

채점모델생성모듈은 학습용 학습자답안의 영역별 채점 점수와 답안에서 추출한 채점 자질, 문항정보파일을 이용하여 각 채점영역별로 학습모델을 구축하고 모델의 최적조합을 결정할 수 있다. 이때, 본 발명의 일 실시예에서는, 하나의 기계학습 알고리즘을 사용하지 않고 다수 개의 기계학습 알고리즘을 동시에 사용할 수도 있다. 그 이유는, 채점영역이나 수집되는 학습데이터가 가질 수 있는 특성에 유연하게 대처하여 가장 좋은 성능을 나타낼 수 있기 때문이다. 이때, 기계학습 알고리즘은, SMO, BayesNetwork, Multilayer Perceptron 등이 이용될 수 있으나 이에 한정되지는 않는다. 이렇게 조합을 하는 경우, 시험의 난이도나 학습데이터의 질에 따른 모델 생성의 유연성을 높일 수 있다.The scoring model generation module can build a learning model for each scoring area and determine the optimal combination of models by using the scoring score for each area of the learner's answer for learning, the scoring qualities extracted from the answer, and the item information file. In this case, in an embodiment of the present invention, a plurality of machine learning algorithms may be used simultaneously without using one machine learning algorithm. The reason is that it can exhibit the best performance by flexibly responding to the characteristics of the scoring area or the collected learning data. In this case, the machine learning algorithm, SMO, BayesNetwork, Multilayer Perceptron, etc. may be used, but is not limited thereto. In this combination, the flexibility of model creation according to the difficulty of the test or the quality of the learning data can be increased.

기계학습 알고리즘에는 학습 시 설정해주어야 하는 파라미터값이 있다. 각 알고리즘의 특성과 채점 영역, 학습 데이터의 성향에 따라 최적의 결과를 도출하는 파라미터 값이 다를 수 있다. 그렇기 때문에 가장 적절한 파라미터값을 자동으로 결정하기 위하여 채점모델생성 단계에서 다음과 같은 작업을 수행한다. 기계학습 알고리즘의 각 파라미터의 속성에 따라 최소값, 최대값을 결정하고, 그 사이의 값을 일정 간격으로 생성하여 파라미터 값들의 조합을 생성한다. 각 파라미터 조합에 대하여 채점모델생성의 학습 데이터를 크로스 유효성 검사를 수행하고, 가장 좋은 결과를 나타낸 파라미터 조합을 이용하여 입력된 학습 데이터의 채점모델을 생성할 수 있다. 파라미터 최적화 프로세스는 기계학습 알고리즘이 학습을 수행할 때마다 수행될 수 있다.Machine learning algorithms have parameter values that must be set during training. Depending on the characteristics of each algorithm, the scoring area, and the propensity of the learning data, the parameter values for deriving the optimal result may be different. Therefore, in order to automatically determine the most appropriate parameter value, the following work is performed in the scoring model creation stage. A combination of parameter values is generated by determining the minimum and maximum values according to the properties of each parameter of the machine learning algorithm, and generating values between them at regular intervals. For each parameter combination, cross-validation is performed on the training data of the scoring model generation, and a scoring model of the input training data can be generated using the parameter combination showing the best result. The parameter optimization process may be performed whenever the machine learning algorithm performs learning.

기계학습 알고리즘마다 특성이 다르고, 채점영역별로 채점기준이 다르며 시행된 시험의 경향과 준비된 학습 데이터의 성향이 다를 수 있기 때문에 하나의 기계학습 알고리즘만을 사용하는 것보다 여러 알고리즘의 조합한 결과가 더 나은 성능을 발휘할 수 있다. 학습모델 생성을 위해 입력된 데이터를 같은 크기를 가지는 데이터 셋으로 나누고, 조합 테스트 데이터 및 조합 학습 데이터로 구분한다. 그리고, 복수의 기계학습 알고리즘에 대한 가능한 조합을 생성하고, 조합 학습 데이터로 각 기계학습 알고리즘을 학습하고, 조합 테스트 데이터를 이용하여 기계학습 알고리즘별 예측 점수를 생성한다. 이렇게 생성된 예측점수를 각각의 조합에 적용하여 조합점수를 결정할 수 있다. 그리고, 데이터 셋에서 예측에 사용되지 않은 데이터 셋 하나를 조합 테스트 데이터로 선정하고 나머지 데이터 셋을 조합 학습 데이터 셋으로 선정하여 반복함으로써, 최적조합을 결정할 수 있다. 상술한 방법 이외에도 기계학습과 인공지능 기반으로 자동채점 알고리즘이 구성될 수 있으며, 상술한 방법에 한정되지 않고 다양한 실시예에 따라 변형가능함은 자명하다 할 것이다.Because each machine learning algorithm has different characteristics, the scoring criteria for each scoring area are different, and the tendency of the conducted test and the tendency of the prepared learning data may be different, the result of combining several algorithms is better than using only one machine learning algorithm. performance can be achieved. The data input to create the learning model is divided into data sets having the same size, and divided into combination test data and combination learning data. Then, a possible combination of a plurality of machine learning algorithms is generated, each machine learning algorithm is learned with the combination learning data, and a prediction score for each machine learning algorithm is generated using the combination test data. Combination scores can be determined by applying the predicted scores generated in this way to each combination. And, an optimal combination can be determined by selecting one data set not used for prediction in the data set as the combination test data and selecting the remaining data sets as the combination learning data set and repeating it. In addition to the above-described method, an automatic scoring algorithm may be configured based on machine learning and artificial intelligence, and it will be apparent that the method is not limited to the above-described method and can be modified according to various embodiments.

이와 같은 도 4의 인공지능 기반 논술 자동 채점 시스템에 대해서 설명되지 아니한 사항은 앞서 도 2 및 도 3을 통해 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.Matters that are not described with respect to the artificial intelligence-based automatic scoring system of FIG. 4 are the same as those described with reference to FIGS. 2 and 3 or can be easily inferred from the described content, so the following description will be omitted.

도 4를 통해 설명된 일 실시예에 따른 인공지능 기반 논술 자동 채점 시스템은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The artificial intelligence-based essay scoring system according to the embodiment described with reference to FIG. 4 may be implemented in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer. . Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 논술 첨삭정보 추천 서비스 전송 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 인공지능 기반 논술 자동 채점 시스템은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The method for transmitting essay correction information recommendation service using automatic scoring based on artificial intelligence machine learning according to an embodiment of the present invention described above includes an application basically installed in a terminal (which is a program included in a platform or operating system basically installed in the terminal) may be included), and may be executed by an application (ie, a program) installed directly on the master terminal by a user through an application server such as an application store server, an application, or a web server related to the corresponding service. In this sense, the AI-based automatic scoring system according to an embodiment of the present invention described above is implemented as an application (ie, a program) installed by default in a terminal or directly installed by a user, and can be read by a computer such as a terminal. It can be recorded on a recording medium.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise components described as distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

Claims (6)

논술 문제에 대한 답을 텍스트 및 음성으로 전송하고, 상기 전송한 답 중 키워드 데이터에 기반하여 추천된 첨삭정보를 수신하는 디바이스; 및 서버;로 구성되는 인공지능 기반 논술 자동 채점 시스템에 있어서,
상기 서버는,
상기 디바이스로부터 수신된 상기 논술 문제에 대한 답과 기 저장된 답을 비교하여 키워드를 확인하는 비교모듈;
기 구축된 빅데이터 및 인공지능에 기반하여 상기 논술 문제에 대한 텍스트형 답 및 음성형 답을 채점하는 첨삭모듈;
상기 비교모듈에서 확인된 논술 문제의 키워드와, 상기 첨삭모듈의 채점결과에 기반하여 상기 디바이스의 취약점을 분석하는 분석모듈; 및
상기 분석된 취약점을 입력값으로 기 저장된 첨삭정보를 검색하여 상기 디바이스로 추천 첨삭정보를 전송하는 통신부;를 포함하는 것을 특징으로 하는 인공지능 기반 논술 자동 채점 시스템.
a device for transmitting an answer to an essay question in text and voice, and receiving correction information recommended based on keyword data among the transmitted answers; In the artificial intelligence-based automatic scoring system consisting of; and a server,
The server is
a comparison module that compares the answer to the essay question received from the device with a pre-stored answer to confirm a keyword;
a correction module for scoring text-type answers and voice-type answers to the essay questions based on previously built big data and artificial intelligence;
an analysis module for analyzing the weakness of the device based on the keyword of the essay problem identified in the comparison module and the scoring result of the correction module; and
and a communication unit that searches for pre-stored correction information using the analyzed vulnerability as an input value and transmits the recommended correction information to the device.
 제 1 항에 있어서 상기 서버는,
상기 논술 문제에 대한 텍스트형 답 및 음성형 답의 채점 결과를 수집하고, 상기 수집된 로우 데이터((Raw Data)를 병렬 및 분산하여 저장하고, 상기 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 상기 전처리된 데이터를 데이터 마이닝(Data Mining) 기계학습(Machine Learning)으로 트레이닝하여 빅데이터를 구축하는 빅데이터모듈;를 더 포함하는 것을 특징으로 하는 인공지능 기반 논술 자동 채점 시스템.
According to claim 1, wherein the server,
Collecting the scoring results of text-type answers and voice-type answers to the essay questions, storing the collected raw data in parallel and distributedly, and unstructured data included in the stored raw data, Refining structured data and semi-structured data, performing preprocessing including classification as meta data, and training the preprocessed data with data mining machine learning to make big Artificial intelligence-based essay scoring system, characterized in that it further comprises a big data module for building data.
 제 2 항에 있어서 상기 데이터 마이닝은,
상기 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함하는 것을 특징으로 하는 인공지능 기반 논술 자동 채점 시스템.
The method of claim 2, wherein the data mining comprises:
Classification, which predicts the class of new data by learning the training data set whose class is known by exploring the inherent relationship between the preprocessed data, or clustering, which groups data based on similarity without class information Artificial intelligence-based essay automatic scoring system, characterized in that it includes.
 제 1 항에 있어서 상기 첨삭모듈는,
상기 논술 문제에 대하여 음성으로 전송된 답을 음성발화를 인식한 후 STT(Speaking To Text)를 이용하여 텍스트로 변환하고, 상기 변환된 텍스트를 기준으로 기 저장된 정답 템플릿(Template)을 이용하여 채점을 수행하는 것을 특징으로 하는 인공지능 기반 논술 자동 채점 시스템.
According to claim 1, wherein the cutting module,
After recognizing voice utterance, the answer transmitted by voice to the above essay question is converted into text using STT (Speaking To Text), and scoring is performed using a pre-stored answer template based on the converted text. Artificial intelligence-based essay automatic scoring system, characterized in that it performs.
 제 1 항에 있어서 상기 분석모듈는,
상기 키워드가 발생한 논술 문제 및 논술 문제에 기 매핑되어 저장된 메타데이터를 추출하고, 상기 추출된 메타데이터를 취약점을 반영하는 태그로 설정하는 것을 특징으로 하는 인공지능 기반 논술 자동 채점 시스템.
According to claim 1, wherein the analysis module,
An artificial intelligence-based essay scoring system, characterized in that the extracted metadata is pre-mapped to the essay problem and the essay problem in which the keyword occurs, and the extracted metadata is set as a tag reflecting the vulnerability.
 제 5 항에 있어서,
상기 기 저장된 첨삭정보는 상기 첨삭정보의 특징을 설명하는 라벨이 라벨링된 첨삭정보이고,
상기 통신부는,
상기 분석된 취약점이 입력값으로 수신된 경우, 상기 취약점에 대응하는 태그와 상기 라벨을 비교하여 기 설정된 일치도를 초과하면, 상기 일치도가 초과된 라벨이 라벨링된 첨삭정보를 추천 첨삭정보 리스트에 포함시켜 업데이트하는 것을 특징으로 하는 인공지능 기반 논술 자동 채점 시스템.6. The method of claim 5,
The pre-stored correction information is correction information labeled with a label explaining the characteristics of the correction information,
The communication unit,
When the analyzed vulnerability is received as an input value, the tag corresponding to the vulnerability is compared with the label, and when the preset degree of matching is exceeded, the correction information labeled with the label exceeding the matching degree is included in the recommended correction information list Artificial intelligence-based essay scoring system, characterized in that it is updated.
KR1020210024112A 2021-02-23 2021-02-23 Artificial intelligence-based subjective automatic grading system KR20220120253A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210024112A KR20220120253A (en) 2021-02-23 2021-02-23 Artificial intelligence-based subjective automatic grading system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210024112A KR20220120253A (en) 2021-02-23 2021-02-23 Artificial intelligence-based subjective automatic grading system

Publications (1)

Publication Number Publication Date
KR20220120253A true KR20220120253A (en) 2022-08-30

Family

ID=83114378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210024112A KR20220120253A (en) 2021-02-23 2021-02-23 Artificial intelligence-based subjective automatic grading system

Country Status (1)

Country Link
KR (1) KR20220120253A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116525046A (en) * 2023-06-25 2023-08-01 陕西天诚软件有限公司 Artificial intelligence psychological assessment system based on big data
CN116629270A (en) * 2023-06-12 2023-08-22 广州市南方人力资源评价中心有限公司 Subjective question scoring method and device based on examination big data and text semantics
KR102604756B1 (en) 2023-07-31 2023-11-24 ㈜엠엔씨에이프로 Server, system, method and program providing essay scoring management service
CN117932039A (en) * 2024-03-21 2024-04-26 山东大学 Interpretable text review method and system based on heuristic question-answer reasoning

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629270A (en) * 2023-06-12 2023-08-22 广州市南方人力资源评价中心有限公司 Subjective question scoring method and device based on examination big data and text semantics
CN116629270B (en) * 2023-06-12 2024-02-02 广州市南方人力资源评价中心有限公司 Subjective question scoring method and device based on examination big data and text semantics
CN116525046A (en) * 2023-06-25 2023-08-01 陕西天诚软件有限公司 Artificial intelligence psychological assessment system based on big data
CN116525046B (en) * 2023-06-25 2023-11-10 陕西天诚软件有限公司 Artificial intelligence psychological assessment system based on big data
KR102604756B1 (en) 2023-07-31 2023-11-24 ㈜엠엔씨에이프로 Server, system, method and program providing essay scoring management service
CN117932039A (en) * 2024-03-21 2024-04-26 山东大学 Interpretable text review method and system based on heuristic question-answer reasoning

Similar Documents

Publication Publication Date Title
Deriu et al. Survey on evaluation methods for dialogue systems
US11537793B2 (en) System for providing intelligent part of speech processing of complex natural language
US20210232762A1 (en) Architectures for natural language processing
KR20200119358A (en) System for providing tofel course recommendation service using artificial intelligence machine learning based automatic evaluation
KR20220120253A (en) Artificial intelligence-based subjective automatic grading system
US9754207B2 (en) Corpus quality analysis
US10720071B2 (en) Dynamic identification and validation of test questions from a corpus
US9621601B2 (en) User collaboration for answer generation in question and answer system
US10740408B2 (en) Method and system for generating an architecture document for describing a system framework
US11170660B2 (en) Harvesting question/answer training data from watched hypotheses in a deep QA system
US20160189029A1 (en) Displaying Quality of Question Being Asked a Question Answering System
US20150019571A1 (en) Method for population of object property assertions
US20170169355A1 (en) Ground Truth Improvement Via Machine Learned Similar Passage Detection
Chan et al. Question-answering dialogue system for emergency operations
US20220414463A1 (en) Automated troubleshooter
KR102122081B1 (en) Method for providing artificial intelligence based natural language corpus building service using interactive learning between artificial collector, analyzer and inspector, and building
KR20140060379A (en) Apparatus and method estimating writing using classification of sentences type
US10586161B2 (en) Cognitive visual debugger that conducts error analysis for a question answering system
KR20210057308A (en) Method and system for providing chatbot service based on machine learning
Malhar et al. Deep learning based Answering Questions using T5 and Structured Question Generation System’
US11182552B2 (en) Routine evaluation of accuracy of a factoid pipeline and staleness of associated training data
KR20180128694A (en) System and method for quality evaluation of research document
Beaver Automatic Conversation Review for Intelligent Virtual Assistants
Singh et al. Computer application for assessing subjective answers using AI
Zhao et al. Natural language query for technical knowledge graph navigation