KR20230009816A - Method for, device for, and system for evaluating learning ability - Google Patents
Method for, device for, and system for evaluating learning ability Download PDFInfo
- Publication number
- KR20230009816A KR20230009816A KR1020220057647A KR20220057647A KR20230009816A KR 20230009816 A KR20230009816 A KR 20230009816A KR 1020220057647 A KR1020220057647 A KR 1020220057647A KR 20220057647 A KR20220057647 A KR 20220057647A KR 20230009816 A KR20230009816 A KR 20230009816A
- Authority
- KR
- South Korea
- Prior art keywords
- response
- user
- learning
- evaluation
- evaluation system
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000011156 evaluation Methods 0.000 claims abstract description 260
- 230000004044 response Effects 0.000 claims abstract description 176
- 238000003062 neural network model Methods 0.000 claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000013210 evaluation model Methods 0.000 claims description 74
- 238000004364 calculation method Methods 0.000 claims description 6
- 229910052709 silver Inorganic materials 0.000 claims 1
- 239000004332 silver Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Educational Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 출원은 학습 능력 평가 방법, 학습 능력 평가 장치, 및 학습 능력 평가 시스템에 관한 것이다. 구체적으로 본 출원은 서머티브 평가 시스템(Summative assessment system)에서 획득된 사용자의 데이터를 이용하여 포머티브 평가 시스템(Formative assessment system)에서의 사용자의 학습 능력을 연산하는 학습 능력 평가 방법, 학습 능력 평가 장치, 및 학습 능력 평가 시스템에 관한 것이다. This application relates to a learning ability evaluation method, a learning ability evaluation device, and a learning ability evaluation system. Specifically, the present application provides a learning ability evaluation method and a learning ability evaluation device for calculating the learning ability of a user in a formative assessment system using user data obtained in a summative assessment system. , and a learning ability evaluation system.
인공 지능 기술이 발전하면서 사용자의 학습 실력을 진단하고, 진단 결과에 기반하여 교육 컨텐츠를 추천하는 교육 기술 분야가 주목받고 있다. 사용자의 학습 능력이나 실력을 진단하는 방식에는 포머티브 평가 시스템(Formative assessment system)과 서머티브 평가 시스템(Summative assessment system)이 존재한다.As artificial intelligence technology develops, the field of educational technology that diagnoses a user's learning ability and recommends educational contents based on the diagnosis result is drawing attention. A formative assessment system and a summative assessment system exist as a method of diagnosing a user's learning ability or ability.
종래에는 사용자의 학습 능력을 평가하기 위하여는, 도메인 전문가가 직접 평가 모델을 설계하고 설계된 평가 모델을 이용하여 사용자들을 평가한 데이터를 수집하여 평가 모델을 검증하는 과정이 수반되어야 했다. 다만, 종래 기술의 평가 모델 설계 방식은 도메인 전문가를 고용해야 한다는 점에서 비용이 크게 소요되며, 설계된 평가 모델을 이용하여 사용자들을 평가한 데이터를 수집하는 과정이 필수적으로 요구된다는 점에서 많은 시간이 소요된다는 제약이 존재하였다. Conventionally, in order to evaluate a user's learning ability, a process of verifying the evaluation model by directly designing an evaluation model by a domain expert and collecting user evaluation data using the designed evaluation model was required. However, the prior art evaluation model design method is expensive in that domain experts must be hired, and it takes a lot of time in that the process of collecting user evaluation data using the designed evaluation model is essentially required. There were limitations to that.
이에, 보다 개선된 교육 평가 시스템에서의 사용자의 학습 능력이나 실력을 평가할 수 있는 학습 능력 평가 방법, 학습 능력 평가 장치, 및 학습 능력 평가 시스템이 요구된다. Accordingly, there is a need for a learning ability evaluation method, a learning ability evaluation device, and a learning ability evaluation system capable of evaluating a user's learning ability or ability in a more improved educational evaluation system.
본 발명이 해결하고자 하는 일 과제는, 포머티브 평가 시스템(Formative assessment system)에서의 사용자의 학습 능력을 평가하기 위한 학습 능력 평가 방법, 학습 능력 평가 장치, 및 학습 능력 평가 시스템을 제공하는 것이다. One problem to be solved by the present invention is to provide a learning ability evaluation method, a learning ability evaluation device, and a learning ability evaluation system for evaluating a user's learning ability in a formative assessment system.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problems, and problems not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. .
본 발명이 해결하고자 하는 일 과제는, 포머티브 평가 시스템(Formative assessment system)에서의 사용자의 학습 능력을 평가하기 위한 학습 능력 평가 방법, 학습 능력 평가 장치, 및 학습 능력 평가 시스템을 제공하는 것이다. One problem to be solved by the present invention is to provide a learning ability evaluation method, a learning ability evaluation device, and a learning ability evaluation system for evaluating a user's learning ability in a formative assessment system.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problems, and problems not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. .
본 출원의 실시예에 따른 학습 능력 평가 방법, 장치 및 시스템에 의하면, 포머티브 평가 시스템에서의 사용자의 점수 정보를 연산할 수 있다.According to the learning ability evaluation method, apparatus, and system according to an embodiment of the present application, it is possible to calculate score information of a user in a formal evaluation system.
본 출원의 실시예에 따른 학습 능력 평가 방법, 장치 및 시스템에 의하면, 전문가의 개입 없이 포머티브 평가 시스템 하에서의 사용자의 학습 능력을 평가함으로써 비용이 적게 소요될 수 있다. According to the learning ability evaluation method, apparatus, and system according to an embodiment of the present application, cost can be reduced by evaluating a user's learning ability under a formal evaluation system without expert intervention.
본 출원의 실시예에 따른 학습 능력 평가 방법, 장치 및 시스템에 의하면, 포머티브 평가 시스템에서의 사용자의 데이터를 수집하지 않고도 포머티브 평가 시스템 하에서의 사용자의 학습 능력을 평가함으로써 데이터 수집에 소요되는 시간을 절약할 수 있다.According to the learning ability evaluation method, apparatus, and system according to an embodiment of the present application, the time required for data collection is reduced by evaluating a user's learning ability under a formal evaluation system without collecting user data in the formative evaluation system. You can save.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and effects not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings.
도 1은 본 출원의 일 실시예에 따른 학습 능력 평가 시스템의 개략도이다.
도 2는 본 출원의 일 실시예에 따른 제1 평가 시스템을 나타낸 개략도이다.
도 3은 본 출원의 일 실시예에 따른 제2 평가 시스템을 나타낸 개략도이다.
도 4는 본 출원의 일 실시예에 따른 평가 모델 학습 장치의 동작들을 나타내는 도면이다.
도 5는 본 출원의 일 실시예에 따른 제1 평가 시스템의 사용자 평가 장치의 동작들을 나타낸 도면이다.
도 6은 본 출원의 일 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다.
도 7은 본 출원의 일 실시예에 따른 학습 세트를 준비하는 방법의 구체적인 순서도이다.
도 8은 본 출원의 일 실시예에 따른 응답 시퀀스를 생성하는 일 양상을 도시한 도면이다.
도 9는 본 출원의 일 실시예에 따른 신경망을 학습시키는 일 양상을 도시한 도면이다.
도 10은 본 출원의 일 실시예에 따른 대상 사용자의 학습 능력 평가 방법을 도시한 순서도이다.
도 11은 본 출원의 일 실시예에 따른 대상 사용자의 학습 능력을 획득하는 일 양상을 나타낸 도면이다. 1 is a schematic diagram of a learning ability evaluation system according to an embodiment of the present application.
2 is a schematic diagram showing a first evaluation system according to an embodiment of the present application.
3 is a schematic diagram showing a second evaluation system according to an embodiment of the present application.
4 is a diagram illustrating operations of an evaluation model learning apparatus according to an embodiment of the present application.
5 is a diagram illustrating operations of a user evaluation device of a first evaluation system according to an embodiment of the present application.
6 is a flowchart illustrating a method for learning a neural network model according to an embodiment of the present application.
7 is a detailed flowchart of a method of preparing a learning set according to an embodiment of the present application.
8 is a diagram illustrating an aspect of generating a response sequence according to an embodiment of the present application.
9 is a diagram illustrating an aspect of learning a neural network according to an embodiment of the present application.
10 is a flowchart illustrating a method for evaluating a learning ability of a target user according to an embodiment of the present application.
11 is a diagram illustrating an aspect of acquiring a learning ability of a target user according to an embodiment of the present application.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.The foregoing objects, features and advantages of the present application will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. However, the present application can apply various changes and can have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.Like reference numerals designate essentially like elements throughout the specification. In addition, components having the same function within the scope of the same idea appearing in the drawings of each embodiment will be described using the same reference numerals, and overlapping descriptions thereof will be omitted.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that a detailed description of a known function or configuration related to the present application may unnecessarily obscure the subject matter of the present application, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of this specification are only identifiers for distinguishing one component from another component.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes "module" and "unit" for components used in the following embodiments are given or used interchangeably in consideration of ease of writing the specification, and do not have meanings or roles that are distinguished from each other by themselves.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In the following examples, expressions in the singular number include plural expressions unless the context clearly dictates otherwise.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.In the following embodiments, terms such as include or have mean that features or components described in the specification exist, and do not preclude the possibility that one or more other features or components may be added.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the size of components may be exaggerated or reduced for convenience of description. For example, the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of explanation, and the present invention is not necessarily limited to those shown.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.If an embodiment is otherwise implementable, the order of specific processes may be performed differently from the order described. For example, two processes that are described in succession may be performed substantially concurrently, or may proceed in an order reverse to that described.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following embodiments, when components are connected, a case in which the components are directly connected as well as a case in which components are interposed between the components and connected indirectly is included.
예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.For example, when it is said that components are electrically connected in this specification, not only the case where the components are directly electrically connected, but also the case where the components are interposed and electrically connected indirectly is included.
본 출원의 일 실시예에 따른 학습 능력을 연산하는 신경망 모델의 학습 방법은, 상기 제1 평가 시스템과는 다른 제2 평가 시스템으로부터 획득한 데이터를 포함하는 평가 데이터베이스를 획득하는 단계-상기 평가 데이터베이스는 상기 제1 시점보다 이전인 제2 시점에 사용자가 풀이한 문제 정보, 상기 문제 정보에 대한 사용자의 응답 정보, 및 상기 제2 평가 시스템에서의 사용자의 점수 정보를 포함함-; 상기 평가 데이터베이스로부터 응답 시퀀스를 생성하여 학습 세트를 준비하는 단계-상기 응답 시퀀스는 상기 응답 정보 및 상기 점수 정보를 대응시켜 생성됨-; 상기 제2 평가 시스템에서의 상기 응답 정보에 기초하여 상기 제2 평가 시스템에서의 사용자의 상기 점수 정보를 연산하는 신경망을 준비하는 단계; 및 상기 학습 세트를 이용하여 상기 신경망을 학습시키는 단계;를 포함할 수 있다. According to an embodiment of the present application, a method for learning a neural network model for calculating a learning ability includes acquiring an evaluation database including data obtained from a second evaluation system different from the first evaluation system—the evaluation database includes: including problem information solved by the user at a second time point prior to the first time point, user response information to the problem information, and user score information in the second evaluation system; preparing a learning set by generating a response sequence from the evaluation database, wherein the response sequence is generated by matching the response information and the score information; preparing a neural network that calculates the score information of a user in the second evaluation system based on the response information in the second evaluation system; and training the neural network using the learning set.
본 출원의 일 실시예에 따른 학습 능력을 연산하는 신경망 모델의 학습 방법에 의하면, 상기 신경망은, 상기 응답 시퀀스를 수신하기 위한 입력 레이어, 점수 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드를 갖는 히든 레이어를 포함할 수 있다. According to the learning method of a neural network model for calculating a learning capability according to an embodiment of the present application, the neural network includes an input layer for receiving the response sequence, an output layer for outputting a result representing a score value, and the input layer. and a hidden layer having a plurality of nodes connecting the output layer.
본 출원의 일 실시예에 따른 학습 능력을 연산하는 신경망 모델의 학습 방법에 의하면, 상기 신경망을 학습시키는 단계는, 상기 학습 세트를 이용하여, 상기 응답 시퀀스를 상기 입력 레이어에 입력하는 단계; 상기 출력 레이어를 통하여 출력되는 점수 값을 획득하는 단계; 및 상기 점수 값과 상기 응답 시퀀스에 포함된 상기 점수 정보의 차이에 기초하여 상기 노드의 가중치를 조절하는 단계;를 포함할 수 있다. According to the method for learning a neural network model for calculating a learning capability according to an embodiment of the present application, the step of learning the neural network may include: inputting the response sequence to the input layer using the learning set; obtaining a score value output through the output layer; and adjusting a weight of the node based on a difference between the score value and the score information included in the response sequence.
본 출원의 일 실시예에 따른 학습 능력을 연산하는 신경망 모델의 학습 방법에 의하면, 상기 학습 세트를 준비하는 단계는, 상기 평가 데이터베이스로부터 응답 세트를 포함하는 상기 응답 정보를 획득하는 단계; 상기 응답 세트와 관련된 상기 점수 정보를 획득하는 단계; 및 상기 응답 세트에 포함된 적어도 하나의 응답 데이터와 상기 점수 정보를 대응시켜 시퀀스를 생성하는 단계;를 포함할 수 있다. According to the method for learning a neural network model for computing a learning capability according to an embodiment of the present application, preparing the learning set may include: obtaining the response information including a response set from the evaluation database; obtaining the score information related to the response set; and generating a sequence by matching at least one response data included in the response set with the score information.
본 출원의 일 실시예에 따른 학습 능력을 연산하는 신경망 모델의 학습 방법에 의하면, 상기 적어도 하나의 응답 데이터는 상기 응답 세트에 포함된 상기 응답 정보 중에서 랜덤하게 선택될 수 있다. According to the method for learning a neural network model for computing a learning capability according to an embodiment of the present application, the at least one response data may be randomly selected from among the response information included in the response set.
본 출원의 일 실시예에 따른 학습 능력 연산 방법은, 상기 제1 평가 시스템에서의 문제 정보 및 문제에 대한 대상 사용자의 대상 응답 정보를 획득하는 단계; 및 상기 제1 평가 시스템과는 다른 평가 방식을 채택하는 제2 평가 시스템에서의 문제에 대한 기준 사용자의 응답 정보에 기초하여 상기 제2 평가 시스템에서의 기준 사용자의 점수 정보를 연산하는 신경망을 이용하여, 상기 제1 평가 시스템에서의 상기 대상 사용자의 대상 점수 정보를 획득하는 단계;를 포함하되, 상기 신경망은, 상기 제1 평가 시스템에서의 상기 대상 사용자의 상기 대상 응답 정보를 수신하기 위한 입력 레이어, 상기 제1 평가 시스템에서의 상기 대상 사용자의 점수 값을 포함하는 상기 대상 점수 정보를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함하고, 상기 제2 평가 시스템의 기준 사용자의 상기 응답 정보 및 제2 평가 시스템의 기준 사용자의 상기 점수 정보를 이용하여 상기 복수의 노드들의 가중치를 조절함으로써 훈련될 수 있다.A learning ability calculation method according to an embodiment of the present application may include obtaining problem information from the first evaluation system and target response information of a target user for the problem; and a neural network that calculates score information of a reference user in the second evaluation system based on response information of a reference user to a problem in a second evaluation system adopting an evaluation method different from that of the first evaluation system. , obtaining target score information of the target user in the first evaluation system; wherein the neural network includes an input layer for receiving the target response information of the target user in the first evaluation system; an output layer for outputting the target score information including a score value of the target user in the first evaluation system and a hidden layer having a plurality of nodes connecting the input layer and the output layer; Training may be performed by adjusting weights of the plurality of nodes using the response information of the reference user of the second evaluation system and the score information of the reference user of the second evaluation system.
본 출원의 일 실시예에 따르면, 상기 학습 능력을 연산하는 신경망 모델의 학습 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.According to an embodiment of the present application, a computer-readable recording medium recording a program for executing a learning method of a neural network model that calculates the learning ability may be provided.
본 출원의 일 실시예에 따르면, 상기 학습 능력 연산 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.According to an embodiment of the present application, a computer-readable recording medium recording a program for executing the learning ability calculation method may be provided.
이하에서는 도 1 내지 도 11을 참고하여 본 출원의 학습 능력 평가 방법, 학습 능력 평가 장치 및 학습 능력 평가 시스템에 관하여 설명한다. Hereinafter, the learning ability evaluation method, learning ability evaluation device, and learning ability evaluation system of the present application will be described with reference to FIGS. 1 to 11 .
도 1은 본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)의 개략도이다. 본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)은 제1 평가 시스템(100), 제2 평가 시스템(200), 평가 모델 학습 장치(300) 및 데이터베이스를 포함할 수 있다.1 is a schematic diagram of a learning ability evaluation system 10 according to an embodiment of the present application. The learning ability evaluation system 10 according to an embodiment of the present application may include a
제1 평가 시스템(100)은 문제에 대한 사용자의 응답에 대응하여 사용자의 학습 능력을 실시간으로 평가하는 시스템일 수 있다. 예컨대, 제1 평가 시스템(100)은 포머티브 평가 시스템(Formative assessment system, 혹은 형성 평가 시스템)일 수 있다. 포머티브 평가 시스템이란, 학습이 진행되는 과정에서 학생의 진전을 점검하고 필요한 경우 교과 과정이나 수업 방법을 개선시키기 위해 실시하는 임의의 형태의 교육 평가 시스템을 포괄하는 의미일 수 있다. 예를 들어, 포머티브 평가 시스템에서는, 교육 컨텐츠 제공을 개인화하여, 개별 사용자에게 교육적 효과가 최대화되는 교육 컨텐츠를 제공할 수 있다. 특히 포머티브 평가 시스템에서는 제공된 교육 컨텐츠의 학습 로그를 기반으로, 사용자의 학습과 동시에 사용자에 대한 실시간 평가가 수행될 수 있다 The
제2 평가 시스템(200)은 제1 평가 시스템과는 다른 평가 방식을 채택하는 교육 평가 시스템일 수 있다. 예컨대, 제2 평가 시스템(200)은 서머티브 평가 시스템(Summative assessment system, 혹은 총괄 평가 시스템)일 수 있다. 여기서, 서머티브 평가 시스템은 학습의 대단원, 교과과정 혹은 교육 프로그램의 “종료” 단계에서 교육의 효과를 평가하기 위해 실시하는 임의의 형태의 교육 평가 시스템을 포괄하는 의미일 수 있다.The
포머티브 평가 시스템에서는 사용자들에게 교육적 효과가 최대화되도록 교육 컨텐츠를 제공하면서 교육적 효과의 평가를 위하여 사용자들의 학습 능력이나 실력을 실시간으로 평가해야 한다. 다만, 포머티브 평가 시스템에서의 사용자 평가 모델을 만드는 것은 전문가(예, 도메인 전문가 등)가 직접 평가 모델을 설계하는 과정과 전문가로부터 설계된 평가 모델을 이용하여 사용자들의 학습 능력을 실시간으로 평가한 데이터를 수집하고 데이터에 기초하여 설계된 평가 모델을 검증하는 과정이 필수적으로 요구되었다. 따라서, 종래의 사용자 평가 모델을 설계하는 방법은 비용과 시간 측면에서 제약이 존재하였다. In the formal evaluation system, while providing educational contents to maximize educational effects to users, it is necessary to evaluate users' learning abilities or abilities in real time to evaluate educational effects. However, creating a user evaluation model in the formal evaluation system is based on the process of designing an evaluation model directly by an expert (eg, domain expert, etc.) and the real-time evaluation data of users' learning abilities using the evaluation model designed by the expert. The process of collecting and verifying the evaluation model designed based on the data was essential. Therefore, conventional methods of designing user evaluation models have limitations in terms of cost and time.
본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)은 서머티브 평가 시스템으로부터 획득된 데이터를 이용하여 포머티브 평가 시스템에 적용될 수 있는 사용자 평가 모델을 설계할 수 있다. 구체적으로 본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)은 제2 평가 시스템(200)으로부터 획득한 사용자가 풀이한 문제 정보, 문제 정보에 대한 사용자의 응답 정보, 제2 평가 시스템(200)에서의 사용자의 점수 정보를 포함하는 평가 데이터베이스를 획득할 수 있다. 또한 학습 능력 평가 시스템(10)은 평가 데이터베이스로부터 응답 시퀀스를 생성하여 제1 평가 시스템(100)에 적용될 수 있는 사용자 평가 모델을 학습시킬 수 있다. 학습된 사용자 평가 모델은 제1 평가 시스템(100)에 적용되어 제1 평가 시스템(100)과 관련된 문제에 대한 사용자의 응답에 대응하여 사용자의 학습 능력이나 실력을 실시간으로 평가할 수 있다. The learning ability evaluation system 10 according to an embodiment of the present application may design a user evaluation model applicable to the positive evaluation system using data acquired from the summertive evaluation system. Specifically, the learning ability evaluation system 10 according to an embodiment of the present application includes problem information solved by a user acquired from the
본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)은 전문가의 개입이 없으며, 포머티브하게 평가된 데이터를 수집하지 않으면서도 포머티브 평가 시스템에 적용될 수 있는 사용자 평가 모델을 설계할 수 있기에, 비용과 시간 측면에서 유리한 효과를 제공할 수 있다. Since the learning ability evaluation system 10 according to an embodiment of the present application can design a user evaluation model that can be applied to the formal evaluation system without expert intervention and without collecting formally evaluated data, It can provide advantageous effects in terms of cost and time.
한편, 도 1에서는 평가 모델 학습 장치(300)가 제1 평가 시스템(100), 제2 평가 시스템(200) 및 데이터베이스와 별개로 도시하였으나, 이는 설명의 편의를 위한 예시에 불과하다. 예컨대, 평가 모델 학습 장치(300)는, 제1 평가 시스템(100)의 사용자 평가 장치(120) 또는 제2 평가 시스템(200)의 교육 컨텐츠 추천 장치(220) 등과 일체로 구성될 수 있다. Meanwhile, in FIG. 1 , the evaluation
도 2는 본 출원의 일 실시예에 따른 제1 평가 시스템(100)을 나타낸 개략도이다. 2 is a schematic diagram showing a
본 출원의 일 실시예에 따른 제1 평가 시스템(100)은 사용자 단말(110) 및 사용자 평가 장치(120)를 포함할 수 있다. 여기서 제1 평가 시스템(100)은 전술한 바와 같이 문제에 대한 사용자의 응답에 대응하여 사용자의 학습 능력을 실시간으로 평가하는 시스템일 수 있다. 예컨대, 제1 평가 시스템(100)은 포머티브 평가 시스템(Formative assessment system, 혹은 형성 평가 시스템)일 수 있다.The
사용자 단말(110)은 사용자 평가 장치(120) 혹은 임의의 외부 장치로부터 교육 컨텐츠를 획득할 수 있다. 예를 들어, 사용자 단말(110)은 사용자 평가 장치(120)로부터 교육 컨텐츠를 수신하고, 수신한 교육 컨텐츠를 임의의 출력부를 통하여 사용자에게 디스플레이할 수 있다. 이어 사용자는 임의의 입력부를 통하여 제시된 교육 컨텐츠에 대한 응답을 사용자 단말(110)에 입력할 수 있다.The
사용자 단말(110)은 사용자의 응답에 기초하여 학습 데이터를 획득하고, 사용자의 학습 데이터를 사용자 평가 장치(120)에 송신할 수 있다. 여기서, 학습 데이터란 사용자가 풀이한 문제 정보, 이에 대한 사용자의 응답 정보 및/또는 정오답 정보 등을 포괄하는 의미일 수 있다. 한편, 사용자 단말(110)은 사용자 정보를 사용자 평가 장치(120)로 송신할 수 있다.The
본 출원의 일 실시예에 따른 사용자 평가 장치(120)는 송수신부(122), 메모리(124) 및 컨트롤러(126)를 포함할 수 있다. The
송수신부(122)는 사용자 단말(110), 평가 모델 학습 장치(300), 데이터베이스 또는 제2 평가 시스템(200)을 포함한 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 사용자 평가 장치(120)는, 송수신부(122)를 통해, 사용자 단말(110)로부터 사용자의 응답 정보를 포함한 학습 데이터 및/또는 사용자 정보를 수신하거나 교육 컨텐츠를 사용자 단말(122)로 송신할 수 있다. The
사용자 평가 장치(120)는, 송수신부(122)를 통해, 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(122)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 사용자 평가 장치(120)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.The
메모리(124)는 각종 정보를 저장할 수 있다. 메모리(124)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(124)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(124)는 사용자 평가 장치(120)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(124)에는 사용자 평가 장치(120)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 사용자 평가 장치(120)의 각 구성을 동작시키기 위한 프로그램을 비롯해 사용자 평가 장치(120)의 동작에 필요한 각종 데이터가 저장될 수 있다.The
컨트롤러(126)는 사용자 평가 장치(120)의 전반적인 동작을 제어할 수 있다. 예컨대, 컨트롤러(126)는 후술할 대상 사용자의 사용자 단말(110)로부터 대상 응답 정보를 획득하는 동작, 평가 모델 학습 장치(300)로부터 학습된 신경망 모델을 획득하는 동작, 대상 점수 정보를 연산 또는 획득하는 동작, 및/또는 대상 점수 정보를 송신하는 동작 등 사용자 평가 장치(120)의 전반적인 동작을 제어할 수 있다. 구체적으로 컨트롤러(126)는 메모리(124)로부터 사용자 평가 장치(120)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 컨트롤러(126)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.The
도 3은 본 출원의 일 실시예에 따른 제2 평가 시스템(200)을 나타낸 개략도이다. 3 is a schematic diagram showing a
본 출원의 일 실시예에 따른 제2 평가 시스템(200)은 사용자 단말(210) 및 교육 컨텐츠 추천 장치(220)를 포함할 수 있다. 여기서, 제2 평가 시스템(200)은 전술한 바와 같이, 제1 평가 시스템(100)과는 다른 평가 방식을 채택하는 교육 평가 시스템일 수 있다. 예컨대, 제2 평가 시스템(200)은 서머티브 평가 시스템(Summative assessment system, 혹은 총괄 평가 시스템)일 수 있다.The
사용자 단말(210)은 교육 컨텐츠 추천 장치(220) 혹은 임의의 외부 장치로부터 교육 컨텐츠를 획득할 수 있다. 예를 들어, 사용자 단말(210)은 교육 컨텐츠 추천 장치(220)로부터 교육 컨텐츠를 수신하고, 수신한 교육 컨텐츠를 임의의 출력부를 통하여 사용자에게 디스플레이할 수 있다. 이어 사용자는 임의의 입력부를 통하여 제시된 교육 컨텐츠에 대한 응답을 사용자 단말(210)에 입력할 수 있다.The
사용자 단말(210)은 사용자의 응답에 기초하여 학습 데이터를 획득하고, 사용자의 학습 데이터를 교육 컨텐츠 추천 장치(220) 또는 데이터베이스에 송신할 수 있다. 여기서, 학습 데이터란 사용자가 풀이한 문제 정보, 이에 대한 사용자의 응답 정보 및/또는 정오답 정보 등을 포괄하는 의미일 수 있다. 한편, 사용자 단말(210)은 사용자 정보 및/또는 제2 평가 시스템(200)에서의 사용자의 점수 정보를 교육 컨텐츠 추천 장치(220)로 송신하거나 데이터베이스로 송신할 수 있다. The
본 출원의 일 실시예에 따른 교육 컨텐츠 추천 장치(220)는 송수신부(222), 메모리(224) 및 컨트롤러(226)를 포함할 수 있다. The educational
송수신부(222)는 사용자 단말(210), 평가 모델 학습 장치(300), 데이터베이스 또는 제1 평가 시스템(100)을 포함한 임의의 외부 기기와 통신을 수행할 수 있다. 예컨대, 교육 컨텐츠 추천 장치(220)는 송수신부(222)를 통해, 사용자 단말(210)로부터 사용자의 학습 데이터, 사용자의 점수 정보 및/또는 사용자 정보를 수신하거나 교육 컨텐츠를 사용자 단말(210)로 송신할 수 있다. The
교육 컨텐츠 추천 장치(220)는, 송수신부(222)를 통해 네트워크에 접속하여 각종 데이터를 송수신할 수 있다. 송수신부(222)는 크게 유선 타입과 무선 타입을 포함할 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서 교육 컨텐츠 추천 장치(220)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다. 여기서, 무선 타입의 경우에는 주로 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식을 이용할 수 있다. 또는, 무선 타입의 경우에는 셀룰러 통신, 예컨대, LTE, 5G 계열의 통신 방식을 이용할 수 있다. 다만, 무선 통신 프로토콜이 상술한 예시에 제한되는 것은 아니며, 임의의 적절한 무선 타입의 통신 방식을 이용하는 것도 가능하다. 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.The educational
메모리(224)는 각종 정보를 저장할 수 있다. 메모리(224)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(224)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(224)는 교육 컨텐츠 추천 장치(220)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(224)에는 교육 컨텐츠 추천 장치(220)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 교육 컨텐츠 추천 장치(220)의 각 구성을 동작시키기 위한 프로그램을 비롯해 교육 컨텐츠 추천 장치(220)의 동작에 필요한 각종 데이터가 저장될 수 있다.The
컨트롤러(226)는 교육 컨텐츠 추천 장치(220)의 전반적인 동작을 제어할 수 있다. 예컨대, 컨트롤러(226)는 교육 컨텐츠 추천 장치(220)의 전반적인 동작을 제어할 수 있다. 구체적으로 컨트롤러(226)는 메모리(224)로부터 교육 컨텐츠 추천 장치(220)의 전반적인 동작을 위한 프로그램을 로딩하여 실행할 수 있다. 컨트롤러(226)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 AP(Application Processor), CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 이때, 하드웨어적으로는 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.The
데이터베이스는 본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)의 임의의 데이터들을 저장할 수 있다. The database may store arbitrary data of the learning ability evaluation system 10 according to an embodiment of the present application.
일 예로, 데이터베이스는 제2 평가 시스템(200)과 관련된 각종 데이터를 저장할 수 있다. 예컨대, 데이터베이스는 제2 평가 시스템(200)과 관련된 문제 정보, 문제에 대한 사용자의 응답 정보 및/또는 제2 평가 시스템(200)에서의 사용자의 점수 정보를 포함할 수 있다. For example, the database may store various data related to the
다른 예로, 데이터베이스는 평가 모델 학습 장치(300)와 관련된 각종 데이터를 저장할 수 있다. 예컨대, 데이터베이스는 학습된 신경망 모델의 노드의 가중치 혹은 파라미터와 관련된 임의의 데이터를 포함할 수 있다. As another example, the database may store various data related to the evaluation
다만 상술한 내용은 예시에 불과하며, 데이터베이스는 제1 평가 시스템(100)과 관련된 각종 데이터도 저장할 수 있다. 예컨대, 제1 평가 시스템(100)과 관련된 문제 정보 및/또는 문제에 대한 대상 사용자의 응답 정보가 데이터베이스에 저장될 수 있으며, 저장된 문제 정보 및/또는 응답 정보는 후술할 학습된 신경망 모델을 갱신하거나 업데이트하는 데 이용할 수 있을 것이다. However, the above information is merely an example, and the database may also store various data related to the
본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 사용자의 학습 능력을 평가하거나 정량화하는 모델을 학습시키는 동작을 수행할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 제2 평가 시스템(200)으로부터 획득한 데이터에 기초하여 제1 평가 시스템(100)의 대상 사용자의 학습 능력을 정량화하는 모델을 학습시킬 수 있다. The evaluation
일 예로, 평가 모델 학습 장치(300)는 사용자의 학습 능력을 평가하기 위한 모델로 신경망 모델을 이용할 수 있다. 신경망 모델은 기계학습 모델로 제공될 수 있다. 기계학습 모델의 대표적인 예로는, 인공 신경망(Artificial Neural Network)이 있을 수 있다. 구체적으로 인공 신경망의 대표적인 예로는 데이터를 입력받는 입력 레이어, 결과를 출력하는 출력 레이어 및 입력 레이어와 출력 레이어 사이에서 데이터를 처리하는 히든 레이어(hidden layer)를 포함하는 딥 러닝 계열의 인공 신경망이 있다. 인공 신경망의 세부적인 예시들로는, 합성곱 인공 신경망(Convolution Neural Network), 순환신경망(Recurrent Neural Network), 심층신경망(Deep Neural Network), 생산적 적대 신경망(Generative Adversarial Network) 등이 있으며, 본 명세서에서 인공 신경망은 상술된 인공 신경망, 그 외의 다양한 형태의 인공 신경망 및 이들이 조합된 형태의 인공 신경망을 모두 포함하는 포괄적인 의미로 해석되어야 하며, 반드시 딥 러닝 계열이어야만 하는 것도 아니다.For example, the evaluation
뿐만 아니라, 기계학습 모델이 반드시 인공 신경망 모델 형태이어야만 하는 것은 아니며, 이외에도 최근접 이웃 알고리즘(KNN), 랜덤 포레스트(RandomForest), 서포트 벡터 머신(SVM), 주성분분석법(PCA) 등이 포함될 수 있다. 혹은 이상에서 언급된 기법들이 앙상블된 형태나 그 외에 다양한 방식으로 조합된 형태까지도 전부 포함할 수 있다. 한편, 인공 신경망을 중심으로 언급되는 실시예들에서 특별한 언급이 없는 한 인공 신경망이 다른 기계학습 모델로 대체될 수 있음을 미리 밝혀둔다.In addition, the machine learning model does not necessarily have to be in the form of an artificial neural network model, and in addition, nearest neighbor algorithm (KNN), random forest (Random Forest), support vector machine (SVM), principal component analysis (PCA), etc. may be included. Alternatively, the techniques mentioned above may include all of the ensemble forms or even forms combined in various ways. On the other hand, in the embodiments referred to centering on the artificial neural network, it is disclosed in advance that the artificial neural network may be replaced with another machine learning model unless otherwise specified.
나아가, 본 명세서에서 대상 사용자의 학습 능력을 평가하는 알고리즘이 반드시 기계학습 모델로 한정되는 것은 아니다. 즉, 대상 사용자의 학습 능력을 평가하는 알고리즘은 기계학습 모델이 아닌 다양한 판단/결정 알고리즘이 포함될 수도 있다. 따라서, 본 명세서에서 대상 사용자의 학습 능력을 평가하는 알고리즘은 대상 사용자의 대상 응답 정보를 이용하여 대상 점수 정보를 연산하는 모든 형태의 알고리즘을 모두 포함하는 포괄적인 의미로 이해되어야 함을 밝혀 둔다. 다만 이하에서는 설명의 편의를 위하여 인공 신경망 모델을 중심으로 설명하기로 한다.Furthermore, the algorithm for evaluating the learning ability of a target user in this specification is not necessarily limited to a machine learning model. That is, the algorithm for evaluating the learning ability of the target user may include various judgment/decision algorithms other than the machine learning model. Therefore, in this specification, an algorithm for evaluating a target user's learning ability should be understood as a comprehensive meaning including all types of algorithms that calculate target score information using target response information of a target user. However, in the following description, for convenience of description, the artificial neural network model will be mainly described.
이하에서는 도 4를 참고하여 본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)의 동작들에 대하여 서술한다. 도 4는 본 출원의 일 실시예에 따른 평가 모델 학습 장치(400)의 동작들을 나타내는 도면이다. Hereinafter, operations of the evaluation
본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 데이터베이스로부터 평가 데이터베이스를 획득할 수 있다. 여기서, 평가 데이터베이스는 제2 평가 시스템(200)으로부터 획득한 사용자가 풀이한 문제 정보, 문제에 대한 사용자의 응답 정보 및/또는 제2 평가 시스템(200)에서의 사용자의 점수 정보를 포함할 수 있다. The evaluation
본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 평가 데이터베이스로부터 학습 세트를 준비하도록 구현될 수 있다. 구체적으로 평가 모델 학습 장치(300)는 평가 데이터베이스의 사용자가 풀이한 문제 정보, 문제 정보에 대한 사용자의 응답 정보 및/또는 제2 평가 시스템(200)에서의 사용자의 점수 정보에 기초하여 응답 시퀀스를 생성하여 학습 세트를 준비할 수 있다. 응답 시퀀스를 생성하는 내용에 관하여는 도 6 내지 도 9에서 구체적으로 서술한다.The evaluation
본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 신경망 모델을 학습시키는 동작을 수행할 수 있다. 구체적으로 평가 모델 학습 장치(300)는 응답 시퀀스에 포함된 응답 정보에 기초하여 제2 평가 시스템(200)에서의 사용자의 점수 정보를 연산하는 신경망 모델을 준비하고, 학습 세트를 이용하여 사용자의 점수 정보를 출력하도록 신경망 모델을 학습시킬 수 있다. 신경망 모델을 학습시키는 내용에 관하여는 도 6 내지 도 9에서 구체적으로 서술한다.The evaluation
도 5는 본 출원의 일 실시예에 따른 제1 평가 시스템(100)의 사용자 평가 장치(120)의 동작들을 나타낸 도면이다.5 is a diagram illustrating operations of the
본 출원의 일 실시예에 따른 사용자 평가 장치(120)는 사용자 단말(110)로부터 제1 평가 시스템(100)과 관련된 문제 정보 및 문제에 대한 대상 사용자의 대상 응답 정보를 획득할 수 있다. 여기서, 대상 응답 정보란 문제에 대하여 대상 사용자가 선택한 답 혹은 정오답 여부에 대한 정보를 포함할 수 있다. The
본 출원의 일 실시예에 따른 사용자 평가 장치(120)는 학습된 신경망 모델이나 학습된 신경망 모델의 노드의 가중치(혹은 파라미터)를 획득할 수 있다. 예컨대, 사용자 평가 장치(120)는 평가 모델 학습 장치(300)로부터 학습된 신경망 모델을 획득하거나 평가 모델 학습 장치(300)로부터 학습된 신경망 모델에 포함된 노드의 가중치(혹은 파라미터)를 획득할 수 있다. The
본 출원의 일 실시예에 따른 사용자 평가 장치(120)는 학습된 신경망 모델과 대상 응답 정보에 기초하여 대상 점수 정보를 연산하거나 획득하는 동작을 수행할 수 있다. 구체적으로 사용자 평가 장치(120)는 학습된 신경망 모델의 입력 레이어에 대상 응답 정보를 입력하고, 출력 레이어를 통하여 대상 점수 정보를 획득할 수 있다. 학습된 신경망 모델을 이용하여 대상 점수 정보를 획득하는 내용에 관하여는 도 10 내지 도 11에서 구체적으로 서술한다.The
본 출원의 일 실시예에 따른 사용자 평가 장치(120)는 대상 점수 정보를 사용자 단말(110) 또는 데이터베이스를 포함한 임의의 외부 장치로 송신할 수 있다. The
한편, 본 출원의 일 실시예에 따른 사용자 평가 장치(120)는 대상 응답 정보 및 대상 점수 정보에 기초하여 학습된 신경망 모델을 업데이트하거나 갱신할 수 있다. 예컨대, 사용자 평가 장치(120)는 대상 응답 정보 및 대상 점수 정보를 이용하여 학습된 신경망 모델의 노드의 가중치(혹은 파라미터)를 추가적으로 갱신할 수 있다. 따라서, 본 출원의 일 실시예에 따르면, 사용자의 학습 능력에 대한 평가 모델이 실시간으로 업데이트될 수 있다. Meanwhile, the
또한, 사용자의 학습 능력에 대한 평가가 실시간으로 업데이트될 수 있다. 구체적으로 사용자의 문제 풀이 및 문제 풀이와 관련된 학습 행동이 고려되어서 사용자의 학습 능력이 평가될 수 있다.In addition, evaluation of the user's learning ability may be updated in real time. Specifically, the user's learning ability may be evaluated by considering the user's problem solving and learning behavior related to the problem solving.
이하에서는 도 6 내지 도 9를 참고하여, 신경망 모델의 학습 방법을 보다 구체적으로 서술한다. 후술할 신경망 모델의 학습 방법은 본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)에서 구현될 수 있다.Hereinafter, the learning method of the neural network model will be described in more detail with reference to FIGS. 6 to 9 . A neural network model learning method to be described later may be implemented in the evaluation
도 6을 참고한다. 도 6은 본 출원의 일 실시예에 따른 신경망 모델의 학습 방법을 나타낸 순서도이다. See FIG. 6 . 6 is a flowchart illustrating a method for learning a neural network model according to an embodiment of the present application.
본 출원의 일 실시예에 따른 신경망 모델의 학습 방법은 평가 데이터베이스를 획득하는 단계(S1100), 학습 세트를 준비하는 단계(S1200), 신경망을 학습시키는 단계(S1300) 및 학습된 신경망 모델을 획득하는 단계(S1400)를 포함할 수 있다. A method for learning a neural network model according to an embodiment of the present application includes obtaining an evaluation database (S1100), preparing a learning set (S1200), learning a neural network (S1300), and acquiring a learned neural network model. Step S1400 may be included.
평가 데이터베이스를 획득하는 단계(S1100)에서는, 평가 모델 학습 장치(300)는 평가 데이터베이스를 획득할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 데이터베이스로부터 평가 데이터베이스를 수신할 수 있다. 평가 데이터베이스는 제2 평가 시스템(200)과 관련하여 사용자가 풀이한 문제 정보, 문제에 대한 사용자의 응답 정보 및/또는 제2 평가 시스템(200)과 관련된 사용자의 점수 정보를 포함할 수 있다. In the step of acquiring the evaluation database ( S1100 ), the evaluation
학습 세트를 준비하는 단계(S1200)에서는 평가 모델 학습 장치(300)는 평가 데이터베이스로부터 응답 시퀀스를 생성하여 학습 세트를 준비할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 평가 데이터베이스에 포함된 제2 평가 시스템(200)과 관련된 문제에 대한 사용자의 응답 정보와 제2 평가 시스템(200)과 관련된 사용자의 점수 정보를 대응시켜 응답 시퀀스를 생성할 수 있다. In the step of preparing a learning set ( S1200 ), the evaluation
도 7 내지 도 8를 참고한다. 도 7은 본 출원의 일 실시예에 따른 학습 세트를 준비하는 방법의 구체적인 순서도이다. 도 8은 본 출원의 일 실시예에 따른 응답 시퀀스를 생성하는 일 양상을 도시한 도면이다. See Figures 7 to 8. 7 is a detailed flowchart of a method of preparing a learning set according to an embodiment of the present application. 8 is a diagram illustrating an aspect of generating a response sequence according to an embodiment of the present application.
본 출원의 일 실시예에 따른 학습 세트를 준비하는 단계(S1200)는 응답 세트를 포함하는 응답 정보를 획득하는 단계(S1210), 응답 세트와 관련된 점수 정보를 획득하는 단계(S1220), 및 응답 세트에 포함된 적어도 하나의 응답 데이터와 점수 정보를 대응시켜 시퀀스를 생성하는 단계(S1230)를 포함할 수 있다. Preparing a learning set (S1200) according to an embodiment of the present application includes obtaining response information including a response set (S1210), obtaining score information related to the response set (S1220), and response set It may include generating a sequence by matching at least one response data included in and score information (S1230).
전술한 바와 같이 데이터베이스로부터 획득한 평가 데이터베이스는 제2 평가 시스템(200)과 관련된 문제 정보, 문제에 대한 사용자의 응답 정보 및/또는 사용자의 제2 평가 시스템(200)에서의 점수 정보를 포함할 수 있다. 예컨대, 평가 데이터베이스는 제2 평가 시스템(200)과 관련된 제1 문제 세트에 포함된 문제 각각에 대한 사용자의 응답과 관련된 제1 응답 세트를 포함할 수 있다. 또한, 평가 데이터베이스는 제1 응답 세트와 관련된 점수 정보(예, 제1 점수)를 포함할 수 있다. 다른 예로, 평가 데이터베이스는 제2 평가 시스템(200)과 관련된 제N 문제 세트에 포함된 문제 각각에 대한 사용자의 응답과 관련된 제N 응답 세트를 포함할 수 있다. 또한, 평가 데이터베이스는 제N 응답 세트와 관련된 점수 정보(예, 제N 점수)를 포함할 수 있다. As described above, the evaluation database acquired from the database may include problem information related to the
여기서, 평가 데이터베이스는 후술할 대상 점수 정보를 연산하는 시점보다는 이전 시점의 문제에 대한 사용자의 응답 정보 및/또는 사용자의 제2 평가 시스템(200)에서의 점수 정보를 포함할 수 있다. 예컨대, 후술할 사용자 평가 장치(120)가 대상 응답 정보를 획득하여 대상 점수 정보를 연산하는 시점이 제1 시점이라면, 평가 데이터베이스에 포함된 응답 정보 및/또는 점수 정보는 제1 시점보다는 이전 시점인 제2 시점일 수 있다. Here, the evaluation database may include information about a user's response to a problem at an earlier point in time than a point in time at which target point information, which will be described later, is calculated, and/or information about a user's score in the
한편, 도 7에서는 도시하지 않았으나, 평가 모델 학습 장치(300)는 데이터베이스로부터 획득한 제2 평가 시스템(200)과 관련된 문제 정보, 문제에 대한 사용자의 응답 정보 및/또는 사용자의 제2 평가 시스템(200)에서의 점수 정보를, 문제 세트를 기준으로 나열하는 동작을 수행할 수 있다. 또한, 평가 모델 학습 장치(300)는 데이터베이스로부터 획득한 제2 평가 시스템(200)과 관련된 문제 정보, 문제에 대한 사용자의 응답 정보 및/또는 사용자의 제2 평가 시스템(200)에서의 점수 정보를, 시간적 순서에 따라 나열하는 동작을 수행할 수 있다.Meanwhile, although not shown in FIG. 7 , the evaluation
응답 세트를 포함하는 응답 정보를 획득하는 단계(S1210)에서는, 본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 평가 데이터베이스의 로우 데이터(raw data)로부터 응답 세트를 포함하는 응답 정보를 획득할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 로우 데이터(raw data)로부터 제1 응답 세트와 관련된 응답 정보를 획득할 수 있다. 이때, 제1 응답 세트는 응답 I를 포함하여 적어도 하나 이상의 응답 데이터를 포함할 수 있다. 다른 예를 들어, 평가 모델 학습 장치(300)는 로우 데이터(raw data)로부터 제N 응답 세트와 관련된 응답 정보를 획득할 수 있다. 이때, 제N 응답 세트는 응답 K를 포함하여 적어도 하나 이상의 응답 데이터를 포함할 수 있다.In the step of obtaining response information including a response set (S1210), the evaluation
응답 세트와 관련된 점수 정보를 획득하는 단계(S1220)에서는, 본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 평가 데이터베이스의 로우 데이터(raw data)로부터 응답 세트와 관련된 점수 정보를 획득할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 제1 응답 세트와 관련된 점수 정보(예, 제1 점수)를 획득할 수 있다. 또한, 평가 모델 학습 장치(300)는 제N 응답 세트와 관련된 점수 정보(예, 제N 점수)를 획득할 수 있다.In the step of acquiring score information related to the response set (S1220), the evaluation
응답 세트에 포함된 적어도 하나의 응답 데이터와 점수 정보를 대응시켜 시퀀스를 생성하는 단계(S1230)에서는, 본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 응답 세트와 응답 세트와 관련된 점수 정보를 대응시켜 시퀀스를 생성할 수 있다. 구체적으로, 평가 모델 학습 장치(300)는 응답 세트에 포함된 적어도 하나의 응답 데이터와 응답 세트와 관련된 점수 정보를 대응시켜 시퀀스를 생성할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 제1 응답 세트에 포함된 적어도 하나의 응답 데이터(예, 응답 I)와 제1 응답 세트와 관련된 점수 정보(예, 제1 점수)를 대응시켜 제1 시퀀스를 생성할 수 있다. 다른 예로, 평가 모델 학습 장치(300)는 제N 응답 세트에 포함된 적어도 하나의 응답 데이터(예, 응답 K)와 제N 응답 세트와 관련된 점수 정보(예, 제N 점수)를 대응시켜 제N 시퀀스를 생성할 수 있다.In the step of generating a sequence by matching at least one response data included in the response set with score information (S1230), the evaluation
한편, 본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 응답 세트에 포함된 적어도 하나의 응답 데이터를 응답 세트에 포함된 응답 정보 중에서 랜덤하게 선택 및 조합하도록 구현될 수 있다. 예컨대, 제1 시퀀스를 생성하는 데 이용된 적어도 하나의 응답 데이터(예, 응답 I)는 제1 응답 세트에 포함된 응답 정보 중에서 랜덤하게 선택 및 조합된 데이터일 수 있다. 다른 예로, 제N 시퀀스를 생성하는 데 이용된 적어도 하나의 응답 데이터(예, 응답 K)는 제N 응답 세트에 포함된 응답 정보 중에서 랜덤하게 선택 및 조합된 데이터일 수 있다.Meanwhile, the evaluation
다만 이는 예시에 불과하며, 보다 정교한 학습 세트를 준비하기 위하여 평가 모델 학습 장치(300)는 임의의 적절한 방식을 이용하여 응답 정보와 점수 정보를 대응시켜 응답 시퀀스를 생성할 수 있을 것이다. However, this is only an example, and in order to prepare a more elaborate learning set, the evaluation
다시 도 6을 참고하면, 본 출원의 일 실시예에 따른 신경망 모델의 학습 방법은 신경망을 학습시키는 단계(S1300)를 포함할 수 있다. Referring back to FIG. 6 , the method for learning a neural network model according to an embodiment of the present application may include training the neural network (S1300).
도 9는 본 출원의 일 실시예에 따른 신경망을 학습시키는 일 양상을 도시한 도면이다. 9 is a diagram illustrating an aspect of learning a neural network according to an embodiment of the present application.
신경망 모델은 입력 레이어, 출력 레이어 및 히든 레이어를 포함할 수 있다. 입력 레이어는 학습 세트의 응답 시퀀스를 수신할 수 있으며, 출력 레이어는 사용자의 점수 값을 나타내는 결과를 출력 값으로 출력할 수 있다. 히든 레이어는 입력 레이어와 출력 레이어를 연결하는 복수의 노드를 가질 수 있다. A neural network model may include an input layer, an output layer, and a hidden layer. The input layer may receive the response sequence of the learning set, and the output layer may output a result representing the user's score value as an output value. The hidden layer may have a plurality of nodes connecting the input layer and the output layer.
본 출원의 일 실시예에 따른 평가 모델 학습 장치(300)는 제2 평가 시스템(200)에서의 응답 정보에 기초하여 제2 평가 시스템(200)에서의 사용자의 점수 정보를 출력하도록 신경망을 학습시킬 수 있다. 구체적으로 평가 모델 학습 장치(300)는 입력 레이어에 응답 시퀀스를 입력하고, 출력 레이어를 통하여 출력되는 출력 값(예, 제2 평가 시스템(200)에서의 점수 예상 값)을 획득할 수 있다. 또한, 평가 모델 학습 장치(300)는 응답 시퀀스에 포함된 사용자의 제2 평가 시스템(200)에서의 점수 정보와 출력 값의 차이에 기초하여 히든 레이어에 포함된 노드의 가중치(혹은 파라미터)를 조절할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 입력 레이어에 제1 시퀀스를 입력하고, 출력 레이어를 통하여 출력되는 출력 값과 제1 시퀀스에 포함된 제1 점수의 차이에 기초하여 히든 레이어에 포함된 노드의 가중치(혹은 파라미터)를 반복적으로 갱신할 수 있다. 다른 예로, 평가 모델 학습 장치(300)는 입력 레이어에 제N 시퀀스를 입력하고, 출력 레이어를 통하여 출력되는 출력 값과 제N 시퀀스에 포함된 제N 점수의 차이에 기초하여 히든 레이어에 포함된 노드의 가중치(혹은 파라미터)를 반복적으로 갱신할 수 있다.The evaluation
구체적으로 평가 모델 학습 장치(300)는 응답 시퀀스에 포함된 사용자의 제2 평가 시스템(200)에서의 점수 정보와 출력 값의 차이가 최소화되도록 히든 레이어에 포함된 노드의 가중치(혹은 파라미터)를 반복적으로 조절함으로써, 신경망 모델을 학습시킬 수 있다. In detail, the evaluation
다시 도 6을 참고하면, 본 출원의 일 실시예에 따른 신경망 모델의 학습 방법은 학습된 신경망 모델을 획득하는 단계(S1400)를 포함할 수 있다. 학습된 신경망 모델을 획득하는 단계(S1400)에서는, 평가 모델 학습 장치(300)는 출력 레이어를 통하여 출력되는 출력 값과 응답 시퀀스에 포함된 사용자의 점수 정보가 최소화되도록 학습된 히든 레이어에 포함된 노드의 가중치 혹은 파라미터를 획득할 수 있다. 혹은 학습된 신경망 모델을 획득하는 단계(S1400)에서는, 평가 모델 학습 장치(300)는 전술한 가중치 혹은 파라미터를 갖는 노드를 포함하는 히든 레이어를 포함하는 신경망 모델을 획득할 수 있다. Referring back to FIG. 6 , the method for learning a neural network model according to an embodiment of the present application may include acquiring a trained neural network model (S1400). In the step of obtaining the learned neural network model (S1400), the evaluation
획득된 신경망 모델은 제1 평가 시스템(100)에서의 대상 사용자의 학습 능력(예, 제1 평가 시스템(100)에서의 사용자의 점수 정보)을 평가하는 데 이용될 수 있다. 예컨대, 전술한 바와 같이 제1 평가 시스템(100)은 포머티브 평가 시스템일 수 있다. 본 출원의 일 실시예에 따르면, 제2 평가 시스템(200), 예컨대, 서머티브 평가 시스템으로부터 획득된 데이터로부터 준비된 학습 세트에 기초하여 제1 평가 시스템(100)의 사용자 평가 모델을 획득할 수 있다는 점에서 의의가 존재한다. The obtained neural network model may be used to evaluate the learning ability of the target user in the first evaluation system 100 (eg, the user's score information in the first evaluation system 100). For example, as described above, the
한편, 도 6에는 도시하지 않았으나 본 출원의 일 실시예에 따른 신경망 모델의 학습 방법은 신경망을 검증하는 단계를 더 포함할 수 있다. 예컨대, 평가 모델 학습 장치(300)는 학습 세트에 포함된 응답 시퀀스 중 적어도 일부 시퀀스에 기초하여 신경망 모델을 검증할 수 있다. 구체적으로, 평가 모델 학습 장치(300)는 신경망 모델의 입력 레이어에 응답 시퀀스 중 적어도 일부 시퀀스를 입력하고, 출력 레이어를 통하여 출력되는 출력 값을 획득할 수 있다. 또한, 평가 모델 학습 장치(300)는 출력 값과 적어도 일부 시퀀스에 포함된 점수 정보와의 유사도를 비교함으로써, 신경망 모델의 히든 레이어에 포함된 노드의 가중치(혹은 파라미터)가 적절한지 여부를 검증할 수 있다. Meanwhile, although not shown in FIG. 6 , the method for learning a neural network model according to an embodiment of the present application may further include verifying the neural network. For example, the evaluation
이하에서는 도 10 내지 도 11을 참고하여, 본 출원의 일 실시예에 따른 제1 평가 시스템(100)에서의 대상 사용자에 대한 학습 능력의 평가 방법을 구체적으로 서술한다. 후술할 학습 능력의 평가 방법은 본 출원의 일 실시예에 따른 제1 평가 시스템(100)의 사용자 평가 장치(120)에서 구현될 수 있다.Hereinafter, a method for evaluating learning ability of a target user in the
도 10은 본 출원의 일 실시예에 따른 대상 사용자의 학습 능력 평가 방법을 도시한 순서도이다. 도 11은 본 출원의 일 실시예에 따른 대상 사용자의 학습 능력을 획득하는 일 양상을 나타낸 도면이다. 10 is a flowchart illustrating a method for evaluating a learning ability of a target user according to an embodiment of the present application. 11 is a diagram illustrating an aspect of acquiring a learning ability of a target user according to an embodiment of the present application.
본 출원의 일 실시예에 따른 대상 사용자의 학습 능력 평가 방법은 대상 응답 정보를 획득하는 단계(S2100) 및 학습된 신경망 모델을 이용하여 대상 점수 정보를 획득하는 단계(S2200)을 포함할 수 있다. A method for evaluating learning ability of a target user according to an embodiment of the present application may include acquiring target response information (S2100) and acquiring target score information using a learned neural network model (S2200).
대상 응답 정보를 획득하는 단계(S2100)에서는, 사용자 평가 장치(120)는 사용자 단말(110)로부터 대상 사용자의 응답 정보를 획득할 수 있다. 여기서, 응답 정보란 제1 평가 시스템(100), 예컨태, 포머티브 평가 시스템과 관련된 문제에 대한 대상 사용자의 응답과 관련된 정보를 의미할 수 있다. In the step of obtaining target response information ( S2100 ), the
한편, 도 10 및 도 11에서는 도시하지 않았으나, 사용자 평가 장치(120)는 평가 모델 학습 장치(300)로부터 학습된 신경망 모델을 획득할 수 있다. 예컨대, 사용자 평가 장치(120)는, 평가 모델 학습 장치(300)가 신경망 모델을 학습시킴으로써 획득한 노드의 가중치 혹은 파라미터를 획득할 수 있다. 다른 예를 들어, 사용자 평가 장치(120)는, 평가 모델 학습 장치(300)가 신경망 모델을 학습시킴으로써 획득한 가중치 혹은 파라미터를 갖는 노드를 포함하는 히든 레이어를 포함하는 신경망을 획득할 수 있다. Meanwhile, although not shown in FIGS. 10 and 11 , the
학습된 신경망 모델을 이용하여 대상 점수 정보를 획득하는 단계(S2200)에서는, 본 출원의 일 실시예에 따른 사용자 평가 장치(120)는 학습된 신경망 모델 및 대상 응답 정보에 기초하여 대상 점수 정보를 획득할 수 있다. 예컨대, 사용자 평가 장치(120)는 학습된 신경망 모델의 입력 레이어에 제1 평가 시스템(100)과 관련된 대상 사용자의 대상 응답 정보를 입력하고, 출력 레이어를 통하여 대상 점수 정보를 획득할 수 있다. 학습된 신경망 모델은 사용자의 응답 정보에 기초하여 사용자의 점수 정보를 획득하도록 학습이 되었기 때문에, 사용자 평가 장치(120)는 학습된 신경망 모델과 대상 사용자의 대상 응답 정보에 기초하여 대상 점수 정보를 획득할 수 있다.In the step of obtaining target score information using the learned neural network model (S2200), the
한편, 전술한 바와 같이, 일 실시예에 따르면, 사용자 평가 장치(120)는 대상 응답 정보 및 대상 점수 정보에 기초하여 학습된 신경망 모델을 업데이트할 수 있다. 예컨대, 사용자 평가 장치(120)는 대상 응답 정보 및 대상 점수 정보에 기초하여 학습된 신경망 모델에 포함된 노드의 가중치(혹은 파라미터)를 조절하거나 갱신할 수 있다. Meanwhile, as described above, according to an embodiment, the
본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)은 제2 평가 시스템(200)과 관련된 데이터에 기초하여, 제1 평가 시스템(100)에 대한 대상 사용자의 학습 능력 혹은 실력을 실시간으로 평가하여 대상 사용자의 제1 평가 시스템(100)과 관련된 대상 점수 정보를 연산하는 신경망 모델을 설계할 수 있다. 따라서, 전문가의 개입이 없이 제1 평가 시스템(100)에서의 대상 사용자의 대상 점수 정보를 연산할 수 있기에, 비용이 적게 든다는 유리한 효과가 제공될 수 있다. 또한, 본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)은 제1 평가 시스템(100) 하에서의 데이터가 없는 상황에서 제1 평가 시스템(100)과는 다른 평가 방식을 채택하는 제2 평가 시스템(200)의 데이터에 기초하여 제1 평가 시스템(100)에서의 사용자에 대한 평가 모델을 설계할 수 있다는 점에서 의의가 존재한다. The learning ability evaluation system 10 according to an embodiment of the present application evaluates the learning ability or ability of a target user with respect to the
또한, 본 출원의 일 실시예에 따른 학습 능력 평가 시스템(10)에 따르면, 제1 평가 시스템(100)에서의 데이터를 수집하지 않고도 제1 평가 시스템(100)에서의 사용자의 학습 능력이나 실력을 평가하는 신경망 모델을 학습시킬 수 있다는 점에서, 시간적인 측면에서도 유리한 효과가 제공될 수 있다. In addition, according to the learning ability evaluation system 10 according to an embodiment of the present application, the learning ability or ability of the user in the
또한, 본 출원의 일 실시예에 따른 학습 능력 평가 시스템(1)에 따르면, 사용자의 실력에 대한 평가를 실시간으로 업데이트할 수 있는 평가 모델을 획득할 수 있으며, 평가 모델은 문제 풀이 및 문제 풀이와 관련된 학습 행동을 모두 고려하여 사용자의 학습 능력을 평가할 수 있다는 효과를 제공할 수 있다. In addition, according to the learning ability evaluation system 1 according to an embodiment of the present application, an evaluation model capable of updating the evaluation of a user's ability in real time may be obtained, and the evaluation model may solve problems and solve problems. It is possible to provide an effect that the user's learning ability can be evaluated by considering all related learning behaviors.
상술한 사용자 평가 장치(120)의 다양한 동작들은 사용자 평가 장치(120)의 메모리(124)에 저장될 수 있으며, 사용자 평가 장치(120)의 컨트롤러(126)는 메모리(124)에 저장된 동작들을 수행하도록 제공될 수 있다. 또한, 교육 컨텐츠 추천 장치(220)의 다양한 동작들은 교육 컨텐츠 추천 장치(220)의 메모리(224)에 저장될 수 있으며, 교육 컨텐츠 추천 장치(220)의 컨트롤러(226)는 메모리(224)에 저장된 동작들을 수행하도록 제공될 수 있다. Various operations of the
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.The features, structures, effects, etc. described in the embodiments above are included in at least one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects, etc. illustrated in each embodiment can be combined or modified with respect to other embodiments by those skilled in the art in the field to which the embodiments belong. Therefore, contents related to these combinations and variations should be construed as being included in the scope of the present invention.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the embodiment has been described above, this is only an example and does not limit the present invention, and those skilled in the art to the present invention pertain to the above to the extent that does not deviate from the essential characteristics of the present embodiment. It will be appreciated that various modifications and applications not exemplified are possible. That is, each component specifically shown in the embodiment can be implemented by modifying it. And differences related to these modifications and applications should be construed as being included in the scope of the present invention as defined in the appended claims.
10: 학습 능력 평가 시스템
100: 제1 평가 시스템
200: 제2 평가 시스템
300: 평가 모델 학습 장치10: learning ability evaluation system
100: first evaluation system
200: second evaluation system
300: evaluation model learning device
Claims (8)
상기 제1 평가 시스템과는 다른 제2 평가 시스템으로부터 획득한 데이터를 포함하는 평가 데이터베이스를 획득하는 단계-상기 평가 데이터베이스는 상기 제1 시점보다 이전인 제2 시점에 사용자가 풀이한 문제 정보, 상기 문제 정보에 대한 사용자의 응답 정보, 및 상기 제2 평가 시스템에서의 사용자의 점수 정보를 포함함-;
상기 평가 데이터베이스로부터 응답 시퀀스를 포함하는 학습 세트를 획득하는 단계;
상기 제2 평가 시스템에서의 상기 응답 정보에 기초하여 상기 제2 평가 시스템에서의 사용자의 상기 점수 정보를 연산하기 위한 신경망을 획득하는 단계; 및
상기 학습 세트를 이용하여 상기 신경망을 학습시키는 단계;를 포함하되,
상기 학습 세트를 획득하는 단계는,
상기 평가 데이터베이스로부터 복수의 응답 정보를 포함하는 응답 세트를 획득하는 단계;
상기 응답 세트와 관련된 상기 점수 정보를 획득하는 단계; 및
상기 응답 세트에 포함된 응답 데이터 및 상기 점수 정보를 대응시켜 상기 응답 시퀀스를 생성하고 상기 학습 세트를 획득하는 단계;를 포함하는,
학습 능력을 연산하는 신경망 모델의 학습 방법.
A method in which an evaluation model learning device learns a neural network model that calculates a learning ability applied to a first evaluation system that evaluates the learning ability of a target user in real time in response to a response of the target user at a first point in time, the method silver,
Acquiring an evaluation database including data obtained from a second evaluation system different from the first evaluation system - the evaluation database contains problem information solved by a user at a second time point prior to the first time point, the problem including user's response information to the information, and user's score information in the second evaluation system;
obtaining a training set comprising response sequences from the evaluation database;
acquiring a neural network for computing the score information of a user in the second evaluation system based on the response information in the second evaluation system; and
Including; learning the neural network using the learning set;
Obtaining the learning set,
obtaining a response set including a plurality of response information from the evaluation database;
obtaining the score information related to the response set; and
generating the response sequence by matching response data included in the response set with the score information and obtaining the learning set;
A learning method of a neural network model that calculates learning ability.
상기 신경망은,
상기 응답 시퀀스를 수신하기 위한 입력 레이어, 점수 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드를 갖는 히든 레이어를 포함하는,
학습 능력을 연산하는 신경망 모델의 학습 방법.
According to claim 1,
The neural network,
An input layer for receiving the response sequence, an output layer for outputting a result representing a score value, and a hidden layer having a plurality of nodes connecting the input layer and the output layer,
A learning method of a neural network model that calculates learning ability.
상기 신경망을 학습시키는 단계는,
상기 응답 시퀀스를 상기 입력 레이어를 통하여 상기 신경망에 입력하는 단계;
상기 신경망의 상기 출력 레이어를 통하여 출력되는 점수 값을 획득하는 단계; 및
상기 점수 값과 상기 응답 시퀀스에 포함된 상기 점수 정보의 차이에 기초하여 상기 신경망의 상기 노드의 가중치를 조절하는 단계;를 포함하는,
학습 능력을 연산하는 신경망 모델의 학습 방법.
According to claim 2,
The step of learning the neural network,
inputting the response sequence to the neural network through the input layer;
obtaining a score value output through the output layer of the neural network; and
Adjusting the weight of the node of the neural network based on the difference between the score value and the score information included in the response sequence; including,
A learning method of a neural network model that calculates learning ability.
상기 응답 데이터는, 상기 응답 세트에 포함된 응답 정보 중에서 랜덤하게 선택된,
학습 능력을 연산하는 신경망 모델의 학습 방법.
According to claim 1,
The response data is randomly selected from response information included in the response set,
A learning method of a neural network model that calculates learning ability.
상기 제1 평가 시스템에서의 문제 정보 및 문제에 대한 대상 사용자의 대상 응답 정보를 획득하는 단계; 및
학습이 완료된 신경망을 이용하여 상기 대상 사용자의 상기 대상 응답 정보에 기초하여 상기 제1 평가 시스템에서의 상기 대상 사용자의 대상 점수 정보를 획득하는 단계-상기 신경망은 상기 제1 평가 시스템과는 다른 제2 평가 시스템에서의 문제에 대한 기준 사용자의 응답 정보에 기초하여 상기 제2 평가 시스템에서의 기준 사용자의 점수 정보를 연산하도록 학습됨-;를 포함하되,
상기 신경망은, 학습 세트를 이용하여 훈련되되,
상기 학습 세트는, 상기 기준 사용자의 복수의 응답 정보를 포함하는 응답 세트를 획득하고 상기 응답 세트와 관련된 상기 기준 사용자의 점수 정보를 획득하고 상기 응답 세트에 포함된 응답 데이터 및 상기 점수 정보를 대응시켜 응답 시퀀스를 생성함으로써 획득된,
학습 능력 연산 방법.
A method for computing a user's learning ability in a first evaluation system in which a learning ability evaluation device obtains a response to a user's problem and evaluates the user's learning ability in real time in response to the response, the method comprising:
acquiring problem information and target response information of a target user for the problem in the first evaluation system; and
Obtaining target score information of the target user in the first evaluation system based on the target response information of the target user by using a trained neural network - the neural network is different from the first evaluation system; Learned to calculate score information of a reference user in the second evaluation system based on response information of the reference user for a problem in the evaluation system;
The neural network is trained using a learning set,
The learning set obtains a response set including a plurality of response information of the reference user, obtains score information of the reference user related to the response set, and matches response data included in the response set with the score information. obtained by generating a response sequence,
Learning ability calculation method.
상기 신경망은,
상기 제1 평가 시스템에서의 상기 대상 사용자의 상기 대상 응답 정보를 수신하기 위한 입력 레이어, 상기 제1 평가 시스템에서의 상기 대상 사용자의 점수 값을 포함하는 상기 대상 점수 정보를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함하는,
학습 능력 연산 방법.
According to claim 5,
The neural network,
an input layer for receiving the target response information of the target user in the first evaluation system; an output layer for outputting the target score information including a point value of the target user in the first evaluation system; and Including a hidden layer having a plurality of nodes connecting the input layer and the output layer,
Learning ability calculation method.
상기 신경망은,
상기 제2 평가 시스템의 기준 사용자의 상기 응답 정보 및 제2 평가 시스템의 기준 사용자의 상기 점수 정보를 포함하는 학습 세트를 이용하여 상기 복수의 노드들의 가중치를 조절함으로써 훈련되는,
학습 능력 연산 방법.
According to claim 6,
The neural network,
Trained by adjusting weights of the plurality of nodes using a learning set including the response information of the reference user of the second evaluation system and the score information of the reference user of the second evaluation system.
Learning ability calculation method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220057647A KR20230009816A (en) | 2021-07-09 | 2022-05-11 | Method for, device for, and system for evaluating learning ability |
| PCT/KR2022/009427 WO2023282537A1 (en) | 2021-07-09 | 2022-06-30 | Learning ability assessment method, learning ability assessment device, and learning ability assessment system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210090198A KR102398318B1 (en) | 2021-07-09 | 2021-07-09 | Method for, device for, and system for evaluating learning ability |
| KR1020220057647A KR20230009816A (en) | 2021-07-09 | 2022-05-11 | Method for, device for, and system for evaluating learning ability |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210090198A Division KR102398318B1 (en) | 2021-07-09 | 2021-07-09 | Method for, device for, and system for evaluating learning ability |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230009816A true KR20230009816A (en) | 2023-01-17 |
Family
ID=84802132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220057647A KR20230009816A (en) | 2021-07-09 | 2022-05-11 | Method for, device for, and system for evaluating learning ability |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230009816A (en) |
| WO (1) | WO2023282537A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210042236A (en) | 2019-10-09 | 2021-04-19 | 주식회사 피플인아트 | Online personalized learning system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102096301B1 (en) * | 2019-04-03 | 2020-04-02 | (주)뤼이드 | Method, apparatus and computer program for operating a machine learning framework with active learning techniqe |
| KR102297265B1 (en) * | 2019-09-27 | 2021-09-03 | 주식회사 에이치투케이 | Apparatus and method for assessing language level using artificial intelligence |
| KR102213478B1 (en) * | 2020-02-18 | 2021-02-08 | (주)뤼이드 | A system for tracking user knowledge based on artificial intelligence learning and method thereof |
| KR102213476B1 (en) * | 2020-06-09 | 2021-02-08 | (주)뤼이드 | Learning contents recommendation system based on artificial intelligence learning and operation method thereof |
| KR102398318B1 (en) * | 2021-07-09 | 2022-05-16 | (주)뤼이드 | Method for, device for, and system for evaluating learning ability |
-
2022
- 2022-05-11 KR KR1020220057647A patent/KR20230009816A/en not_active Application Discontinuation
- 2022-06-30 WO PCT/KR2022/009427 patent/WO2023282537A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210042236A (en) | 2019-10-09 | 2021-04-19 | 주식회사 피플인아트 | Online personalized learning system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023282537A1 (en) | 2023-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7276712B2 (en) | Semantic analysis method, device, and storage medium | |
| US20220180882A1 (en) | Training method and device for audio separation network, audio separation method and device, and medium | |
| US20220414464A1 (en) | Method and server for federated machine learning | |
| US10169718B2 (en) | System and method for defining and using different levels of ground truth | |
| US10830747B2 (en) | System and method for predicting fatigue strength of alloys | |
| US20230131283A1 (en) | Method for generating universal learned model | |
| JP7316453B2 (en) | Object recommendation method and device, computer equipment and medium | |
| KR102398318B1 (en) | Method for, device for, and system for evaluating learning ability | |
| US20200118027A1 (en) | Learning method, learning apparatus, and recording medium having stored therein learning program | |
| US11887219B2 (en) | Systems and methods for training an image colorization model | |
| US10541884B2 (en) | Simulating a user score from input objectives | |
| KR102406416B1 (en) | Method for, device for, and system for evaluating learning ability | |
| CN112580807A (en) | Neural network improvement demand automatic generation method and device based on efficiency evaluation | |
| US20230252244A1 (en) | Method of learning task model and language model, and learning device for performing the same | |
| KR20230009816A (en) | Method for, device for, and system for evaluating learning ability | |
| KR20230028130A (en) | Method for, device for, and system for evaluating learning ability | |
| KR101893290B1 (en) | System for instructional video learning and evaluation using deep learning | |
| WO2021095358A1 (en) | Learning method, evaluation device, and evaluation system | |
| US20230186088A1 (en) | Learning skill evaluation method, apparatus, and system | |
| US20210138350A1 (en) | Sensor statistics for ranking users in matchmaking systems | |
| KR102571826B1 (en) | Method for, device for, and system for recommending an web page based on a search information of an user | |
| JP7282122B2 (en) | program, method, information processing device | |
| US20220067487A1 (en) | Electronic device for generating data and improving task performance by using only very small amount of data without prior knowledge of associative domain and operating method thereof | |
| US10915286B1 (en) | Displaying shared content on respective display devices in accordance with sets of user preferences | |
| WO2023166564A1 (en) | Estimation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |