KR102406458B1 - 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법 - Google Patents

복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법 Download PDF

Info

Publication number
KR102406458B1
KR102406458B1 KR1020210042713A KR20210042713A KR102406458B1 KR 102406458 B1 KR102406458 B1 KR 102406458B1 KR 1020210042713 A KR1020210042713 A KR 1020210042713A KR 20210042713 A KR20210042713 A KR 20210042713A KR 102406458 B1 KR102406458 B1 KR 102406458B1
Authority
KR
South Korea
Prior art keywords
user
model
information
test
transition
Prior art date
Application number
KR1020210042713A
Other languages
English (en)
Inventor
노현빈
황찬유
김정훈
Original Assignee
(주)뤼이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뤼이드 filed Critical (주)뤼이드
Priority to KR1020210042713A priority Critical patent/KR102406458B1/ko
Priority to PCT/KR2022/003747 priority patent/WO2022211326A1/ko
Priority to US17/710,143 priority patent/US20220318941A1/en
Priority to KR1020220067599A priority patent/KR20220136952A/ko
Application granted granted Critical
Publication of KR102406458B1 publication Critical patent/KR102406458B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2053—Education institution selection, admissions, or financial aid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 실시 예에 따른 복수의 시험 도메인에서 사용자들의 상대적인 실력 차이를 나타내는 전이요소를 통해 시험점수를 예측하는 사용자 실력 평가 장치는, 사용자 단말로부터 레퍼런스 도메인의 문제응답 정보와 시험점수 정보를 수신하고, 문제응답 정보 또는 시험점수 정보로부터 적어도 하나의 전이요소를 추출하는 전이요소 추출부, 레퍼런스 도메인과 사용자의 실력을 평가하고자 하는 타겟 도메인에서 복수의 사용자들 간의 실력 비교를 위해 공통적으로 사용할 수 있는 피쳐 정보와 상기 전이요소로부터 사용자의 시험점수를 예측하는 기초모델을 학습하는 기초모델 학습부 및 기초모델을 타겟 도메인의 시험점수 예측을 위한 실력 평가 모델로 전이하는 동작을 수행하는 모델전이 수행부를 포함한다.

Description

복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법{A device, system, and its operation method that evaluates the user's ability through an artificial intelligence model learned through transfer factor applied to various test domain}
본 발명은 복수의 시험 영역에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법에 관한 것이다.
최근 인터넷과 전자장치의 활용이 각 분야에서 활발히 이루어지며 교육 환경 역시 빠르게 변화하고 있다. 특히, 다양한 교육 매체의 발달로 학습자는 보다 폭넓은 학습 방법을 선택하고 이용할 수 있게 되었다. 그 중에서도 인터넷을 통한 교육 서비스는 시간적, 공간적 제약을 극복하고 저비용의 교육이 가능하다는 이점 때문에 주요한 교수 학습 수단으로 자리매김하게 되었다.
이러한 경향에 부응하여 이제는 제한된 인적, 물적 자원으로 오프라인 교육에서는 불가능했던 맞춤형 교육 서비스도 다양해지는 추세이다. 예를 들어, 인공지능을 활용하여 학습자의 개성과 능력에 따라 세분화된 교육 컨텐츠를 제공함으로써, 과거의 획일적 교육 방법에서 탈피하여 학습자의 개인 역량에 따른 교육 콘텐츠를 제공하고 있다.
사용자 실력 평가 모델은 학생의 학습 동선을 바탕으로 학생의 지식 습득 정도를 모델링하는 인공지능 모델이다. 구체적으로, 학생이 푼 문제와 응답에 대한 기록이 주어졌을 때, 주어진 다음 문제를 맞힐 확률과 이에 따른 사용자의 시험점수를 예측하는 것을 의미한다.
어떠한 시험 영역의 사용자 실력 평가 모델을 만들기 위해서 모델 학습에 필요한 많은 양의 실제 시험점수 정보가 필요하다. 하지만 실제 점수 수집을 위해서는 사용자가 직접 시험을 봐야하기 때문에 데이터 수집에 많은 시간과 비용이 필요하는 문제가 존재하였다.
예를 들어, 인공지능 모델이 수집 가능한 문제풀이 데이터로부터 직접적으로 예측할 수 있는 정답 확률과는 달리, 시험 점수나 등급은 이를 직접적으로 예측하기 위한 실제 시험점수 정보가 턱없이 부족하고, 그 마저도 오프라인을 통해 소량으로 수집할 수밖에 없어 정답 확률 예측과 비교하여 정확도가 떨어진다는 문제가 존재하였다.
또한, 시험 영역마다 사용자 실력 평가 모델을 만들고 이를 평가하는 것이 모두 모델 개발자의 수동인 작업으로 이루어지기 때문에, 실 서비스에서 언제나 충분한 성능을 보장하기 어렵고, 모델을 만드는 데에도 많은 시간과 노력이 필요하다는 문제가 존재하였다.
삭제
대한민국 공개특허공보 제10-2018-0127266호(2018.11.28.)
전술한 문제를 해결하기 위해, 본 발명은 학습 데이터가 풍부한 레퍼런스 도메인에서 복수의 시험에 공통적으로 적용될 수 있는 전이요소를 추출하고, 추출된 전이요소를 사용해 학습된 인공지능 모델을 학습 데이터가 부족하거나 없는 교육 도메인의 평가에 이용함으로써, 학습 데이터가 부족한 교육 도메인에서도 효과적으로 사용자의 실력을 평가할 수 있는 사용자 실력 평가 장치, 시스템 및 그것의 동작방법을 제공한다.
또한, 본 발명은 레퍼런스 도메인의 데이터에 변화가 있을 때 전이요소의 추출과정을 반복하여 실력 평가 모델을 업데이트함으로써, 데이터의 추가에 따라 주기적으로 실력 평가 모델의 성능을 발전시킬 수 있는 사용자 실력 평가 장치, 시스템 및 그것의 동작방법을 제공한다.
또한, 본 발명은 복수의 사용자들의 문제풀이 결과를 상호 비교한 응답 비교 정보를 사용하여 점수를 예측함으로써, 절대적인 문제풀이 데이터와 시험점수가 부족한 시험 도메인에서도 효과적으로 시험점수를 예측할 수 있는 사용자 실력 평가 장치, 시스템 및 그것의 동작방법을 제공한다.
본 발명의 실시 예에 따른 복수의 시험 도메인에서 사용자들의 상대적인 실력 차이를 나타내는 전이요소를 통해 시험점수를 예측하는 사용자 실력 평가 장치는, 사용자 단말로부터 레퍼런스 도메인의 문제응답 정보와 시험점수 정보를 수신하고, 문제응답 정보 또는 시험점수 정보로부터 적어도 하나의 전이요소를 추출하는 전이요소 추출부, 레퍼런스 도메인과 사용자의 실력을 평가하고자 하는 타겟 도메인에서 복수의 사용자들 간의 실력 비교를 위해 공통적으로 사용할 수 있는 피쳐 정보와 상기 전이요소로부터 사용자의 시험점수를 예측하는 기초모델을 학습하는 기초모델 학습부 및 기초모델을 타겟 도메인의 시험점수 예측을 위한 실력 평가 모델로 전이하는 동작을 수행하는 모델전이 수행부를 포함한다.
본 발명의 실시 예에 따른 복수의 시험 도메인에서 사용자들의 상대적인 실력 차이를 나타내는 전이요소를 통해 시험점수를 예측하는 사용자 실력 평가 장치의 동작방법은, 사용자 단말로부터 레퍼런스 도메인의 문제응답 정보와 시험점수 정보를 수신하고, 문제응답 정보 또는 시험점수 정보로부터 적어도 하나의 전이요소를 추출하는 단계, 레퍼런스 도메인과 사용자의 실력을 평가하고자 하는 타겟 도메인에서 복수의 사용자들 간의 실력 비교를 위해 공통적으로 사용할 수 있는 피쳐 정보와 상기 전이요소로부터 사용자의 시험점수를 예측하는 기초모델을 학습하는 단계 및 기초모델을 타겟 도메인의 시험점수 예측을 위한 실력 평가 모델로 전이하는 동작을 수행하는 단계를 포함한다.
본 발명의 실시 예에 따른 사용자 실력 평가 장치, 시스템 및 그것의 동작방법은, 학습 데이터가 풍부한 레퍼런스 도메인에서 다양한 시험에 공통적으로 적용될 수 있는 전이요소를 추출하고, 추출된 전이요소로 학습된 인공지능 모델을 실력 평가에 이용함으로써, 수집된 시험점수 정보가 부족한 교육 도메인에서도 효과적으로 사용자의 실력을 평가할 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 사용자 실력 평가 장치, 시스템 및 그것의 동작방법은, 레퍼런스 도메인의 데이터에 변화가 있을 때 전이요소의 추출과정을 반복하여 실력 평가 모델을 업데이트함으로써, 데이터의 추가에 따라 주기적으로 실력 평가 모델의 성능을 발전시킬 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 사용자 실력 평가 장치, 시스템 및 그것의 동작방법은, 복수의 사용자들의 문제풀이 결과를 상호 비교한 응답 비교 정보를 사용하여 점수를 예측함으로써, 절대적인 문제풀이 데이터와 시험점수가 부족한 타 시험 도메인에서도 효과적으로 시험점수를 예측할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른, 사용자 실력 평가 시스템의 동작을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시 예에 따른, 사용자 실력 평가 시스템의 각 구성요소의 동작을 보다 상세하게 설명하기 위한 블록도이다.
도 3은 본 발명의 실기 예에 따른, 기초모델 학습부의 동작을 보다 구체적으로 설명하기 위한 블록도이다.
도 4는 본 발명의 실시 예에 따른, 복수의 사용자들의 응답 비교 정보를 통해 인공지능 모델을 학습시키는 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른, 응답 비교 정보로 학습된 인공지능 모델을 사용하여, 새로 유입된 신규 유저의 점수를 예측하는 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른, 사용자 실력 평가 장치의 동작을 설명하기 위한 순서도이다.
도 7은 본 발명의 다른 실시 예에 따른, 사용자 실력 평가 장치의 동작을 설명하기 위한 순서도이다.
도 8은 본 발명의 다른 실시 예에 따른, 기초모델 학습을 보다 상세하게 설명하기 위한 순서도이다.
도 9는 본 발명의 다른 실시 예에 따른, 레퍼런스 도메인의 데이터 변화에 따른 기초모델 학습과 모델전이 과정을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에 개시된 실시예를 설명함에 있어서 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시 예에 따른, 사용자 실력 평가 시스템의 동작을 설명하기 위한 블록도이다.
도 1을 참조하면, 사용자 실력 평가 시스템(50)은 사용자 단말(100) 및 사용자 실력 평가 장치(200)를 포함할 수 있다.
기존에는 사용자 실력 평가 모델을 만들기 위해 많은 양의 실제 문제응답 정보와 시험점수를 일일이 수집해야 하는 문제가 있었다. 시험점수는 사용자의 개별 문제 풀이만으로는 수집되지 않는 데이터이고, 그 마저도 시험을 치른 사용자를 통해 소량으로 수집할 수밖에 없어 인공지능 예측 정확도가 떨어진다는 문제가 존재하였다.
이러한 문제를 해결하기 위해, 본 발명의 실시 예에 따른 사용자 실력 평가 시스템(50)은, 문제응답 정보와 시험점수 정보가 풍부한 레퍼런스 도메인에서 학습된 기초모델을 사용하여, 데이터가 부족하거나 없는 타겟 도메인의 시험 영역에서 사용자의 실력 평가 모델로 사용할 수 있다.
구체적으로, 사용자 실력 평가 시스템(50)은 다양한 시험 도메인에서 공통적으로 나타나는 특성을 피쳐 정보와 전이요소(transferable feature)로 추출할 수 있다.
피쳐 정보는 레퍼런스 도메인과 타겟 도메인에서 복수의 사용자들 간의 실력 비교를 위해 공통적으로 사용할 수 있는 정보일 수 있다. 예를 들어, 피쳐 정보는 복수의 사용자들의 응답을 비교하여 상대적인 실력 차이를 나타내는 응답비교 정보를 포함할 수 있다.
응답비교 정보는 더 많은 문제를 맞힌 학생이 더 점수가 잘 나올 것이라는 가정을 기초로 하므로, 복수의 도메인에서 사용자들의 실력 비교를 위해 공통적으로 사용할 수 있는 정보이다.
전이요소는 적어도 하나 이상의 시험 도메인에서 공통적으로 적용될 수 있는 사용자 행동 특성 또는 학습 데이터의 특성으로 정의될 수 있다. 전이요소는 여러 행동 데이터 또는 학습 데이터 사이에서 사용자들의 상대적 실력 차이를 나타내는 정보를 포함할 수 있다.
피쳐 정보로부터 전이요소를 예측하도록 학습된 인공지능 모델은 타겟 도메인에서 시험점수 예측을 위한 실력 평가 모델로 사용될 수 있다.
기 수집된 문제응답 정보와 시험점수 정보가 풍부한 레퍼런스 도메인을 토익 시험으로 가정할 수 있다. 데이터가 적거나 없는 타겟 도메인은 공인중개사 시험으로 가정할 수 있다.
사용자 실력 평가 시스템(50)은, 토익 시험과 공인중개사 시험에서 공통적으로 나타나는 특성을 피쳐 정보와 전이요소로 추출할 수 있다.
이후, 사용자 실력 평가 시스템(50)은 토익 시험 도메인의 피쳐 정보를 입력으로 전이요소를 예측할 수 있는 기초모델을 학습시킬 수 있다. 학습된 기초모델은 공인중개사 시험 도메인에 전이(transfer)되어 사용자의 문제풀이에 따라 공인중개사 시험 점수를 예측하는데 사용될 수 있다.
보다 구체적으로, 사용자 실력 평가 장치(200)는 사용자 단말(100)로부터 레퍼런스 도메인의 문제응답 정보와 시험점수 정보를 수신하고, 문제응답 정보 또는 시험점수 정보로부터 적어도 하나의 전이요소를 추출할 수 있다.
사용자 실력 평가 장치(200)는 레퍼런스 도메인과 타겟 도메인에서 복수의 사용자들 간의 실력 비교를 위해 공통적으로 사용할 수 있는 피쳐 정보로부터 사용자의 시험점수를 예측하는 기초모델을 학습할 수 있다.
기초모델은 타겟 도메인의 시험점수 예측을 위한 실력 평가 모델로 전이되어, 타겟 도메인에서의 피쳐 정보가 입력되면, 이를 기초로 시험점수를 예측할 수 있다.
사용자 단말(100)은 사용자 실력 평가 장치(200)로부터 문제를 수신하고 사용자에게 학습을 위해 제공할 수 있다. 사용자가 문제를 풀이하면, 사용자 단말(100)은 문제응답 정보를 사용자 실력 평가 장치(200)에 전달할 수 있다.
문제응답 정보는 사용자가 풀이한 문제와 문제에 대한 사용자의 풀이결과를 포함할 수 있다.
사용자 단말(100)은 사용자로부터 시험점수 정보를 직접 입력 받거나, 또는 한 세트의 시험문제를 제공하고 풀이 결과를 수신할 수 있다.
사용자 단말(100)은 풀이 결과로부터 시험 점수를 연산할 수 있다. 직접 입력 받은 시험점수 정보 또는 연산된 시험점수 정보는 사용자 실력 평가 장치(200)에 전달될 수 있다.
시험문제 제공에 따른 시험점수 연산을 사용자 단말(100)이 수행하는 것으로 설명하였지만, 실시 예에 따라 사용자의 문제풀이에 따른 시험점수 연산은 사용자 실력 평가 장치(200)에서 수행될 수 있다.
사용자 실력 평가 장치(200)는 사용자 단말(100)로부터 문제응답 정보와 시험점수 정보를 수신할 수 있다. 사용자 실력 평가 장치(200)는 이들 정보로부터 전이요소를 추출하고, 전이요소로 학습된 기초모델을 다른 시험 도메인에 적용하여 사용자의 점수를 예측할 수 있다.
이하 도 2를 참조하여 사용자 실력 평가 장치(200)의 동작을 각 구성요소 별로 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 사용자 실력 평가 시스템의 각 구성요소의 동작을 보다 상세하게 설명하기 위한 블록도이다.
사용자 실력 평가 장치(200)는 전이요소 추출부(210), 기초모델 학습부(220) 및 모델전이 수행부(230)를 포함할 수 있다.
전이요소 추출부(210)는 사용자 단말(100)로부터 문제응답 정보와 시험점수 정보를 수신하고, 문제응답 정보 또는 시험점수 정보로부터 적어도 하나의 시험 도메인에서 복수의 사용자들의 상대적 실력 차이를 나타내는 전이요소를 추출할 수 있다.
전이요소는 적어도 하나 이상의 시험 도메인에서 공통적으로 적용될 수 있는 사용자 행동 특성 또는 학습 데이터의 특성으로 정의될 수 있다. 전이요소는 여러 행동 데이터 또는 학습 데이터 사이에서 사용자들의 상대적 실력 차이를 나타내는 정보를 포함할 수 있다.
나아가, 복수의 전이요소의 조합이 복수의 시험 도메인에서 사용자의 실력 차이를 효과적으로 구분할 수 있는 경우, 전이요소는 적어도 둘 이상의 전이요소 조합을 포함할 수도 있다.
전이요소는 실시 예에 따라 다양하게 정의될 수 있다. 예를 들어, 맞힌 문제 수 증가에 따른 시험점수 증가 비율은 복수의 시험 도메인에서 유사한 그래프 형태를 보일 수 있으므로 전이요소가 될 수 있다.
또한, 복수의 시험 도메인에서 사용자가 온라인 학습 도중 이탈할 확률이 클수록 시험점수가 낮은 분포를 보이는 경우, 이탈 확률과 시험점수의 상관관계는 전이요소가 될 수 있다.
학생1의 시험점수가 S1, 학생2의 시험점수가 S2인 경우, 사용자 실력 평가 시스템(50)은 전이요소를 S1/(S1+S2)로 정의할 수 있다.
학생1이 학생2보다 실력이 좋을 경우, S1/(S1+S2)는 1에 가까운 값을 가질 수 있다. 반대로, 학생2가 학생1보다 실력이 좋을 경우, S1/(S1+S2)는 0에 가까운 값을 가질 수 있다. 이외에도 전이요소는 복수의 사용자 간의 실력 차이를 나타낼 수 있는 다양한 정보를 포함할 수 있다.
전이요소 추출부(210)는 레퍼런스 도메인의 데이터에 변화가 있을 때 전이요소의 추출과정을 반복하여 실력 평가 모델을 업데이트할 수 있다. 이를 통해 데이터의 추가에 따라 주기적으로 실력 평가 모델의 성능이 발전될 수 있다.
전이요소 추출부(210)는 문제응답 정보, 시험점수 정보 및 전이요소를 기초모델 학습부(220)에 전달할 수 있다. 다만, 실시 예에 따라 문제응답 정보와 시험점수 정보는 전이요소 추출부(210)를 거치지 않고 바로 기초모델 학습부(220)에 전달될 수도 있다.
기초모델 학습부(220)는 레퍼런스 도메인의 피쳐 정보로부터 사용자의 시험점수를 예측하는 기초모델을 학습시키는 동작을 수행할 수 있다.
보다 구체적으로, 기초모델 학습부(220)는 피쳐 정보로부터 전이요소를 예측하는 전이요소 예측 모델과, 전이요소로부터 시험점수를 예측하는 점수 예측 모델을 각각 학습시킬 수 있다.
도 3은 본 발명의 실기 예에 따른 기초모델 학습부(220)의 동작을 보다 구체적으로 설명하기 위한 블록도이다.
도 3을 참조하면, 기초모델 학습부(220)는 전이요소 예측 모델 학습부(221) 및 점수 예측 모델 학습부(222)를 포함할 수 있다. 실시 예에서, 기초모델은 전이요소 예측 모델 및 점수 예측 모델을 포함할 수 있다.
전이요소 예측 모델 학습부(221)는 피쳐 정보로부터 전이요소를 예측하는 전이요소 예측 모델을 학습하는 동작을 수행할 수 있다.
실시 예에서, 피쳐 정보는 응답비교 정보를 포함할 수 있다. 이 경우 전이요소 예측 모델 학습부(221)는 인공지능 모델에 응답 비교 정보와 추출된 전이요소와의 관계를 나타내는 가중치를 학습시킬 수 있다.
기초모델은 결정된 가중치를 기초로 복수의 사용자들의 응답 비교 정보로부터 전이요소를 예측할 수 있다.
응답 비교 정보는 두 유저가 공통적으로 풀이한 문제들에 대한 응답을 비교하여 상대적인 실력을 수치화된 표현으로 나타낸 정보일 수 있다.
응답 비교 정보는 유저1과 유저2가 둘 다 맞힌 문제의 수(TT), 유저1만 맞춘 문제의 수(TF), 유저2만 맞춘 문제의 수(TF), 둘 다 틀린 문제의 수(FF)를 포함할 수 있다. 다만, 응답 비교 정보는 완전히 동일한 문제에 대한 비교 정보 뿐만 아니라, 미리 설정된 범위 내에 유사성을 가지는 문제들에 대한 비교 정보를 포함할 수 있다.
예를 들어, 유저1이 문제23을 풀고 유저2가 문제31을 풀었지만, 문제23과 문제31이 미리 설정된 범위 내의 유사성을 가져 비슷한 난이도 또는 유형이라고 판단되는 경우, 이를 동일한 문제를 풀이한 것으로 판단하고 응답 비교 정보에 반영할 수 있다.
응답 비교 정보는 후술되는 도 4를 통해 보다 상세하게 설명하기로 한다.
점수 예측 모델 학습부(222)는 전이요소로부터 사용자의 시험점수를 예측하는 점수 예측 모델을 학습시키는 동작을 수행할 수 있다.
전술한 바와 같이, 전이요소는 서로 다른 사용자 간의 실력 차이에 관한 정보를 포함하고 있으므로, 전이요소를 알면 사용자의 시험점수를 예측할 수 있다.
점수 예측은 프로그램으로 구현 가능한 다양한 알고리즘에 따라 수행될 수 있다. 앞서 설명한 예에서, 학생1의 시험점수가 S1, 학생2의 시험점수가 S2, 전이요소가 L1/(L1+L2)인 경우, 아래 수학식1을 최소화시키는 Li들을 찾아주는 경사하강 모델을 점수 예측 모델로 사용할 수 있다.
Figure 112021038449308-pat00001
기초모델 학습부(220)는 문제응답 정보 또는 응답 비교 정보로부터 전이요소를 예측하고, 다시 전이요소로부터 시험점수를 예측하도록 기초모델을 학습할 수 있다.
기초모델은 이후 데이터가 부족하거나 없는 타겟 도메인으로 전이되어 실력 평가 모델로 사용될 수 있다. 실력 평가 모델은 타겟 도메인의 사용자 피쳐 정보로부터 시험점수를 예측하는데 사용될 수 있다.
다시 도 2로 돌아오면, 기초모델 검증부(240)는 학습된 기초모델의 유효성을 판단할 수 있다.
기초모델 검증부(240)는 기초모델이 시험의 기본적인 성질들(예를 들어, 실력이 높은 사람이 점수가 높은지, 더 많은 문제를 맞힌 사람이 시험점수도 높은지, 사용자들의 점수분포가 정규분포에 가까운 형태를 가지는지 등)을 만족하는지, 모델이 정상적으로 동작하는지 여부 등을 판단할 수 있다.
모델전이 수행부(230)는 레퍼런스 도메인에서 생성된 기초모델을, 타겟 도메인의 시험점수 예측을 위한 실력 평가 모델로 전이하는 동작을 수행할 수 있다.
모델 전이는 기초모델 학습에서 결정된 가중치를 타겟 도메인의 실력 평가 모델에 업데이트 하거나, 또는 기초모델 자체를 타겟 도메인의 실력 평가 모델로 사용하는 동작을 포함할 수 있다.
레퍼런스 도메인과 타겟 도메인은 서로 다른 시험 영역이지만, 서로 상호작용할 수 있는 전이요소로 학습된 기초모델을 사용하기 때문에, 타겟 도메인의 시험점수 예측에 사용할 수 있다.
구체적으로, 모델전이 수행부(230)는 타겟 도메인에서도 전이요소 예측 모델과 및 점수 예측 모델을 포함하는 기초모델을 사용할 수 있다.
전이요소 예측 모델은 타겟 도메인으로 전이되어, 타겟 도메인의 피쳐 정보로부터 전이요소를 예측하는데 사용될 수 있다. 점수 예측 모델은 타겟 도메인으로 전이되어, 전이요소로부터 사용자의 시험점수를 예측하는데 사용될 수 있다.
실력 평가 모델 검증부(250)는 타겟 도메인에 전이된 실력 평가 모델의 유효성을 판단할 수 있다.
실력 평가 모델 검증부(250)는 실력 평가 모델이 시험의 기본적인 성질들(예를 들어, 실력이 높은 사람이 점수가 높은지, 더 많은 문제를 맞힌 사람이 시험점수도 높은지, 사용자들의 점수분포가 정규분포에 가까운 형태를 가지는지 등)을 만족하는지, 모델이 정상적으로 동작하는지 여부 등을 판단할 수 있다.
도 4는 본 발명의 실시 예에 따른, 복수의 사용자들의 응답 비교 정보를 통해 인공지능 모델을 학습시키는 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 도 4에 도시된 각 유저들은 레퍼런스 도메인의 유저들로서 존재할 수 있다. 각 유저들은 이후 신규 유저가 유입되면, 신규 유저의 문제응답 정보와 비교되어 신규 유저의 점수 예측에 사용될 수 있다.
유저들 간의 화살표는 실력 비교된 결과를 나타낸다. 유저2는 유저1에 비해 높은 점수를 가진다고 판단되어 화살표가 유저2를 향하고 있다.
본 발명의 실시 예에 따르면, 전이요소를 통해 사용자의 실력 비교가 가능하기 때문에, 유저들 간 공통 풀이한 문제가 없거나, 응답비교 정보가 동일한 경우에도 유저간 실력 평가가 가능하다는 장점이 있다.
예를 들어, 유저1과 유저3이 공통적으로 푼 문제가 존재하지 않아도, 유저1과 유저3의 시험점수를 기초로 전이요소를 연산하여 상호 비교가 가능하다.
또한, 유저1과 유저3의 응답 비교 정보가 둘 다 맞춘 문제(TT)가 50개, 유저1만 맞춘 문제(TF)가 50개, 유저2만 맞춘 문제(FT)가 50개, 모두 틀린 문제(FF)가 50개로 모두 동일한 경우에도, 이를 기초로 전이요소를 연산하고 두 유저의 실력이 동일하다고 판단할 수 있다.
유저1과 유저2를 예시로 이하 본 발명의 실시 예에 따른 응답 비교 정보 생성을 설명하도록 한다. 유저1과 유저2의 실력을 비교한 응답 비교 정보가 도 4의 우측 표에 도시되어 있다.
응답 비교 정보에 따르면, 유저1과 유저2가 모두 맞춘 문제 수가 90개, 유저1만 맞춘 문제 수가 10개, 유저2만 맞춘 문제 수가 110개, 둘 다 틀린 문제 수가 40개이다.
이때 유저1은 유저2가 올바르게 응답한 200개의 문제 중 45% ({(90/(90+110)} * 100)에 올바르게 응답했고, 유저2는 유저1이 올바르게 응답한 100개의 문제 중 90% ({(90/(90+10)} * 100)에 올바르게 응답했음을 알 수 있다.
즉, 유저2의 지식이 유저1의 지식을 포함하는 것을 의미하며, 결과적으로 유저2가 유저1보다 시험에서 높은 점수를 받을 것이라고 판단할 수 있다.
도 5는 본 발명의 실시 예에 따른, 응답 비교 정보로 학습된 인공지능 모델을 사용하여, 새로 유입된 신규 유저의 점수를 예측하는 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른, 응답 비교 정보를 통해 학습된 인공지능 모델을 사용하여 신규 유저의 점수를 예측하는 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 붉은 색으로 표시된 신규 유저가 학습된 인공지능 모델에 유입된 것을 도시하고 있다. 신규 유저는 각 유저들과 문제응답 정보의 비교를 통해 응답 비교 정보가 생성될 수 있다.
비교 결과는 각 유저들과 화살표로 표시되어 있다. 신규 유저와 유저1, 유저2, 유저3을 각각 비교한 결과를 예시로 설명하도록 한다.
신규 유저와 유저1을 실력 비교한 결과, 신규 유저가 유저1의 지식을 포함한다고 판단될 수 있다. 이에 따라 화살표는 유저1에서 신규 유저를 향하도록 도시되어 있다.
신규 유저와 유저2를 비교한 결과, 유저2가 신규 유저의 지식을 포함한다고 판단될 수 있다. 이에 따라 화살표는 신규 유저에서 유저2를 향하도록 도시되어 있다.
신규 유저와 유저3을 비교한 결과, 신규 유저가 유저3의 지식을 포함한다고 판단될 수 있다. 이에 따라 화살표는 유저3에서 신규 유저를 향하도록 도시되어 있다.
이와 같이 신규 유저는, 비교 가능한 각 유저들과 실력 비교 되어 응답 비교 정보가 생성되고, 응답 비교 정보에 따라 다른 유저들과의 관계에서 자신의 상대적인 실력을 파악할 수 있다.
신규 유저의 상대적인 위치는 점수로 환산될 수 있으며 결과적으로 신규 유저의 점수를 예측할 수 있는 것이다.
도 6은 본 발명의 일 실시 예에 따른, 사용자 실력 평가 장치의 동작을 설명하기 위한 순서도이다.
도 6을 참조하면, S601 단계에서, 사용자 실력 평가 장치는 사용자 단말로부터 문제응답 정보와 시험점수 정보를 수신할 수 있다.
S603 단계에서, 사용자 실력 평가 장치는 레퍼런스 도메인의 문제응답 정보와 시험점수 정보로부터, 타겟 도메인의 실력 평가 모델에 사용할 수 있는 전이요소를 추출할 수 있다.
전이요소는 적어도 하나 이상의 시험 도메인에서 공통적으로 적용될 수 있는 사용자 행동 특성 또는 학습 데이터의 특성으로 정의될 수 있다. 전이요소는 여러 행동 데이터 또는 학습 데이터 사이에서 사용자들의 상대적 실력 차이를 나타내는 정보를 포함할 수 있다.
나아가, 복수의 전이요소의 조합이 복수의 시험 도메인에서 사용자의 실력 차이를 효과적으로 구분할 수 있는 경우, 전이요소는 적어도 둘 이상의 전이요소 조합을 포함할 수도 있다.
S605 단계에서, 사용자 실력 평가 장치는 레퍼런스 도메인의 피쳐 정보로부터 전이요소를 예측하는 기초모델을 학습할 수 있다.
기초모델은 문제응답 정보로부터 전이요소를 예측하고, 다시 전이요소로부터 시험점수를 예측할 수 있다.
기초모델은 이후 데이터가 부족하거나 없는 타겟 도메인으로 전이되어 실력 평가 모델로 사용될 수 있다. 실력 평가 모델은 타겟 도메인의 사용자 피쳐 정보로부터 시험점수를 예측하는데 사용될 수 있다.
S607 단계에서, 사용자 실력 평가 장치는 학습된 기초모델을 통해, 타겟 도메인의 피쳐 정보로부터 전이요소를 예측할 수 있다. 타겟 도메인으로 전이된 레퍼런스 도메인의 기초모델은 실력 평가 모델일 수 있다.
S609 단계에서, 사용자 실력 평가 장치는 실력 평가 모델을 통해 예측된 전이요소로부터 사용자의 시험 점수를 예측할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른, 사용자 실력 평가 장치의 동작을 설명하기 위한 순서도이다.
도 7을 참조하면, S701 단계에서, 사용자 실력 평가 장치는 사용자 단말로부터 문제응답 정보와 시험점수 정보를 수신할 수 있다.
S703 단계에서, 사용자 실력 평가 장치는 복수의 사용자의 문제응답 정보로부터 응답 비교 정보를 생성할 수 있다.
S705 단계에서, 사용자 실력 평가 장치는 레퍼런스 도메인의 문제응답 정보와 시험점수 정보로부터, 타겟 도메인의 실력 평가 모델에 사용할 수 있는 전이요소를 추출할 수 있다.
S707 단계에서, 사용자 실력 평가 장치는 레퍼런스 도메인의 응답 비교 정보로부터 전이요소를 예측하는 기초모델을 학습할 수 있다. 기초모델은 응답 비교 정보로부터 전이요소를 예측하고, 다시 전이요소로부터 시험점수를 예측할 수 있다.
기초모델은 이후 데이터가 부족하거나 없는 타겟 도메인으로 전이되어 실력 평가 모델로 사용될 수 있다. 실력 평가 모델은 타겟 도메인의 사용자 응답 비교 정보로부터 시험점수를 예측하는데 사용될 수 있다.
S709 단계에서, 사용자 실력 평가 장치는 학습된 기초모델을 통해, 타겟 도메인의 응답 비교 정보로부터 전이요소를 예측할 수 있다. 타겟 도메인으로 전이된 레퍼런스 도메인의 기초모델은 실력 평가 모델일 수 있다.
S711 단계에서, 사용자 실력 평가 장치는 실력 평가 모델을 통해 예측된 전이요소로부터 사용자의 시험 점수를 예측할 수 있다.
도 8은 본 발명의 다른 실시 예에 따른, 기초모델 학습을 보다 상세하게 설명하기 위한 순서도이다.
본 발명의 실시 예에 따른 사용자 실력 평가 장치는, 문제응답 정보 또는 응답 비교 정보로부터 전이요소를 예측하고, 다시 전이요소로부터 시험점수를 예측하도록 기초모델을 학습할 수 있다.
도 8을 참조하면, S801 단계에서, 사용자 실력 평가 장치는 사용자들의 응답 비교 정보로부터 전이요소를 예측하는 전이요소 예측 모델을 학습할 수 있다.
전이요소 예측 모델은 이후 데이터가 부족하거나 없는 타겟 도메인으로 전이되고, 타겟 도메인의 응답 비교 정보로부터 전이요소를 예측하는데 사용될 수 있다.
S803 단계에서, 사용자 실력 평가 장치는 전이요소로부터 사용자들의 시험점수를 예측하는 점수 예측 모델을 학습할 수 있다.
점수 예측 모델은 이후 데이터가 부족하거나 없는 타겟 도메인으로 전이되고, 타겟 도메인에서 예측된 전이요소로부터 사용자의 시험점수를 예측하는데 사용될 수 있다.
도 9는 본 발명의 다른 실시 예에 따른, 레퍼런스 도메인의 데이터 변화에 따른 기초모델 학습과 모델전이 과정을 설명하기 위한 순서도이다.
도 9를 참조하면, S901 단계에서, 사용자 실력 평가 장치는 레퍼런스 도메인에 데이터 변화가 있는지 판단할 수 있다.
데이터 변화는 사용자가 새로운 문제를 풀이하고 문제응답 정보를 업데이트한 경우, 또는 시험점수 정보를 업데이트한 경우를 예시할 수 있으나 이에 한정되지 않는다.
레퍼런스 도메인에 데이터 변화가 있는 경우, 사용자 실력 평가 장치는 S903 단계를 수행할 수 있다. 레퍼런스 도메인에 데이터 변화가 없는 경우, 사용자 실력 평가 장치는 S903 내지 S907 단계를 생략하고, S911 단계를 수행할 수 있다.
S903 단계에서, 사용자 실력 평가 장치는 레퍼런스 도메인의 데이터로부터 전이요소를 추출할 수 있다. 구체적으로, 사용자 실력 평가 장치는 레퍼런스 도메인의 문제응답 정보와 시험점수 정보로부터, 서로 다른 사용자들의 상대적인 실력 차이를 나타낼 수 있는 정보를 전이요소로 추출할 수 있다.
S905 단계에서, 사용자 실력 평가 장치는 전이요소를 이용하여 기초모델을 학습할 수 있다.
도 8에 대한 설명에서 전술한 바와 같이, 기초모델은 사용자의 문제응답 정보 또는 복수의 사용자들의 응답 비교 정보로부터 전이요소를 예측하는 전이요소 예측 모델과, 전이요소로부터 시험 점수를 예측하는 시험점수 예측 모델을 포함할 수 있다.
사용자 실력 평가 장치는 문제응답 정보 또는 응답 비교 정보로부터 전이요소를 예측하고, 전이요소로부터 시험점수를 예측하도록 기초모델을 학습할 수 있다.
S907 단계에서, 사용자 실력 평가 장치는 기초모델의 유효성과 성능을 판단할 수 있다.
구체적으로, 사용자 실력 평가 장치는 학습된 기초모델의 성능이 미리 설정한 기준 성능 이상이고, 시험의 기본적인 성질들(예를 들어, 실력이 높은 사람이 점수가 높은지, 더 많은 문제를 맞힌 사람이 시험점수도 높은지, 사용자들의 점수분포가 정규분포에 가까운 형태를 가지는지 등)을 만족하는지, 모델이 정상적으로 동작하는지 여부 등을 판단할 수 있다.
S909 단계에서, 사용자 실력 평가 장치는 기초모델이 유효하다고 판단하면 S911 단계를 수행할 수 있다. 반대로, 기초모델이 유효하지 않다고 판단하면 다시 S903 단계로 돌아가 S903 내지 S907 단계를 반복할 수 있다.
S911 단계에서, 사용자 실력 평가 장치는 학습된 기초모델에 기초하여, 타겟 도메인에서의 실력 평가 모델을 학습할 수 있다.
실력 평가 모델로의 모델 전이는 기초모델 학습에서 결정된 가중치를 타겟 도메인의 실력 평가 모델에 업데이트 하거나, 또는 기초모델 자체를 타겟 도메인의 실력 평가 모델로 사용하는 동작을 포함할 수 있다.
S913 단계에서, 사용자 실력 평가 장치는 실력 평가 모델의 유효성과 성능을 판단할 수 있다.
S915 단계에서, 사용자 실력 평가 장치는 실력 평가 모델이 유효하다고 판단하면 S917 단계를 수행할 수 있다. 반대로, 실력 평가 모델이 유효하지 않다고 판단하면 다시 S911 단계로 돌아가 S9011 내지 S913 단계를 반복할 수 있다.
S917 단계에서, 사용자 실력 평가 장치는 실력 평가 모델을 사용하여 사용자의 시험점수를 예측할 수 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서의 통상의 지식을 가진 자들에게 자명한 것이다.
50: 사용자 실력 평가 시스템
100: 사용자 단말
200: 사용자 실력 평가 장치
210: 전이요소 추출부
220: 기초모델 학습부
221: 전이요소 예측 모델 학습부
222: 점수 예측 모델 학습부
230: 모델전이 수행부
240: 기초모델 검증부
250: 실력 평가 모델 검증부

Claims (10)

  1. 복수의 시험 도메인에서 사용자들의 상대적인 실력 차이를 나타내는 전이요소를 통해 시험점수를 예측하는 사용자 실력 평가 장치에 있어서,
    사용자 단말로부터 레퍼런스 도메인의 문제응답 정보와 시험점수 정보를 수신하고, 상기 문제응답 정보 또는 상기 시험점수 정보로부터 적어도 하나의 전이요소를 추출하는 전이요소 추출부;
    상기 레퍼런스 도메인과 사용자의 실력을 평가하고자 하는 타겟 도메인에서 복수의 사용자들 간의 실력 비교를 위해 공통적으로 사용할 수 있는 피쳐 정보와 상기 전이요소로부터 사용자의 시험점수를 예측하는 기초모델을 학습하는 기초모델 학습부; 및
    상기 기초모델을, 상기 타겟 도메인의 시험점수 예측을 위한 실력 평가 모델로 전이하는 동작을 수행하는 모델전이 수행부;를 포함하되,
    상기 피쳐 정보는, 상기 레퍼런스 도메인에서 서로 다른 두 유저가 공통적으로 풀이한 문제들에 대한 문제응답 정보를 비교하여 생성되는 응답 비교 정보를 포함하는,
    사용자 실력 평가 장치.
  2. 제1항에 있어서, 상기 전이요소 추출부는,
    복수의 전이요소의 조합이 상기 복수의 시험 도메인에서 사용자의 실력 차이를 구분할 수 있는 경우, 상기 전이요소는 적어도 하나의 전이요소 조합을 포함하는 사용자 실력 평가 장치.
  3. 제1항에 있어서, 상기 전이요소 추출부는,
    상기 레퍼런스 도메인의 데이터에 변화가 있을 때, 전이요소의 추출과정을 반복하여 상기 실력 평가 모델을 업데이트하는 사용자 실력 평가 장치.
  4. 제3항에 있어서, 상기 기초모델 학습부는,
    상기 피쳐 정보로부터, 상기 전이요소를 예측하는 전이요소 예측 모델을 학습하는 전이요소 예측 모델 학습부; 및
    상기 전이요소로부터, 사용자의 시험점수를 예측하는 점수 예측 모델을 학습하는 점수 예측 모델 학습부;를 포함하는 사용자 실력 평가 장치.
  5. 제1 항에 있어서, 상기 응답 비교 정보는,
    상기 서로 다른 두 유저가 둘 다 맞힌 문제의 수, 어느 하나의 유저만 맞힌 문제의 수 및 상기 서로 다른 두 유저가 모두 틀린 문제의 수에 관한 정보를 포함하는 사용자 실력 평가 장치.
  6. 제5항에 있어서, 상기 모델전이 수행부는,
    상기 기초모델의 학습에서 결정된 가중치를 상기 타겟 도메인의 실력 평가 모델에 업데이트 하거나, 또는 상기 기초모델 자체를 상기 타겟 도메인의 실력 평가 모델로 사용하는 방법으로 모델 전이를 수행하는 사용자 실력 평가 장치.
  7. 제1항에 있어서,
    상기 기초모델이 시험의 기본적인 성질들을 만족하는지 여부 또는 상기 기초모델이 정상적으로 동작하는지 여부에 따라, 상기 기초모델의 유효성을 판단하는 기초모델 검증부; 및
    상기 실력 평가 모델이 시험의 기본적인 성질들을 만족하는지 여부 또는 상기 실력 평가 모델이 정상적으로 동작하는지 여부에 따라, 상기 실력 평가 모델의 유효성을 판단하는 실력 평가 모델 검증부;를 더 포함하는 사용자 실력 평가 장치.
  8. 삭제
  9. 복수의 시험 도메인에서 사용자들의 상대적인 실력 차이를 나타내는 전이요소를 통해 시험점수를 예측하는 사용자 실력 평가 장치의 동작방법에 있어서,
    사용자 단말로부터 레퍼런스 도메인의 문제응답 정보와 시험점수 정보를 수신하고, 상기 문제응답 정보 또는 상기 시험점수 정보로부터 적어도 하나의 전이요소를 추출하는 단계;
    상기 레퍼런스 도메인과 사용자의 실력을 평가하고자 하는 타겟 도메인에서 복수의 사용자들 간의 실력 비교를 위해 공통적으로 사용할 수 있는 피쳐 정보-상기 피쳐 정보는, 상기 레퍼런스 도메인에서 서로 다른 두 유저가 공통적으로 풀이한 문제들에 대한 문제응답 정보를 비교하여 생성되는 응답 비교 정보를 포함함-와 상기 전이요소로부터 사용자의 시험점수를 예측하는 기초모델을 학습하는 단계; 및
    상기 기초모델을, 상기 타겟 도메인의 시험점수 예측을 위한 실력 평가 모델로 전이하는 동작을 수행하는 단계;를 포함하는 사용자 실력 평가 장치의 동작방법.
  10. 삭제
KR1020210042713A 2021-04-01 2021-04-01 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법 KR102406458B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210042713A KR102406458B1 (ko) 2021-04-01 2021-04-01 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
PCT/KR2022/003747 WO2022211326A1 (ko) 2021-04-01 2022-03-17 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
US17/710,143 US20220318941A1 (en) 2021-04-01 2022-03-31 Apparatus, system, and operation method thereof for evaluating skill of user through artificial intelligence model trained through transferrable feature applied to plural test domains
KR1020220067599A KR20220136952A (ko) 2021-04-01 2022-06-02 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210042713A KR102406458B1 (ko) 2021-04-01 2021-04-01 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220067599A Division KR20220136952A (ko) 2021-04-01 2022-06-02 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법

Publications (1)

Publication Number Publication Date
KR102406458B1 true KR102406458B1 (ko) 2022-06-08

Family

ID=81981734

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210042713A KR102406458B1 (ko) 2021-04-01 2021-04-01 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
KR1020220067599A KR20220136952A (ko) 2021-04-01 2022-06-02 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220067599A KR20220136952A (ko) 2021-04-01 2022-06-02 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법

Country Status (3)

Country Link
US (1) US20220318941A1 (ko)
KR (2) KR102406458B1 (ko)
WO (1) WO2022211326A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240012099A (ko) 2022-07-20 2024-01-29 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012100A (ko) 2022-07-20 2024-01-29 주식회사 튜링 사용자의 문제 풀이 실력 진단을 종료하는 기법
KR20240012092A (ko) 2022-07-20 2024-01-29 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012722A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012720A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012718A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하기 위한 문제를 제공하는 기법
KR20240012719A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598931B1 (ko) * 2023-05-03 2023-11-06 (주) 올그라운드 선수 스카우팅을 위한 정보 제공 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180127266A (ko) 2018-08-31 2018-11-28 (주)뤼이드 점수 추정 방법, 장치 및 컴퓨터 프로그램
KR20200012433A (ko) * 2018-07-27 2020-02-05 (주)웅진씽크빅 학습자의 예측 점수 분석 정보 제공방법
KR20200048474A (ko) * 2018-10-30 2020-05-08 삼성에스디에스 주식회사 전이 학습을 위한 기반 모델 결정 방법 및 그 방법을 지원하는 장치
KR20200063330A (ko) * 2018-11-21 2020-06-05 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102015075B1 (ko) * 2018-10-16 2019-08-27 (주)뤼이드 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200012433A (ko) * 2018-07-27 2020-02-05 (주)웅진씽크빅 학습자의 예측 점수 분석 정보 제공방법
KR20180127266A (ko) 2018-08-31 2018-11-28 (주)뤼이드 점수 추정 방법, 장치 및 컴퓨터 프로그램
KR20200048474A (ko) * 2018-10-30 2020-05-08 삼성에스디에스 주식회사 전이 학습을 위한 기반 모델 결정 방법 및 그 방법을 지원하는 장치
KR20200063330A (ko) * 2018-11-21 2020-06-05 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240012099A (ko) 2022-07-20 2024-01-29 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012100A (ko) 2022-07-20 2024-01-29 주식회사 튜링 사용자의 문제 풀이 실력 진단을 종료하는 기법
KR20240012092A (ko) 2022-07-20 2024-01-29 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012722A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012720A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법
KR20240012718A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하기 위한 문제를 제공하는 기법
KR20240012719A (ko) 2022-07-21 2024-01-30 주식회사 튜링 사용자의 문제 풀이 실력을 진단하는 기법

Also Published As

Publication number Publication date
WO2022211326A1 (ko) 2022-10-06
KR20220136952A (ko) 2022-10-11
US20220318941A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
KR102406458B1 (ko) 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
Ramírez-Noriega et al. Evaluation module based on Bayesian networks to Intelligent Tutoring Systems
JP6960688B2 (ja) 学習効率に基づいて個人カスタマイズ型教育コンテンツを提供するための機械学習方法、装置及びコンピュータプログラム
Martin et al. A Bayesian approach to cognitive assessment
US10290221B2 (en) Systems and methods to customize student instruction
US20060166174A1 (en) Predictive artificial intelligence and pedagogical agent modeling in the cognitive imprinting of knowledge and skill domains
Käser et al. Modeling and analyzing inquiry strategies in open-ended learning environments
Aleman et al. Effects of response-driven feedback in computer science learning
Crockett et al. A fuzzy model for predicting learning styles using behavioral cues in an conversational intelligent tutoring system
Almohammadi et al. Users-centric adaptive learning system based on interval type-2 fuzzy logic for massively crowded E-learning platforms
Kshirsagar et al. Human intelligence analysis through perception of AI in teaching and learning
US20240177624A1 (en) Learning management systems and methods therefor
Almohammadi et al. A zSlices-based general type-2 fuzzy logic system for users-centric adaptive learning in large-scale e-learning platforms
CN114117033B (zh) 知识追踪方法及***
Sayed et al. Towards a learning style and knowledge level-based adaptive personalized platform for an effective and advanced learning for school students
Aziz et al. Adaptive E-learning recommendation model based on the knowledge level and learning style
Chandler Recommendations for practice: Designing curriculum for gifted students
KR102329611B1 (ko) 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법
CN115205072A (zh) 一种面向长周期测评的认知诊断方法
KR102412381B1 (ko) 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법
Mueller et al. Authoring guide for cognitive tutorials for artificial intelligence: Purposes and methods
Khobreh et al. Med-assess system for evaluating and enhancing nursing job knowledge and performance
Molina‐Cabello et al. Are learning styles useful? A new software to analyze correlations with grades and a case study in engineering
Nafiseh et al. Evaluation based on personalization using optimized firt and mas framework in engineering education in e-learning environment
Javadi et al. Improving student's modeling framework in a tutorial-like system based on Pursuit learning automata and reinforcement learning

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant