KR102561832B1 - Method, device and system for providing online education content based on artificial intelligence - Google Patents
Method, device and system for providing online education content based on artificial intelligence Download PDFInfo
- Publication number
- KR102561832B1 KR102561832B1 KR1020220015482A KR20220015482A KR102561832B1 KR 102561832 B1 KR102561832 B1 KR 102561832B1 KR 1020220015482 A KR1020220015482 A KR 1020220015482A KR 20220015482 A KR20220015482 A KR 20220015482A KR 102561832 B1 KR102561832 B1 KR 102561832B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content
- learning
- time
- determined
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 28
- 210000001747 pupil Anatomy 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims description 34
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 238000010801 machine learning Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical group [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
일실시예에 따르면, 장치에 의해 수행되는, 인공지능을 기반으로 온라인 교육 콘텐츠를 제공하는 방법에 있어서, 제1 사용자가 제1 강의자에 의해 진행되는 화상 강의인 제1 콘텐츠를 시청하고 있는 경우, 제1 시점에 상기 제1 사용자 단말에 설치된 카메라를 통해 촬영된 상기 제1 사용자의 얼굴 이미지인 제1 이미지를 획득하는 단계; 미리 학습된 제1 뉴럴 네트워크에 상기 제1 이미지를 적용하여, 제1 눈동자 객체를 추출하는 단계; 상기 제1 눈동자 객체를 이용하여, 상기 제1 사용자가 상기 제1 시점에 상기 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하는 단계; 상기 제1 사용자가 상기 제1 시점에 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 상기 디스플레이에 대한 주시를 경고하는 알람 신호를 생성하는 단계; 상기 제1 시점으로부터 미리 설정된 기간이 지난 후의 시점인 제2 시점에 상기 제1 사용자 단말에 설치된 카메라를 통해 촬영된 상기 제1 사용자의 얼굴 이미지인 제2 이미지를 획득하는 단계; 상기 제1 뉴럴 네트워크에 상기 제2 이미지를 적용하여, 제2 눈동자 객체를 추출하는 단계; 상기 제2 눈동자 객체를 이용하여, 상기 제1 사용자가 상기 제2 시점에 상기 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하는 단계; 및 상기 제1 사용자가 상기 제1 시점에 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 상태에서, 상기 제1 사용자가 상기 제2 시점에도 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 상기 제1 시점부터 상기 제2 시점까지의 제1 학습 구간 동안 상기 제1 콘텐츠를 시청하지 않은 것으로, 상기 제1 사용자의 학습 상태를 분석하는 단계를 포함하는, 인공지능 기반 온라인 교육 콘텐츠 제공 방법이 제공된다.According to an embodiment, in the method of providing online educational content based on artificial intelligence, performed by a device, when a first user is watching first content, which is a video lecture conducted by a first lecturer, obtaining a first image, which is a face image of the first user, photographed at a first point in time by a camera installed in the first user terminal; extracting a first pupil object by applying the first image to a pre-learned first neural network; determining whether the first user is watching the display of the first user terminal at the first viewpoint, using the first pupil object; generating an alarm signal for warning the user to gaze at the display when it is determined that the first user is not looking at the display at the first time point; obtaining a second image, which is a face image of the first user, captured through a camera installed in the first user terminal at a second point in time, which is a point in time after a preset period of time has elapsed from the first point in time; extracting a second pupil object by applying the second image to the first neural network; determining whether the first user is watching the display of the first user terminal at the second viewpoint, using the second pupil object; and when it is determined that the first user is not looking at the display at the second time point in a state in which it is determined that the first user is not looking at the display at the first time point, the first user is not looking at the display at the second time point. A method for providing online educational contents based on artificial intelligence is provided, which includes analyzing the learning state of the first user based on the fact that he did not watch the first content during the first learning period up to a second point in time.
Description
아래 실시예들은 인공지능을 기반으로 온라인 교육 콘텐츠를 제공하는 기술에 관한 것이다. The following embodiments relate to technology for providing online educational content based on artificial intelligence.
최근에는 인터넷 및 이를 지원하는 다양한 단말의 발달로 인해 많은 교육 콘텐츠들이 온라인에서 활발하게 제공되고 있으며, 이를 통해 강의자는 온라인을 통해 학습자에게 다양한 학습 콘텐츠를 제공할 수 있다. 온라인 교육은 디스플레이 수단이 있으면 시간과 장소의 제한없이 편리하게 수강할 수 있는 장점이 있어 널리 이용되고 있다.Recently, due to the development of the Internet and various terminals supporting it, many educational contents are actively provided online, and through this, lecturers can provide various learning contents to learners online. Online education is widely used because it has the advantage of being able to conveniently take classes without time and place limitations if there is a display means.
그러나, 면대면 학습 상황과 달리 강의자들의 직접적인 관리가 이루어지지 않아 학습 효율이 저하될 수 있는 문제점이 있었다. 또한, 강의자들은 학습자의 집중 상태와 학습 이해도를 파악하기 어려워, 교육 대상자의 학습 태도를 관리하는 것에 한계가 있었다.However, unlike the face-to-face learning situation, there is a problem in that the direct management of the lecturers is not performed, which may reduce the learning efficiency. In addition, it was difficult for lecturers to grasp the learner's concentration and learning understanding, so there was a limit to managing the learner's learning attitude.
따라서, 학습자의 집중 상태와 학습 이해도를 파악하여 학습자의 학습 능력을 분석하고, 학습자의 학습 능력에 따른 온라인 교육 콘텐츠를 제공하는 기술의 구현이 요구되고 있다.Therefore, there is a need to implement a technology that analyzes the learner's learning ability by grasping the learner's concentration state and learning comprehension level, and provides online educational contents according to the learner's learning ability.
일실시예에 따르면, 제1 사용자가 제1 강의자에 의해 진행되는 화상 강의인 제1 콘텐츠를 시청하고 있는 경우, 제1 시점에 제1 사용자 단말에 설치된 카메라를 통해 촬영된 제1 사용자의 얼굴 이미지인 제1 이미지를 획득하고, 미리 학습된 제1 뉴럴 네트워크에 제1 이미지를 적용하여, 제1 눈동자 객체를 추출하고, 제1 눈동자 객체를 이용하여, 제1 사용자가 제1 시점에 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하고, 제1 사용자가 제1 시점에 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 디스플레이에 대한 주시를 경고하는 알람 신호를 생성하고, 제1 시점으로부터 미리 설정된 기간이 지난 후의 시점인 제2 시점에 제1 사용자 단말에 설치된 카메라를 통해 촬영된 제1 사용자의 얼굴 이미지인 제2 이미지를 획득하고, 제1 뉴럴 네트워크에 제2 이미지를 적용하여, 제2 눈동자 객체를 추출하고, 제2 눈동자 객체를 이용하여, 제1 사용자가 제2 시점에 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하고, 제1 사용자가 제1 시점에 디스플레이를 주시하고 있지 않는 것으로 판단한 상태에서, 제1 사용자가 제2 시점에도 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 제1 시점부터 제2 시점까지의 제1 학습 구간 동안 제1 콘텐츠를 시청하지 않은 것으로, 제1 사용자의 학습 상태를 분석하는, 인공지능 기반 온라인 교육 콘텐츠 제공 방법, 장치 및 시스템을 제공하는 것을 그 목적으로 한다.According to an embodiment, when a first user is watching first content, which is a video lecture conducted by a first lecturer, a face image of the first user captured through a camera installed in the first user terminal at a first time point. A first image is acquired, a first image is applied to a first neural network trained in advance, a first pupil object is extracted, and a first user is a first user at a first time point by using the first pupil object. It is determined whether the user is watching the display of the terminal, and if it is determined that the first user is not watching the display at the first time point, an alarm signal for warning the user to be watching the display is generated, and a preset period from the first time point is determined. A second image, which is a face image of the first user photographed through a camera installed in the first user terminal at a second point in time after the end of this, is obtained, and the second image is applied to the first neural network to obtain a second pupil object. is extracted, using the second pupil object, it is determined whether the first user is looking at the display of the first user terminal at the second viewpoint, and it is determined that the first user is not looking at the display at the first viewpoint. In the determined state, if it is determined that the first user is not looking at the display even at the second point of view, the first user did not watch the first content during the first learning period from the first point of view to the second point of view, and the first user's learning Its purpose is to provide an artificial intelligence-based online education content providing method, device, and system that analyzes the state.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확히 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood from the description below.
일실시예에 따르면, 장치에 의해 수행되는, 인공지능을 기반으로 온라인 교육 콘텐츠를 제공하는 방법에 있어서, 제1 사용자가 제1 강의자에 의해 진행되는 화상 강의인 제1 콘텐츠를 시청하고 있는 경우, 제1 시점에 상기 제1 사용자 단말에 설치된 카메라를 통해 촬영된 상기 제1 사용자의 얼굴 이미지인 제1 이미지를 획득하는 단계; 미리 학습된 제1 뉴럴 네트워크에 상기 제1 이미지를 적용하여, 제1 눈동자 객체를 추출하는 단계; 상기 제1 눈동자 객체를 이용하여, 상기 제1 사용자가 상기 제1 시점에 상기 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하는 단계; 상기 제1 사용자가 상기 제1 시점에 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 상기 디스플레이에 대한 주시를 경고하는 알람 신호를 생성하는 단계; 상기 제1 시점으로부터 미리 설정된 기간이 지난 후의 시점인 제2 시점에 상기 제1 사용자 단말에 설치된 카메라를 통해 촬영된 상기 제1 사용자의 얼굴 이미지인 제2 이미지를 획득하는 단계; 상기 제1 뉴럴 네트워크에 상기 제2 이미지를 적용하여, 제2 눈동자 객체를 추출하는 단계; 상기 제2 눈동자 객체를 이용하여, 상기 제1 사용자가 상기 제2 시점에 상기 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하는 단계; 및 상기 제1 사용자가 상기 제1 시점에 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 상태에서, 상기 제1 사용자가 상기 제2 시점에도 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 상기 제1 시점부터 상기 제2 시점까지의 제1 학습 구간 동안 상기 제1 콘텐츠를 시청하지 않은 것으로, 상기 제1 사용자의 학습 상태를 분석하는 단계를 포함하는, 인공지능 기반 온라인 교육 콘텐츠 제공 방법이 제공된다.According to an embodiment, in the method of providing online educational content based on artificial intelligence, performed by a device, when a first user is watching first content, which is a video lecture conducted by a first lecturer, obtaining a first image, which is a face image of the first user, photographed at a first point in time by a camera installed in the first user terminal; extracting a first pupil object by applying the first image to a pre-learned first neural network; determining whether the first user is watching the display of the first user terminal at the first viewpoint, using the first pupil object; generating an alarm signal for warning the user to gaze at the display when it is determined that the first user is not looking at the display at the first time point; obtaining a second image, which is a face image of the first user, captured through a camera installed in the first user terminal at a second point in time, which is a point in time after a preset period of time has elapsed from the first point in time; extracting a second pupil object by applying the second image to the first neural network; determining whether the first user is watching the display of the first user terminal at the second viewpoint, using the second pupil object; and when it is determined that the first user is not looking at the display at the second time point in a state in which it is determined that the first user is not looking at the display at the first time point, the first user is not looking at the display at the second time point. A method for providing online educational contents based on artificial intelligence is provided, which includes analyzing the learning state of the first user based on the fact that he did not watch the first content during the first learning period up to a second point in time.
상기 인공지능 기반 온라인 교육 콘텐츠 제공 방법은, 상기 제1 콘텐츠에 대한 시청이 완료되면, 상기 제1 사용자의 학습 상태를 분석한 결과를 확인하는 단계; 상기 제1 사용자의 학습 상태를 분석한 결과를 통해, 상기 제1 학습 구간 동안 상기 제1 콘텐츠를 시청하지 않은 것으로 확인되면, 상기 제1 학습 구간의 길이가 미리 설정된 제1 기준 시간 보다 짧은지 여부를 확인하는 단계; 상기 제1 학습 구간의 길이가 상기 제1 기준 시간 보다 짧은 것으로 확인되면, 상기 제1 콘텐츠에 대한 학습을 완료한 것으로 판단하는 단계; 상기 제1 학습 구간의 길이가 상기 제1 기준 시간 보다 긴 것으로 확인되면, 상기 제1 학습 구간의 길이가 미리 설정된 제2 기준 시간 보다 짧은지 여부를 확인하는 단계; 상기 제1 학습 구간의 길이가 상기 제2 기준 시간 보다 짧은 것으로 확인되면, 상기 제1 학습 구간에 대한 테스트가 필요한 것으로 판단하는 단계; 상기 제1 학습 구간의 길이가 상기 제2 기준 시간 보다 긴 것으로 확인되면, 상기 제1 학습 구간에 대한 재학습이 필요한 것으로 판단하는 단계; 상기 제1 학습 구간에 대한 테스트가 필요한 것으로 판단되면, 상기 제1 학습 구간 동안 진행된 교육 내용을 테스트하기 위한 퀴즈 문항이 상기 제1 사용자 단말의 화면에서 표시되도록 제어하는 단계; 및 상기 제1 학습 구간에 대한 재학습이 필요한 것으로 판단되면, 상기 제1 학습 구간 동안 진행된 화상 강의가 상기 제1 사용자 단말의 화면에서 다시 재생되도록 제어하는 단계를 더 포함할 수 있다.The method of providing online educational contents based on artificial intelligence may include checking a result of analyzing a learning state of the first user when viewing of the first content is completed; If it is confirmed that the first user did not watch the first content during the first learning period through the result of analyzing the learning state of the first user, whether the length of the first learning period is shorter than a preset first reference time Checking; determining that learning of the first content is completed when it is determined that the length of the first learning period is shorter than the first reference time; If it is confirmed that the length of the first learning interval is longer than the first reference time, checking whether the length of the first learning interval is shorter than a preset second reference time; determining that a test for the first learning interval is necessary when it is confirmed that the length of the first learning interval is shorter than the second reference time; Determining that re-learning for the first learning interval is necessary when it is confirmed that the length of the first learning interval is longer than the second reference time; If it is determined that a test for the first learning period is necessary, controlling a quiz question for testing the educational content during the first learning period to be displayed on the screen of the first user terminal; And if it is determined that re-learning for the first learning interval is necessary, controlling the video lecture conducted during the first learning interval to be played again on the screen of the first user terminal may be further included.
상기 제1 학습 구간 동안 진행된 교육 내용을 테스트하기 위한 퀴즈 문항이 상기 제1 사용자 단말의 화면에서 표시되도록 제어하는 단계는, 상기 제1 학습 구간 동안 진행된 화상 강의에서 미리 설정된 기준 횟수 이상으로 언급된 중요 키워드 정보를 추출하는 단계; 상기 중요 키워드 정보를 이용하여, 상기 제1 학습 구간의 테스트를 위한 퀴즈 문항들을 생성하는 단계; 상기 제1 사용자 단말로부터 상기 퀴즈 문항들에 대한 답변 정보를 획득하는 단계; 및 상기 답변 정보를 기초로, 상기 퀴즈 문항들에 대한 채점을 수행하여, 상기 제1 사용자의 채점 결과를 생성하는 단계를 포함할 수 있다.The step of controlling the display of quiz questions for testing the educational contents conducted during the first learning period on the screen of the first user terminal includes the important reference number mentioned more than a preset reference number in the video lecture conducted during the first learning period. extracting keyword information; generating quiz questions for a test of the first learning section by using the important keyword information; obtaining answer information for the quiz questions from the first user terminal; and generating a scoring result of the first user by scoring the quiz questions based on the answer information.
상기 인공지능 기반 온라인 교육 콘텐츠 제공 방법은, 상기 제1 사용자의 채점 결과가 생성되면, 상기 제1 사용자의 채점 결과가 미리 설정된 제1 기준치 보다 높은지 여부를 확인하는 단계; 상기 제1 사용자의 채점 결과가 상기 제1 기준치 보다 높은 점수로 확인되면, 상기 제1 학습 구간의 테스트를 통과한 것으로 판단하는 단계; 상기 제1 사용자의 채점 결과가 상기 제1 기준치 보다 낮은 점수로 확인되면, 상기 제1 학습 구간의 테스트를 통과하지 못한 것으로 판단하는 단계; 상기 제1 학습 구간의 테스트를 통과하지 못한 것으로 판단되면, 상기 제1 사용자의 채점 결과가 미리 설정된 제2 기준치 보다 높은지 여부를 확인하는 단계; 상기 제1 사용자의 채점 결과가 상기 제2 기준치 보다 높은 점수로 확인되면, 상기 제1 학습 구간에 대한 재학습이 필요한 것으로 판단하는 단계; 및 상기 제1 사용자의 채점 결과가 상기 제2 기준치 보다 낮은 점수로 확인되면, 상기 제1 콘텐츠 전체에 대한 재학습이 필요한 것으로 판단하는 단계를 더 포함할 수 있다.The artificial intelligence-based online education content providing method may further include, when a scoring result of the first user is generated, checking whether or not the first user's scoring result is higher than a preset first reference value; determining that the test of the first learning section has passed when the first user's scoring result is confirmed to be higher than the first reference value; determining that the test of the first learning section has not passed when the first user's scoring result is confirmed as a score lower than the first reference value; checking whether a scoring result of the first user is higher than a preset second reference value when it is determined that the test of the first learning section has not passed; determining that re-learning for the first learning section is necessary when the first user's scoring result is confirmed as a score higher than the second reference value; and determining that relearning of the entirety of the first content is necessary when the scoring result of the first user is confirmed to be lower than the second reference value.
일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.An apparatus according to an embodiment may be combined with hardware and controlled by a computer program stored in a medium to execute any one of the methods described above.
일실시예에 따르면, 사용자가 디스플레이를 주시하고 있는지 여부를 판단하여 사용자의 학습 상태를 분석하고, 이를 통해, 사용자의 학습 상태에 적합한 교육 콘텐츠를 추천하여 제공할 수 있는 효과가 있다.According to an embodiment, it is possible to analyze the learning state of the user by determining whether the user is looking at the display, and through this, it is possible to recommend and provide educational content suitable for the user's learning state.
도 1은 일실시예에 따른 시스템의 구성을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 인공지능 기반의 온라인 교육 콘텐츠를 제공하는 과정을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 제1 학습 구간의 길이에 따른 재학습의 필요 여부를 판단하는 과정을 설명하기 위한 순서도이다.
도 4는 일실시예에 따른 제1 사용자의 채점 결과에 따른 재학습의 구간을 설정하는 과정을 설명하기 위한 순서도이다.
도 5는 일실시예에 따른 눈동자 객체로부터 제1 사용자의 학습 집중도를 분석하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 콘텐츠 집중 시간을 산출하여 사용자의 허용 범위를 설정하는 과정을 설명하기 위한 순서도이다.
도 7은 일실시예에 따른 콘텐츠 집중 시간을 예측하여 콘텐츠 추천 정보를 제공하는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 장치의 구성의 예시도이다.1 is a diagram for explaining the configuration of a system according to an embodiment.
2 is a flowchart illustrating a process of providing artificial intelligence-based online education content according to an embodiment.
3 is a flowchart illustrating a process of determining whether re-learning is necessary according to the length of a first learning period according to an embodiment.
4 is a flowchart illustrating a process of setting a section of relearning according to a scoring result of a first user according to an embodiment.
5 is a flowchart illustrating a process of analyzing a first user's learning concentration from a pupil object according to an exemplary embodiment.
6 is a flowchart illustrating a process of setting a user's permissible range by calculating a content concentration time according to an exemplary embodiment.
7 is a flowchart illustrating a process of providing content recommendation information by estimating content concentration time according to an exemplary embodiment.
8 is a diagram for explaining learning of a neural network according to an exemplary embodiment.
9 is an exemplary diagram of a configuration of a device according to an embodiment.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents or substitutes to the embodiments are included within the scope of rights.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be modified and implemented in various forms. Therefore, the embodiments are not limited to the specific disclosed form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used only for descriptive purposes and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. The embodiments may be implemented in various types of products such as personal computers, laptop computers, tablet computers, smart phones, televisions, smart home appliances, intelligent vehicles, kiosks, and wearable devices.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.An artificial intelligence (AI) system is a computer system that implements human-level intelligence, and unlike existing rule-based smart systems, machines learn and judge on their own. The more AI systems are used, the higher the recognition rate and the more accurate understanding of user preferences. Conventional rule-based smart systems are gradually being replaced by deep learning-based AI systems.
인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.Artificial intelligence technology consists of machine learning and element technologies using machine learning. Machine learning is an algorithm technology that classifies/learns the characteristics of input data by itself, and element technology is a technology that uses machine learning algorithms such as deep learning to mimic functions such as recognition and judgment of the human brain. It consists of technical fields such as understanding, inference/prediction, knowledge expression, and motion control.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.The various fields where artificial intelligence technology is applied are as follows. Linguistic understanding is a technology for recognizing and applying/processing human language/characters, including natural language processing, machine translation, dialogue systems, question and answering, voice recognition/synthesis, and the like. Visual understanding is a technology for recognizing and processing objects like human vision, and includes object recognition, object tracking, image search, person recognition, scene understanding, space understanding, image improvement, and the like. Inference prediction is a technique of reasoning and predicting logically by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation. Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data creation/classification) and knowledge management (data utilization). Motion control is a technology for controlling the autonomous driving of a vehicle and the movement of a robot, and includes motion control (navigation, collision, driving), manipulation control (action control), and the like.
일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.In general, in order to apply machine learning algorithms to real life, learning is performed in a trial and error method due to the nature of the basic methodology of machine learning. In particular, deep learning requires hundreds of thousands of iterations. It is impossible to execute this in an actual physical external environment, so instead, the actual physical external environment is virtually implemented on a computer and learning is performed through simulation.
도 1은 일실시예에 따른 시스템의 구성을 설명하기 위한 도면이다.1 is a diagram for explaining the configuration of a system according to an embodiment.
도 1을 참조하면, 일실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 복수의 사용자 단말(110) 및 장치(120)를 포함할 수 있다.Referring to FIG. 1 , a system according to an embodiment may include a plurality of user terminals 110 and a device 120 capable of communicating with each other through a communication network.
먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.First, a communication network may be configured regardless of its communication mode, such as wired or wireless, and may be implemented in various forms so that communication between servers and communication between servers and terminals is performed.
복수의 사용자 단말(110) 각각은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰, 태블릿 PC, 스마트 TV 등일 수 있다. 예를 들어, 제1 사용자 단말(111)은 노트북이고, 제2 사용자 단말(112) 은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다. Each of the plurality of user terminals 110 may be a desktop computer, a laptop computer, a tablet computer, a smart phone, a tablet PC, a smart TV, and the like. For example, the first user terminal 111 may be a laptop computer and the second user terminal 112 may be a smart phone, and may be employed differently depending on embodiments.
복수의 사용자 단말(110) 각각은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 복수의 사용자 단말(110)은 장치(120)와 유무선으로 통신하도록 구성될 수 있다.Each of the plurality of user terminals 110 may be configured to perform all or part of an arithmetic function, a storage/reference function, an input/output function, and a control function of a typical computer. The plurality of user terminals 110 may be configured to communicate with the device 120 in a wired or wireless manner.
복수의 사용자 단말(110) 각각은 장치(120)를 이용하여 서비스를 제공하는 자 내지 단체가 운영하는 웹 사이트에 접속되거나, 장치(120)를 이용하여 서비스를 제공하는 자 내지 단체가 개발·배포한 애플리케이션이 설치될 수 있다. 복수의 사용자 단말(110) 각각은 웹 사이트 또는 애플리케이션을 통해 장치(120)와 연동될 수 있다.Each of the plurality of user terminals 110 is connected to a website operated by a person or organization that provides services using the device 120, or is developed and distributed by a person or organization that provides services using the device 120. An application may be installed. Each of the plurality of user terminals 110 may be linked with the device 120 through a website or application.
복수의 사용자 단말(110) 각각은 장치(120)에서 제공하는 웹 사이트, 애플리케이션을 등을 통해 장치(120)에 접속할 수 있다.Each of the plurality of user terminals 110 may access the device 120 through a website or an application provided by the device 120 .
이하에서는 설명의 편의상, 제1 사용자 단말(111)의 동작을 위주로 설명하지만, 제2 사용자 단말(112) 등의 다른 사용자 단말에서 제1 사용자 단말(111)의 동작을 대신 수행할 수 있는 것은 물론이다.Hereinafter, for convenience of description, the operation of the first user terminal 111 will be mainly described, but the operation of the first user terminal 111 can be performed by another user terminal such as the second user terminal 112 instead of course. am.
장치(120)는 장치(120)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(120)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(120)는 기계 학습 알고리즘의 수행을 위하여 미리 학습된 복수의 뉴럴 네트워크를 포함할 수 있다.The device 120 may be a server owned by a person or organization that provides services using the device 120, may be a cloud server, or may be a peer-to-peer (p2p) set of distributed nodes. may be The device 120 may be configured to perform all or part of an arithmetic function, a storage/reference function, an input/output function, and a control function of a typical computer. Device 120 may include a plurality of pre-trained neural networks to perform machine learning algorithms.
장치(120)는 복수의 사용자 단말(110)과 유무선으로 통신하도록 구성될 수 있으며, 복수의 사용자 단말(110) 각각의 동작을 제어하고, 복수의 사용자 단말(110) 각각의 화면에 어느 정보를 표시할 것인지에 대해 제어할 수 있다.The device 120 may be configured to communicate with a plurality of user terminals 110 by wire or wirelessly, control the operation of each of the plurality of user terminals 110, and display certain information on the screen of each of the plurality of user terminals 110. You can control what is displayed.
한편, 설명의 편의를 위해 도 1에서는 복수의 사용자 단말(110) 중 제1 사용자 단말(111) 및 제2 사용자 단말(112)만을 도시하였으나, 단말들의 수는 실시예에 따라 얼마든지 달라질 수 있다. 장치(120)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.Meanwhile, for convenience of explanation, FIG. 1 shows only the first user terminal 111 and the second user terminal 112 among the plurality of user terminals 110, but the number of terminals may vary according to the embodiment. . As long as the processing capacity of the device 120 allows, the number of terminals is not particularly limited.
장치(120)는 인공지능을 기반으로 온라인 교육 콘텐츠를 제공할 수 있으며, 사용자의 학습 상태를 분석하고, 학습 상태에 대한 분석 결과를 통해 사용자에게 적합한 교육 콘텐츠를 선정하고, 선정된 교육 콘텐츠를 사용자에게 제공하는 동작을 수행할 수 있다.The device 120 may provide online educational content based on artificial intelligence, analyze the learning state of the user, select educational content suitable for the user through the analysis result of the learning state, and provide the selected educational content to the user. You can perform the action provided to .
장치(120)는 기계 학습 알고리즘의 수행을 위하여 미리 학습된 다수의 뉴럴 네트워크를 포함할 수 있다.Device 120 may include a number of pre-trained neural networks for performing machine learning algorithms.
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.In the present invention, artificial intelligence (AI) means a technology that imitates human learning ability, reasoning ability, perception ability, etc., and implements it with a computer, and concepts such as machine learning and symbolic logic can include Machine learning (ML) is an algorithm technology that classifies or learns the characteristics of input data by itself. Artificial intelligence technology is a machine learning algorithm that analyzes input data, learns the result of the analysis, and can make judgments or predictions based on the result of the learning. In addition, technologies that mimic the functions of the human brain, such as recognition and judgment, using machine learning algorithms, can also be understood as artificial intelligence. For example, technical fields such as linguistic understanding, visual understanding, inference/prediction, knowledge expression, and motion control may be included.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.Machine learning may refer to processing that trains a neural network model using experience of processing data. Through machine learning, computer software could mean improving its own data processing capabilities. A neural network model is constructed by modeling a correlation between data, and the correlation may be expressed by a plurality of parameters. The neural network model derives a correlation between data by extracting and analyzing features from given data, and optimizing the parameters of the neural network model by repeating this process can be referred to as machine learning. For example, a neural network model may learn a mapping (correlation) between an input and an output with respect to data given as an input/output pair. Alternatively, even when only input data is given, the neural network model may learn the relationship by deriving a regularity between given data.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.An artificial intelligence learning model or a neural network model may be designed to implement a human brain structure on a computer, and may include a plurality of network nodes having weights while simulating neurons of a human neural network. A plurality of network nodes may have a connection relationship between them by simulating synaptic activities of neurons that transmit and receive signals through synapses. In the artificial intelligence learning model, a plurality of network nodes can send and receive data according to a convolutional connection relationship while being located in layers of different depths. The artificial intelligence learning model may be, for example, an artificial neural network model, a convolutional neural network model (CNN), and the like. As an embodiment, the artificial intelligence learning model may be machine-learned according to methods such as supervised learning, unsupervised learning, and reinforcement learning. Machine learning algorithms for performing machine learning include Decision Tree, Bayesian Network, Support Vector Machine, Artificial Neural Network, Ada-boost , Perceptron, Genetic Programming, Clustering, etc. may be used.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.Of these, CNNs are a type of multilayer perceptrons designed to use minimal preprocessing. A CNN consists of one or several convolution layers and general artificial neural network layers on top, and additionally utilizes weights and pooling layers. Thanks to this structure, CNN can fully utilize the input data with a two-dimensional structure. Compared to other deep learning structures, CNN shows good performance in both video and audio fields. CNNs can also be trained via standard back-propagation. CNNs are easier to train than other feedforward artificial neural network techniques and have the advantage of using fewer parameters.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.Convolutional networks are neural networks that contain sets of nodes with bound parameters. The increasing size of available training data and the availability of computational power, combined with algorithmic advances such as piecewise linear unit and dropout training, have greatly improved many computer vision tasks. With huge data sets, such as those available for many tasks today, overfitting is not critical, and increasing the size of the network improves test accuracy. Optimal use of computing resources becomes a limiting factor. To this end, a distributed, scalable implementation of deep neural networks can be used.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
도 2는 일실시예에 따른 인공지능 기반의 온라인 교육 콘텐츠를 제공하는 과정을 설명하기 위한 순서도이다.2 is a flowchart illustrating a process of providing artificial intelligence-based online education content according to an embodiment.
도 2의 순서도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. Although process steps, method steps, algorithms, etc. are described in a sequential order in the flowchart of FIG. 2, such processes, methods and algorithms may be configured to operate in any suitable order. In other words, the steps of the processes, methods and algorithms described in the various embodiments of the invention need not be performed in the order described herein.
또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.Also, although some steps are described as being performed asynchronously, in other embodiments some of these steps may be performed concurrently. Further, illustration of a process by depiction in the drawings does not mean that the illustrated process is exclusive of other changes and modifications thereto, and that any of the illustrated process or steps thereof may be one of various embodiments of the present invention. It is not meant to be essential to one or more, and it does not imply that the illustrated process is preferred.
도 2를 참조하면, 먼저 S201 단계에서, 장치(120)는 제1 콘텐츠를 제1 사용자 단말(111)로 제공할 수 있다. 여기서, 제1 콘텐츠는 제1 강의자에 의해 진행되는 화상 강의로, 장치(120)는 제1 사용자가 제1 콘텐츠를 시청할 수 있도록, 제1 사용자 단말(111)로 제1 콘텐츠를 제공할 수 있다.Referring to FIG. 2 , in step S201 , the device 120 may provide first content to the first user terminal 111 . Here, the first content is a video lecture conducted by the first lecturer, and the device 120 may provide the first content to the first user terminal 111 so that the first user can watch the first content. .
S202 단계에서, 장치(120)는 제1 사용자가 제1 콘텐츠를 시청하고 있는 경우, 제1 시점에 제1 사용자 단말(111)에 설치된 카메라를 통해 촬영된 제1 사용자의 얼굴 이미지인 제1 이미지를 획득할 수 있다. 여기서, 제1 시점은 제1 콘텐츠가 제1 사용자 단말(111)에서 재생된 재생 시작 시점부터 미리 설정된 기간이 지난 후의 시점을 의미하며, 재생 시작 시점과 제1 시점 간의 간격은 실시예에 따라 상이하게 설정될 수 있다.In step S202, when the first user is watching the first content, the device 120 displays a first image, which is a face image of the first user, captured through a camera installed in the first user terminal 111 at a first point in time. can be obtained. Here, the first point in time refers to a point in time after a preset period has elapsed from the point in time at which the first content was reproduced in the first user terminal 111, and the interval between the point in time between the start point and the first point in time varies depending on the embodiment. can be set to
구체적으로, 장치(120)가 제1 사용자 단말(111)로 제1 콘텐츠를 제공하면, 제1 사용자 단말(111)은 제1 콘텐츠를 화면에 표시할 수 있다. 이후, 제1 콘텐츠가 제1 사용자 단말(111)의 화면에 표시되어 있는 상태에서, 제1 사용자 단말(111)이 제1 콘텐츠를 시청하고 있는 제1 사용자의 얼굴을 촬영하여 제1 이미지를 생성하면, 장치(120)는 제1 사용자 단말(111)로부터 제1 이미지를 획득할 수 있다. 이를 위해, 제1 사용자 단말(111)은 사용자의 얼굴 이미지를 실시간 또는 비실시간으로 촬영하여 이미지를 생성할 수 있는 카메라를 포함할 수 있다.Specifically, when the device 120 provides the first content to the first user terminal 111, the first user terminal 111 may display the first content on the screen. Thereafter, while the first content is displayed on the screen of the first user terminal 111, the first user terminal 111 captures the face of the first user watching the first content to generate a first image. If so, the device 120 may acquire the first image from the first user terminal 111 . To this end, the first user terminal 111 may include a camera capable of generating an image by capturing a user's face image in real time or in non-real time.
S203 단계에서, 장치(120)는 미리 학습된 제1 뉴럴 네트워크에 제1 이미지를 적용하여, 제1 눈동자 객체를 추출할 수 있다.In step S203, the device 120 may extract a first pupil object by applying the first image to the pretrained first neural network.
구체적으로, 장치(120)는 제1 이미지로부터 추출된 특징점 객체들로부터 딥러닝(Deep learning)과 같은 기계 학습 알고리즘을 이용하여 제1 눈동자 객체를 추출할 수 있다.Specifically, the device 120 may extract the first pupil object from the feature point objects extracted from the first image by using a machine learning algorithm such as deep learning.
일실시예에 따르면, 장치(120)는, 이미지로부터 눈동자 객체를 추출하기 위해, 트레이닝 얼굴 이미지들을 획득하고, 트레이닝 얼굴 이미지들로부터 트레이닝 특징점 객체들을 추출하며, 트레이닝 특징점 객체들에 대응하는 신체 부위 정보인 제1 레이블들을 획득하고, 트레이닝 특징점 객체들을 제1 뉴럴 네트워크로 적용하여, 트레이닝 특징점 객체들에 대응하는 트레이닝 출력들을 생성하며, 트레이닝 출력들 및 제1 레이블들에 기초하여, 제1 뉴럴 네트워크를 학습시킬 수 있다. 이와 관련된 자세한 설명은 도 8을 참조하여 후술하기로 한다.According to one embodiment, the device 120 obtains training face images, extracts training feature point objects from the training face images, and body part information corresponding to the training feature point objects, to extract pupil objects from the images. Obtain first labels that are, apply the training feature point objects to the first neural network, generate training outputs corresponding to the training feature point objects, and form the first neural network based on the training outputs and the first labels. can be learned A detailed description related to this will be described later with reference to FIG. 8 .
S204 단계에서, 장치(120)는 제1 눈동자 객체를 이용하여, 제1 사용자가 제1 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있는지 여부를 판단할 수 있다.In step S204 , the device 120 may determine whether the first user is looking at the display of the first user terminal 111 at the first point of view using the first pupil object.
구체적으로, 장치(120)는 제1 이미지로부터 추출된 제1 눈동자 객체로부터 제1 사용자의 얼굴면을 기준으로 가장 돌출된 눈동자 부위의 좌표를 추출할 수 있다. In detail, the device 120 may extract the coordinates of the most protruding pupil part based on the face of the first user from the first pupil object extracted from the first image.
또한, 장치(120)는 추출된 좌표로부터 수선(垂線)을 생성하고, 생성된 수선이 제1 사용자 단말(111)의 디스플레이와 교차하지 않는 경우, 제1 사용자가 디스플레이를 주시하고 있지 않는 것으로 판단하고, 추출된 좌표로부터 생성된 수선이 제1 사용자 단말(111)의 디스플레이와 교차하는 경우, 제1 사용자가 제1 사용자 단말(111)의 디스플레이를 주시하고 있는 것으로 판단할 수 있지만, 제1 사용자가 제1 사용자 단말(111)의 디스플레이를 주시하고 있는지 여부를 판단하는 방법이 이에 한정되지 않는다.In addition, the device 120 generates a perpendicular line from the extracted coordinates, and when the generated perpendicular line does not intersect the display of the first user terminal 111, it is determined that the first user is not looking at the display. And, when the perpendicular generated from the extracted coordinates intersects the display of the first user terminal 111, it may be determined that the first user is watching the display of the first user terminal 111, but the first user A method of determining whether the user is watching the display of the first user terminal 111 is not limited thereto.
S204 단계에서 제1 사용자가 제1 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있는 것으로 판단한 경우, S501 단계가 수행될 수 있으며, 이와 관련된 자세한 설명은 도 5를 참조하여 후술하기로 한다.When it is determined in step S204 that the first user is watching the display of the first user terminal 111 at the first time point, step S501 may be performed, and a detailed description related to this will be described later with reference to FIG. 5 .
S204 단계에서 제1 사용자가 제1 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, S205 단계에서, 장치(120)는 디스플레이에 대한 주시를 경고하는 알람 신호를 생성할 수 있다.If it is determined in step S204 that the first user is not looking at the display of the first user terminal 111 at the first time point, in step S205, the device 120 generates an alarm signal for warning the user to watch the display. can
구체적으로, 장치(120)는 제1 사용자가 제1 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있지 않는 것으로 판단되면, 제1 사용자 단말(111)의 디스플레이에 대한 주시를 경고하는 알람 신호를 제1 사용자 단말(111)로 전송하고, 제1 사용자 단말(111)의 화면에 다양한 방식의 경고가 표시되도록 제어할 수 있다. Specifically, when the device 120 determines that the first user is not watching the display of the first user terminal 111 at the first time point, the device 120 alerts the device 120 to the display of the first user terminal 111 with an alarm. A signal may be transmitted to the first user terminal 111, and various types of warnings may be displayed on the screen of the first user terminal 111.
예를 들어, 알람 신호를 수신한 제1 사용자 단말(111)은 미리 설정된 크기의 경고 신호를 스피커를 통하여 출력하거나 디스플레이의 색깔을 변경하여 출력할 수도 있다.For example, upon receiving the alarm signal, the first user terminal 111 may output a warning signal having a preset size through a speaker or changing the color of the display.
S206 단계에서, 장치(120)는 알람 신호를 통해 디스플레이에 대한 주시를 경고한 후, 제2 시점에 제1 사용자 단말(111)에 설치된 카메라를 통해 촬영된 제1 사용자의 얼굴 이미지인 제2 이미지를 획득할 수 있다. 여기서, 제2 시점은 알람 신호를 통해 디스플레이에 대한 주시를 경고한 경고 시점부터 미리 설정된 기간이 지난 후의 시점을 의미하며, 경고 시점과 제2 시점 간의 간격은 실시예에 따라 상이하게 설정될 수 있다.In step S206, the device 120 warns the user to pay attention to the display through an alarm signal, and then the second image, which is the face image of the first user captured by the camera installed in the first user terminal 111 at a second point in time. can be obtained. Here, the second point in time means a point in time after a preset period has elapsed from the point in time at which attention on the display is warned through an alarm signal, and the interval between the warning point in time and the second point in time may be set differently depending on the embodiment. .
S207 단계에서, 장치(120)는 제1 뉴럴 네트워크에 제2 이미지를 적용하여, 제2 눈동자 객체를 추출할 수 있다.In step S207, the device 120 may extract a second pupil object by applying the second image to the first neural network.
S208 단계에서, 장치(120)는 제2 눈동자 객체를 이용하여, 제1 사용자가 제2 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있는지 여부를 판단할 수 있다.In step S208, the device 120 may determine whether the first user is looking at the display of the first user terminal 111 at the second viewpoint by using the second pupil object.
S208 단계에서 제1 사용자가 제2 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있는 것으로 판단한 경우, S503 단계가 수행될 수 있으며, 이와 관련된 자세한 설명은 도 5를 참조하여 후술하기로 한다.If it is determined in step S208 that the first user is watching the display of the first user terminal 111 at the second viewpoint, step S503 may be performed, and a detailed description related to this will be described later with reference to FIG. 5 .
S208 단계에서 제1 사용자가 제2 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있지 않은 것으로 판단한 경우, 장치(120)는 제1 학습 구간 동안 제1 콘텐츠를 시청하지 않은 것으로, 제1 사용자의 학습 상태를 분석할 수 있다. 여기서, 제1 학습 구간은 제1 시점부터 제2 시점까지의 구간을 의미할 수 있다.If it is determined in step S208 that the first user is not watching the display of the first user terminal 111 at the second time point, the device 120 determines that the first content has not been viewed during the first learning period, and the first The user's learning status can be analyzed. Here, the first learning period may mean a period from the first time point to the second time point.
구체적으로, 장치(120)는 제1 사용자가 제1 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있지 않는 것으로 판단한 상태에서, 제1 사용자가 제2 시점에도 제1 사용자 단말(111)의 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 제1 시점부터 제2 시점까지의 제1 학습 구간 동안 제1 콘텐츠를 시청하지 않은 것으로, 제1 사용자의 학습 상태를 분석할 수 있다.Specifically, in a state in which the device 120 determines that the first user is not watching the display of the first user terminal 111 at the first time point, the device 120 determines that the first user is not watching the first user terminal 111 at the second time point. If it is determined that the user is not watching the display of , the learning state of the first user may be analyzed as not watching the first content during the first learning period from the first time point to the second time point.
도 3은 일실시예에 따른 학습 구간의 길이에 따라 재학습의 필요 여부를 판단하는 과정을 설명하기 위한 순서도이다.3 is a flowchart illustrating a process of determining whether re-learning is necessary according to the length of a learning section according to an embodiment.
도 3을 참조하면, 먼저, S301 단계에서, 장치(120)는 제1 콘텐츠에 대한 시청이 완료되면, 제1 사용자의 학습 상태를 분석한 결과를 확인할 수 있다. 이때, 장치(120)는 학습 구간 별로, 제1 사용자가 제1 콘텐츠를 시청하였는지를 확인하여, 제1 콘텐츠에 대한 제1 사용자의 학습 상태를 학습 구간 별로 확인할 수 있다.Referring to FIG. 3 , first, in step S301, when viewing of the first content is completed, the device 120 may check a result of analyzing the learning state of the first user. In this case, the device 120 may check whether the first user has watched the first content for each learning section, and check the learning state of the first user for the first content for each learning section.
S302 단계에서, 장치(120)는 제1 사용자의 학습 상태를 분석한 결과를 통해, 제1 학습 구간 동안 제1 사용자가 제1 콘텐츠를 시청하였는지 여부를 확인할 수 있다.In step S302 , the device 120 may check whether the first user watched the first content during the first learning period through the result of analyzing the learning state of the first user.
S302 단계에서 제1 학습 구간 동안 제1 사용자가 제1 콘텐츠를 시청한 것으로 확인되면, S304 단계에서, 장치(120)는 제1 사용자가 제1 콘텐츠에 대한 학습을 완료한 것으로 판단할 수 있다.If it is determined in step S302 that the first user watched the first content during the first learning period, in step S304, the device 120 may determine that the first user has completed learning the first content.
일실시예에 따르면, 장치(120)는 제1 콘텐츠의 전체 구간에서 제1 학습 구간이 차지하는 비율이 일정 비율 이상인 경우, 제1 학습 구간 동안 제1 사용자가 제1 콘텐츠를 시청하였는지 확인하여, 제1 콘텐츠에 대한 학습을 완료하였는지 여부를 판단할 수 있다.According to an embodiment, the device 120 checks whether the first user watched the first content during the first learning section when the ratio of the first learning section to the entire section of the first content is equal to or greater than a predetermined ratio, and 1 It is possible to determine whether or not learning about content has been completed.
또한, 장치(120)는 제1 콘텐츠의 전체 구간에서 제1 학습 구간이 차지하는 비율이 일정 비율 미만인 경우, 제1 학습 구간 뿐만 아니라 다른 학습 구간 동안에도 제1 사용자가 제1 콘텐츠를 시청하였는지 확인하여, 제1 콘텐츠에 대한 학습을 완료하였는지 여부를 판단할 수 있다.In addition, when the ratio occupied by the first learning section in the entire section of the first content is less than a certain ratio, the device 120 checks whether the first user watched the first content during other learning sections as well as the first learning section, , It is possible to determine whether learning on the first content has been completed.
S302 단계에서 제1 학습 구간 동안 제1 사용자가 제1 콘텐츠를 시청하지 않은 것으로 확인되면, S303 단계에서, 장치(120)는 제1 학습 구간의 길이가 제1 기준 시간 보다 짧은지 여부를 확인할 수 있다. 여기서, 제1 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.If it is determined in step S302 that the first user did not watch the first content during the first learning period, in step S303, the device 120 may determine whether the length of the first learning period is shorter than the first reference time. there is. Here, the first reference time may be set differently according to embodiments.
S303 단계에서 제1 학습 구간의 길이가 제1 기준 시간 보다 짧은 것으로 확인되면, S304 단계에서, 장치(120)는 제1 콘텐츠에 대한 학습을 완료한 것으로 판단할 수 있다.If it is determined in step S303 that the length of the first learning period is shorter than the first reference time, in step S304, the device 120 may determine that learning of the first content is completed.
즉, 장치(120)는 제1 학습 구간 동안 제1 사용자가 제1 콘텐츠를 시청하지 않더라도, 제1 학습 구간의 길이가 제1 기준 시간 보다 짧은 것으로 확인되면, 제1 콘텐츠가 재생되는 동안 일시적으로 집중하지 못한 것으로 판단하여, 제1 콘텐츠에 대한 학습을 완료한 것으로 판단할 수 있다.That is, if the device 120 determines that the length of the first learning period is shorter than the first reference time, even if the first user does not watch the first content during the first learning period, the device 120 temporarily temporarily reproduces the first content while playing the first content. It is determined that the user is not focused, and it is determined that learning on the first content is completed.
S303 단계에서 제1 학습 구간의 길이가 제1 기준 시간 보다 긴 것으로 확인되면, S305 단계에서, 장치(120)는 제1 학습 구간의 길이가 제2 기준 시간 보다 짧은지 여부를 확인할 수 있다. 여기서, 제2 기준 시간은 제1 기준 시간 보다 긴 값으로 설정될 수 있다.If it is determined in step S303 that the length of the first learning interval is longer than the first reference time, in step S305, the device 120 may determine whether the length of the first learning interval is shorter than the second reference time. Here, the second reference time may be set to a value longer than the first reference time.
S305 단계에서 제1 학습 구간의 길이가 제2 기준 시간 보다 짧은 것으로 확인되면, S306 단계에서, 장치(120)는 제1 학습 구간에 대한 테스트가 필요한 것으로 판단할 수 있다.If it is confirmed in step S305 that the length of the first learning section is shorter than the second reference time, in step S306, the device 120 may determine that a test for the first learning section is required.
즉, 장치(120)는 제1 학습 구간 동안 제1 사용자가 제1 콘텐츠를 시청하지 않은 상태에서, 제1 학습 구간의 길이가 제1 기준 시간 보다 길지만 제2 기준 시간 보다 짧은 것으로 확인되면, 제1 콘텐츠가 재생되는 동안 어느 정도 집중하지 못한 것으로 판단하여, 제1 학습 구간에 대한 테스트가 필요한 것으로 판단할 수 있다.That is, the device 120 determines that the length of the first learning period is longer than the first reference time but shorter than the second reference time in a state in which the first user has not watched the first content during the first learning period. It may be determined that a test for the first learning section is necessary by determining that the content 1 is not concentrated to some extent while the content is being reproduced.
S307 단계에서, 제1 학습 구간에 대한 테스트가 필요한 것으로 판단되면, 장치(120)는 제1 학습 구간 동안 진행된 교육 내용을 테스트하기 위한 퀴즈 문항이 제1 사용자 단말(111)의 화면에서 표시되도록 제어할 수 있다. 이를 위해, 장치(120)의 데이터베이스에는 콘텐츠의 학습 구간 별로 구분되어 있는 퀴즈 문항들이 저장되어 있으며, 장치(120)는 제1 콘텐츠의 제1 학습 구간에 대한 테스트가 필요한 것으로 판단되면, 데이터베이스의 조회를 통해 제1 콘텐츠의 퀴즈 문항들 중에서 제1 학습 구간에 해당하는 퀴즈 문항들을 획득할 수 있으며, 제1 학습 구간의 테스트를 위한 퀴즈 문항들을 제1 사용자 단말(111)로 제공하여, 제1 학습 구간에 대한 퀴즈 문항이 제1 사용자 단말(111)의 화면에 표시되도록 제어할 수 있다. 이외에도, 장치(120)는 제1 학습 구간 동안 진행된 화상 강의에서 중요 키워드 정보를 추출하여, 제1 학습 구간의 테스트를 위한 퀴즈 문항들을 생성할 수 있으며, 이와 관련된 자세한 설명은 도 4를 참조하여 후술하기로 한다.In step S307, if it is determined that the test for the first learning section is necessary, the device 120 controls the display of quiz questions for testing the educational content during the first learning section on the screen of the first user terminal 111. can do. To this end, the database of the device 120 stores quiz questions classified for each learning section of the content, and when the device 120 determines that a test for the first learning section of the first content is required, the database is searched. It is possible to acquire quiz questions corresponding to the first learning section from among the quiz questions of the first content through, provide the quiz questions for testing the first learning section to the first user terminal 111, It is possible to control the quiz questions for the section to be displayed on the screen of the first user terminal 111 . In addition, the device 120 may extract important keyword information from the video lecture conducted during the first learning period to generate quiz questions for testing in the first learning period, and a detailed description related to this will be described later with reference to FIG. 4 . I'm going to do it.
한편, S305 단계에서 제1 학습 구간의 길이가 제2 기준 시간 보다 긴 것으로 확인되면, S308 단계에서, 장치(120)는 제1 학습 구간에 대한 재학습이 필요한 것으로 판단할 수 있다. On the other hand, if it is confirmed in step S305 that the length of the first learning interval is longer than the second reference time, in step S308, the device 120 may determine that re-learning for the first learning interval is necessary.
즉, 장치(120)는 제1 학습 구간 동안 제1 사용자가 제1 콘텐츠를 시청하지 않은 상태에서, 제1 학습 구간의 길이가 제2 기준 시간 보다 긴 것으로 확인되면, 제1 콘텐츠가 재생되는 동안 많은 부분에 대해 집중하지 못한 것으로 판단하여, 제1 학습 구간에 대한 재학습이 필요한 것으로 판단할 수 있다.That is, when it is determined that the length of the first learning period is longer than the second reference time in a state in which the first user has not watched the first content during the first learning period, the device 120 plays the first content while playing. It is determined that the user did not concentrate on many parts, and it may be determined that re-learning for the first learning section is necessary.
S309 단계에서, 제1 학습 구간에 대한 재학습이 필요한 것으로 판단되면, 장치(120)는 제1 학습 구간 동안 진행된 화상 강의가 제1 사용자 단말(111)의 화면에서 다시 재생되도록 제어할 수 있다.In step S309, if it is determined that re-learning for the first learning period is necessary, the device 120 may control the video lecture conducted during the first learning period to be reproduced on the screen of the first user terminal 111 again.
도 4는 일실시예에 따른 퀴즈 문항들에 대한 채점 결과에 따라 재학습이 필요한 구간을 설정하는 과정을 설명하기 위한 순서도이다.4 is a flowchart illustrating a process of setting a section requiring relearning according to a scoring result of quiz questions according to an embodiment.
도 4을 참조하면, 먼저, S401 단계에서, 장치(120)는 제1 학습 구간에 대한 테스트가 필요한 것으로 판단되면, 제1 학습 구간 동안 진행된 화상 강의에서 기준 횟수 이상으로 언급된 중요 키워드 정보를 추출할 수 있다. 여기서, 기준 횟수는 실시예에 따라 상이하게 설정될 수 있다.Referring to FIG. 4, first, in step S401, if it is determined that a test for the first learning period is necessary, the device 120 extracts important keyword information mentioned more than a reference number in the video lecture conducted during the first learning period. can do. Here, the reference number of times may be set differently according to embodiments.
구체적으로, 장치(120)는 제1 학습 구간 동안 재생된 화상 강의에서 텍스트 정보를 추출할 수 있고, 추출된 텍스트 정보에서 기준 횟수 이상으로 언급된 단어들을 중요 키워드 정보로 추출할 수 있다.Specifically, the device 120 may extract text information from the video lecture reproduced during the first learning period, and extract words mentioned more than a reference number of times from the extracted text information as important keyword information.
예를 들어, 장치(120)는 제1 학습 기간 동안 재생된 화상 강의에서 “백제 왕이 왜왕에게 하사한 철제 칼로서 칼의 좌우로 각각 3개씩의 칼날이 가지 모양으로 뻗어 있는 칼을 칠지도라고 한다.”라는 교육 내용이 제1 강의자를 통해 설명된 경우, 제1 강의자를 통해 설명된 교육 내용의 문장에서 텍스트 정보를 추출할 수 있다. 이때, 장치(120)는 음성 인식을 통해 텍스트 정보를 추출할 수 있다For example, in the video lecture reproduced during the first learning period, the device 120 says, “It is an iron sword bestowed by the King of Baekje to the King of Japan, with three blades extending in a branch shape on each side of the sword.” When the educational content of "Do" is explained through the first lecturer, text information may be extracted from sentences of the educational content explained through the first lecturer. At this time, the device 120 may extract text information through voice recognition.
이후, 장치(120)는 기준 횟수가 3회로 설정되어 있는 경우, 추출된 텍스트 정보를 기초로, 제1 학습 기간 동안 제1 강의자를 통해 설명된 내용 중에서 “칠지도”, “삼국유사”, “각저총”에 대한 단어가 3회 이상 언급된 것으로 확인되면, “칠지도”, “삼국유사” 및 “각저총”을 중요 키워드로 설정하여, 중요 키워드 정보를 추출할 수 있다.Thereafter, when the reference number of times is set to 3, the device 120, based on the extracted text information, among the contents explained through the first lecturer during the first learning period, “Chijido”, “Samguk Yusa”, and “Gakjeo” If it is confirmed that the word for "gun" is mentioned three or more times, important keyword information can be extracted by setting "Chiljido", "Samgukyusa", and "Gakjeochong" as important keywords.
S402 단계에서, 장치(120)는 중요 키워드 정보를 이용하여, 제1 학습 구간의 테스트를 위한 퀴즈 문항들을 생성할 수 있다.In step S402, the device 120 may generate quiz items for the test of the first learning section by using important keyword information.
예를 들어, 장치(120)는 “칠지도”가 중요 키워드 정보로 추출된 경우, 데이터베이스에 저장된 제1 콘텐츠의 스크립트 중에서 “칠지도”가 포함된 “백제 왕이 왜왕에게 하사한 철제 칼로서 칼의 좌우로 각각 3개씩의 칼날이 가지 모양으로 뻗어 있는 칼을 칠지도라고 한다.”라는 문장을 추출하고, 추출된 문장에서 중요 키워드 정보를 제외하여 “백제 왕이 왜왕에게 하사한 철제 칼로서 칼의 좌우로 각각 3개씩의 칼날이 가지 모양으로 뻗어 있는 칼을 OOO라고 한다.”라는 제1 퀴즈 문항을 제1 학습 구간의 테스트를 위한 퀴즈 문항으로 생성할 수 있다. For example, when “Seven Maps” is extracted as important keyword information, the device 120 includes “Seven Maps” among the scripts of the first content stored in the database, and “sword as an iron sword bestowed by the King of Baekje to the King of Japan.” A sword with three blades each extending in a branch shape on the left and right sides of is called Chiljido. The first quiz item, “A knife with three blades extending in a branch shape on each side of the left and right sides is called OOO” can be created as a quiz question for the test in the first learning section.
또한, 장치(120)는 “삼국유사”가 중요 키워드 정보로 추출된 경우, 데이터베이스에 저장된 제1 콘텐츠의 스크립트 중에서 “삼국유사”가 포함된 “삼국유사는 승려 일연이 고대 역사 중 정사(正史)에는 없는 유문(遺文)과 일사(逸事)를 바탕으로 찬술한 역사서로, 편년체 형식을 가지고 있다.”라는 문장을 추출하고, 추출된 문장에서 중요 키워드 정보를 제외하여 “OOOO는 승려 일연이 고대 역사 중 정사(正史)에는 없는 유문(遺文)과 일사(逸事)를 바탕으로 찬술한 역사서로, 편년체 형식을 가지고 있다.”라는 제2 퀴즈 문항을 제1 학습 구간의 테스트를 위한 퀴즈 문항으로 생성할 수 있다.In addition, when “Memorabilia of the Three Kingdoms” is extracted as important keyword information, the device 120 includes “Memorabilia of the Three Kingdoms” among the scripts of the first content stored in the database. It is a history book written on the basis of (遺文) and Ilsa (逸事), and has an chronological format. It is a history book written based on rhymes and events that are not found in traditional history, and has an chronological format.” The second quiz question can be created as a quiz question for the test in the first study section.
또한, 장치(120)는 “각저총”이 중요 키워드 정보로 추출된 경우, 데이터베이스에 저장된 제1 콘텐츠의 스크립트 중에서 “각저총”이 포함된 “각저총은 중국 길림성(吉林省) 집안현(集安縣) 여산(如山)에 있는 고구려시대의 벽화고분으로, 인물풍속도인 씨름 그림이 그려져 있다.”라는 문장을 추출하고, 추출된 문장에서 중요 키워드 정보를 제외하여 “OOO은 중국 길림성(吉林省) 집안현(集安縣) 여산(如山)에 있는 고구려시대의 벽화고분으로, 인물풍속도인 씨름 그림이 그려져 있다.”라는 제3 퀴즈 문항을 제1 학습 구간의 테스트를 위한 퀴즈 문항으로 생성할 수 있다.In addition, when “Gakjeogun” is extracted as important keyword information, the device 120 includes “Gakjeogun” among the scripts of the first content stored in the database. It is a mural tomb of the Goguryeo era located in Mt. It is a mural tomb of the Goguryeo era located in Mt. .
S403 단계에서, 장치(120)는 제1 사용자 단말(111)로부터 퀴즈 문항들에 대한 답변 정보를 획득할 수 있다. In step S403 , the device 120 may obtain answer information for quiz questions from the first user terminal 111 .
즉, 장치(120)는 제1 학습 구간의 테스트를 위한 퀴즈 문항들이 생성되면, 생성된 퀴즈 문항들을 제1 사용자 단말(111)로 전송한 후, 퀴즈 문항들에 대한 제1 사용자의 답안이 입력되면, 제1 사용자 단말(111)로부터 퀴즈 문항들에 대한 답변 정보를 획득할 수 있다.That is, when quiz questions for the test of the first learning section are generated, the device 120 transmits the generated quiz questions to the first user terminal 111, and then inputs the first user's answers to the quiz questions. If so, answer information on the quiz questions may be obtained from the first user terminal 111 .
S404 단계에서, 장치(120)는 답변 정보를 기초로, 퀴즈 문항들에 대한 채점을 수행하여, 제1 사용자의 채점 결과를 생성할 수 있다.In step S404 , the apparatus 120 may generate a scoring result of the first user by scoring the quiz questions based on the answer information.
S405 단계에서, 장치(120)는 제1 사용자의 채점 결과가 제1 기준치 보다 높은지 여부를 확인할 수 있다. 여기서, 제1 기준치는 실시예에 따라 상이하게 설정될 수 있다.In step S405, the device 120 may check whether the scoring result of the first user is higher than a first reference value. Here, the first reference value may be set differently according to embodiments.
S405 단계에서 제1 사용자의 채점 결과가 제1 기준치 보다 높은 점수로 확인되면, S406 단계에서, 장치(120)는 제1 학습 구간의 테스트를 통과한 것으로 판단할 수 있다.If the first user's scoring result is confirmed to be higher than the first reference value in step S405, in step S406, the device 120 may determine that the test of the first learning section has passed.
예를 들어, 제1 기준치가 70점으로 설정되어 있고, 제1 사용자의 채점 결과가 78점으로 산정된 경우, 장치(120)는 제1 사용자가 제1 학습 구간의 테스트를 통과한 것으로 판단할 수 있다.For example, when the first reference value is set to 70 points and the scoring result of the first user is calculated as 78 points, the device 120 determines that the first user has passed the test of the first learning section. can
S405 단계에서 제1 사용자의 채점 결과가 제1 기준치 보다 낮은 점수로 확인되면, S407 단계에서, 장치(120)는 제1 학습 구간의 테스트를 통과하지 못한 것으로 판단할 수 있다.If the first user's scoring result is confirmed as a score lower than the first reference value in step S405, in step S407, the device 120 may determine that the test of the first learning section has not passed.
예를 들어, 제1 기준치가 70점으로 설정되어 있고, 제1 사용자의 채점 결과가 65점으로 산정된 경우, 장치(120)는 제1 사용자가 제1 학습 구간의 테스트를 통과하지 못한 것으로 판단할 수 있다.For example, when the first reference value is set to 70 points and the scoring result of the first user is calculated to be 65 points, the device 120 determines that the first user has not passed the test of the first learning section. can do.
S408 단계에서, 제1 학습 구간의 테스트를 통과하지 못한 것으로 판단되면, 장치(120)는 제1 사용자의 채점 결과가 제2 기준치 보다 높은지 여부를 확인할 수 있다. 여기서, 제2 기준치는 제1 기준치 보다 낮은 값으로 설정될 수 있다.In step S408, if it is determined that the test of the first learning section has not passed, the device 120 may check whether the scoring result of the first user is higher than the second reference value. Here, the second reference value may be set to a lower value than the first reference value.
S408 단계에서 제1 사용자의 채점 결과가 제2 기준치 보다 높은 점수로 확인되면, S409 단계에서, 장치(120)는 제1 학습 구간에 대한 재학습이 필요한 것으로 판단할 수 있다.If the first user's scoring result is confirmed to be higher than the second reference value in step S408, in step S409, the device 120 may determine that re-learning for the first learning section is necessary.
즉, 제1 사용자의 채점 결과가 제1 기준치 보다 낮지만 제2 기준치 보다 높은 점수로 확인된 경우, 장치(120)는 제1 학습 구간에 대한 재학습이 필요한 것으로 판단할 수 있다.That is, when the first user's scoring result is lower than the first reference value but higher than the second reference value, the device 120 may determine that relearning for the first learning section is necessary.
예를 들어, 제1 기준치가 70점으로 설정되어 있고, 제2 기준치가 60점으로 설정되어 있고, 제1 사용자의 채점 결과가 65점으로 산정된 경우, 장치(120)는 제1 사용자에게 제1 학습 구간에 대한 재학습이 필요한 것으로 판단할 수 있다.For example, when the first reference value is set to 70 points, the second reference value is set to 60 points, and the first user's scoring result is calculated as 65 points, the device 120 provides the first user with a score. 1 It can be determined that re-learning for the learning section is necessary.
S408 단계에서 제1 사용자의 채점 결과가 제2 기준치 보다 낮은 점수로 확인되면, S410 단계에서, 장치(120)는 제1 콘텐츠 전체에 대한 재학습이 필요한 것으로 판단할 수 있다.If the first user's scoring result is confirmed to be lower than the second reference value in step S408, in step S410, the device 120 may determine that relearning of the entire first content is necessary.
즉, 제1 사용자의 채점 결과가 제1 기준치 보다 낮으면서 제2 기준치 보다 낮은 점수로 확인된 경우, 장치(120)는 제1 콘텐츠 전체에 대한 재학습이 필요한 것으로 판단할 수 있다.That is, when the first user's scoring result is confirmed to be lower than the first reference value and lower than the second reference value, the device 120 may determine that relearning of the entire first content is necessary.
예를 들어, 제1 기준치가 70점으로 설정되어 있고, 제2 기준치가 60점으로 설정되어 있고, 제1 사용자의 채점 결과가 55점으로 산정된 경우, 장치(120)는 제1 사용자에게 제1 콘텐츠 전체에 대한 재학습이 필요한 것으로 판단할 수 있다.For example, when the first reference value is set to 70 points, the second reference value is set to 60 points, and the first user's scoring result is calculated as 55 points, the device 120 provides the first user with a score. 1 It can be determined that relearning of the entire content is necessary.
도 5는 일실시예에 따른 눈동자 객체로부터 제1 사용자의 학습 집중도를 분석하는 과정을 설명하기 위한 순서도이다.5 is a flowchart illustrating a process of analyzing a first user's learning concentration from a pupil object according to an exemplary embodiment.
도 5를 참조하면, 먼저, S501 단계에서, 장치(120)는 제1 사용자가 제1 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있는 것으로 판단한 경우, 제1 눈동자 객체에서 동공이 차지하고 있는 영역인 제1 영역을 구분할 수 있다.Referring to FIG. 5 , first, in step S501, when the device 120 determines that the first user is watching the display of the first user terminal 111 at the first point of view, the pupil is occupied by the first pupil object. It is possible to distinguish a first region, which is an area where there is.
S502 단계에서, 장치(120)는 제1 눈동자 객체에서 제1 영역이 구분되면, 제1 눈동자 객체에서 제1 영역이 차지하는 비율인 제1 비율을 산출할 수 있다.In step S502, the apparatus 120 may calculate a first ratio, which is a ratio occupied by the first area in the first pupil object, when the first area is divided in the first pupil object.
예를 들어, 제1 눈동자 객체의 영역이 100mm²이고, 제1 영역이 60 mm²인 경우, 장치(120)는 제1 비율을 60%로 산출할 수 있다.For example, when the area of the first pupil object is 100 mm² and the first area is 60 mm², the device 120 may calculate the first ratio as 60%.
S503 단계에서, 장치(120)는 제1 사용자가 제2 시점에 제1 사용자 단말(111)의 디스플레이를 주시하고 있는 것으로 판단한 경우, 제2 눈동자 객체에서 동공이 차지하고 있는 영역인 제2 영역을 구분할 수 있다.In step S503, when the device 120 determines that the first user is watching the display of the first user terminal 111 at the second viewpoint, the device 120 distinguishes a second area occupied by the pupil from the second pupil object. can
S504 단계에서, 장치(120)는 제2 눈동자 객체에서 제2 영역이 구분되면, 제2 눈동자 객체에서 제2 영역이 차지하는 비율인 제2 비율을 산출할 수 있다.In step S504, the device 120 may calculate a second ratio, which is a ratio occupied by the second area in the second pupil object, when the second area is divided in the second pupil object.
예를 들어, 제1 눈동자 객체의 영역이 100mm²이고, 제2 영역이 55 mm²인 경우, 장치(120)는 제1 비율을 55%로 산출할 수 있다.For example, when the area of the first pupil object is 100 mm² and the second area is 55 mm², the device 120 may calculate the first ratio as 55%.
S505 단계에서, 장치(120)는 제1 비율 및 제2 비율이 각각 산출된 경우, 제1 비율에서 제2 비율을 차감하여 제1 차이값을 산출할 수 있다.In step S505, when the first ratio and the second ratio are calculated, the device 120 may calculate a first difference value by subtracting the second ratio from the first ratio.
예를 들어, 제1 비율이 60%이고, 제2 비율이 55%인 경우, 장치(120)는 제1 차이값을 5%로 산출할 수 있다.For example, when the first ratio is 60% and the second ratio is 55%, the device 120 may calculate the first difference value as 5%.
S506 단계에서, 장치(120)는 제1 차이값이 기준 범위 내에 포함되는지 여부를 확인할 수 있다. 여기서, 기준 범위는 실시예에 따라 상이하게 설정될 수 있다.In step S506, the device 120 may check whether the first difference value is within the reference range. Here, the reference range may be set differently according to embodiments.
예를 들어, 기준 범위가 +10%부터 -10%까지의 범위로 설정되고, 제1 차이값이 5%로 산출된 경우, 장치(120)는 제1 차이값이 기준 범위 내에 포함되는 것으로 확인할 수 있다.For example, when the reference range is set to the range of +10% to -10% and the first difference value is calculated as 5%, the device 120 determines that the first difference value is included in the reference range. can
S506 단계에서 제1 차이값이 기준 범위 내에 포함되는 것으로 확인되면, S507 단계에서, 장치(120)는 제1 학습 기간 동안 학습 집중도가 유지되고 있는 것으로, 제1 사용자의 학습 집중도를 분석할 수 있다.If it is confirmed in step S506 that the first difference value is within the reference range, in step S507, the device 120 may analyze the learning concentration of the first user, indicating that the learning concentration is maintained during the first learning period. .
즉, 장치(120)는 제1 시점에서 확인된 제1 사용자의 동공 크기와 제2 시점에서 확인된 제1 사용자의 동공 크기가 서로 비슷한 것으로 확인되면, 제1 시점과 제2 시점 간에 제1 사용자의 동공 크기가 유지되고 있으므로, 제1 학습 기간 동안 학습 집중도가 유지되고 있는 것으로, 제1 사용자의 학습 집중도를 분석할 수 있다.That is, when it is determined that the size of the pupil of the first user identified at the first time point and the size of the pupil of the first user identified at the second time point are similar to each other, the device 120 determines that the size of the first user's pupil is similar between the first time point and the second time point. Since the pupil size of is maintained, the learning concentration is maintained during the first learning period, and the learning concentration of the first user can be analyzed.
S506 단계에서 제1 차이값이 기준 범위를 벗어나는 것으로 확인되면, S508 단계에서, 장치(120)는 제1 비율이 제2 비율 보다 높은지 여부를 확인할 수 있다.If it is confirmed that the first difference value is out of the reference range in step S506, in step S508, the device 120 may determine whether the first ratio is higher than the second ratio.
S508 단계에서 제1 비율이 제2 비율 보다 높은 것으로 확인되면, S509 단계에서, 장치(120)는 제1 학습 기간 동안 학습 집중도가 감소하고 있는 것으로, 제1 사용자의 학습 집중도를 분석할 수 있다.If it is confirmed in step S508 that the first ratio is higher than the second ratio, in step S509, the device 120 may analyze the learning concentration of the first user, indicating that the learning concentration is decreasing during the first learning period.
즉, 장치(120)는 제1 시점에서 확인된 제1 사용자의 동공 크기가 제2 시점에서 확인된 제1 사용자의 동공 크기 보다 큰 것으로 확인되면, 제1 시점과 제2 시점 간에 제1 사용자의 동공 크기가 축소되었으므로, 제1 학습 기간 동안 학습 집중도가 감소하고 있는 것으로, 제1 사용자의 학습 집중도를 분석할 수 있다.That is, when it is determined that the size of the pupil of the first user identified at the first time point is larger than the size of the pupil of the first user identified at the second time point, the device 120 determines the pupil size of the first user between the first time point and the second time point. Since the size of the pupil is reduced, the learning concentration is decreasing during the first learning period, and the learning concentration of the first user can be analyzed.
S508 단계에서 제2 비율이 제1 비율 보다 높은 것으로 확인되면, S510 단계에서, 장치(120)는 제1 학습 기간 동안 학습 집중도가 증가하고 있는 것으로, 제1 사용자의 학습 집중도를 분석할 수 있다.If it is confirmed that the second ratio is higher than the first ratio in step S508, in step S510, the device 120 may analyze the learning concentration of the first user as indicating that the learning concentration is increasing during the first learning period.
즉, 장치(120)는 제2 시점에서 확인된 제1 사용자의 동공 크기가 제1 시점에서 확인된 제1 사용자의 동공 크기 보다 큰 것으로 확인되면, 제1 시점과 제2 시점 간에 제1 사용자의 동공 크기가 확대되었으므로, 제1 학습 기간 동안 학습 집중도가 증가하고 있는 것으로, 제1 사용자의 학습 집중도를 분석할 수 있다.That is, when it is determined that the size of the pupil of the first user identified at the second time point is larger than the size of the pupil of the first user identified at the first time point, the device 120 determines the size of the pupil of the first user between the first time point and the second time point. Since the size of the pupil is enlarged, the learning concentration is increasing during the first learning period, and the learning concentration of the first user can be analyzed.
도 6은 일실시예에 따른 콘텐츠 집중 시간을 산출하여 사용자의 허용 범위를 설정하는 과정을 설명하기 위한 순서도이다.6 is a flowchart illustrating a process of setting a user's permissible range by calculating a content concentration time according to an exemplary embodiment.
도 6을 참조하면, 먼저, S601 단계에서, 장치(120)는 제1 사용자 단말(111)로부터 화상 강의를 제공하는 웹 사이트에 대한 접속 요청을 수신할 수 있다.Referring to FIG. 6 , first, in step S601 , the device 120 may receive a request for access to a web site providing video lectures from the first user terminal 111 .
S602 단계에서, 장치(120)는 웹 사이트에 대한 접속 요청에 따라, 웹 사이트에 접속되도록 처리하여, 웹 사이트의 홈 페이지를 제1 사용자 단말(111)로 제공하고, 홈 페이지가 제1 사용자 단말(111)의 화면에 표시되도록, 제1 사용자 단말(111)의 동작을 제어할 수 있다.In step S602, the device 120 processes the access to the website according to the request for access to the website, provides the website home page to the first user terminal 111, and sets the home page to the first user terminal. The operation of the first user terminal 111 may be controlled to be displayed on the screen of (111).
S603 단계에서, 장치(120)는 제1 사용자 계정을 확인하여, 제1 사용자 정보를 획득할 수 있다. 이때, 장치(120)는 제1 사용자 단말(111)에 로그인 되어 있는 제1 사용자 계정을 확인하고, 제1 사용자 계정을 통해 데이터베이스에 저장된 사용자 정보를 조회하여, 데이터베이스로부터 제1 사용자 정보를 획득할 수 있다. 여기서, 제1 사용자 정보는 제1 사용자에 대한 사용자 정보로, 제1 사용자의 프로파일 정보, 콘텐츠 재생 내역 등을 포함할 수 있다.In step S603, the device 120 may obtain first user information by checking the first user account. At this time, the device 120 checks the first user account logged in to the first user terminal 111, searches the user information stored in the database through the first user account, and obtains the first user information from the database. can Here, the first user information is user information about the first user, and may include profile information of the first user, content playback details, and the like.
S604 단계에서, 장치(120)는 제1 사용자 단말(111)로부터 제1 콘텐츠에 대한 재생 요청을 수신할 수 있다.In step S604, the device 120 may receive a play request for the first content from the first user terminal 111.
구체적으로, 장치(120)는 제1 사용자 단말(111)의 화면에 표시된 홈 페이지 상에서 화상 강의 중 어느 하나인 제1 콘텐츠의 대표 이미지가 클릭되면, 제1 사용자 단말(111)로부터 제1 콘텐츠에 대한 재생 요청을 수신할 수 있다.Specifically, the device 120 accesses the first content from the first user terminal 111 when a representative image of the first content, which is one of the video lectures, is clicked on the home page displayed on the screen of the first user terminal 111. Receive a playback request for
S605 단계에서, 장치(120)는 제1 콘텐츠를 확인하여, 제1 콘텐츠 정보를 획득할 수 있다. 이때, 장치(120)는 제1 콘텐츠에 대한 재생 요청을 통해 제1 콘텐츠를 확인하고, 데이터베이스에 저장된 콘텐츠 정보를 조회하여, 데이터베이스로부터 제1 콘텐츠 정보를 획득할 수 있다. 여기서, 제1 콘텐츠 정보는 제1 콘텐츠에 대한 콘텐츠 정보로, 제1 콘텐츠의 속성 정보, 사용자 이용 내역 등을 포함할 수 있다.In step S605, the device 120 may obtain first content information by checking the first content. In this case, the device 120 may check the first content through a playback request for the first content, retrieve content information stored in the database, and obtain the first content information from the database. Here, the first content information is content information about the first content, and may include attribute information of the first content, user usage details, and the like.
S606 단계에서, 장치(120)는 제1 콘텐츠 정보를 통해 제1 콘텐츠의 사용자 재생 내역을 획득할 수 있다. 여기서, 제1 콘텐츠 정보는 제1 콘텐츠를 재생한 사용자의 재생 내역을 포함할 수 있으며, 제1 콘텐츠의 사용자 재생 내역은 어느 사용자가 제1 콘텐츠를 얼마나 오래 재생하였는지에 대한 내역을 포함할 수 있다.In step S606, the device 120 may obtain the user's play history of the first content through the first content information. Here, the first content information may include reproduction history of a user who reproduced the first content, and the user reproduction history of the first content may include details of which user reproduced the first content for how long.
예를 들어, 제1 사용자 단말(111)의 화면에서 제1 콘텐츠가 재생된 경우, 제1 콘텐츠의 재생이 시작된 시점부터 제1 콘텐츠의 재생이 종료되는 시점까지, 제1 콘텐츠의 재생 시간으로 측정되어, 제1 사용자 및 제1 콘텐츠의 재생 시간이 제1 콘텐츠의 사용자 재생 내역에 추가될 수 있다.For example, when the first content is played on the screen of the first user terminal 111, the playback time of the first content is measured from the time the playback of the first content starts to the time the playback of the first content ends. Accordingly, the first user and the playing time of the first content may be added to the user's playing details of the first content.
S607 단계에서, 장치(120)는 제1 콘텐츠의 사용자 재생 내역을 기초로, 사용자 별로 집중 시간을 확인할 수 있다.In step S607, the device 120 may check the concentration time for each user based on the user's play history of the first content.
예를 들어, 제1 콘텐츠의 사용자 재생 내역에 제1 사용자, 제2 사용자 및 제3 사용자가 제1 콘텐츠를 재생하여 시청한 사용자로 등록되어 있는 경우, 장치(120)는 제1 사용자의 집중 시간, 제2 사용자의 집중 시간 및 제3 사용자의 집중 시간을 각각 확인할 수 있다. 여기서, 집중 시간은 제1 콘텐츠가 재생되는 동안 디스플레이를 주시하고 있는지 여부에 따라 사용자 별로 설정될 수 있다.For example, when a first user, a second user, and a third user are registered as users who reproduced and watched the first content in the user playback details of the first content, the device 120 determines the concentration time of the first user. , the concentration time of the second user and the concentration time of the third user may be checked, respectively. Here, the concentration time may be set for each user according to whether the user is watching the display while the first content is being reproduced.
S608 단계에서, 장치(120)는 사용자 별로 확인된 집중 시간의 평균값을 통해, 제1 콘텐츠의 평균 집중 시간을 산출할 수 있다.In step S608, the device 120 may calculate the average concentration time of the first content through the average value of the concentration time identified for each user.
예를 들어, 제1 사용자가 제1 콘텐츠를 집중하여 시청한 시간이 30분, 제2 사용자가 제1 콘텐츠를 집중하여 시청한 시간이 45분, 제3 사용자가 제1 콘텐츠를 집중하여 시청한 시간이 60분인 경우, 장치(120)는 제1 콘텐츠의 평균 집중 시간을 45분으로 산출할 수 있다.For example, the first user concentrated on watching the first content for 30 minutes, the second user concentrated on the first content for 45 minutes, and the third user concentrated on the first content for 45 minutes. If the time is 60 minutes, the device 120 may calculate the average concentration time of the first content as 45 minutes.
S609 단계에서, 장치(120)는 제1 콘텐츠의 평균 집중 시간의 길이에 따라, 기준 시간을 설정할 수 있다.In step S609, the device 120 may set a reference time according to the length of the average concentration time of the first content.
예를 들어, 장치(120)는 제1 콘텐츠의 평균 집중 시간이 30분인 경우, 기준 시간을 5분으로 설정하고, 제1 콘텐츠의 평균 집중 시간이 60분인 경우, 기준 시간을 10분으로 설정할 수 있다. 기준 시간을 설정하는 기준은 실시예에 따라 상이하게 설정될 수 있다.For example, the device 120 may set the reference time to 5 minutes when the average attention time of the first content is 30 minutes, and set the reference time to 10 minutes when the average attention time of the first content is 60 minutes. there is. A criterion for setting the reference time may be set differently according to embodiments.
S610 단계에서, 장치(120)는 제1 콘텐츠의 평균 집중 시간에서 기준 시간을 차감한 값으로, 사용자 허용 범위의 최소 시간을 산출할 수 있다.In step S610, the device 120 may calculate the minimum time within the allowable user range as a value obtained by subtracting the reference time from the average concentration time of the first content.
예를 들어, 장치(120)는 제1 콘텐츠의 평균 집중 시간이 30분이고, 기준 시간이 5분인 경우, 사용자 허용 범위의 최소 시간을 25분으로 산출할 수 있다.For example, when the average concentration time of the first content is 30 minutes and the reference time is 5 minutes, the device 120 may calculate the minimum time allowed by the user as 25 minutes.
S611 단계에서, 장치(120)는 제1 콘텐츠의 평균 집중 시간에 기준 시간을 가산한 값으로, 사용자 허용 범위의 최대 시간을 산출할 수 있다.In step S611, the device 120 may calculate the maximum time within the allowable user range as a value obtained by adding the reference time to the average concentration time of the first content.
예를 들어, 장치(120)는 제1 콘텐츠의 평균 집중 시간이 30분이고, 기준 시간이 5분인 경우, 사용자 허용 범위의 최대 시간을 35분으로 산출할 수 있다.For example, when the average concentration time of the first content is 30 minutes and the reference time is 5 minutes, the device 120 may calculate the maximum time allowed by the user as 35 minutes.
S612 단계에서, 장치(120)는 사용자 허용 범위의 최소 시간 및 사용자 허용 범위의 최대 시간을 기초로, 사용자 허용 범위를 설정할 수 있다.In step S612, the device 120 may set the user-allowed range based on the minimum time of the user-allowed range and the maximum time of the user-allowed range.
예를 들어, 장치(120)는 제1 콘텐츠의 평균 집중 시간이 30분인 경우, 사용자 허용 범위를 25분 내지 35분의 범위로 설정할 수 있다.For example, when the average concentration time of the first content is 30 minutes, the device 120 may set the allowable user range to a range of 25 minutes to 35 minutes.
도 7은 일실시예에 따른 콘텐츠 집중 시간을 예측하여 콘텐츠 추천 정보를 제공하는 과정을 설명하기 위한 순서도이다.7 is a flowchart illustrating a process of providing content recommendation information by estimating content concentration time according to an exemplary embodiment.
도 7을 참조하면, 먼저, S701 단계에서, 장치(120)는 제1 사용자 계정을 확인하여 제1 사용자 정보를 획득할 수 있다.Referring to FIG. 7 , first, in step S701, the device 120 may obtain first user information by checking the first user account.
S702 단계에서, 장치(120)는 제1 콘텐츠를 확인하여 제1 콘텐츠 정보를 획득할 수 있다.In step S702, the device 120 may obtain first content information by checking the first content.
S703 단계에서, 제1 사용자 정보 및 제1 콘텐츠 정보를 기초로, 제1 콘텐츠에 대한 제1 사용자의 집중 시간을 예측할 수 있다. 여기서, 제1 사용자의 집중 시간은 제1 사용자가 제1 콘텐츠를 집중하여 시청하는 시간을 의미할 수 있다.In step S703, a concentration time of the first user for the first content may be predicted based on the first user information and the first content information. Here, the concentration time of the first user may mean a time during which the first user concentrates on watching the first content.
S704 단계에서, 장치(120)는 제1 사용자의 집중 시간이 사용자 허용 범위 내에 포함되는지 여부를 확인할 수 있다. 여기서, 사용자 허용 범위는 상술한 바와 같이, 평균 집중 시간에 따라 상이하게 설정될 수 있다.In step S704, the device 120 may check whether the concentration time of the first user is within the user-acceptable range. Here, the user tolerance range may be set differently according to the average concentration time, as described above.
S704 단계에서 제1 사용자의 정독 시간이 사용자 허용 범위 내에 포함되는 것으로 확인되면, S705 단계에서, 장치(120)는 제1 콘텐츠를 제1 사용자 단말(111)로 제공하고, 제1 사용자 단말(111)의 화면에서 제1 콘텐츠가 재생되어 표시되도록, 제1 사용자 단말(111)의 동작을 제어할 수 있다. If it is confirmed in step S704 that the perusal time of the first user is within the allowable user range, in step S705, the device 120 provides the first content to the first user terminal 111, and the first user terminal 111 The operation of the first user terminal 111 may be controlled so that the first content is reproduced and displayed on the screen of ).
즉, 장치(120)는 제1 사용자 단말(111)로부터 제1 콘텐츠에 대한 재생 요청이 수신된 경우, 제1 콘텐츠에 대한 제1 사용자의 집중 시간을 예측한 결과, 제1 사용자의 집중 시간이 사용자 허용 범위 내에 포함되는 것으로 확인되면, 제1 콘텐츠가 제1 사용자에게 적합한 콘텐츠로 판단하여, 제1 콘텐츠를 제1 사용자 단말(111)로 제공할 수 있다.That is, when a play request for the first content is received from the first user terminal 111, the device 120 predicts the first user's concentration time for the first content, and the first user's concentration time is If it is confirmed that the first content is within the allowable range, the first content may be determined as content suitable for the first user, and the first content may be provided to the first user terminal 111 .
S704 단계에서 제1 사용자의 집중 시간이 사용자 허용 범위 내에 포함되지 않고 사용자 허용 범위를 벗어나는 것으로 확인되면, S706 단계에서, 장치(120)는 제1 사용자의 집중 시간이 사용자 허용 범위의 최소 시간 보다 짧은지 여부를 확인할 수 있다.If it is determined in step S704 that the first user's concentration time is not within the user-acceptable range and out of the user-acceptable range, in step S706, the device 120 determines that the first user's concentration time is shorter than the minimum time in the user-acceptable range. You can check whether
S706 단계에서 제1 사용자의 집중 시간이 사용자 허용 범위의 최소 시간 보다 짧은 것으로 확인되면, S707 단계에서, 장치(120)는 제2 콘텐츠에 대한 추천 정보를 제1 사용자 단말(111)로 제공하고, 제1 사용자 단말(111)의 화면에 제2 콘텐츠에 대한 추천 정보가 표시되도록, 제1 사용자 단말(111)의 동작을 제어할 수 있다. 여기서, 제2 콘텐츠는 제2 강의자에 의해 진행되는 화상 강의로, 제1 콘텐츠와 학습 단원이 동일하면서 제1 콘텐츠 보다 짧은 시간으로 제작된 콘텐츠이다.If it is confirmed in step S706 that the first user's concentration time is shorter than the minimum time allowed by the user, in step S707, the device 120 provides recommendation information for the second content to the first user terminal 111, An operation of the first user terminal 111 may be controlled so that recommendation information on the second content is displayed on the screen of the first user terminal 111 . Here, the second content is a video lecture conducted by the second lecturer, and is content produced in a shorter time than the first content while having the same learning unit as the first content.
예를 들어, 제1 콘텐츠는 60분 길이의 화상 강의에 대한 콘텐츠이고, 제2 콘텐츠는 50분 길이의 화상 강의에 대한 콘텐츠인 경우, 장치(120)는 제1 사용자의 집중 시간이 사용자 허용 범위의 최소 시간 보다 짧은 것으로 확인되면, 데이터베이스에 저장된 콘텐츠 정보를 조회하여, 제1 콘텐츠 보다 짧은 시간으로 제작된 제2 콘텐츠를 확인할 수 있으며, 제2 콘텐츠에 대한 추천 정보를 제1 사용자 단말(111)로 제공할 수 있다.For example, when the first content is content for a 60-minute video lecture and the second content is content for a 50-minute video lecture, the device 120 sets the concentration time of the first user within the user-allowed range. If it is confirmed that it is shorter than the minimum time of , it is possible to check the second content produced in a shorter time than the first content by querying the content information stored in the database, and recommending information on the second content to the first user terminal 111 can be provided with
즉, 장치(120)는 제1 사용자 단말(111)로부터 제1 콘텐츠에 대한 재생 요청이 수신된 경우, 제1 콘텐츠에 대한 제1 사용자의 집중 시간을 예측한 결과, 제1 사용자의 집중 시간이 사용자 허용 범위를 벗어나는 것으로 확인되면, 제1 콘텐츠가 제1 사용자에게 적합하지 않은 콘텐츠로 판단하고, 제1 사용자의 집중 시간이 사용자 허용 범위의 최소 시간 보다 짧은 것으로 확인되면, 제1 콘텐츠 보다 짧은 시간으로 제작된 제2 콘텐츠가 제1 사용자에게 적합한 콘텐츠로 판단하여, 제2 콘텐츠에 대한 추천 정보를 제1 사용자 단말(111)로 제공할 수 있다. 이때, 장치(120)는 제1 콘텐츠 및 제2 콘텐츠에 대한 추천 정보를 함께 제1 사용자 단말(111)로 제공할 수 있다.That is, when a play request for the first content is received from the first user terminal 111, the device 120 predicts the first user's concentration time for the first content, and the first user's concentration time is If it is determined that the first content is out of the user permissible range, it is determined that the first content is not suitable for the first user, and if the first user's concentration time is determined to be shorter than the minimum time within the user permissible range, a time shorter than the first content It is determined that the produced second content is suitable for the first user, and recommendation information on the second content may be provided to the first user terminal 111 . In this case, the device 120 may provide the first user terminal 111 with recommendation information on the first content and the second content.
S706 단계에서 제1 사용자의 집중 시간이 사용자 허용 범위의 최소 시간 보다 긴 것으로 확인되면, 제1 사용자의 집중 시간이 사용자 허용 범위를 벗어난 것으로 확인되어, 제1 사용자의 집중 시간이 사용자 허용 범위의 최대 시간 보다 긴 것으로 확인될 수 있으며, 제1 사용자의 집중 시간이 사용자 허용 범위의 최대 시간 보다 긴 것으로 확인되면, S708 단계에서, 장치(120)는 제3 콘텐츠에 대한 추천 정보를 제1 사용자 단말(111)로 제공하고, 제1 사용자 단말(111)의 화면에 제3 콘텐츠에 대한 추천 정보가 표시되도록, 제1 사용자 단말(111)의 동작을 제어할 수 있다. 여기서, 제3 콘텐츠는 제3 강의자에 의해 진행되는 화상 강의로, 제1 콘텐츠와 학습 단원이 동일하면서 제1 콘텐츠 보다 긴 시간으로 제작된 콘텐츠이다.In step S706, if it is determined that the first user's attention span is longer than the minimum time within the user permissible range, it is determined that the first user's concentration time is outside the user permissible range, and the first user's concentration time is the maximum of the user permissible range. If it is confirmed that the concentration time of the first user is longer than the maximum time of the user permissible range, in step S708, the device 120 transmits recommendation information on the third content to the first user terminal ( 111), and the operation of the first user terminal 111 can be controlled so that recommendation information on the third content is displayed on the screen of the first user terminal 111. Here, the third content is a video lecture conducted by a third lecturer, and the first content and the learning unit are the same, but the content is produced for a longer time than the first content.
예를 들어, 제1 콘텐츠는 60분 길이의 화상 강의에 대한 콘텐츠이고, 제3 콘텐츠는 70분 길이의 화상 강의에 대한 콘텐츠인 경우, 장치(120)는 제1 사용자의 집중 시간이 사용자 허용 범위의 최대 시간 보다 긴 것으로 확인되면, 데이터베이스에 저장된 콘텐츠 정보를 조회하여, 제1 콘텐츠 보다 긴 시간으로 제작된 제3 콘텐츠를 확인할 수 있으며, 제3 콘텐츠에 대한 추천 정보를 제1 사용자 단말(111)로 제공할 수 있다.For example, when the first content is content for a 60-minute video lecture and the third content is content for a 70-minute video lecture, the device 120 sets the concentration time of the first user within the user-allowed range. If it is determined that it is longer than the maximum time of , it is possible to check the third content produced with a longer time than the first content by querying the content information stored in the database, and recommending information on the third content to the first user terminal 111 can be provided with
즉, 장치(120)는 제1 사용자 단말(111)로부터 제1 콘텐츠에 대한 재생 요청이 수신된 경우, 제1 콘텐츠에 대한 제1 사용자의 집중 시간을 예측한 결과, 제1 사용자의 집중 시간이 사용자 허용 범위를 벗어나는 것으로 확인되면, 제1 콘텐츠가 제1 사용자에게 적합하지 않은 콘텐츠로 판단하고, 제1 사용자의 집중 시간이 사용자 허용 범위의 최대 시간 보다 긴 것으로 확인되면, 제1 콘텐츠 보다 긴 시간으로 제작된 제3 콘텐츠가 제1 사용자에게 적합한 콘텐츠로 판단하여, 제3 콘텐츠에 대한 추천 정보를 제1 사용자 단말(111)로 제공할 수 있다. 이때, 장치(120)는 제1 콘텐츠 및 제3 콘텐츠에 대한 추천 정보를 함께 제1 사용자 단말(111)로 제공할 수 있다.That is, when a play request for the first content is received from the first user terminal 111, the device 120 predicts the first user's concentration time for the first content, and the first user's concentration time is If it is determined that the first content is out of the user permissible range, it is determined that the first content is unsuitable for the first user, and if the first user's concentration time is determined to be longer than the maximum time of the user permissible range, a time longer than the first content Third content produced as is determined to be suitable for the first user, and recommendation information on the third content may be provided to the first user terminal 111 . In this case, the device 120 may provide the first user terminal 111 with recommendation information on the first content and the third content.
도 8은 일실시예에 따른 뉴럴 네트워크의 학습을 설명하기 위한 도면이다.8 is a diagram for explaining learning of a neural network according to an exemplary embodiment.
도 8을 참조하면, 일실시예에 따른 장치(120)는 입력 레이어(122), 뉴럴 네트워크(124) 및 출력 레이어(126)을 포함할 수 있다.Referring to FIG. 8 , an apparatus 120 according to an exemplary embodiment may include an input layer 122, a neural network 124, and an output layer 126.
도 8에 도시한 바와 같이, 장치(120)는 얼굴 이미지가 포함하는 눈동자 인식을 위하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 뉴럴 네트워크(124)를 학습시키는 학습 장치는 장치(120)와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.As shown in FIG. 8 , the device 120 may train the neural network 124 to recognize pupils included in the face image. A learning device that trains the neural network 124 may be a separate entity different from the device 120, but is not limited thereto.
뉴럴 네트워크(124)는 트레이닝 샘플들이 입력되는 입력 레이어(122)와 트레이닝 출력들을 출력하는 출력 레이어(126)를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 특징점 객체에 대응하는 신체 부위 정보에 기초하여 정의될 수 있다. The neural network 124 includes an input layer 122 into which training samples are input and an output layer 126 which outputs training outputs, and may be learned based on differences between the training outputs and labels. Here, the labels may be defined based on body part information corresponding to the feature point object.
뉴럴 네트워크(124)는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.The neural network 124 is connected to a group of a plurality of nodes, and is defined by weights between connected nodes and an activation function that activates the nodes.
장치(120)는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 장치(120)는 뉴럴 네트워크(124)의 출력들 및 레이블들 의해 설계된 손실 함수(Loss Function)를 이용할 수 있다.The device 120 may train the neural network 124 using a gradient descent (GD) technique or a stochastic gradient descent (SGD) technique. Device 120 may use a loss function designed by the labels and outputs of neural network 124 .
장치(120)는 미리 정의된 손실 함수를 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크(124) 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.Apparatus 120 may calculate the training error using a predefined loss function. The loss function may be predefined with labels, outputs and parameters as input variables, where the parameters may be set by weights in the neural network 124. For example, the loss function may be designed in a mean square error (MSE) form, an entropy form, and the like, and various techniques or methods may be employed in an embodiment in which the loss function is designed.
장치(120)는 역전파(Backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크(124) 내 노드들 사이의 관계들이다. 장치(120)는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 장치(120)는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.Apparatus 120 may find weights affecting the training error using a backpropagation technique. Here, weights are relationships between nodes in neural network 124 . Apparatus 120 may use the SGD technique using labels and outputs to optimize the weights found through the backpropagation technique. For example, the apparatus 120 may update weights of a loss function defined based on labels, outputs, and weights using the SGD technique.
장치(120)는 트레이닝 얼굴 이미지들을 획득하고, 트레이닝 얼굴 이미지들로부터 트레이닝 특징점 객체들을 추출할 수 있다. 장치(120)는 트레이닝 특징점 객체들에 대해서 각각 미리 레이블링 된 정보(제1 레이블들)를 획득할 수 있는데, 트레이닝 특징점 객체들에 미리 정의된 신체 부위 정보를 나타내는 제1 레이블들을 획득할 수 있다.The device 120 may obtain training face images and extract training feature point objects from the training face images. The apparatus 120 may obtain pre-labeled information (first labels) for each of the training feature point objects, and may obtain first labels indicating body part information predefined in the training feature point objects.
장치(120)는 트레이닝 특징점 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성할 수 있다. 특징을 추출하는 데는 다양한 방식이 채용될 수 있다.Apparatus 120 may generate first training feature vectors based on appearance features, pattern features and color features of the training feature objects. Various methods may be employed to extract features.
장치(120)는 제1 트레이닝 특징 벡터들을 뉴럴 네트워크(124)에 적용하여 트레이닝 출력들을 획득할 수 있다. 장치(120)는 트레이닝 출력들과 제1 레이블들에 기초하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 장치(120)는 트레이닝 출력들에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 뉴럴 네트워크(124) 내 노드들의 연결 관계를 최적화하여 뉴럴 네트워크(124)를 학습시킬 수 있다. 장치(120)는 학습이 완료된 뉴럴 네트워크(124)를 이용하여 얼굴 이미지로부터 눈동자 객체를 추출할 수 있다.Apparatus 120 may apply the first training feature vectors to neural network 124 to obtain training outputs. Apparatus 120 may train neural network 124 based on the training outputs and the first labels. Apparatus 120 may train neural network 124 by calculating training errors corresponding to the training outputs and optimizing connectivity of nodes in neural network 124 to minimize the training errors. The device 120 may extract a pupil object from a face image using the neural network 124 for which learning has been completed.
일실시예에 따르면, 장치(120)의 데이터베이스는 다양한 데이터를 저장할 수 있다. 장치(120)의 데이터베이스에 저장되는 데이터는 복수의 사용자 단말(110) 및 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예를 들어: 프로그램)를 포함할 수 있다. According to one embodiment, the database of device 120 may store various data. Data stored in the database of the device 120 is obtained, processed, or used by at least one component of the plurality of user terminals 110 and the device 120, and is software (eg, program) can include
장치(120)의 데이터베이스는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 일실시예로서, 데이터베이스는 복수의 사용자 단말(110)로부터 획득된 얼굴 이미지들 및 퀴즈 문항들에 대한 사용자 입력, 눈동자 객체, 중요 키워드 정보, 텍스트 정보, 퀴즈 문항들, 알람 신호, 제1 기준 시간, 제2 기준 시간, 제1 기준치 및 제2 기준치 등을 저장할 수 있다.The database of device 120 may include volatile and/or non-volatile memory. As an embodiment, the database is a user input for face images and quiz questions obtained from a plurality of user terminals 110, pupil objects, important keyword information, text information, quiz questions, alarm signals, and a first reference time. , the second reference time, the first reference value and the second reference value, and the like may be stored.
도 9는 일실시예에 따른 장치의 구성의 예시도이다.9 is an exemplary diagram of a configuration of a device according to an embodiment.
일실시예에 따른 장치(120)는 하나 이상의 프로세서(121) 및 하나 이상의 메모리(123)를 포함한다. 일실시예에 따른 장치(120)는 상술한 서버 또는 단말일 수 있다. 장치(120)는 송수신기를 더 포함하여 구성될 수 있다. 장치(120)의 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 추가될 수 있다. Device 120 according to one embodiment includes one or more processors 121 and one or more memories 123 . Device 120 according to an embodiment may be the above-described server or terminal. Device 120 may further include a transceiver. At least one of the components of the device 120 may be omitted or other components may be added.
추가적으로(additionally) 또는 대체적으로(alternatively), 장치(120)는 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 장치(120) 내, 외부의 구성요소들 중 적어도 일부의 구성요소들은 버스, GPIO(general purpose input/output), SPI(serial peripheral interface) 또는 MIPI(mobile industry processor interface) 등을 통해 서로 연결되어, 데이터 및/또는 시그널을 주고받을 수 있다.Additionally or alternatively, the device 120 may be implemented by integrating some components, or may be implemented as a singular or plural entity. At least some of the internal and external components of the device 120 are connected to each other through a bus, general purpose input/output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI). Data and/or signals can be sent and received.
프로세서(121)는 도 1 내지 도 8을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 8을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(123)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(123)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. The processor 121 may include at least one device described above with reference to FIGS. 1 to 8 or may perform at least one method described above with reference to FIGS. 1 to 8 . The memory 123 may store information related to the above-described method or a program in which the above-described method is implemented. Memory 123 may be volatile memory or non-volatile memory.
프로세서(121)는 프로그램을 실행하고, 장치(120)를 제어할 수 있다. 프로세서(121)에 의하여 실행되는 프로그램의 코드는 메모리(123)에 저장될 수 있다. 장치(120)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.The processor 121 may execute a program and control the device 120 . Program codes executed by the processor 121 may be stored in the memory 123 . The device 120 may be connected to an external device (eg, a personal computer or network) through an input/output device (not shown) and exchange data.
하나 이상의 프로세서(121)는 소프트웨어(예: 명령, 프로그램 등)를 구동하여 프로세서(121)에 연결된 장치(120)의 적어도 하나의 구성요소를 제어할 수 있다. 또한, 프로세서(121)는 본 발명과 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한, 프로세서(121)는 데이터 등을 하나 이상의 메모리(123)로부터 로드하거나, 하나 이상의 메모리(123)에 저장할 수 있다.One or more processors 121 may control at least one component of the device 120 connected to the processor 121 by driving software (eg, instructions, programs, etc.). In addition, the processor 121 may perform operations such as various calculations, processing, data generation, and processing related to the present invention. Also, the processor 121 may load data or the like from one or more memories 123 or store data in one or more memories 123 .
하나 이상의 메모리(123)는 다양한 데이터를 저장할 수 있다. 메모리(123)에 저장되는 데이터는, 장치(120)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어(예: 명령, 프로그램 등)를 포함할 수 있다. 메모리(123)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 본 발명에서, 명령 내지 프로그램은 메모리(123)에 저장되는 소프트웨어로서, 장치(120)의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 장치(120)의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들웨어 등을 포함할 수 있다.One or more memories 123 may store various data. Data stored in the memory 123 is data acquired, processed, or used by at least one component of the device 120 and may include software (eg, commands, programs, etc.). Memory 123 may include volatile and/or non-volatile memory. In the present invention, a command or program is software stored in the memory 123, and is an operating system for controlling the resources of the device 120, an application, and/or an application for various functions so that the application can utilize the resources of the device 120. It may include middleware provided to .
하나 이상의 메모리(123)는 상술한 복수의 사용자 단말(110)로부터 네트워크를 통하여 수신한 얼굴 이미지들, 하나 이상의 프로세서(121)에서 형성된 복수의 사용자 단말(110)로부터 획득된 얼굴 이미지들 및 퀴즈 문항들에 대한 사용자 입력, 눈동자 객체, 중요 키워드 정보, 텍스트 정보, 퀴즈 문항들, 알람 신호, 제1 기준 시간, 제2 기준 시간, 제1 기준치 및 제2 기준치 등을 저장할 수 있다. 또한, 하나 이상의 메모리(123)는, 하나 이상의 프로세서(121)에 의한 실행 시, 하나 이상의 프로세서(121)가 연산을 수행하도록 하는 명령들을 저장할 수 있다.The one or more memories 123 store facial images received from the aforementioned plurality of user terminals 110 through the network, facial images acquired from the plurality of user terminals 110 formed in the one or more processors 121, and quiz questions. User input, pupil object, important keyword information, text information, quiz questions, alarm signal, first reference time, second reference time, first reference value and second reference value may be stored. In addition, the one or more memories 123 may store instructions that cause the one or more processors 121 to perform calculations when executed by the one or more processors 121 .
일실시예로서, 장치(120)는 송수신기를 더 포함할 수 있다. 송수신기는, 복수의 사용자 단말(110), 장치(120), 장치(120)의 데이터베이스 및/또는 기타 다른 장치 간의 무선 또는 유선 통신을 수행할 수 있다. 예를 들어, 송수신기는 eMBB(enhanced Mobile Broadband), URLLC(Ultra Reliable Low-Latency Communications), MMTC(Massive Machine Type Communications), LTE(long-term evolution), LTE-A(LTE Advance), UMTS(Universal Mobile Telecommunications System), GSM(Global System for Mobile communications), CDMA(code division multiple access), WCDMA(wideband CDMA), WiBro(Wireless Broadband), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), GPS(Global Positioning System) 또는 GNSS(global navigation satellite system) 등의 방식에 따른 무선 통신을 수행할 수 있다. 예를 들어, 송수신기는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232) 또는 POTS(plain old telephone service) 등의 방식에 따른 유선 통신을 수행할 수 있다.As an example, device 120 may further include a transceiver. The transceiver may perform wireless or wired communication between the plurality of user terminals 110, the device 120, the database of the device 120, and/or other devices. For example, the transceiver may include enhanced mobile broadband (eMBB), ultra reliable low-latency communications (URLC), massive machine type communications (MMTC), long-term evolution (LTE), LTE Advance (LTE-A), and universal communication (UMTS). Mobile Telecommunications System), GSM (Global System for Mobile communications), CDMA (code division multiple access), WCDMA (wideband CDMA), WiBro (Wireless Broadband), WiFi (wireless fidelity), Bluetooth (Bluetooth), NFC (near field communication) ), a global positioning system (GPS) or a global navigation satellite system (GNSS), or the like, may perform wireless communication. For example, the transceiver may perform wired communication according to a method such as universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), or plain old telephone service (POTS).
일실시예로서, 하나 이상의 프로세서(121)는 송수신기를 제어하여 복수의 사용자 단말(110), 장치(120)로부터 정보를 획득할 수 있다. 복수의 사용자 단말(110), 장치(120)로부터 획득된 정보는 하나 이상의 메모리(123)에 저장될 수 있다.As one embodiment, one or more processors 121 may obtain information from a plurality of user terminals 110 and devices 120 by controlling a transceiver. Information acquired from a plurality of user terminals 110 and devices 120 may be stored in one or more memories 123 .
일실시예로서, 장치(120)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 장치(120)는 휴대용 통신 장치, 컴퓨터 장치, 또는 상술한 장치들 중 하나 또는 그 이상의 조합에 따른 장치일 수 있다. 본 발명의 장치(120)는 전술한 장치들에 한정되지 않는다.As an example, device 120 may be a device of various types. For example, device 120 may be a portable communication device, a computer device, or a device according to a combination of one or more of the foregoing. Device 120 of the present invention is not limited to the devices described above.
일실시예에 따른 장치(120)의 다양한 실시예들은 서로 조합될 수 있다. 각 실시예들은 경우의 수에 따라 조합될 수 있으며, 조합되어 만들어진 장치(120)의 실시예 역시 본 발명의 범위에 속한다. 또한 전술한 본 발명에 따른 장치(120)의 내/외부 구성 요소들은 실시예에 따라 추가, 변경, 대체 또는 삭제될 수 있다. 또한 전술한 장치(120)의 내/외부 구성 요소들은 하드웨어 컴포넌트로 구현될 수 있다.Various embodiments of the device 120 according to one embodiment may be combined with each other. Each embodiment may be combined according to the number of cases, and the embodiment of the device 120 made in combination also belongs to the scope of the present invention. In addition, internal/external components of the device 120 according to the present invention described above may be added, changed, replaced, or deleted according to embodiments. In addition, internal/external components of the aforementioned device 120 may be implemented as hardware components.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
Claims (3)
제1 사용자 단말이 화상 강의를 제공하는 웹 사이트에 접속하면, 상기 웹 사이트의 홈 페이지를 상기 제1 사용자 단말로 제공하고, 상기 제1 사용자 단말에 로그인 되어 있는 제1 사용자 계정을 확인하여 제1 사용자 정보를 획득하는 단계;
상기 홈 페이지 상에서 제1 콘텐츠의 대표 이미지가 클릭되면, 상기 제1 사용자 단말로부터 상기 제1 콘텐츠에 대한 재생 요청을 수신하고, 상기 제1 콘텐츠를 확인하여 제1 콘텐츠 정보를 획득하는 단계;
상기 제1 콘텐츠 정보를 통해 상기 제1 콘텐츠의 사용자 재생 내역을 획득하는 단계;
상기 제1 콘텐츠의 사용자 재생 내역을 기초로, 사용자 별로 상기 제1 콘텐츠를 집중하여 시청한 집중 시간을 확인하여, 상기 제1 콘텐츠의 평균 집중 시간을 산출하는 단계;
상기 제1 콘텐츠의 평균 집중 시간의 길이에 따라, 기준 시간을 설정하는 단계;
상기 제1 콘텐츠의 평균 집중 시간에서 상기 기준 시간을 차감한 값으로, 사용자 허용 범위의 최소 시간을 산출하는 단계;
상기 제1 콘텐츠의 평균 집중 시간에 상기 기준 시간을 가산한 값으로, 상기 사용자 허용 범위의 최대 시간을 산출하는 단계;
상기 사용자 허용 범위의 최소 시간 및 상기 사용자 허용 범위의 최대 시간을 기초로, 상기 사용자 허용 범위를 설정하는 단계;
상기 제1 사용자 정보 및 상기 제1 콘텐츠 정보를 기초로, 상기 제1 콘텐츠에 대한 제1 사용자의 집중 시간을 예측하는 단계;
상기 제1 사용자의 집중 시간이 상기 사용자 허용 범위 내에 포함되는 것으로 확인되면, 상기 제1 콘텐츠를 상기 제1 사용자 단말로 제공하는 단계;
상기 제1 사용자의 집중 시간이 상기 사용자 허용 범위를 벗어나는 것으로 확인되고, 상기 제1 사용자의 집중 시간이 상기 사용자 허용 범위의 최소 시간 보다 짧은 것으로 확인되면, 제2 콘텐츠-상기 제2 콘텐츠는 상기 제1 콘텐츠와 학습 단원이 동일하면서 상기 제1 콘텐츠 보다 짧은 시간으로 제작된 콘텐츠-에 대한 추천 정보를 상기 제1 사용자 단말로 제공하는 단계;
상기 제1 사용자의 집중 시간이 상기 사용자 허용 범위를 벗어나는 것으로 확인되고, 상기 제1 사용자의 집중 시간이 상기 사용자 허용 범위의 최대 시간 보다 긴 것으로 확인되면, 제3 콘텐츠-상기 제3 콘텐츠는 상기 제1 콘텐츠와 학습 단원이 동일하면서 상기 제1 콘텐츠 보다 긴 시간으로 제작된 콘텐츠-에 대한 추천 정보를 상기 제1 사용자 단말로 제공하는 단계;
상기 제1 콘텐츠가 상기 제1 사용자 단말로 제공되어, 상기 제1 사용자가 제1 강의자에 의해 진행되는 화상 강의인 상기 제1 콘텐츠를 시청하고 있는 경우, 제1 시점에 상기 제1 사용자 단말에 설치된 카메라를 통해 촬영된 상기 제1 사용자의 얼굴 이미지인 제1 이미지를 획득하는 단계;
미리 학습된 제1 뉴럴 네트워크에 상기 제1 이미지를 적용하여, 제1 눈동자 객체를 추출하는 단계;
상기 제1 눈동자 객체를 이용하여, 상기 제1 사용자가 상기 제1 시점에 상기 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하는 단계;
상기 제1 사용자가 상기 제1 시점에 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 상기 디스플레이에 대한 주시를 경고하는 알람 신호를 생성하는 단계;
상기 제1 시점으로부터 미리 설정된 기간이 지난 후의 시점인 제2 시점에 상기 제1 사용자 단말에 설치된 카메라를 통해 촬영된 상기 제1 사용자의 얼굴 이미지인 제2 이미지를 획득하는 단계;
상기 제1 뉴럴 네트워크에 상기 제2 이미지를 적용하여, 제2 눈동자 객체를 추출하는 단계;
상기 제2 눈동자 객체를 이용하여, 상기 제1 사용자가 상기 제2 시점에 상기 제1 사용자 단말의 디스플레이를 주시하고 있는지 여부를 판단하는 단계;
상기 제1 사용자가 상기 제1 시점에 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 상태에서, 상기 제1 사용자가 상기 제2 시점에도 상기 디스플레이를 주시하고 있지 않는 것으로 판단한 경우, 상기 제1 시점부터 상기 제2 시점까지의 제1 학습 구간 동안 상기 제1 콘텐츠를 시청하지 않은 것으로, 상기 제1 사용자의 학습 상태를 분석하는 단계;
상기 제1 사용자가 상기 제1 시점에 상기 디스플레이를 주시하고 있는 것으로 판단한 경우, 상기 제1 눈동자 객체에서 동공이 차지하고 있는 영역인 제1 영역을 구분하고, 상기 제1 눈동자 객체에서 상기 제1 영역이 차지하는 비율인 제1 비율을 산출하는 단계;
상기 제1 사용자가 상기 제2 시점에 상기 디스플레이를 주시하고 있는 것으로 판단한 경우, 상기 제2 눈동자 객체에서 동공이 차지하고 있는 영역인 제2 영역을 구분하고, 상기 제2 눈동자 객체에서 상기 제2 영역이 차지하는 비율인 제2 비율을 산출하는 단계;
상기 제1 비율 및 상기 제2 비율이 각각 산출된 경우, 상기 제1 비율에서 상기 제2 비율을 차감하여 제1 차이값을 산출하는 단계;
상기 제1 차이값이 미리 설정된 기준 범위 내에 포함되는지 여부를 확인하는 단계;
상기 제1 차이값이 상기 기준 범위 내에 포함되는 것으로 확인되면, 상기 제1 학습 기간 동안 학습 집중도가 유지되고 있는 것으로, 상기 제1 사용자의 학습 집중도를 분석하는 단계;
상기 제1 차이값이 상기 기준 범위를 벗어나는 것으로 확인되면, 상기 제1 비율이 상기 제2 비율 보다 높은지 여부를 확인하는 단계;
상기 제1 비율이 상기 제2 비율 보다 높은 것으로 확인되면, 상기 제1 학습 기간 동안 학습 집중도가 감소하고 있는 것으로, 상기 제1 사용자의 학습 집중도를 분석하는 단계; 및
상기 제2 비율이 상기 제1 비율 보다 높은 것으로 확인되면, 상기 제1 학습 기간 동안 학습 집중도가 증가하고 있는 것으로, 상기 제1 사용자의 학습 집중도를 분석하는 단계를 포함하는,
인공지능 기반 온라인 교육 콘텐츠 제공 방법.A method for providing online educational content based on artificial intelligence, performed by a processor included in a device, comprising:
When a first user terminal accesses a web site providing a video lecture, the home page of the web site is provided to the first user terminal, and a first user account logged in to the first user terminal is identified to provide a first user terminal. obtaining user information;
receiving a play request for the first content from the first user terminal and obtaining first content information by checking the first content when the representative image of the first content is clicked on the home page;
obtaining a user reproduction history of the first content through the first content information;
calculating an average concentration time of the first content by determining a concentration time spent concentratingly watching the first content for each user based on a user playback history of the first content;
setting a reference time according to the length of the average concentration time of the first content;
calculating a minimum time within a user permissible range by subtracting the reference time from the average concentration time of the first content;
calculating a maximum time within the allowable user range by adding the reference time to the average concentration time of the first content;
setting the user permissible range based on the minimum time of the user permissible range and the maximum time of the user permissible range;
predicting a concentration time of a first user for the first content based on the first user information and the first content information;
providing the first content to the first user terminal when it is determined that the concentration time of the first user is within the user tolerance range;
When it is determined that the concentration time of the first user is out of the user permissible range and the concentration time of the first user is determined to be shorter than the minimum time within the user permissible range, the second content-the second content is set to the second content. providing recommendation information on a content produced in a shorter time than the first content while having the same content and a learning unit;
When it is determined that the concentration time of the first user is out of the user permissible range, and the concentration time of the first user is determined to be longer than the maximum time of the user permissible range, the third content-the third content is the third content. providing recommendation information on content produced for a longer period of time than the first content while having the same content as the first learning unit, to the first user terminal;
When the first content is provided to the first user terminal and the first user is watching the first content, which is a video lecture conducted by a first lecturer, the first content installed in the first user terminal at a first time obtaining a first image that is a face image of the first user photographed by a camera;
extracting a first pupil object by applying the first image to a pre-learned first neural network;
determining whether the first user is watching the display of the first user terminal at the first viewpoint, using the first pupil object;
generating an alarm signal for warning the user to gaze at the display when it is determined that the first user is not looking at the display at the first time point;
obtaining a second image, which is a face image of the first user, captured through a camera installed in the first user terminal at a second point in time, which is a point in time after a preset period of time has elapsed from the first point in time;
extracting a second pupil object by applying the second image to the first neural network;
determining whether the first user is watching the display of the first user terminal at the second viewpoint, using the second pupil object;
When it is determined that the first user is not looking at the display at the second time point in a state in which it is determined that the first user is not looking at the display at the first time point, the first user is not looking at the display at the second time point. Analyzing a learning state of the first user as having not watched the first content during a first learning period up to two points in time;
When it is determined that the first user is looking at the display at the first viewpoint, a first area occupied by a pupil is distinguished from the first pupil object, and the first area is determined from the first pupil object. Calculating a first ratio that is the ratio occupied by;
When it is determined that the first user is looking at the display at the second viewpoint, a second area occupied by a pupil of the second pupil object is divided, and the second area is determined by the second pupil object. Calculating a second ratio, which is a ratio occupied by a second ratio;
calculating a first difference value by subtracting the second ratio from the first ratio when the first ratio and the second ratio are calculated respectively;
checking whether the first difference value is within a preset reference range;
analyzing the learning concentration of the first user, if it is determined that the first difference value is within the reference range, that the learning concentration is maintained during the first learning period;
checking whether the first ratio is higher than the second ratio when it is determined that the first difference value is out of the reference range;
analyzing the learning concentration of the first user, if it is determined that the first ratio is higher than the second ratio, that the learning concentration is decreasing during the first learning period; and
If it is confirmed that the second ratio is higher than the first ratio, the learning concentration is increasing during the first learning period, and analyzing the learning concentration of the first user.
A method for providing artificial intelligence-based online educational content.
상기 제1 콘텐츠에 대한 시청이 완료되면, 상기 제1 사용자의 학습 상태를 분석한 결과를 확인하는 단계;
상기 제1 사용자의 학습 상태를 분석한 결과를 통해, 상기 제1 학습 구간 동안 상기 제1 콘텐츠를 시청하지 않은 것으로 확인되면, 상기 제1 학습 구간의 길이가 미리 설정된 제1 기준 시간 보다 짧은지 여부를 확인하는 단계;
상기 제1 학습 구간의 길이가 상기 제1 기준 시간 보다 짧은 것으로 확인되면, 상기 제1 콘텐츠에 대한 학습을 완료한 것으로 판단하는 단계;
상기 제1 학습 구간의 길이가 상기 제1 기준 시간 보다 긴 것으로 확인되면, 상기 제1 학습 구간의 길이가 미리 설정된 제2 기준 시간 보다 짧은지 여부를 확인하는 단계;
상기 제1 학습 구간의 길이가 상기 제2 기준 시간 보다 짧은 것으로 확인되면, 상기 제1 학습 구간에 대한 테스트가 필요한 것으로 판단하는 단계;
상기 제1 학습 구간의 길이가 상기 제2 기준 시간 보다 긴 것으로 확인되면, 상기 제1 학습 구간에 대한 재학습이 필요한 것으로 판단하는 단계;
상기 제1 학습 구간에 대한 테스트가 필요한 것으로 판단되면, 상기 제1 학습 구간 동안 진행된 교육 내용을 테스트하기 위한 퀴즈 문항이 상기 제1 사용자 단말의 화면에서 표시되도록 제어하는 단계; 및
상기 제1 학습 구간에 대한 재학습이 필요한 것으로 판단되면, 상기 제1 학습 구간 동안 진행된 화상 강의가 상기 제1 사용자 단말의 화면에서 다시 재생되도록 제어하는 단계를 더 포함하는,
인공지능 기반 온라인 교육 콘텐츠 제공 방법.According to claim 1,
checking a result of analyzing the learning state of the first user when viewing of the first content is completed;
If it is confirmed that the first user did not watch the first content during the first learning period through the result of analyzing the learning state of the first user, whether the length of the first learning period is shorter than a preset first reference time Checking;
determining that learning of the first content is completed when it is determined that the length of the first learning period is shorter than the first reference time;
If it is confirmed that the length of the first learning interval is longer than the first reference time, checking whether the length of the first learning interval is shorter than a preset second reference time;
determining that a test for the first learning interval is necessary when it is confirmed that the length of the first learning interval is shorter than the second reference time;
Determining that re-learning for the first learning interval is necessary when it is confirmed that the length of the first learning interval is longer than the second reference time;
If it is determined that a test for the first learning period is necessary, controlling a quiz question for testing the educational content during the first learning period to be displayed on the screen of the first user terminal; and
If it is determined that re-learning for the first learning interval is necessary, controlling the video lecture conducted during the first learning interval to be played again on the screen of the first user terminal Further comprising,
A method for providing artificial intelligence-based online educational content.
상기 제1 학습 구간 동안 진행된 교육 내용을 테스트하기 위한 퀴즈 문항이 상기 제1 사용자 단말의 화면에서 표시되도록 제어하는 단계는,
상기 제1 학습 구간 동안 진행된 화상 강의에서 미리 설정된 기준 횟수 이상으로 언급된 중요 키워드 정보를 추출하는 단계;
상기 중요 키워드 정보를 이용하여, 상기 제1 학습 구간의 테스트를 위한 퀴즈 문항들을 생성하는 단계;
상기 제1 사용자 단말로부터 상기 퀴즈 문항들에 대한 답변 정보를 획득하는 단계; 및
상기 답변 정보를 기초로, 상기 퀴즈 문항들에 대한 채점을 수행하여, 상기 제1 사용자의 채점 결과를 생성하는 단계를 포함하며,
상기 제1 사용자의 채점 결과가 생성되면, 상기 제1 사용자의 채점 결과가 미리 설정된 제1 기준치 보다 높은지 여부를 확인하는 단계;
상기 제1 사용자의 채점 결과가 상기 제1 기준치 보다 높은 점수로 확인되면, 상기 제1 학습 구간의 테스트를 통과한 것으로 판단하는 단계;
상기 제1 사용자의 채점 결과가 상기 제1 기준치 보다 낮은 점수로 확인되면, 상기 제1 학습 구간의 테스트를 통과하지 못한 것으로 판단하는 단계;
상기 제1 학습 구간의 테스트를 통과하지 못한 것으로 판단되면, 상기 제1 사용자의 채점 결과가 미리 설정된 제2 기준치 보다 높은지 여부를 확인하는 단계;
상기 제1 사용자의 채점 결과가 상기 제2 기준치 보다 높은 점수로 확인되면, 상기 제1 학습 구간에 대한 재학습이 필요한 것으로 판단하는 단계; 및
상기 제1 사용자의 채점 결과가 상기 제2 기준치 보다 낮은 점수로 확인되면, 상기 제1 콘텐츠 전체에 대한 재학습이 필요한 것으로 판단하는 단계를 더 포함하는,
인공지능 기반 온라인 교육 콘텐츠 제공 방법.According to claim 2,
The step of controlling the display of quiz questions for testing the educational contents progressed during the first learning period on the screen of the first user terminal,
Extracting important keyword information mentioned more than a preset standard number of times in the video lecture conducted during the first learning period;
generating quiz questions for a test of the first learning section by using the important keyword information;
obtaining answer information for the quiz questions from the first user terminal; and
Generating a scoring result of the first user by scoring the quiz questions based on the answer information;
checking whether the first user's scoring result is higher than a preset first reference value when the first user's scoring result is generated;
determining that the test of the first learning section has passed when the first user's scoring result is confirmed to be higher than the first reference value;
determining that the test of the first learning section has not passed when the first user's scoring result is confirmed as a score lower than the first reference value;
checking whether a scoring result of the first user is higher than a preset second reference value when it is determined that the test of the first learning section has not passed;
determining that re-learning for the first learning section is necessary when the first user's scoring result is confirmed as a score higher than the second reference value; and
If the first user's scoring result is confirmed as a score lower than the second reference value, further comprising the step of determining that relearning of the entire first content is necessary.
A method for providing artificial intelligence-based online educational content.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220015482A KR102561832B1 (en) | 2022-02-07 | 2022-02-07 | Method, device and system for providing online education content based on artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220015482A KR102561832B1 (en) | 2022-02-07 | 2022-02-07 | Method, device and system for providing online education content based on artificial intelligence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102561832B1 true KR102561832B1 (en) | 2023-08-11 |
Family
ID=87565915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220015482A KR102561832B1 (en) | 2022-02-07 | 2022-02-07 | Method, device and system for providing online education content based on artificial intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102561832B1 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100016696A (en) | 2008-08-05 | 2010-02-16 | 주식회사 리얼맨토스 | Student learning attitude analysis systems in virtual lecture |
| KR101002751B1 (en) * | 2010-09-10 | 2010-12-21 | 주식회사 다이나믹플러스 | Device for education diagnosis using brain waves, education management system using the device and operating method thereof |
| KR20180105693A (en) * | 2016-01-25 | 2018-09-28 | 웨스페케 아이앤시. | Digital media content extraction and natural language processing system |
| KR102191672B1 (en) | 2019-12-20 | 2020-12-16 | 주식회사 아이스크림에듀 | personalized learning method based on AI(artificial intelligence) and Learner Analysis, and system |
| KR20210062855A (en) | 2019-11-22 | 2021-06-01 | 사단법인 스마트미디어인재개발원 | Online lecture concentration analysis system and service |
| KR102265734B1 (en) * | 2020-08-25 | 2021-06-16 | 라이트하우스(주) | Method, device, and system of generating and reconstructing learning content based on eeg analysis |
| KR102266476B1 (en) * | 2021-01-12 | 2021-06-17 | (주)이루미에듀테크 | Method, device and system for improving ability of online learning using eye tracking technology |
| KR102293234B1 (en) | 2020-09-24 | 2021-08-25 | 월드버텍 주식회사 | Mutimedia education system using Artificial Intelligence and Method for supporting learning |
-
2022
- 2022-02-07 KR KR1020220015482A patent/KR102561832B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100016696A (en) | 2008-08-05 | 2010-02-16 | 주식회사 리얼맨토스 | Student learning attitude analysis systems in virtual lecture |
| KR101002751B1 (en) * | 2010-09-10 | 2010-12-21 | 주식회사 다이나믹플러스 | Device for education diagnosis using brain waves, education management system using the device and operating method thereof |
| KR20180105693A (en) * | 2016-01-25 | 2018-09-28 | 웨스페케 아이앤시. | Digital media content extraction and natural language processing system |
| KR20210062855A (en) | 2019-11-22 | 2021-06-01 | 사단법인 스마트미디어인재개발원 | Online lecture concentration analysis system and service |
| KR102191672B1 (en) | 2019-12-20 | 2020-12-16 | 주식회사 아이스크림에듀 | personalized learning method based on AI(artificial intelligence) and Learner Analysis, and system |
| KR102265734B1 (en) * | 2020-08-25 | 2021-06-16 | 라이트하우스(주) | Method, device, and system of generating and reconstructing learning content based on eeg analysis |
| KR102293234B1 (en) | 2020-09-24 | 2021-08-25 | 월드버텍 주식회사 | Mutimedia education system using Artificial Intelligence and Method for supporting learning |
| KR102266476B1 (en) * | 2021-01-12 | 2021-06-17 | (주)이루미에듀테크 | Method, device and system for improving ability of online learning using eye tracking technology |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102423285B1 (en) | Method, apparatus and system for planning and production of advertisement contents | |
| KR102586799B1 (en) | Method, device and system for automatically processing creation of web book based on web novel using artificial intelligence model | |
| KR102463875B1 (en) | Method, device and system for providing personalized psychotherapy content using big data | |
| KR102508648B1 (en) | Emergency monitoring method, device and system based on malfunction judgment of electric and firefighting equipment | |
| KR102561832B1 (en) | Method, device and system for providing online education content based on artificial intelligence | |
| KR102508656B1 (en) | Method, device and system for providing customized language ability test learning service based on problem analysis through artificial intelligence | |
| KR102474974B1 (en) | Method, device and system for analyzing brand based on artificial intelligence | |
| KR102430959B1 (en) | METHOD, APPARATUS AND SYSTEM FOR providing PLANT INFORMATION CURATION SERVICE based on ARTIFICIAL INTELLIGENCE | |
| KR102546355B1 (en) | Method, apparatus and system for providing nutritional information based on fecal image analysis | |
| KR102492774B1 (en) | Method for providing music contents licensing platform service based on artificial intelligence | |
| KR102426803B1 (en) | Method, device and system for automatically uploading overseas sales page of product based on artificial intelligence | |
| KR102452100B1 (en) | Method, device and system for providing learning service base on brain wave and blinking eyes | |
| KR102321408B1 (en) | Method, apparatus and system for providing personalized memo pad service | |
| Uddin et al. | Deep Learning, Reinforcement Learning, and the Rise of Intelligent Systems | |
| KR102492762B1 (en) | Method, device and system for providing and managing study abroad education curriculum customized for student based on artificial intelligence | |
| KR102639379B1 (en) | Method, apparatus and system for providing of user-customized golf professionals matching platform service based on artificial intelligence model | |
| KR20210062794A (en) | Apparatus and method for extracting composition of equipment, and fault diagnosis system including the same | |
| KR102641137B1 (en) | Method, device, and system for providing inquiry and response to output data of artificial intelligence model-based space technology | |
| KR102624135B1 (en) | Artificial intelligence-based non-face-to-face programming training automation platform service provision method, device and system for enterprises | |
| KR102429832B1 (en) | Method, device and system for providing remote access service based on analysis of network environment | |
| KR102603914B1 (en) | Method, apparatus and system for providing of yoga exercise guide and curriculum using user-costomized anatomy based on image analysis | |
| KR102490320B1 (en) | Method, device and system for user-customized product and call to action recommendation using 3d body model | |
| KR102478367B1 (en) | Method, apparatus and system for matching and recommendation of sound source based on image recognition | |
| KR102600258B1 (en) | Method, apparatus and system for providing electronic board platform service that enables user participation and software upload | |
| KR102651463B1 (en) | Method, device and system for creating customized online lecture contents and providing educational curriculum based on artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |