KR102330159B1 - Evaluation system and method of online class attention using class attitude pattern analysis - Google Patents

Abstract

The present invention relates to a system for evaluating concentration on an online class through analysis of class behavior patterns and an evaluation method thereof. More specifically, the system for evaluating concentration on an online class through analysis of class behavior patterns comprises: an information preprocessing unit (100) that extracts basic state feature point information about a participant by using input image data of the participant in the online class; a face analysis unit (200) that analyzes facial recognition information of a preset item included in the participant's facial part using the basic state feature point information received from the information preprocessing unit (100); a behavior analysis unit (300) that analyzes behavior recognition information of a preset item included in the participant's upper half using the basic state feature point information received from the information preprocessing unit (100); and a concentration evaluation unit (400) that analyzes the participant's concentration on the online class during the online class, using analysis information about the participant from the face analysis unit (200) and the behavior analysis unit (300).

Description

수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법 {Evaluation system and method of online class attention using class attitude pattern analysis}{Evaluation system and method of online class attention using class attitude pattern analysis}

본 발명은 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법에 관한 것으로, 더욱 상세하게는 원격 수업 등 온라인 수업을 참여하는 참여자(학습자, 학생 등)의 집중-비집중 상태를 판단하여 학습 상태를 종합적으로 분석할 수 있는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법에 관한 것이다.The present invention relates to an online class concentration evaluation system and evaluation method through class behavior pattern analysis, and more particularly, by determining the concentration-non-concentration status of participants (learners, students, etc.) participating in online classes such as remote classes. It relates to an online class concentration evaluation system and its evaluation method through class behavior pattern analysis that can comprehensively analyze the learning state.

특히, 계량화한 집중도 수치 뿐 아니라, 각각의 참여자 별 반복적인 습관, 행동 등에 의한 수업 참여 행동 패턴을 분석하여, 패턴 간의 연관성을 바탕으로 개별화된 온라인 수업 집중도를 평가할 수 있는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법에 관한 것이다.In particular, online class behavior pattern analysis that can evaluate individualized online class concentration based on the correlation between patterns by analyzing not only quantified concentration values but also class participation behavior patterns by each participant's repetitive habits and behaviors It relates to a class concentration evaluation system and an evaluation method thereof.

최근 COVID-19로 인해 공교육 및 대학 수업이 불가피하게 아무런 준비 없이 비대면 수업(원격 수업, 온라인 수업 등)으로 전환되면서, 이에 따른 수업 운영의 효율성은 보장되었지만, 학습자 별 교육 격차가 보다 크게 발생하는 등 교육의 효과성을 보장하지 못하는 결과를 초래하게 되었다.Recently, due to COVID-19, public education and university classes are inevitably switched to non-face-to-face classes (remote classes, online classes, etc.) without any preparation. This resulted in inability to guarantee the effectiveness of education.

기존 스마트 러닝 시스템의 한계와 COVID-19의 파장을 겪으며, 학습자의 집증도 향상 및 학습 도구에 대한 연구 및 개발이 진행되고 있다.With the limitations of the existing smart learning system and the impact of COVID-19, research and development on learning tools and improving the concentration of learners are in progress.

일 예를 들자면, 뇌파를 이용하여 학습자의 집중도를 측정하거나, 눈 영역 검출을 통해 검출한 눈 영역의 움직임을 분석하여 집중도를 측정하는 기술이다.As an example, it is a technology for measuring a learner's concentration level using brain waves or analyzing the movement of an eye area detected through eye area detection to measure the concentration level.

그렇지만, 뇌파를 이용하여 학습자의 집중도를 측정하는 기술의 경우, 별도의 뇌파 측정 디바이스가 필요하고, 뇌파 측정 디바이스 자체가 학습에 방해될 수 있는 문제점이 있으며, 눈 영역 검출의 경우, 눈의 개폐과 시선의 이동에만 중점을 두고 분석이 이루어짐으로써, 순간적인 시점, 즉, 제공되는 프레임 시점에서의 일시적인 집중 상태 ?? 비집중 상태만을 판단할 수 있다는 문제점이 있다.However, in the case of a technology for measuring the concentration of a learner using EEG, a separate EEG measurement device is required, and there is a problem that the EEG measurement device itself may interfere with learning. In the case of eye area detection, eye opening and gaze The analysis is made focusing only on the movement of ?? There is a problem in that only the non-concentration state can be determined.

이와 관련해서, 국내등록특허 제10-1766347호("집중도 평가시스템")에서는 영상 컨텐츠를 시청하는 피평가자의 시청모습을 촬영한 영상데이터를 이용하여 해당 영상 컨텐츠에 대한 피평가자의 집중도를 평가하는 기술을 개시하고 있다.In this regard, Korean Patent Registration No. 10-1766347 ("Concentration Rating System") uses image data that captures the viewer's viewing state who watches video content to provide a technique for evaluating the degree of concentration of the appraiser for the video content. is starting

국내등록특허 제10-1766347호(등록일자 2017.08.02.)Domestic Registered Patent No. 10-1766347 (Registration Date 2017.08.02.)

본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 온라인 수업 중 학습자의 동공, 시선 처리, 얼굴 포즈 및 각도, 상반신 행동 요소 등을 분석하여, 이전 수업 등을 통한 학습자 관련 데이터베이스를 기반으로 학습자가 현재 이루어지고 있는 온라인 수업에 집중하고 있는지에 관련된 학습 상태를 종합적으로 평가 및 분석할 수 있는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법을 제공하는 것이다.The present invention has been devised to solve the problems of the prior art as described above, and an object of the present invention is to analyze a learner's pupil, gaze processing, face pose and angle, upper body behavior factors, etc. Based on the learner-related database through will do

또한, 학습자의 온라인 수업 집중도를 계량화한 수치로 도출할 수 있을 뿐 아니라, 과거의 온라인 수업을 진행하면서 도출된 개인별 집중도 데이터, 개인의 반복적인 습관, 행동 패턴 등에서 나오는 연관성을 통해, 표준화된 집중도 분석을 넘어 개인의 성향이 반영된 집중도 분석을 수행할 수 있는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법을 제공하는 것이다.In addition, not only can the learner's online class concentration be deduced as a quantified numerical value, but also standardized concentration analysis through correlations from individual concentration data derived from online classes in the past, individual repetitive habits, and behavioral patterns, etc. It is to provide an online class concentration evaluation system and its evaluation method through class behavior pattern analysis that can perform concentration analysis reflecting individual propensity beyond that.

본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템은, 입력되는 온라인 수업 참여자의 이미지 데이터를 이용하여, 참여자에 대한 기본 상태 특징점 정보를 추출하는 정보 전처리부(100), 상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보를 이용하여, 참여자의 안면부에 포함되어 있는 기설정된 항목의 안면 인식 정보들을 분석하는 안면 분석부(200), 상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보를 이용하여, 참여자의 상반부에 포함되어 있는 기설정된 항목의 행동 인식 정보들을 분석하는 행동 분석부(300) 및 상기 안면 분석부(200)와 행동 분석부(300)에 의한 참여자의 분석 정보들을 이용하여, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석하는 집중도 평가부(400)를 포함하여 구성되는 것이 바람직하다.The online class concentration evaluation system through class behavior pattern analysis according to an embodiment of the present invention includes an information pre-processing unit 100 for extracting basic state feature point information for a participant using input image data of an online class participant; A face analysis unit 200 that analyzes facial recognition information of a preset item included in the participant's face part using the basic state feature point information received from the information preprocessor 100, the information preprocessor 100 The behavior analysis unit 300 and the facial analysis unit 200 and the behavior analysis unit 300 that analyze the behavior recognition information of a preset item included in the upper half of the participant using the basic state feature point information received from It is preferable to include a concentration evaluation unit 400 that analyzes the participant's online class concentration evaluation information while the online class is in progress by using the participant's analysis information.

더 나아가, 상기 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템은 입력되는 온라인 수업 강의자의 소리 데이터를 이용하여, 온라인 수업이 이루어지는 동안의 시계열에 따른 온라인 수업 상태를 판단하고, 판단 결과를 상기 집중도 평가부(400)로 전달하는 수업 분석부(500)를 더 포함하여 구성되는 것이 바람직하다.Furthermore, the online class concentration evaluation system through the class behavior pattern analysis uses the input online class lecturer's voice data to determine the online class status according to the time series during the online class, and evaluates the concentration level as a result of the decision It is preferable to further include a lesson analysis unit 500 to be delivered to the unit 400 .

더 나아가, 상기 수업 분석부(500)는 기저장된 알고리즘에 상기 소리 데이터를 적용하여, 진행되는 온라인 수업 상태를 수업 시간 또는 쉬는 시간으로 분류하는 것이 바람직하다.Furthermore, it is preferable that the class analysis unit 500 applies the sound data to a pre-stored algorithm to classify the ongoing online class into class time or break time.

더 나아가, 상기 집중도 평가부(400)는 온라인 수업이 진행되면서 상기 수업 분석부(500)로부터 전달받은 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다.Furthermore, the concentration evaluation unit 400 analyzes the online class concentration evaluation information of the participant only when the online class status transmitted from the class analysis unit 500 corresponds to the class time while the online class is in progress. desirable.

더 나아가, 상기 안면 분석부(200)는 기입력된 참여자의 안면 이미지의 특징점을 분석하고, 분석한 상기 특징점과 상기 기본 상태 특징점 정보를 비교 분석하여, 참여자의 일치 여부를 판단하는 일치 분석부(210), 상기 기본 상태 특징점 정보로부터, 눈 영역 정보, 코 영역 정보 및 얼굴 하관 영역 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안의 참여자의 시선 관련 정보를 분석하는 시선 분석부(220) 및 기설정된 분석 알고리즘을 이용하여, 상기 기본 상태 특징점 정보를 통한 참여자의 감정 변화 정보를 분석하는 감정 분석부(230)를 더 포함하여 구성되는 것이 바람직하다.Furthermore, the facial analysis unit 200 analyzes the feature points of the entered participant's facial image, and compares and analyzes the analyzed feature points and the basic state feature point information to determine whether the participant matches ( 210), from the basic state feature point information, analyzing any one or more selected from eye area information, nose area information, and lower face area, based on the analysis result, analyzing the gaze-related information of the participant during the online class It is preferable to further include an emotion analysis unit 230 that analyzes the emotion change information of the participant through the basic state feature point information using the gaze analysis unit 220 and a preset analysis algorithm.

더 나아가, 상기 행동 분석부(300)는 상기 기본 상태 특징점 정보로부터, 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안 참여자의 자세 정보 또는 행동 정보를 분석하는 것이 바람직하다.Furthermore, the behavior analysis unit 300 analyzes any one or more selected from the information on the body region, the arm region, and the shoulder line region from the basic state feature point information, and based on the analysis result, a participant during the online class. It is desirable to analyze the posture information or behavior information of

더 나아가, 상기 집중도 평가부(400)는 상기 안면 분석부(200)와 행동 분석부(300)에 의한 참여자의 분석 정보들을 통해서, 온라인 수업이 완료된 후, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값을 제공하되, 기설정된 알고리즘을 활용하여, 시계열 순에 따른 분석정보들의 패턴 분석을 수행하고, 분석한 패턴들 간의 연관성을 반영하여 각각의 참여자별 온라인 수업 집중도 평가 정보를 분석을 수행하는 것이 바람직하다.Furthermore, the concentration evaluation unit 400 through the analysis information of the participant by the facial analysis unit 200 and the behavior analysis unit 300, after the online class is completed, the online class of the participant while the online class is in progress. The result of analyzing class concentration evaluation information is provided, but using a preset algorithm, pattern analysis of the analysis information according to time series is performed, and the correlation between the analyzed patterns is reflected to evaluate the online class concentration for each participant It is desirable to perform an analysis of the information.

더 나아가, 상기 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템은 상기 집중도 평가부(400)에 의한 각 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값과, 입력되는 참여자의 성적 데이터 및 수업 만족도 정보 중 적어도 하나 이상을 이용하여, 각 참여자 별 커스터마이징된 학습 가이드라인 정보를 생성하는 학습 추천부(600)를 더 포함하여 구성되는 것이 바람직하다.Furthermore, the online class concentration evaluation system through the class behavior pattern analysis is a result of analyzing the online class concentration evaluation information of each participant by the concentration evaluation unit 400, and the inputted participant's grade data and class satisfaction information It is preferable to further include a learning recommendation unit 600 that generates customized learning guideline information for each participant by using at least one of them.

본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법은, 정보 전처리부에서, 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 이미지 데이터와 온라인 수업 강의자의 소리 데이터가 입력되는 데이터 입력단계(S100), 정보 전처리부에서, 상기 데이터 입력단계(S100)에 의해 입력된 온라인 수업 참여자의 이미지 데이터를 이용하여, 참여자에 대한 기본 상태 특징점 정보를 추출하는 특징점 추출단계(S200), 안면 분석부에서, 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 안면부에 포함되어 있는 미리 설정된 항목의 안면 인식 정보들을 분석하는 안면 분석단계(S300), 행동 분석부에서, 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 상반부에 포함되어 있는 기설정된 항목의 행동 인식 정보들을 분석하는 행동 분석단계(S400) 및 집중도 평가부에서, 상기 안면 분석단계(S300) 및 행동 분석단계(S400)에 의해 분석한 정보들을 이용하여, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석하는 집중도 평가단계(S500)를 포함하여 구성되는 것이 바람직하다.In the online class concentration evaluation method through class behavior pattern analysis according to an embodiment of the present invention, in the information preprocessor, image data of online class participants and sound data of online class lecturers are inputted during online class In the input step (S100), the information preprocessing unit, using the image data of the online class participant input by the data input step (S100), extracting the basic state keypoint information about the participant (S200), facial In the analysis unit, a facial analysis step (S300) of analyzing the facial recognition information of a preset item included in the participant's facial part using the basic state characteristic point information extracted by the key point extraction step (S200), a behavior analysis unit In the behavior analysis step (S400) of analyzing the behavior recognition information of a preset item included in the upper half of the participant using the basic state feature point information extracted by the feature point extraction step (S200) and the concentration evaluation unit, Using the information analyzed by the facial analysis step (S300) and the behavior analysis step (S400), the concentration evaluation step (S500) of analyzing the online class concentration evaluation information of the participant while the online class is in progress It is preferable to be

더 나아가, 상기 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법은 상기 데이터 입력단계(S100)를 수행하고 난 후, 수업 분석부에서, 상기 데이터 입력단계(S100)에 의해 입력된 온라인 수업 강의자의 소리 데이터를 이용하여, 온라인 수업이 이루어지는 동안의 시계열에 따른 온라인 수업 상태를 판단하는 수업 상태 판단단계(S110)를 더 포함하여 구성되며, 상기 수업 상태 판단단계(S110)는 기설정된 알고리즘에 상기 소리 데이터를 적용하여, 진행되는 온라인 수업 상태를 수업 시간 또는 쉬는 시간으로 분류하여 판단하는 것이 바람직하다.Furthermore, in the online class concentration evaluation method through the class behavior pattern analysis, after performing the data input step (S100), in the class analysis unit, the voice of the online class lecturer input by the data input step (S100) Using the data, it is configured to further include a class state determination step (S110) of determining the online class status according to the time series during the online class, the class status determination step (S110) is the sound data in a preset algorithm It is desirable to classify the online class status into class time or break time by applying

더 나아가, 상기 집중도 평가단계(S500)는 상기 수업 상태 판단단계(S110)에 의해, 상기 온라인 수업 상태가 수업 상태로 판단될 경우에만, 기설정된 알고리즘을 활용하여 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다.Furthermore, in the concentration evaluation step (S500), only when the online class state is determined to be a class state by the class state determination step (S110), the online class concentration evaluation information of the participant is analyzed using a preset algorithm It is preferable to do

더 나아가, 상기 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법은 상기 집중도 평가단계(S500)를 수행하고 난 후, 학습 추천부에서, 상기 집중도 평가단계(S500)에 의해 분석한 참여자의 온라인 수업 집중도 평가 정보와, 입력되는 참여자의 성적 데이터 및 수업 만족도 정보 중 적어도 하나 이상을 이용하여, 참여자 별 커스터마이징된 학습 가이드라인 정보를 생성하여, 제공하는 학습 추천단계(S600)를 더 포함하여 구성되는 것이 바람직하다.Furthermore, in the online class concentration evaluation method through the class behavior pattern analysis, after performing the concentration evaluation step (S500), in the learning recommendation unit, the online class concentration of the participant analyzed by the concentration evaluation step (S500) It is preferable to further include a learning recommendation step (S600) for generating and providing customized learning guideline information for each participant by using at least one of the evaluation information, the input participant's grade data, and the class satisfaction information do.

더 나아가, 상기 안면 분석단계(S300)는 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 눈 영역 정보, 코 영역 정보 및 얼굴 하관 영역 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안의 참여자의 시선 관련 정보를 분석하는 제1 분석단계(S310) 및 기설정된 분석 알고리즘에 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 적용하여, 온라인 수업이 진행되는 동안의 참여자의 감정 변화 정보를 분석하는 제2 분석단계(S320)를 더 포함하여 구성되는 것이 바람직하다.Furthermore, in the face analysis step (S300), any one or more selected from the participant's eye area information, nose area information, and lower face The basic state key point information extracted by the first analysis step (S310) of analyzing and analyzing the gaze-related information of the participant during the online class based on the analysis result and the key point extraction step (S200) in a preset analysis algorithm By applying , it is preferable to further include a second analysis step (S320) of analyzing the emotional change information of the participant during the online class.

더 나아가, 상기 행동 분석단계(S400)는 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안 참여자의 자세 관련 정보 또는 행동 정보를 분석하는 것이 바람직하다.Furthermore, in the behavior analysis step (S400), any one or more selected from the participant's body area information, arm area information, and shoulder line area information is selected using the basic state key point information extracted by the key point extraction step (S200). It is desirable to analyze the participant's posture-related information or behavioral information during the online class based on the analysis result.

더 나아가, 상기 집중도 평가단계(S500)는 상기 안면 분석단계(S300)와 행동 분석단계(S400)에 의한 참여자의 분석 정보들을 통해서, 온라인 수업이 완료된 후, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값을 제공하되, 기설정된 알고리즘을 활용하여, 시계열 순에 따른 분석정보들의 패턴 분석을 수행하고, 분석한 패턴들 간의 연관성을 반영하여 각각의 참여자별 온라인 수업 집중도 평가 정보를 분석을 수행하는 것이 바람직하다.Furthermore, the concentration evaluation step (S500) is through the analysis information of the participant by the facial analysis step (S300) and the behavior analysis step (S400), after the online class is completed, the online class of the participant during the online class The result of analyzing class concentration evaluation information is provided, but using a preset algorithm, pattern analysis of the analysis information according to time series is performed, and the correlation between the analyzed patterns is reflected to evaluate the online class concentration for each participant It is desirable to perform an analysis of the information.

상기와 같은 구성에 의한 본 발명의 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법은 온라인 수업 참여자(학습자 등)의 집중-비집중 상태를 온라인 수업이 이루어지는 전체의 연속선상에서의 행동 프레임 간 연관성을 바탕으로 정확하게 분석 및 평가함으로써, 표준화된 집중도 분석을 넘어 개인의 성향이 반영된 집중도 분석을 수행할 수 있으며, 개인별로 분석된 데이터를 활용하여 온라인 수업 참여자의 문제점을 객관적으로 판단하고 학습 능률을 향상시킬 수 있는 방법을 제시할 수 있는 장점이 있다.The online class concentration evaluation system and the evaluation method through the class behavior pattern analysis of the present invention according to the configuration as described above show the concentration-non-concentration state of online class participants (learners, etc.) on the continuum of the entire online class. By accurately analyzing and evaluating the correlation between frames, it is possible to perform concentration analysis that reflects individual tendencies beyond standardized concentration analysis, and objectively judge and learn the problems of online class participants using the analyzed data for each individual It has the advantage of suggesting ways to improve efficiency.

즉, 정형화된 학습자 개인별 집중-비집중 패턴 데이터를 생성하고, 생성된 개인 행동 패턴에 지속적으로 집중-비집중 상태를 누적 측정하여, 온라인 수업 집중도 평가를 수행할 수 있는 장점이 있다.That is, there is an advantage in that it is possible to generate standardized concentration-non-concentration pattern data for each individual learner, and to continuously measure the concentration-non-concentration state on the generated individual behavior pattern to perform an online class concentration evaluation.

뿐만 아니라, 이러한 온라인 수업 집중도 평가 결과를 제공함으로써, 온라인 수업 강의자와 온라인 수업 참여자의 양자에게 보다 효과적인 비대면 수업환경을 제공할 수 있는 장점이 있다.In addition, by providing the online class concentration evaluation result, there is an advantage in that it is possible to provide a more effective non-face-to-face class environment for both the online class lecturer and the online class participant.

먼저, 온라인 수업 참여자의 경우, 집중도 평가 결과를 바탕으로 한 학습 가이드라인을 제공받아 비대면의, 즉, 온라인으로 동영상 컨텐츠 등의 시청을 통해서 단순 학습이 이루어지는 것이 아니라, 비대면 상황이지만 개별 수업 참여자별 측정된 학습 태도 능률 데이터를 통해 학생들이 수업 태도를 개선할 수 있도록 함으로써, 자기주고 학습 태구를 갖출 수 있는 효과가 있다.First, in the case of online class participants, they are provided with learning guidelines based on the results of the concentration evaluation, so that simple learning is not conducted through non-face-to-face, i.e., online viewing of video content, but rather in a non-face-to-face situation but individual class participants It has the effect of equipping students with self-giving and learning attitudes by allowing students to improve their class attitudes through star-measured learning attitude and performance data.

또한, 온라인 수업 강의자의 경우, 온라인 수업이 진행되는 동안의 전반적인 수업 참여자의 집중도 및 시간에 따른 수업 태도 변화 등을 파악하여 이를 반영하여 더 효과적인 수업 전달 방식을 적용하도록 장려할 수 있다.In addition, in the case of an online class lecturer, it is possible to encourage the application of a more effective class delivery method by identifying the overall concentration level of class participants during the online class and the change in class attitude over time, reflecting this.

도 1은 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템을 나타낸 구성 예시도이다.
도 2는 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템에서의 수업 분석부(500)에 적용된 알고리즘을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법을 나타낸 순서 예시도이다.1 is an exemplary configuration diagram illustrating an online class concentration evaluation system through class behavior pattern analysis according to an embodiment of the present invention.
2 is an exemplary diagram illustrating an algorithm applied to the class analysis unit 500 in the online class concentration evaluation system through class behavior pattern analysis according to an embodiment of the present invention.
3 is a flowchart illustrating an online class concentration evaluation method through class behavior pattern analysis according to an embodiment of the present invention.

이하 첨부한 도면들을 참조하여 본 발명의 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, the online class concentration evaluation system and the evaluation method through the class behavior pattern analysis of the present invention will be described in detail with reference to the accompanying drawings. The drawings introduced below are provided as examples in order to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Also, like reference numerals refer to like elements throughout.

이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.At this time, if there is no other definition in the technical terms and scientific terms used, it has the meaning commonly understood by those of ordinary skill in the art to which this invention belongs, and in the following description and accompanying drawings, the subject matter of the present invention Descriptions of known functions and configurations that may unnecessarily obscure will be omitted.

더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.In addition, the system refers to a set of components including devices, instruments, and means that are organized and regularly interact to perform necessary functions.

본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법은, 온라인 수업 참여자(학생 등)의 안면 분석/행동 분석을 통해서, 참여자의 온라인 수업에 대한 참여적(집중) 요소 분석 및 비참여적(비집중) 요소 분석을 수행하여, 정형화된 정형화된 학습자 개인별 집중-비집중 패턴 데이터를 생성하고, 생성된 개인 행동 패턴에 지속적으로 집중-비집중 상태를 누적 측정하여, 온라인 수업 집중도 평가를 수행할 수 있는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법에 관한 것이다.The online class concentration evaluation system and the evaluation method through class behavior pattern analysis according to an embodiment of the present invention, through facial analysis/behavioral analysis of online class participants (students, etc.) Concentration) element analysis and non-participatory (non-concentration) element analysis are performed to generate standardized, standardized focus-non-concentration pattern data for each individual learner, and the concentration-non-concentration state is continuously measured and accumulated on the generated individual behavior pattern. , It relates to an online class concentration evaluation system and its evaluation method through class behavior pattern analysis capable of performing online class concentration evaluation.

도 1은 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템을 나타낸 구성 예시도이며, 도 1을 참조로 하여, 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템을 상세히 설명한다.1 is an exemplary configuration diagram illustrating an online class concentration evaluation system through class behavior pattern analysis according to an embodiment of the present invention, and with reference to FIG. 1 , through class behavior pattern analysis according to an embodiment of the present invention The online class concentration evaluation system is explained in detail.

본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템은 도 1에 도시된 바와 같이, 정보 전처리부(100), 안면 분석부(200), 행동 분석부(300) 및 집중도 평가부(400)를 포함하여 구성되는 것이 바람직하며, 각 구성들에서 발생하는 데이터들을 전송받아, 이를 데이터베이스화하여 저장 및 관리하는 데이터베이스부(미도시)를 더 포함하여 구성되는 것이 바람직하다. 또한, 각 구성들은 하나의 연산처리수단 또는 각각의 연산처리수단에 구성되어 동작을 수행하게 된다.As shown in FIG. 1 , the online class concentration evaluation system through class behavior pattern analysis according to an embodiment of the present invention is an information preprocessor 100 , a facial analysis unit 200 , a behavior analysis unit 300 and a concentration level It is preferable to include the evaluation unit 400, and it is preferable to further include a database unit (not shown) that receives data generated from each component, converts it into a database, stores and manages it. In addition, each component is configured in one arithmetic processing means or each arithmetic processing means to perform an operation.

각 구성에 대해서 자세히 알아보자면,To learn more about each configuration,

상기 정보 전처리부(100)는 입력되는 온라인 수업 참여자의 이미지 데이터를 이용하여, 참여자에 대한 기본 상태 특징점 정보를 추출하는 것이 바람직하다.It is preferable that the information pre-processing unit 100 extracts basic state feature point information about the participant by using the input image data of the online class participant.

상기 전처리부(100)를 통해서 상기 기본 상태 특징점 정보를 추출함으로써, 이 후, 상기 안면 분석부(200) 및 행동 분석부(300)에서 처리해야 할 연산량을 효과적으로 낮출 수 있어, 처리 효율을 증진시킬 수 있다.By extracting the basic state feature point information through the pre-processing unit 100, the amount of computation to be processed in the face analysis unit 200 and the behavior analysis unit 300 can be effectively reduced thereafter, thereby improving processing efficiency. can

상세하게는, 상기 정보 전처리부(100)는 각 온라인 수업 별로, 온라인 수업이 진행되는 동안 각각의 온라인 수업 참여자의 동영상 이미지 데이터 또는 정영상 이미지 데이터를 시계열 순으로 입력받는 것이 바람직하며, 이미지 데이터는 별도의 입력수단을 통해서 입력되는 것이 바람직하며, 일 예를 들자면, 온라인 수업이 출력되는 출력수단에 별도의 웹캠 등의 이미지 데이터 입력수단을 구비하여, 이를 통해서 입력되는 것이 바람직하다. 물론, 출력수단과는 별개의 입력수단 형태로 구성될 수 있기 때문에, 이미지 데이터를 입력하는 수단에 대해서는 한정하는 것은 아니다.In detail, it is preferable that the information pre-processing unit 100 receives, for each online class, moving image data or still image data of each online class participant in time series order while the online class is in progress, and the image data is separately It is preferable to input through an input means of, for example, it is preferable to provide an image data input means such as a separate webcam in an output means for outputting an online class, and to be inputted through it. Of course, since it may be configured in the form of an input means separate from the output means, the means for inputting image data is not limited.

상기 정보 전처리부(100)는 입력되는 온라인 수업 참여자의 동영상 이미지 데이터 또는 정영상 이미지 데이터를 미리 저장되어 있는 AI 학습 모델을 이용하여 동영상 이미지 데이터 또는 정영상 이미지 데이터에 포함되어 있는 온라인 수업 참여자의 미리 설정된 얼굴 특징점 정보, 미리 설정된 상반신 특징점 정보 및 손의 위치 정보 등인 상기 기본 상태 특징점 정보를 추출하는 것이 바람직하다.The information pre-processing unit 100 uses an AI learning model pre-stored in the video image data or still image data of the online class participant to be input, and the preset face of the online class participant included in the moving image data or the still image data. It is preferable to extract the basic state key point information, such as key point information, preset upper body key point information, and hand position information.

이 때, 미리 저장되어 있는 AI 학습 모델은, 사전에 미리 설정된 얼굴 특징점 정보, 미리 설정된 상반신 특징점 정보 및 손의 위치 정보 등이 라벨링 되어 있는 다양한 동영상 이미지 데이터 또는 정영상 이미지 데이터를 학습한 결과에 의한 AI 학습 모델로서, 이를 통해서, 동영상 이미지 데이터 또는 정영상 이미지 데이터에 포함되어 있는 온라인 수업 참여자의 미리 설정된 얼굴 특징점 정보, 미리 설정된 상반신 특징점 정보 및 손의 위치 정보 등을 추출할 수 있다.At this time, the pre-stored AI learning model is AI based on the result of learning various moving image data or still image data in which preset facial feature point information, preset upper body feature point information, and hand position information are labeled. As a learning model, through this, it is possible to extract preset facial feature point information, preset upper body feature point information, and hand position information of online class participants included in moving image data or still image data.

이에 따라, 얼굴 특징점 정보, 상반신 특징점 정보 등은, 학습 모델을 생성하기 위한 학습 데이터에 라벨링되어 있는 정보들을 통해서 변경(추가 또는 삭제 등)할 수 있기 때문에, 이에 대해서 한정하는 것은 아니다.Accordingly, since facial feature point information, upper body feature point information, etc. can be changed (added or deleted, etc.) through information labeled in learning data for generating a learning model, the present invention is not limited thereto.

상기 안면 분석부(200)는 상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보를 이용하여, 참여자의 안면부에 포함되어 있는 미리 설정된 항목의 안면 인식 정보들을 분석하는 것이 바람직하다.It is preferable that the face analysis unit 200 analyzes facial recognition information of preset items included in the participant's face unit by using the basic state feature point information received from the information preprocessing unit 100 .

상세하게는, 상기 안면 분석부(200)는 도 1에 도시된 바와 같이, 일치 분석부(210), 시선 분석부(220) 및 감정 분석부(230)를 포함하여 구성되는 것이 바람직하다.Specifically, as shown in FIG. 1 , the face analysis unit 200 is preferably configured to include a coincidence analysis unit 210 , a gaze analysis unit 220 , and an emotion analysis unit 230 .

상기 일치 분석부(210)는 상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보와 미리 저장되어 있던 해당하는 온라인 수업 참여자의 얼굴 이미지의 특징점 정보를 비교하여, 온라인 수업 참여자의 보다 정확한 신원 데이터를 생성, 다시 말하자면, 등록 참여자 여부를 판단하는 것이 바람직하다.The match analysis unit 210 compares the basic state feature point information received from the information preprocessor 100 with the feature point information of the face image of the corresponding online class participant, which has been stored in advance, to provide a more accurate identity of the online class participant. It is desirable to generate data, that is to say, to determine whether it is a registered participant.

다시 말하자면, 상기 일치 분석부(210)는 사전에 입력된 온라인 수업 참여자의 안면 이미지의 특징점을 상기 정보 전처리부(100)에서 활용한 상기 AI 학습 모델을 이용하여 분석하고, 분석한 상기 특징점 정보와 상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보를 비교 분석하여, 온라인 수업 참여자의 일치 여부를 판단하는 것이 바람직하다.In other words, the coincidence analyzer 210 analyzes the feature points of the facial image of the online class participant input in advance using the AI learning model utilized by the information preprocessing unit 100, and analyzes the feature point information and It is preferable to compare and analyze the basic state feature point information received from the information pre-processing unit 100 to determine whether the online class participants match.

이는, 비대면 상태로 이루어지는 온라인 수업 등의 가장 근본적인 문제이자 손쉽게 발생할 수 있는 문제점인, 대리 출석 등의 문제점을 해결하기 위한 구성이다.This is a configuration for solving problems such as proxy attendance, which are the most fundamental problems such as online classes conducted in a non-face-to-face state, and problems that can easily occur.

물론, 온라인 수업을 청취하는 환경 조건 등 다양한 이유로 인해, 100% 일치 여부를 통해서 등록 참여자 여부를 판단하는 것은 불가능하다. 그렇기 때문에, 상기 일치 분석부(210)는 유사도 분석을 통해서, 분석한 상기 특징점 정보를 기준으로 상기 기본 상태 특징점 정보에 대한 유사도가 소정값 이상인 경우에만, 현재 온라인 수업에 참여하고 있는 온라인 수업 참여자가 미리 등록된 온라인 수업 참여자인 것으로 판단하고, 분석한 상기 특징점 정보를 기준으로 상기 기본 상태 특징점 정보에 대한 유사도가 소정값 미만인 경우에는, 동일한 온라인 수업 참여자로 보지 않고 해당하는 온라인 수업 참여자는 해당하는 온라인 수업에 참석하지 않은 것으로 분석하는 것이 가장 바람직하다. 이를 통해, 종래 안면인식 기술 분야의 고질적인 문제점인 오인식률을 효과적으로 감소시킬 수 있다.Of course, due to various reasons, such as the environmental conditions of listening to online classes, it is impossible to determine whether a registered participant is a 100% match or not. Therefore, through the similarity analysis, the coincidence analysis unit 210 determines that the online class participant currently participating in the online class is selected only when the similarity to the key point information in the basic state is greater than or equal to a predetermined value based on the analyzed key point information. If it is determined that the participant is a pre-registered online class participant, and the degree of similarity to the key point information in the basic state based on the analyzed key point information is less than a predetermined value, the online class participant is not regarded as the same online class participant and the corresponding online class participant It is most desirable to analyze it as not attending class. Through this, it is possible to effectively reduce the misrecognition rate, which is a chronic problem in the conventional face recognition technology field.

이 때, 상기 소정값은 본 발명의 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템을 구성하는 관리자 또는 이를 활용하는 관리자 등에서 설정하는 것이 바람직하며, 의무 교육에 의한 온라인 수업이 아닌, 추가적인 비용이 발생하는 사교육에 의한 온라인 수업의 경우, 상기 소정값을 보다 높게 설정하는 등, 수행되는 온라인 수업에 따라 상이하게 설정할 수도 있다.At this time, the predetermined value is preferably set by an administrator constituting the online class concentration evaluation system through the class behavior pattern analysis of the present invention or an administrator using the same, and an additional cost is incurred rather than an online class by compulsory education. In the case of an online class by private tutoring, the predetermined value may be set to be higher, etc., and may be set differently depending on the online class being performed.

본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통해 온라인 수업 집중도 평가 시스템은, '수업 화면에 시선을 두고 수업을 잘 따라오고 있다는 반응을 보이는 등, 수업에 몰입해 있는 상태 또는 수업에 집중하고자 하는 의미가 있는 상태라고 판단할 수 있는 모든 행동을 참여적 행동'으로 가정하고, '수업 화면에 시선을 두고 집중하는 등의 행동이 아닌 다른 행동 및 움직임을 보임으로써 수업에 완전히 몰입하지 못하는 상태라고 판단할 수 있는 모든 행동을 비참여적 행동'으로 가정하고, 표준화된 집중도 분석을 수행하는 것이 바람직하다. 이를 통해, 정량적 집중도 분석을 수행할 수 있다.The online class concentration evaluation system through the class behavior pattern analysis according to an embodiment of the present invention is a state of being immersed in class or wanting to focus on class Assuming that all actions that can be judged to be meaningful to It is desirable to assume that all judging behaviors are 'nonparticipatory behaviors' and perform standardized concentration analysis. Through this, a quantitative concentration analysis can be performed.

그렇지만, 특정 온라인 수업 참여자의 경우, 온라인 수업이 진행되는 동안, 비참여적 행동으로 분류된 행동을 하고 있으나, 이 후, 학업 성취도 정보 등을 종합적으로 분석한 결과, 특정 온라인 수업 창여자가 '비참여적 행동'으로 취한 행동들이 수업을 집중하는 동안의 행동 패턴일 수 있다.However, in the case of a specific online class participant, while the online class is in progress, the behavior is classified as non-participatory. Actions taken as 'behaviour' may be a behavioral pattern while concentrating in class.

이와 반대로, 특정 온라인 수업 참여자의 경우, 온라인 수업이 진행되는 동안, 꾸준하게 참여적 행동으로 분류된 행동을 하고 있었으나, 이 후, 학업 성취도 정보 등을 종합적으로 분석한 결과, 온라인 수업을 제대로 학습하지 않고 있을 수 있으며, 이 경우, 특정 온라인 수업 참여자가 '참여적 행동'으로 취한 행동들이 수업을 집중하지 않는 동안의 행동 패턴일 수 있다.Conversely, in the case of a specific online class participant, while the online class was in progress, the behavior was consistently classified as participatory. There may be, and in this case, actions taken as 'participatory actions' by a specific online class participant may be behavioral patterns while not concentrating in class.

이에 따라, 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통해 온라인 수업 집중도 평가 시스템은, 이러한 점을 고려하여 온라인 수업이 수행되는 전체의 연속선상에서의 온라인 수업 참여자의 행동 프레임 간의 연관성을 바탕으로 정형화된 학습자 개인별 집중-비집중 패턴 데이터를 생성하고, 생성된 개인 행동 패턴을 기반으로 온라인 수업 집중도를 평가하는 것이 가장 바람직하다. 이를 통해, 개인 별로 커스터마이징된 온라인 수업 집중도 분석 결과를 제공할 수 있게 된다.Accordingly, the online class concentration evaluation system through the class behavior pattern analysis according to an embodiment of the present invention is based on the correlation between the behavioral frames of online class participants on the entire continuum of the online class in consideration of this point. It is most desirable to generate focused-non-concentration pattern data for each learner that is standardized as Through this, it is possible to provide a customized online class concentration analysis result for each individual.

이러한 점을 고려하여, 상기 시선 분석부(220)는 개인 행동 패턴으로 온라인 수업 참여자의 동공위치 인식을 통해 시선 관련 정보를 추출하는 것이 바람직하다.In consideration of this point, it is preferable that the gaze analysis unit 220 extracts gaze-related information through recognition of the pupil position of the online class participant as an individual behavior pattern.

상세하게는, 상기 시선 분석부(220)는 상기 기본 상태 특징점 정보로부터 눈 영역 정보, 코 영역 정보, 얼굴 하관 영역 정보 중 선택되는 어느 하나 이상을 분석, 여기서, 가장 바람직하게는 모든 영역을 포함하여 분석하는 것이지만, 어떤 한 영역의 분석이 어려울 경우, 그 외 2개 영역으로 보완하여 분석을 수행하는 것이 바람직하다.In detail, the gaze analysis unit 220 analyzes any one or more selected from the information on the eye region, the nose region, and the lower face region information from the basic state feature point information, where, most preferably, including all regions However, if it is difficult to analyze one area, it is preferable to perform the analysis by supplementing the other two areas.

분석을 통해서 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 시선 관련 정보를 분석하는 것이 바람직하다.It is desirable to analyze the gaze-related information of online class participants during the online class through analysis.

일 예를 들자면, 눈 영역 정보, 코 영역 정보, 얼굴 하관 영역 정보를 모두 확보할 수 있을 경우, 눈 영역 정보를 이용하여, 동공 좌표 분석을 통해 시선을 추적할 수 있으며, 코 영역 정보를 이용하여, 눈 영역 정보의 분석을 수행하면서 시선을 놓칠 경우는 대비하여 코 끝 방향을 통해 응시하는 방향을 추적 및 보완할 수 있다. 또한, 얼굴 하관 영역 정보(하관 얼굴선 영역 정보)를 이용하여 얼굴 기울기를 검출하여 고개 각도를 추적하여 응시하는 방향을 추적 및 보완할 수 있다. 이를 통해, 사용자가 바라보는 시선에 대한 오차 범위를 좁힘으로써, 보다 디테일한 시선 분석을 수행할 수 있는 장점이 있다.For example, if all eye region information, nose region information, and lower face region information can be secured, the gaze can be tracked through pupil coordinate analysis using the eye region information, and the nose region information can be used to , it is possible to track and supplement the gaze direction through the nose tip direction in case the gaze is missed while performing the analysis of the eye area information. In addition, it is possible to track and supplement the gaze direction by tracking the angle of the head by detecting the inclination of the face using the lower face region information (lower face line region information). Through this, there is an advantage in that a more detailed gaze analysis can be performed by narrowing the error range for the user's gaze.

또한, 손으로 턱을 감싸고 있거나 목도리 착용 등으로 인해, 얼굴 하관 영역 정보의 확보가 어려울 경우, 코 영역 정보를 이용하여, 코 끝 방향을 통해 응시하는 방향을 지속적으로 추적할 수 있으며, 눈 영역 정보를 이용하여, 동공 좌표 분석을 통해 코 끝 방향과 함께 시선을 추적하고, 눈 모양의 수형 및 기울기를 검출하여 고객 각도를 추적할 수 있다. 이를 통해, 안면부의 일부분이 가려질 경우 나타날 수 있는 정확도 하락을 방지할 수 있는 장점이 있다.In addition, if it is difficult to obtain information on the lower part of the face due to covering the chin with a hand or wearing a scarf, it is possible to continuously track the gaze direction through the tip of the nose by using the information on the nose area, and information about the eye area Using , it is possible to track the gaze along with the nose tip direction through pupil coordinate analysis, and to track the angle of the customer by detecting the shape and inclination of the eye shape. Through this, there is an advantage in that it is possible to prevent a decrease in accuracy that may occur when a part of the face is covered.

또한, 썬글라스를 착용하거나, 안경에 빛이 반사되는 경우 또는 앞머리 등으로 인해 눈 영역 정보의 확보가 어려울 경우, 코 영역 정보를 이용하여 코 끝 방향을 통해 응시하는 방향을 지속적으로 추적할 수 있으며, 얼굴 하관 영역 정보를 이용하여, 굴 기울기를 검출하여 고개 각도를 추적하여 응시하는 방향을 추적할 수 있다. In addition, if it is difficult to obtain eye area information when wearing sunglasses, when light is reflected on glasses, or due to bangs, etc., you can use the nose area information to continuously track the gaze direction through the tip of the nose, By using the information on the lower part of the face, it is possible to detect the inclination of the oyster, track the angle of the head, and track the direction in which the eye is gazing.

상기 감정 분석부(230)는 미리 설정된 분석 알고리즘을 이용하여, 상기 기본 상태 특징점 정보를 통한 얼굴 이미지를 기초로, 온라인 수업 참여자의 감정 정보를 분석하는 것이 바람직하다. 특히, 상기 정보 전처리부(100)를 통해서 온라인 수업 참여자의 이미지 데이터가 시계열 순으로 입력되는 만큼, 온라인 수업 참여자의 감정 정보 역시 시계열순으로 분석하여, 감정 변화 정보를 분석하는 것이 가장 바람직하다. 이를 통해, 감정 분석 결과 값과 행동 분석 결과 값의 상관관계 및 연관성을 바탕으로 분석을 수행함으로써, 감정 변화 정보에 따른 행동 분석의 정확도를 높일 수 있는 장점이 있다.Preferably, the emotion analysis unit 230 analyzes the emotion information of the online class participant based on the face image through the basic state feature point information using a preset analysis algorithm. In particular, as the image data of online class participants are inputted in time series through the information preprocessor 100, it is most preferable to analyze emotional change information by also analyzing emotional information of online class participants in time series. Through this, there is an advantage in that the accuracy of the behavior analysis according to the emotion change information can be increased by performing the analysis based on the correlation and correlation between the emotion analysis result value and the behavior analysis result value.

상기 행동 분석부(300)는 상기 안면 분석부(200)를 통해서 분석한 상기 안면 인식 정보들(시선 관련 정보, 감정 변화 정보 등)을 통해서는 들어나지 않은 온라인 수업 참여자의 자세 관련 특징을 추출하는 것이 바람직하다.The behavior analysis unit 300 extracts the posture-related features of the online class participants that are not heard through the facial recognition information (gaze-related information, emotional change information, etc.) analyzed through the facial analysis unit 200. it is preferable

즉, 상기 행동 분석부(300)는 상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보를 이용하여, 참여자의 상반부에 포함되어 있는 미리 설정된 행동 인식 정보들을 분석하는 것이 바람직하다.That is, it is preferable that the behavior analysis unit 300 analyzes preset behavior recognition information included in the upper half of the participant using the basic state feature point information received from the information preprocessing unit 100 .

상세하게는, 상기 행동 분석부(300)는 상기 기본 상태 특징점 정보로부터, 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보 중 선택되는 어느 하나 이상의 분석을 수행하는 것이 바람직하다. 상기 안면 분석부(200)와 마찬가지로, 가장 바람직하게는 모든 영역을 포함하여 분석하는 것이지만, 어떤 한 영역의 분석이 어려울 경우, 그 외 2개 영역으로 보완하여 분석을 수행하는 것이 바람직하다.In detail, it is preferable that the behavior analysis unit 300 analyzes at least one selected from information on a body region, information on an arm region, and information on a shoulder line from the basic state feature point information. Like the facial analysis unit 200, it is most preferable to analyze including all regions, but if it is difficult to analyze any one region, it is preferable to perform the analysis by supplementing the other two regions.

분석을 통해서 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 행동 인식 정보(자세 정보 또는 행동 정보)를 분석하는 것이 바람직하다.It is desirable to analyze the behavior recognition information (posture information or behavior information) of online class participants during the online class through analysis.

일 예를 들자면, 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보를 모두 확보할 수 있는 경우, 몸통 영역 정보를 이용하여, 상반신의 몸통 각도 분석을 통해 몸통의 기울기를 분석할 수 있으며, 팔 영역 정보를 이용하여, 윗팔과 아래팔의 각도, 팔꿈치의 위치, 손가락의 움직임을 분석할 수 있으며, 어깨선 영역 정보를 이용하여, 어깨선의 수평 및 기울기 분석을 통해 몸 방향 및 자세를 분석할 수 있다.For example, if all of the body region information, the arm region information, and the shoulder line region information can be secured, the inclination of the torso can be analyzed by analyzing the torso angle of the upper body using the torso region information, and the arm region information can be used to analyze the angle of the upper and lower arms, the position of the elbow, and the movement of the fingers, and by using the shoulder line region information, the body direction and posture can be analyzed through horizontal and inclination analysis of the shoulder line.

또한, 몸통 영역 정보와 어깨선 영역 만을 확보할 수 있는 경우, 몸통 영역 정보를 이용하여, 상반신의 몸통 각도 분석을 통해 몸통의 기울기를 분석할 수 있으며, 어깨선 영역 정보를 이용하여, 어깨선의 수평 및 기울기 분석을 통해 몸 방향 및 자세를 분석할 수 있다.In addition, when only the body area information and the shoulder line area can be secured, the inclination of the torso can be analyzed through the torso angle analysis of the upper body using the body area information, and the horizontal and inclination of the shoulder line using the shoulder line area information Through analysis, body orientation and posture can be analyzed.

상기 집중도 평가부(400)는 상기 안면 분석부(200)와 행동 분석부(300)에 의한 온라인 수업 참여자의 분석 정보들을 이용하여, 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다.The concentration evaluation unit 400 uses the analysis information of the online class participant by the facial analysis unit 200 and the behavior analysis unit 300 to evaluate the online class concentration of the online class participant while the online class is in progress. It is preferable to analyze

이 때, 상술한 바와 같이, 상기 집중도 평가부(400)는 우선적으로 표준화된 집중도 분석을 수행하는 것이 바람직하다.At this time, as described above, the concentration evaluation unit 400 preferably performs a standardized concentration analysis first.

상세하게는, 상기 집중도 평가부(400)는 상기 시선 분석부(220)에 의해 분석한 온라인 수업 참여자의 상기 시선 관련 정보를 이용하여, 온라인 수업 참여자의 안면의 방향이 온라인 수업이 출력되고 있는 출력수단으로 향하고 있는지 판단(시선이 화면을 향하고 있거나, 코 끝이 화면을 향하고 있음.)하거나, 온라인 수업 강의자의 학습 내용에 따라 고개를 끄덕이는 행동을 하는지 판단(시선이 위-아래로 연속하여 움직이거나, 코 끝이 위-아래로 연속하여 움직임.)하여, 온라인 수업 참여자가 '참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.In detail, the concentration evaluation unit 400 uses the gaze-related information of the online class participant analyzed by the gaze analysis unit 220 to output the facial direction of the online class participant while the online class is being output. Judging whether the person is facing the means (the gaze is directed toward the screen, or the tip of the nose is toward the screen) By moving or moving the tip of the nose continuously up and down.), it is possible to determine that the online class participant is engaging in 'participatory behavior' and perform standardized concentration analysis.

이와 반대로, 상기 집중도 평가부(400)는 상기 시선 분석부(220)에 의한 분석한 온라인 수업 참여자의 상기 시선 관련 정보를 이용하여, 온라인 수업 참여자의 안면의 방향이 온라인 수업이 출력되고 있는 출력수단으로 향하지 않고 있거나(시선이 화면 밖을 향하고 있거나, 코 끝이 화면 밖을 향하고 있음.), 온라인 수업 강의자의 수업이 계속되고 있음에도 불구하고 시선이 한 곳을 응시한 채 움직이지 않을 경우, 온라인 수업 참여자가 '비참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.On the contrary, the concentration evaluation unit 400 uses the gaze-related information of the online class participant analyzed by the gaze analysis unit 220, and the direction of the face of the online class participant is an output means in which the online class is output. If you are not facing towards (the eyes are facing out of the screen, or the tip of your nose is pointing out of the screen), or if the lecturer's eyes are not moving even though the instructor's class is continuing, the online class is It is possible to determine that the participant is engaging in 'nonparticipatory behavior' and perform standardized concentration analysis.

또한, 상기 집중도 평가부(400)는 상기 감정 분석부(230)에 의해 분석한 온라인 수업 참여자의 감정 변화 정보를 이용하여, 온라인 수업 강의자의 수업이 진행되고 있는 동안, 온라인 수업 강의자의 감정이 부정적으로, 일 예를 들자면, 점점 지루해 하는 등, 집중하는 감정과는 거리가 먼 감정으로 변화할 경우, 이를 활용하여 표준화된 집중도 분석을 수행할 수 있다. 이를 통해, 온라인 수업 참여자의 집중도가 낮아지는 시점을 분석할 수 있다.In addition, the concentration evaluation unit 400 uses the emotion change information of the online class participants analyzed by the emotion analysis unit 230, and while the online class lecturer's class is in progress, the online class lecturer's emotions are negative. As an example, when an emotion that is far from a focused emotion, such as getting bored, changes to an emotion, a standardized concentration analysis may be performed using this. Through this, it is possible to analyze the point in time when the concentration level of online class participants decreases.

상기 집중도 평가부(400)는 상기 행동 분석부(300)에 의해 분석한 온라인 수업 참여자의 온라인 수업이 진행되는 동안의 자세 정보 또는 행동 정보를 이용하여, 학습을 위한 활동을 하는지 판단(손가락이 필기도구 등을 잡고 있거나, 한 손 이상이 책상 위로 올라와 있음.)하거나, 손을 들어 온라인 수업 강의자의 동의를 구하고 의견을 발표하기 위한 행동을 파는지 판단(손이 위를 향하고 있거나, 팔을 세워서 들고 있음.)하여, 온라인 수업 참여자가 '참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.The concentration evaluation unit 400 determines whether an activity for learning is performed by using the posture information or behavior information of the online class participant analyzed by the behavior analysis unit 300 while the online class is in progress (finger writing Judging whether holding a tool, etc., or more than one hand resting on the desk), or selling an action to raise an online class instructor's consent and express an opinion (hands facing up, arms raised up) .), it is possible to judge that the online class participant is engaging in 'participatory behavior' and perform standardized concentration analysis.

이와 반대로, 상기 집중도 평가부(400)는 상기 행동 분석부(300)에 의해 분석한 온라인 수업 참여자의 온라인 수업이 진행되는 동안의 자세 정보 또는 행동 정보를 이용하여, 학습에 참여하고 있지 않은지 판단(양쪽 손이 보이지 않거나, 상반신 몸통이 90도 이상 회전하였거나, 어깨선의 기울기가 달라짐.)하거나, 삐딱한 자세를 취하고 있는지 판단(상반신 몸통을 기울여서 의자에 기대로 앉아있음.)하여, 온라인 수업 참여자가 '비참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.Conversely, the concentration evaluation unit 400 determines whether the online class participant is not participating in learning by using the posture information or behavior information during the online class of the online class participant analyzed by the behavior analysis unit 300 ( Both hands are not visible, the upper torso is rotated more than 90 degrees, or the inclination of the shoulder line is different.) Nonparticipatory behavior' can be determined and a standardized concentration analysis can be performed.

이 때, 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템은, 도 1에 도시된 바와 같이, 수업 분석부(500)를 더 포함하여 구성되는 것이 바람직하다.At this time, it is preferable that the online class concentration evaluation system through class behavior pattern analysis according to an embodiment of the present invention further includes a class analysis unit 500 as shown in FIG. 1 .

상기 수업 분석부(500)는 입력되는 온라인 수업 강의자의 소리 데이터를 이용하여, 온라인 수업이 이루어지는 동안 온라인 수업 상태를 시계열 순으로 판단하고, 판단 결과를 상기 집중도 평가부(400)로 전달하는 것이 바람직하다.It is preferable that the class analysis unit 500 determines the online class status in chronological order during the online class by using the input online class lecturer's voice data, and transmits the determination result to the concentration evaluation unit 400 . do.

상기 수업 분석부(500)는 미리 저장된 알고리즘에 상기 소리 데이터를 적용하여, 진행되는 온라인 수업 상태를 수업 시간 또는 쉬는 시간으로 판단하여 분류하는 것이 바람직하다.It is preferable that the class analysis unit 500 applies the sound data to a pre-stored algorithm to classify the ongoing online class by classifying it as a class time or a break time.

상기 집중도 평가부(400)를 상기 수업 분석부(500)의 판단 결과를 이용하여, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다. 이를 통해, 수업 시간이 아닌, 그 외 시간에 대한 불필요한 분석을 감소시킬 수 있는 장점이 있다.It is preferable to analyze the online class concentration evaluation information of the online class participant only when the online class status corresponds to the class time by using the concentration evaluation unit 400 as a result of the determination of the class analysis unit 500 . . Through this, there is an advantage in that unnecessary analysis of time other than class time can be reduced.

즉, 온라인 수업 중 쉬는 시간에는 온라인 수업 참여자의 집중도가 흐트러져서 온라인 수업 습득 정도에 영향을 주지 않을 뿐 아니라, 온라인 수업 집중도 평가의 정확도를 향상시키기 위하여, 상기 수업 분석부(500)의 판단 결과를 이용하여, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다.That is, during a break during the online class, the concentration of the online class participants is disturbed, so that the online class acquisition level is not affected, and in order to improve the accuracy of the online class concentration evaluation, the result of the class analysis unit 500 is analyzed. It is preferable to analyze the online class concentration evaluation information of the online class participants only when the online class status corresponds to the class time.

이를 위해, 상기 수업 분석부(500)는 온라인 수업 강의자의 소리 데이터를 온라인 수업 강의자의 마이크 또는 그 외의 음성 입력수단을 통해 입력받아, 입력받은 상기 소리 데이터를 텍스트 데이터로 변환하게 된다. 변환된 텍스트 데이터를 실제 강의 목표와 비교하여 현재 진행되는 강의를 '수업 시간' 또는 '쉬는 시간'으로 구분하는 것이 바람직하다.To this end, the class analysis unit 500 receives the sound data of the online class lecturer through the microphone or other voice input means of the online class lecturer, and converts the received sound data into text data. By comparing the converted text data with the actual lecture goal, it is desirable to classify the lecture currently in progress into 'class time' or 'break time'.

상세하게는, 상기 수업 분석부(500)는 도 2에 도시된 바와 같이, 입력받은 상기 소리 데이터를 텍스트 데이터로 변환하고, 자연어 처리를 통해서 온라인 수업 내용을 분석하게 된다. 분석한 온라인 수업 내용과 미리 입력된 수업 목표(수업 내용, 수업 계획 등)와의 유사성 분석을 통해서, 유사성이 소정값 이상일 경우, '수업 시간'으로 판단하고, 유사성이 소정값 미만일 경우, '쉬는 시간'으로 구분하는 것이 바람직하다.In detail, as shown in FIG. 2 , the class analysis unit 500 converts the received sound data into text data and analyzes the online class content through natural language processing. Through the analysis of the similarity between the analyzed online class content and the pre-entered class goal (class content, class plan, etc.), if the similarity is greater than a predetermined value, it is judged as 'class time', and if the similarity is less than the predetermined value, the 'break time' It is preferable to separate them by '.

이를 위해, 수업 목표 관련 정보를 입력받는 것이 바람직하며, 강의자의 과거 수업 데이터베이스 및 해당하는 수업 항목 별 말뭉치(텍스트 코퍼스) 데이터베이스화하여, 유사성 분석에 활용하는 것이 바람직하다.For this purpose, it is desirable to receive class goal-related information, and it is desirable to use the lecturer's past class database and a corpus (text corpus) database for each class item to be used for similarity analysis.

수업 항목 별 말뭉치 DB는 수업 항목과 강의자 강의 계획서, 연관있는 논문, 학회자료 등을 통해서 추출하는 것이 바람직하다. 또한, 강의자의 과거 수업 데이터베이스의 경우, 사람마다 고유의 발음이 있을 수 있기 때문에, 이를 고려하기 위하여 활용하는 것이 바람직하다. 이를 통해, 온라인 수업 강의자의 수업 분석시, 발음 등에 따른 오인식을 감소시킬 수 있다.It is desirable to extract the corpus DB for each class item from class items, lecturer syllabus, related thesis, conference materials, etc. In addition, in the case of the lecturer's past class database, since each person may have a unique pronunciation, it is preferable to use it in consideration of this. Through this, it is possible to reduce misrecognition according to pronunciation, etc., when the online class lecturer's class analysis is performed.

이 때, 상기 수업 분석부(500)에 의한 분석 결과를 이용하여 온라인 수업 질을 평가할 수 있어, 해당하는 온라인 수업 강의자의 강의 평가 자료로 활용할 수도 있다.In this case, the quality of the online class may be evaluated using the analysis result by the class analysis unit 500 , and it may be utilized as lecture evaluation data of the corresponding online class lecturer.

이를 통해서, 상기 집중도 평가부(400)는 상기 수업 분석부(500)의 판단 결과를 이용하여, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하되, 상기 표준화된 집중도 분석 결과 정보에, 미리 설정된 알고리즘을 활용하여, 시계열 순에 따른 분석정보들의 패턴 분석을 수행하고 분석한 패턴들 간의 연관성을 반영하여 각각의 온라인 수업 참여자별 온라인 수업 집중도 평가 정보를 분석을 수행하는 것이 바람직하다.Through this, the concentration evaluation unit 400 analyzes the online class concentration evaluation information of the online class participant only when the online class state corresponds to the class time using the determination result of the class analysis unit 500 . , In the standardized concentration analysis result information, by using a preset algorithm, pattern analysis of the analysis information according to the time series is performed, and the correlation between the analyzed patterns is reflected to provide the online class concentration evaluation information for each online class participant. It is desirable to perform the analysis.

상세하게는, 상기 집중도 평가부(400)는 상기 수업 분석부(500)의 판단 결과를 이용하여, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하되, 미리 설정된 알고리즘(패턴 분석 알고리즘 등)을 활용하여, 시계열 순에 따른 상기 표준화된 집중도 분석 결과 정보에 대한 개인별 집중-비집중 패턴 데이터를 생성하고, 생성된 개인 행동 패턴을 기반으로 온라인 수업 집중도를 평가하되, 수치화하여 제공하는 것이 가장 바람직하다.In detail, the concentration evaluation unit 400 analyzes the online class concentration evaluation information of the online class participant only when the online class status corresponds to the class time, using the determination result of the class analysis unit 500 . However, by using a preset algorithm (pattern analysis algorithm, etc.), individual concentration-non-concentration pattern data for the standardized concentration analysis result information according to the time series is generated, and the online class concentration level based on the generated individual behavior pattern However, it is most preferable to provide numerical values.

상기 미리 설정된 알고리즘의 일 예를 들자면, SVM 모델로서, 시계열 순에 따른 상기 표준화된 집중도 분석 결과 정보에 대한 개인별 집중-비집중 패턴 데이터를 생성하게 된다.As an example of the preset algorithm, as an SVM model, individual concentration-non-concentration pattern data for the standardized concentration analysis result information according to a time series is generated.

이를 통해서, 특정 시점을 기준으로 이전의 행동 패턴 프레임과 이후의 행동 패턴 프레임이 전환될 경우, 즉, 시계열 순에 따른 패턴 데이터가 연달아 발생하지 않을 경우, 집중도가 변화한 것으로 분석하는 것이 바람직하다.Through this, when the previous behavior pattern frame and the subsequent behavior pattern frame are switched based on a specific time point, that is, when pattern data according to time series does not occur consecutively, it is preferable to analyze the concentration as a change.

또한, 행동 패턴 프레임이 전환되지만 이전의 행동 패턴 프레밍과 이후의 행동 패턴 프레임이 행동 유지 시간과 정도의 차이는 있지만 두 행동 패턴이 연관성을 가지고 장기간 반복되는 패턴일 경우, 집중도가 유지되고 있는 것으로 분석하는 것이 바람직하다.In addition, although the behavior pattern frame is switched, the concentration is maintained when the previous behavior pattern framing and the subsequent behavior pattern frame have a difference in duration and degree of behavior, but the two behavior patterns are related and repeated for a long time. It is preferable to do

일 예를 들자면, 수업 화면에서 아래 45도 각도의 위치를 계속 응시하고 있다가 자극(펜을 떨어트린다거나, 수업 중 호명되는 등)에 반응하여 수업 화면의 응시 위치가 달라질 경우, 이전 행동(집중도가 낮다)에서 이후 행동(집중도가 높다)으로 전환된 것으로 분석할 수 있다.For example, if the gaze position on the class screen changes in response to a stimulus (dropping a pen, being called in class, etc.) It can be analyzed as a transition from low ) to subsequent behavior (high concentration).

또다른 예를 들자면, 수업 화면을 응시하는 행동 패턴과 필기를 하는 행동 패턴을 연달아 반복적으로 수행할 경우, 이전 행동 패턴(수업에 집중하고 있다고 추측)과 이후 행동 패턴(화면을 보지 않고 있어 집중도가 낮아지고 있다고 추측)으로의 전환이 지속적으로 발생할 경우, 일련의 행동이 집중하고 있는 행동이라고 분석하는 것이 바람직하다.As another example, if the behavior pattern of staring at the class screen and the behavior pattern of taking notes are repeatedly performed in succession, the previous behavior pattern (assuming that the student is concentrating on the class) and the subsequent behavior pattern (the concentration level is decreased because the user is not looking at the screen). If the transition to the lowering) continues to occur, it is desirable to analyze the series of actions as the focused actions.

또한, 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템은, 도 1에 도시된 바와 같이, 상기 집중도 평가부(400)에 의한 각 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값과, 입력되는 온라인 수업 참여자의 해당 수업의 성적 데이터 및 수업 만족도 정보 중 적어도 하나 이상을 이용하여, 각 참여자별 커스터마이징된 학습 가이드라인 정보를 생성하는 학습 추천부(600)를 더 포함하여 구성되는 것이 바람직하다.In addition, in the online class concentration evaluation system through class behavior pattern analysis according to an embodiment of the present invention, as shown in FIG. 1 , the online class concentration evaluation information of each online class participant by the concentration evaluation unit 400 . A learning recommendation unit 600 that generates customized learning guideline information for each participant by using the result of analyzing It is preferably configured to include.

상기 학습 추천부(600)는 생성한 상기 학습 가이드라인 정보는 온라인 수업 참여자에게 제공하여 개인별 적성 진로와 교과의 적합성, 추가적인 가이드라인(자세 교정 등)의 정보를 제공할 수 있을 뿐 아니라, 상기 집중도 평가부(400)로 각 온라인 수업 참여자에 대한 상기 학습 가이드라인 정보를 제공하여, 이 후 이루어지는 온라인 수업 집중도 평가 정보를 분석하는데 활용할 수 있도록 하는 것이 바람직하다. 또한, 온라인 수업 집중도 평가 정보를 분석한 값과 성적 데이터 등을 바탕으로 생성한 온라인 강의 참여자 별 학습 가이드라인을 취합하여 온라인 수업 강의자에게 제공함으로써, 이 후, 진행되는 온라인 수업 운영 및 계획에 이를 활용할 수 있도록 하는 것이 바람직하다.The learning recommendation unit 600 provides the generated learning guideline information to online class participants to provide information on individual aptitude career paths, subject suitability, and additional guidelines (posture correction, etc.), as well as the concentration It is preferable to provide the learning guideline information for each online class participant to the evaluation unit 400 so that it can be utilized to analyze the online class concentration evaluation information made thereafter. In addition, learning guidelines for each online lecture participant created based on the analysis of online class concentration evaluation information and grade data are collected and provided to online class lecturers, which will then be used for online class operation and planning. It is desirable to allow

상세하게는, 상기 학습 추천부(600)는 수치화하여 제공받은 각 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값과 성적 데이터 및 수업 만족도 정보를 통합 분석하여, 온라인 수업 참여자 중 집중도 평가 정보와 성적 데이터가 상반된 결과를 나타낼 경우, 즉, 온라인 수업 집중도 평가 정보를 분석한 결과 값은 수치상으로 집중도가 낮다고 분석되었지만 실제 성적은 높게 나타날 경우, 해당하는 온라인 수업 참여자가 온라인 수업 중 보여준 행동 패턴 데이터가 비참여적 행동이 아닌 참여적 행동일 수 있기 때문에, 이러한 점을 고려하기 위하여 상기 학습 추천부(600)는 상기 집중도 평가부(400)로 각 온라인 수업 참여자에 대한 상기 학습 가이드라인 정보를 제공하여, 이 후 이루어지는 온라인 수업 집중도 평가 정보를 분석하는데 활용할 수 있도록 하는 것이 바람직하다.In detail, the learning recommendation unit 600 integrates and analyzes the result of analyzing the online class concentration evaluation information of each online class participant provided in numerical value, grade data, and class satisfaction information, and provides concentration evaluation information among online class participants. Behavioral pattern data shown by the corresponding online class participant during online class when the result data shows contradictory results, that is, when the result of analyzing the online class concentration evaluation information is numerically low, but the actual grade is high. may be a participatory behavior rather than a non-participatory behavior, in order to consider this point, the learning recommendation unit 600 provides the learning guideline information for each online class participant to the concentration evaluation unit 400, After that, it is desirable to make it usable to analyze the online class concentration evaluation information.

도 3은 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법을 나타낸 순서 예시도이며, 도 3을 참조로 하여 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법을 상세히 설명한다.3 is a flowchart illustrating an online class concentration evaluation method through class behavior pattern analysis according to an embodiment of the present invention, and with reference to FIG. 3, online class behavior pattern analysis according to an embodiment of the present invention The method of class concentration evaluation will be explained in detail.

본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법은 도 3에 도시된 바와 같이, 데이터 입력단계(S100), 특징점 추출단계(S200), 안면 분석단계(S300), 행동 분석단계(S400) 및 집중도 평가단계(S500)를 포함하여 구성되는 것이 바람직하다.As shown in FIG. 3 , the online class concentration evaluation method through class behavior pattern analysis according to an embodiment of the present invention is a data input step (S100), a feature point extraction step (S200), a face analysis step (S300), a behavior It is preferably configured to include the analysis step (S400) and the concentration evaluation step (S500).

각 단계에 대해서 자세히 알아보자면,To learn more about each step,

상기 데이터 입력단계(S100)는 상기 정보 전처리부(100)에서, 각 온라인 수업 별로, 온라인 수업이 진행되는 동안 각각의 온라인 수업 참여자의 동영상 이미지 데이터 또는 정영상 이미지 데이터를 시계열 순으로 입력받는 것이 바람직하다.In the data input step (S100), it is preferable that the information pre-processing unit 100 receives, for each online class, moving image data or still image data of each online class participant in time series order while the online class is in progress. .

상기 동영상 이미지 데이터 또는 정영상 이미지 데이터는 별도의 입력수단을 통해서 입력되는 것이 바람직하며, 일 예를 들자면, 온라인 수업이 출력되는 출력수단에 별도의 웹캠 등의 이미지 데이터 입력수단을 구비하여, 이를 통해서 입력되는 것이 바람직하다. 물론, 출력수단과는 별개의 입력수단 형태로 구성될 수 있기 때문에, 이미지 데이터를 입력하는 수단에 대해서는 한정하는 것은 아니다.Preferably, the moving image data or still image data is inputted through a separate input means. For example, an image data input means such as a webcam is provided in an output means for outputting an online class, and inputted through it. It is preferable to be Of course, since it may be configured in the form of an input means separate from the output means, the means for inputting image data is not limited.

또한, 상기 수업 분석부(500)에서, 각 온라인 수업 별로, 온라인 수업이 이루어지는 동안 온라인 수업 강의자의 소리 데이터를 시계열 순으로 입력받는 것이 바람직하다.In addition, it is preferable that the class analysis unit 500 receives, for each online class, sound data of an online class lecturer during the online class in chronological order.

상기 소리 데이터는 온라인 수업 강의자의 마이크 또는 그 외의 음성 입력수단을 통해 입력하는 것이 바람직하며, 입력하는 수단에 대해서는 한정하는 것은 아니다.The sound data is preferably input through the microphone of the online class lecturer or other voice input means, and the input means is not limited.

상기 특징점 추출단계(S200)는 상기 정보 전처리부(100)에서, 상기 데이터 입력단계(S100)에 의해 입력되는 온라인 수업 참여자의 동영상 이미지 데이터 또는 정영상 이미지 데이터를 미리 저장되어 있는 AI 학습 모델을 이용하여 동영상 이미지 데이터 또는 정영상 이미지 데이터에 포함되어 있는 온라인 수업 참여자의 미리 설정된 얼굴 특징점 정보, 미리 설정된 상반신 특징점 정보 및 손의 위치 정보 등인 상기 기본 상태 특징점 정보를 추출하는 것이 바람직하다.The feature point extraction step (S200) is performed in the information pre-processing unit 100 using an AI learning model in which the moving image data or still image data of the online class participant input by the data input step (S100) is stored in advance. It is preferable to extract the basic state feature point information, such as preset facial feature point information of online class participants, preset upper body feature point information, and hand position information included in moving image data or still image data.

이 때, 미리 저장되어 있는 AI 학습 모델은, 사전에 미리 설정된 얼굴 특징점 정보, 미리 설정된 상반신 특징점 정보 및 손의 위치 정보 등이 라벨링 되어 있는 다양한 동영상 이미지 데이터 또는 정영상 이미지 데이터를 학습한 결과에 의한 AI 학습 모델로서, 이를 통해서, 동영상 이미지 데이터 또는 정영상 이미지 데이터에 포함되어 있는 온라인 수업 참여자의 미리 설정된 얼굴 특징점 정보, 미리 설정된 상반신 특징점 정보 및 손의 위치 정보 등을 추출할 수 있다.At this time, the pre-stored AI learning model is AI based on the result of learning various moving image data or still image data in which preset facial feature point information, preset upper body feature point information, and hand position information are labeled. As a learning model, through this, it is possible to extract preset facial feature point information, preset upper body feature point information, and hand position information of online class participants included in moving image data or still image data.

이에 따라, 얼굴 특징점 정보, 상반신 특징점 정보 등은, 학습 모델을 생성하기 위한 학습 데이터에 라벨링되어 있는 정보들을 통해서 변경(추가 또는 삭제 등)할 수 있기 때문에, 이에 대해서 한정하는 것은 아니다.Accordingly, since facial feature point information, upper body feature point information, etc. can be changed (added or deleted, etc.) through information labeled in learning data for generating a learning model, the present invention is not limited thereto.

또한, 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법은 도 3에 도시된 바와 같이, 수업 상태 판단단계(S110)를 더 포함하여 구성되는 것이 바람직하다.In addition, as shown in FIG. 3 , the online class concentration evaluation method through class behavior pattern analysis according to an embodiment of the present invention is preferably configured to further include a class state determination step ( S110 ).

상기 수업 상태 판단단계(S110)는 상기 수업 분석부(500)에서, 상기 데이터 입력단계(S100)에 의해 입력되는 온라인 수업 강의자의 소리 데이터를 이용하여, 온라인 수업이 이루어지는 동안 온라인 수업 상태를 시계열 순으로 판단하는 것이 발마직하다.In the class state determination step (S110), the class analysis unit 500 uses the online class lecturer's sound data input by the data input step (S100) to determine the online class status during the online class in time series order. It is advisable to judge with

상세하게는, 미리 저장된 알고리즘에 상기 소리 데이터를 적용하여, 진행되는 온라인 수업 상태를 수업 시간 또는 쉬는 시간으로 판단하여 분류하는 것이 바람직하다. 즉, 상기 수업 상태 판단단계(S110)는 입력받은 상기 소리 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 실제 강의 목표와 비교하여 현재 진행되는 강의를 '수업 시간' 또는 '쉬는 시간'으로 구분하는 것이 바람직하다.In detail, it is preferable to apply the sound data to a pre-stored algorithm to classify the ongoing online class by judging it as a class time or a break time. That is, the class state determination step (S110) converts the received sound data into text data, compares the converted text data with the actual lecture goal, and divides the currently ongoing lecture into 'class time' or 'break time' It is preferable to do

이를 위해, 상기 수업 상태 판단단계(S110)는 입력받은 상기 소리 데이터를 텍스트 데이터로 변환하고, 자연어 처리를 통해서 온라인 수업 내용을 분석하게 된다. 분석한 온라인 수업 내용과 미리 입력된 수업 목표(수업 내용, 수업 계획 등)와의 유사성 분석을 통해서, 유사성이 소정값 이상일 경우, '수업 시간'으로 판단하고, 유사성이 소정값 미만일 경우, '쉬는 시간'으로 구분하는 것이 바람직하다.To this end, the class state determination step S110 converts the received sound data into text data, and analyzes the online class content through natural language processing. Through the analysis of the similarity between the analyzed online class content and the pre-entered class goal (class content, class plan, etc.), if the similarity is greater than a predetermined value, it is judged as 'class time', and if the similarity is less than the predetermined value, the 'break time' It is preferable to separate them by '.

이를 위해, 수업 목표 관련 정보를 입력받는 것이 바람직하며, 강의자의 과거 수업 데이터베이스 및 해당하는 수업 항목 별 말뭉치(텍스트 코퍼스) 데이터베이스화하여, 유사성 분석에 활용하는 것이 바람직하다.For this purpose, it is desirable to receive class goal-related information, and it is desirable to use the lecturer's past class database and a corpus (text corpus) database for each class item to be used for similarity analysis.

수업 항목 별 말뭉치 DB는 강의자 강의 계획서, 수업 항목과 연관있는 논문, 학회자료 등을 통해서 추출하는 것이 바람직하다. 또한, 강의자의 과거 수업 데이터베이스의 경우, 사람마다 고유의 발음이 있을 수 있기 때문에, 이를 고려하기 위하여 활용하는 것이 바람직하다. 이를 통해, 기존 음성인식 서비스에서 제기되고 있는 발음 등에 따른 단어 오인식 등의 오류를 완화하고, 수업과 관련성 높은 데이터만을 정제하여 효과적인 분석을 수행할 수 있다.It is desirable to extract the corpus DB for each class item from the lecturer's syllabus, thesis related to the class item, and conference data. In addition, in the case of the lecturer's past class database, since each person may have a unique pronunciation, it is preferable to use it in consideration of this. Through this, it is possible to alleviate errors such as word misrecognition due to pronunciation, etc. raised in the existing voice recognition service, and to perform effective analysis by refining only data highly relevant to the class.

이 때, 상기 수업 상태 판단단계(S110)에 의한 분석 결과를 이용하여 온라인 수업 질을 평가할 수 있어, 해당하는 온라인 수업 강의자의 강의 평가 자료로 활용할 수도 있다.At this time, the online class quality can be evaluated using the analysis result by the class state determination step (S110), and thus the online class quality can be used as lecture evaluation data of the corresponding online class lecturer.

상기 집중도 평가단계(S500)는 상기 수업 상태 판단단계(S110))의 판단 결과를 이용하여, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다.The concentration evaluation step (S500) is to analyze the online class concentration evaluation information of online class participants only when the online class status corresponds to the class time using the determination result of the class status determination step (S110)). desirable.

즉, 온라인 수업 중 쉬는 시간에는 온라인 수업 참여자의 집중도가 흐트러져서 온라인 수업 습득 정도에 영향을 주지 않을 뿐 아니라, 온라인 수업 집중도 평가의 정확도를 향상시키기 위하여, 상기 수업 분석부(500)의 판단 결과를 이용하여, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다.That is, during a break during the online class, the concentration of the online class participants is disturbed, so that the online class acquisition level is not affected, and in order to improve the accuracy of the online class concentration evaluation, the result of the class analysis unit 500 is analyzed. It is preferable to analyze the online class concentration evaluation information of the online class participants only when the online class status corresponds to the class time.

상기 집중도 평가단계(S500)는 '수업 화면에 시선을 두고 수업을 잘 따라오고 있다는 반응을 보이는 등, 수업에 몰입해 있는 상태 또는 수업에 집중하고자 하는 의미가 있는 상태라고 판단할 수 있는 모든 행동을 참여적 행동'으로 가정하고, '수업 화면에 시선을 두고 집중하는 등의 행동이 아닌 다른 행동 및 움직임을 보임으로써 수업에 완전히 몰입하지 못하는 상태라고 판단할 수 있는 모든 행동을 비참여적 행동'으로 가정하고, 표준화된 집중도 분석을 수행하는 것이 바람직하다. 이와 같이, 참여-비참여 행동 분류를 통해 보다 정형화된 데이터 분석을 수행할 수 있다.In the concentration evaluation step (S500), all actions that can be determined to be a state of being immersed in class or a state of meaning to concentrate 'Participatory behavior' and 'nonparticipatory behavior' is assumed to be 'nonparticipatory behavior' and it is preferable to perform a standardized concentration analysis. In this way, more standardized data analysis can be performed through the participation-non-participation behavior classification.

그렇지만, 특정 온라인 수업 참여자의 경우, 온라인 수업이 진행되는 동안, 비참여적 행동으로 분류된 행동을 하고 있으나, 이 후, 학업 성취도 정보 등을 종합적으로 분석한 결과, 특정 온라인 수업 창여자가 '비참여적 행동'으로 취한 행동들이 수업을 집중하는 동안의 행동 패턴일 수 있다.However, in the case of a specific online class participant, while the online class is in progress, the behavior is classified as non-participatory. Actions taken as 'behaviour' may be a behavioral pattern while concentrating in class.

이와 반대로, 특정 온라인 수업 참여자의 경우, 온라인 수업이 진행되는 동안, 꾸준하게 참여적 행동으로 분류된 행동을 하고 있었으나, 이 후, 학업 성취도 정보 등을 종합적으로 분석한 결과, 온라인 수업을 제대로 학습하지 않고 있을 수 있으며, 이 경우, 특정 온라인 수업 참여자가 '참여적 행동'으로 취한 행동들이 수업을 집중하지 않는 동안의 행동 패턴일 수 있다.Conversely, in the case of a specific online class participant, while the online class was in progress, the behavior was consistently classified as participatory. There may be, and in this case, actions taken as 'participatory actions' by a specific online class participant may be behavioral patterns while not concentrating in class.

이에 따라, 본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통핸 온라인 수업 집중도 평가 방법은, 이러한 점을 고려하여 온라인 수업이 수행되는 전체의 연속선상에서의 온라인 수업 참여자의 행동 프레임 간의 연관성을 바탕으로 정형화된 학습자 개인별 집중-비집중 패턴 데이터를 생성하고, 생성된 개인 행동 패턴을 기반으로 온라인 수업 집중도를 평가하는 것이 가장 바람직하며, 상기 집중도 평가단계(S500)에 대해서는 자세히 후술하도록 한다.Accordingly, the online class concentration evaluation method through the class behavior pattern analysis according to an embodiment of the present invention is based on the correlation between the behavioral frames of online class participants on the entire continuum of the online class in consideration of this point. It is most preferable to generate concentration-non-concentration pattern data for each individual learner that is standardized as , and evaluate the online class concentration based on the generated individual behavior pattern, and the concentration evaluation step (S500) will be described in detail later.

상기 안면 분석단계(S300)는 상기 안면 분석부(200)에서, 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 안면부에 포함되어 있는 미리 설정된 항목의 안면 인식 정보들을 분석하는 것이 바람직하다. 이와 같이, 미리 설정해 둔 항목을 활용함으로써, 처리 성능을 향상시킬 수 있다.In the face analysis step (S300), the facial analysis unit 200, using the basic state feature point information extracted by the feature point extraction step (S200), facial recognition information of a preset item included in the participant's face part It is desirable to analyze them. In this way, processing performance can be improved by utilizing previously set items.

상세하게는, 상기 안면 분석단계(S300)는 도 3에 도시된 바와 같이, 제1 분석단계(S310)와 제2 분석단계(S320)를 포함하여 구성되는 것이 바람직하다. 이와 같이, 안면 분석을 수행하는 과정을 2단계로 분류함으로써, 한 영역에 기능이 밀집되는 것을 방지하여 프로세스 처리 속도를 향상시킬 수 있다.In detail, the facial analysis step (S300) is preferably configured to include a first analysis step (S310) and a second analysis step (S320), as shown in FIG. 3 . As described above, by classifying the process of performing the facial analysis into two steps, it is possible to prevent the functions from being concentrated in one area, thereby improving the processing speed of the process.

이 때, 상기 안면 분석단계(S300)는 상기 제1 분석단계(S310)와 제2 분석단계(S320)를 수행하기 앞서서, 상기 기본 상태 특징점 정보와 미리 저장되어 있던 해당하는 온라인 수업 참여자의 얼굴 이미지의 특징점 정보를 비교하여, 온라인 수업 참여자의 신원 데이터를 생성, 다시 말하자면, 등록 참여자 여부를 판단하는 것이 바람직하다. 사전에 입력된 온라인 수업 참여자의 안면 이미지의 특징점을 상기 AI 학습 모델을 이용하여 분석하고, 분석한 상기 특징점 정보와 상기 기본 상태 특징점 정보를 비교 분석하여, 온라인 수업 참여자의 일치 여부를 판단하는 것이 바람직하다.At this time, in the face analysis step (S300), before performing the first analysis step (S310) and the second analysis step (S320), the basic state feature point information and the pre-stored face image of the online class participant By comparing the characteristic point information of , it is desirable to generate the identity data of the online class participant, that is, to determine whether the participant is a registered participant. It is preferable to analyze the feature point of the facial image of the online class participant input in advance using the AI learning model, and compare and analyze the analyzed feature point information and the basic state feature point information to determine whether the online class participant is the same. do.

이는, 비대면 상태로 이루어지는 온라인 수업 등의 가장 근본적인 문제이자 손쉽게 발생할 수 있는 문제점인, 대리 출석 등의 문제점을 해결하기 위한 구성이다.This is a configuration for solving problems such as proxy attendance, which are the most fundamental problems such as online classes conducted in a non-face-to-face state, and problems that can easily occur.

물론, 온라인 수업을 청취하는 환경 조건 등 다양한 이유로 인해, 100% 일치 여부를 통해서 등록 참여자 여부를 판단하는 것은 불가능하다. 그렇기 때문에, 유사도 분석을 통해서, 분석한 상기 특징점 정보를 기준으로 상기 기본 상태 특징점 정보에 대한 유사도가 소정값 이상인 경우에만, 현재 온라인 수업에 참여하고 있는 온라인 수업 참여자가 미리 등록된 온라인 수업 참여자인 것으로 판단하고, 분석한 상기 특징점 정보를 기준으로 상기 기본 상태 특징점 정보에 대한 유사도가 소정값 미만인 경우에는, 동일한 온라인 수업 참여자로 보지 않고 해당하는 온라인 수업 참여자는 해당하는 온라인 수업에 참석하지 않은 것으로 분석하는 것이 가장 바람직하다.Of course, due to various reasons, such as the environmental conditions of listening to online classes, it is impossible to determine whether a registered participant is a 100% match or not. Therefore, through the similarity analysis, the online class participant currently participating in the online class is deemed to be a pre-registered online class participant only when the similarity to the basic state feature point information based on the analyzed feature point information is equal to or greater than a predetermined value. If the degree of similarity to the basic state key point information is less than a predetermined value based on the determined and analyzed key point information, it is not regarded as the same online class participant and the corresponding online class participant is analyzed as not attending the corresponding online class it is most preferable

이 때, 상기 소정값은 본 발명의 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템을 구성하는 관리자 또는 이를 활용하는 관리자 등에서 설정하는 것이 바람직하며, 의무 교육에 의한 온라인 수업이 아닌, 추가적인 비용이 발생하는 사교육에 의한 온라인 수업의 경우, 상기 소정값을 보다 높게 설정하는 등, 수행되는 온라인 수업에 따라 상이하게 설정할 수도 있다.At this time, the predetermined value is preferably set by an administrator constituting the online class concentration evaluation system through the class behavior pattern analysis of the present invention or an administrator using the same, and an additional cost is incurred rather than an online class by compulsory education. In the case of an online class by private tutoring, the predetermined value may be set to be higher, etc., and may be set differently depending on the online class being performed.

상기 제1 분석단계(S310)는 개인 행동 패턴으로 온라인 수업 참여자의 동공위치 인식을 통해 시선 관련 정보를 추출하는 것이 바람직하다.In the first analysis step (S310), it is preferable to extract gaze-related information through recognition of the pupil position of the online class participant as an individual behavior pattern.

상세하게는, 상기 제1 분석단계(S310)는 상기 기본 상태 특징점 정보로부터 눈 영역 정보, 코 영역 정보, 얼굴 하관 영역 정보 중 선택되는 어느 하나 이상을 분석, 여기서, 가장 바람직하게는 모든 영역을 포함하여 분석하는 것이지만, 어떤 한 영역의 분석이 어려울 경우, 그 외 2개 영역으로 보완하여 분석을 수행하는 것이 바람직하다.In detail, the first analysis step (S310) analyzes any one or more selected from the basic state feature point information, eye region information, nose region information, and lower face region information, where, most preferably, all regions are included. However, if it is difficult to analyze one area, it is preferable to perform the analysis by supplementing the other two areas.

분석을 통해서 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 시선 관련 정보를 분석하는 것이 바람직하다.It is desirable to analyze the gaze-related information of online class participants during the online class through analysis.

일 예를 들자면, 눈 영역 정보, 코 영역 정보, 얼굴 하관 영역 정보를 모두 확보할 수 있을 경우, 눈 영역 정보를 이용하여, 동공 좌표 분석을 통해 시선을 추적할 수 있으며, 코 영역 정보를 이용하여, 눈 영역 정보의 분석을 수행하면서 시선을 놓칠 경우는 대비하여 코 끝 방향을 통해 응시하는 방향을 추적 및 보완할 수 있다. 또한, 얼굴 하관 영역 정보(하관 얼굴선 영역 정보)를 이용하여 얼굴 기울기를 검출하여 고개 각도를 추적하여 응시하는 방향을 추적 및 보완할 수 있다.For example, if all eye region information, nose region information, and lower face region information can be secured, the gaze can be tracked through pupil coordinate analysis using the eye region information, and the nose region information can be used to , it is possible to track and supplement the gaze direction through the nose tip direction in case the gaze is missed while performing the analysis of the eye area information. In addition, it is possible to track and supplement the gaze direction by tracking the angle of the head by detecting the inclination of the face using the lower face region information (lower face line region information).

또한, 손으로 턱을 감싸고 있거나 목도리 착용 등으로 인해, 얼굴 하관 영역 정보의 확보가 어려울 경우, 코 영역 정보를 이용하여, 코 끝 방향을 통해 응시하는 방향을 지속적으로 추적할 수 있으며, 눈 영역 정보를 이용하여, 동공 좌표 분석을 통해 코 끝 방향과 함께 시선을 추적하고, 눈 모양의 수형 및 기울기를 검출하여 고객 각도를 추적할 수 있다. 또한, 일부 영역이 가려진 상태에서도 시선 예측을 수행할 수 있다.In addition, if it is difficult to obtain information on the lower part of the face due to covering the chin with a hand or wearing a scarf, it is possible to continuously track the gaze direction through the tip of the nose by using the information on the nose area, and information about the eye area Using , it is possible to track the gaze along with the nose tip direction through pupil coordinate analysis, and to track the angle of the customer by detecting the shape and inclination of the eye shape. Also, gaze prediction may be performed even in a state in which a partial area is covered.

또한, 썬글라스를 착용하거나, 안경에 빛이 반사되는 경우 또는 앞머리 등으로 인해 눈 영역 정보의 확보가 어려울 경우, 코 영역 정보를 이용하여 코 끝 방향을 통해 응시하는 방향을 지속적으로 추적할 수 있으며, 얼굴 하관 영역 정보를 이용하여, 굴 기울기를 검출하여 고개 각도를 추적하여 응시하는 방향을 추적할 수 있다.In addition, if it is difficult to obtain eye area information when wearing sunglasses, when light is reflected on glasses, or due to bangs, etc., you can use the nose area information to continuously track the gaze direction through the tip of the nose, By using the information on the lower part of the face, it is possible to detect the inclination of the oyster, track the angle of the head, and track the direction in which the eye is gazing.

상기 제2 분석단계(S320)는 미리 설정된 분석 알고리즘을 이용하여, 상기 기본 상태 특징점 정보를 통한 얼굴 이미지를 기초로, 온라인 수업 참여자의 감정 정보를 분석하는 것이 바람직하다. 특히, 상기 데이터 입력단계(S100)에 의해 온라인 수업 참여자의 이미지 데이터가 시계열 순으로 입력되는 만큼, 온라인 수업 참여자의 감정 정보 역시 시계열순으로 분석하여, 감정 변화 정보를 분석하는 것이 가장 바람직하다.In the second analysis step (S320), it is preferable to analyze the emotional information of the online class participant based on the face image through the basic state feature point information using a preset analysis algorithm. In particular, as the image data of the online class participants are input in time series by the data input step ( S100 ), it is most preferable to analyze the emotion change information by also analyzing the emotional information of the online class participants in the time series.

상기 행동 분석단계(S400)는 상기 행동 분석부(300)에서, 상기 안면 분석단계(S300)를 통해서 분석한 상기 안면 인식 정보들(시선 관련 정보, 감정 변화 정보 등)을 통해서는 들어나지 않은 온라인 수업 참여자의 자세 관련 특징을 추출하는 것이 바람직하다.The behavior analysis step (S400) is online that is not heard through the facial recognition information (gaze-related information, emotion change information, etc.) analyzed through the facial analysis step (S300) in the behavior analysis unit 300 It is desirable to extract the posture-related features of class participants.

즉, 상기 행동 분석단계(S400)는 전달받은 상기 기본 상태 특징점 정보를 이용하여, 참여자의 상반부에 포함되어 있는 미리 설정된 행동 인식 정보들을 분석하는 것이 바람직하다.That is, in the behavior analysis step ( S400 ), it is preferable to analyze the preset behavior recognition information included in the upper half of the participant using the received basic state feature point information.

상세하게는, 상기 기본 상태 특징점 정보로부터, 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보 중 선택되는 어느 하나 이상의 분석을 수행하는 것이 바람직하다. 상기 안면 분석부(200)와 마찬가지로, 가장 바람직하게는 모든 영역을 포함하여 분석하는 것이지만, 어떤 한 영역의 분석이 어려울 경우, 그 외 2개 영역으로 보완하여 분석을 수행하는 것이 바람직하다.In detail, it is preferable to analyze at least one selected from information on the body region, information on the arm region, and information on the shoulder line from the basic state feature point information. Like the facial analysis unit 200, it is most preferable to analyze including all regions, but if it is difficult to analyze any one region, it is preferable to perform the analysis by supplementing the other two regions.

분석을 통해서 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 행동 인식 정보(자세 정보 또는 행동 정보)를 분석하는 것이 바람직하다.It is desirable to analyze the behavior recognition information (posture information or behavior information) of online class participants during the online class through analysis.

일 예를 들자면, 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보를 모두 확보할 수 있는 경우, 몸통 영역 정보를 이용하여, 상반신의 몸통 각도 분석을 통해 몸통의 기울기를 분석할 수 있으며, 팔 영역 정보를 이용하여, 윗팔과 아래팔의 각도, 팔꿈치의 위치, 손가락의 움직임을 분석할 수 있으며, 어깨선 영역 정보를 이용하여, 어깨선의 수평 및 기울기 분석을 통해 몸 방향 및 자세를 분석할 수 있다.For example, if all of the body region information, the arm region information, and the shoulder line region information can be secured, the inclination of the torso can be analyzed by analyzing the torso angle of the upper body using the torso region information, and the arm region information can be used to analyze the angle of the upper and lower arms, the position of the elbow, and the movement of the fingers, and by using the shoulder line region information, the body direction and posture can be analyzed through horizontal and inclination analysis of the shoulder line.

또한, 몸통 영역 정보와 어깨선 영역 만을 확보할 수 있는 경우, 몸통 영역 정보를 이용하여, 상반신의 몸통 각도 분석을 통해 몸통의 기울기를 분석할 수 있으며, 어깨선 영역 정보를 이용하여, 어깨선의 수평 및 기울기 분석을 통해 몸 방향 및 자세를 분석할 수 있다.In addition, when only the body area information and the shoulder line area can be secured, the inclination of the torso can be analyzed through the torso angle analysis of the upper body using the body area information, and the horizontal and inclination of the shoulder line using the shoulder line area information Through analysis, body orientation and posture can be analyzed.

상기 집중도 평가단계(S500)는 상기 집중도 평가부(400)에서, 상기 안면 분석단계(S300) 및 행동 분석단계(S400)에 의해 분석한 온라인 수업 참여자의 분석 정보들을 이용하여, 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것이 바람직하다.In the concentration evaluation step (S500), the online class is conducted using the analysis information of the online class participants analyzed by the facial analysis step (S300) and the behavior analysis step (S400) in the concentration evaluation unit 400 It is desirable to analyze the online class concentration evaluation information of online class participants during the course of the online class.

이 때, 상술한 바와 같이, 상기 집중도 평가단계(S500)는 우선적으로 표준화된 집중도 분석을 수행하는 것이 바람직하다.At this time, as described above, in the concentration evaluation step ( S500 ), it is preferable to first perform a standardized concentration analysis.

상세하게는, 상기 집중도 평가단계(S500)는 분석한 온라인 수업 참여자의 상기 시선 관련 정보를 이용하여, 온라인 수업 참여자의 안면의 방향이 온라인 수업이 출력되고 있는 출력수단으로 향하고 있는지 판단(시선이 화면을 향하고 있거나, 코 끝이 화면을 향하고 있음.)하거나, 온라인 수업 강의자의 학습 내용에 따라 고개를 끄덕이는 행동을 하는지 판단(시선이 위-아래로 연속하여 움직이거나, 코 끝이 위-아래로 연속하여 움직임.)하여, 온라인 수업 참여자가 '참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.In detail, in the concentration evaluation step (S500), using the analyzed gaze-related information of the online class participant, it is determined whether the face of the online class participant is facing the output means where the online class is being output (the gaze is on the screen) , or the tip of the nose is facing the screen), or whether the person is nodding according to the content of the lecturer's learning in the online class moves continuously.), it is determined that the online class participant is engaging in 'participatory behavior', and a standardized concentration analysis can be performed.

이와 반대로, 분석한 온라인 수업 참여자의 상기 시선 관련 정보를 이용하여, 온라인 수업 참여자의 안면의 방향이 온라인 수업이 출력되고 있는 출력수단으로 향하지 않고 있거나(시선이 화면 밖을 향하고 있거나, 코 끝이 화면 밖을 향하고 있음.), 온라인 수업 강의자의 수업이 계속되고 있음에도 불구하고 시선이 한 곳을 응시한 채 움직이지 않을 경우, 온라인 수업 참여자가 '비참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.Conversely, by using the analyzed gaze-related information of the online class participant, the direction of the face of the online class participant is not toward the output means where the online class is being output (the gaze is facing out of the screen, or the tip of the nose is on the screen) If the online class lecturer's eyes do not move even though the class is continuing, it is judged that the online class participant is engaging in 'nonparticipatory behavior' and standardized concentration analysis can be performed.

또한, 분석한 온라인 수업 참여자의 감정 변화 정보를 이용하여, 온라인 수업 강의자의 수업이 진행되고 있는 동안, 온라인 수업 강의자의 감정이 부정적으로, 일 예를 들자면, 점점 지루해 하는 등, 집중하는 감정과는 거리가 먼 감정으로 변화할 경우, 이를 활용하여 표준화된 집중도 분석을 수행할 수 있다.In addition, using the analyzed emotional change information of online class participants, while the online class lecturer's class is in progress, the online class lecturer's emotions are negative, for example, they are getting bored. When it changes to a distant emotion, it can be used to perform standardized concentration analysis.

더불어, 분석한 온라인 수업 참여자의 온라인 수업이 진행되는 동안의 자세 정보 또는 행동 정보를 이용하여, 학습을 위한 활동을 하는지 판단(손가락이 필기도구 등을 잡고 있거나, 한 손 이상이 책상 위로 올라와 있음.)하거나, 손을 들어 온라인 수업 강의자의 동의를 구하고 의견을 발표하기 위한 행동을 파는지 판단(손이 위를 향하고 있거나, 팔을 세워서 들고 있음.)하여, 온라인 수업 참여자가 '참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.In addition, the analyzed online class participant's posture information or behavioral information during the online class is used to determine whether the activity is for learning (a finger is holding a writing implement, or more than one hand is on the desk. ) or raise their hands to ask for the consent of the online class lecturer and to sell behaviors to express their opinions (hands facing upwards or holding arms upright), online class participants engage in 'participatory behaviors' and It can be determined that there is, and a standardized concentration analysis can be performed.

이와 반대로, 분석한 온라인 수업 참여자의 온라인 수업이 진행되는 동안의 자세 정보 또는 행동 정보를 이용하여, 학습에 참여하고 있지 않은지 판단(양쪽 손이 보이지 않거나, 상반신 몸통이 90도 이상 회전하였거나, 어깨선의 기울기가 달라짐.)하거나, 삐딱한 자세를 취하고 있는지 판단(상반신 몸통을 기울여서 의자에 기대로 앉아있음.)하여, 온라인 수업 참여자가 '비참여적 행동'을 하고 있는 것으로 판단하고 표준화된 집중도 분석을 수행할 수 있다.Conversely, the analyzed online class participant's posture information or behavioral information during the online class is used to determine whether they are participating in learning (both hands are not visible, the upper body is rotated more than 90 degrees, or the shoulder line The inclination is different.) or is in a crooked posture (sitting leaning on a chair with the upper torso tilted), it is determined that the online class participant is engaging in 'nonparticipatory behavior' and a standardized concentration analysis can be performed. can

이를 통해, 상기 집중도 평가단계(S500)는 상술한 바와 같이, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하되, 상기 표준화된 집중도 분석 결과 정보에, 미리 설정된 알고리즘을 활용하여, 시계열 순에 따른 분석정보들의 패턴 분석을 수행하고 분석한 패턴들 간의 연관성을 반영하여 각각의 온라인 수업 참여자별 온라인 수업 집중도 평가 정보를 분석을 수행하는 것이 바람직하다.Through this, the concentration evaluation step (S500), as described above, analyzes the online class concentration evaluation information of the online class participant only when the online class status corresponds to the class time, but is based on the standardized concentration analysis result information. , it is desirable to analyze the online class concentration evaluation information for each online class participant by performing a pattern analysis of the analysis information according to the time series by using a preset algorithm, and reflecting the correlation between the analyzed patterns.

즉, 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석하되, 미리 설정된 알고리즘(패턴 분석 알고리즘 등)을 활용하여, 시계열 순에 따른 상기 표준화된 집중도 분석 결과 정보에 대한 개인별 집중-비집중 패턴 데이터를 생성하고, 생성된 개인 행동 패턴을 기반으로 온라인 수업 집중도를 평가하되, 수치화하여 제공하는 것이 가장 바람직하다.That is, only when the online class status corresponds to the class time, the online class concentration evaluation information of the online class participants is analyzed, and the standardized concentration analysis according to the time series by using a preset algorithm (pattern analysis algorithm, etc.) It is most desirable to generate individual concentration-non-concentration pattern data for the result information, evaluate the concentration level of online class based on the generated individual behavior pattern, and provide it numerically.

상기 미리 설정된 알고리즘의 일 예를 들자면, SVM 모델로서, 시계열 순에 따른 상기 표준화된 집중도 분석 결과 정보에 대한 개인별 집중-비집중 패턴 데이터를 생성하게 된다.As an example of the preset algorithm, as an SVM model, individual concentration-non-concentration pattern data for the standardized concentration analysis result information according to a time series is generated.

이를 통해서, 특정 시점을 기준으로 이전의 행동 패턴 프레임과 이후의 행동 패턴 프레임이 전환될 경우, 즉, 시계열 순에 따른 패턴 데이터가 연달아 발생하지 않을 경우, 집중도가 변화한 것으로 분석하는 것이 바람직하다.Through this, when the previous behavior pattern frame and the subsequent behavior pattern frame are switched based on a specific time point, that is, when pattern data according to time series does not occur consecutively, it is preferable to analyze the concentration as a change.

또한, 행동 패턴 프레임이 전환되지만 이전의 행동 패턴 프레밍과 이후의 행동 패턴 프레임이 행동 유지 시간과 정도의 차이는 있지만 두 행동 패턴이 연관성을 가지고 장기간 반복되는 패턴일 경우, 집중도가 유지되고 있는 것으로 분석하는 것이 바람직하다.In addition, although the behavior pattern frame is switched, the concentration is maintained when the previous behavior pattern framing and the subsequent behavior pattern frame have a difference in duration and degree of behavior, but the two behavior patterns are related and repeated for a long time. It is preferable to do

일 예를 들자면, 수업 화면에서 아래 45도 각도의 위치를 계속 응시하고 있다가 자극(펜을 떨어트린다거나, 수업 중 호명되는 등)에 반응하여 수업 화면의 응시 위치가 달라질 경우, 이전 행동(집중도가 낮다)에서 이후 행동(집중도가 높다)으로 전환된 것으로 분석할 수 있다.For example, if the gaze position on the class screen changes in response to a stimulus (dropping a pen, being called in class, etc.) It can be analyzed as a transition from low ) to subsequent behavior (high concentration).

또다른 예를 들자면, 수업 화면을 응시하는 행동 패턴과 필기를 하는 행동 패턴을 연달아 반복적으로 수행할 경우, 이전 행동 패턴(수업에 집중하고 있다고 추측)과 이후 행동 패턴(화면을 보지 않고 있어 집중도가 낮아지고 있다고 추측)으로의 전환이 지속적으로 발생할 경우, 일련의 행동이 집중하고 있는 행동이라고 분석하는 것이 바람직하다.As another example, if the behavior pattern of staring at the class screen and the behavior pattern of taking notes are repeatedly performed in succession, the previous behavior pattern (assuming that the student is concentrating on the class) and the subsequent behavior pattern (the concentration level is decreased because the user is not looking at the screen). If the transition to the lowering) continues to occur, it is desirable to analyze the series of actions as the focused actions.

본 발명의 일 실시예에 따른 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법은, 도 3에 도시된 바와 같이, 상기 집중도 평가단계(S500)를 수행하고 난 후, 학습 추천단계(S600)를 더 포함하여 구성되는 것이 바람직하다.In the online class concentration evaluation method through class behavior pattern analysis according to an embodiment of the present invention, as shown in FIG. 3 , after performing the concentration evaluation step ( S500 ), the learning recommendation step ( S600 ) is further performed It is preferably configured to include.

상기 학습 추천단계(S600)는 상기 학습 추천부(600)에서, 상기 집중도 평가단계(S500)에 의한 각 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값과, 입력되는 온라인 수업 참여자의 해당 수업의 성적 데이터 및 수업 만족도 정보 중 적어도 하나 이상을 이용하여, 각 참여자별 커스터마이징된 학습 가이드라인 정보를 생성하는 것이 바람직하다.In the learning recommendation step (S600), the learning recommendation unit (600) analyzes the online class concentration evaluation information of each online class participant by the concentration evaluation step (S500), and the result value of the input online class participant It is preferable to generate customized learning guideline information for each participant by using at least one of class grade data and class satisfaction information.

상기 학습 추천단계(S600)는 생성한 상기 학습 가이드라인 정보는 온라인 수업 참여자에게 제공하여 개인별 적성 진로와 교과의 적합성, 추가적인 가이드라인(자세 교정 등)의 정보를 제공할 수 있을 뿐 아니라, 상기 집중도 평가단계(S500))로 각 온라인 수업 참여자에 대한 상기 학습 가이드라인 정보를 제공하여, 이 후 이루어지는 온라인 수업 집중도 평가 정보를 분석하는데 활용할 수 있도록 하는 것이 바람직하다.In the learning recommendation step (S600), the generated learning guideline information is provided to online class participants to provide information on individual aptitude career paths, subject suitability, and additional guidelines (posture correction, etc.), as well as the concentration It is preferable to provide the learning guideline information for each online class participant in the evaluation step (S500)) so that it can be used to analyze the online class concentration evaluation information made thereafter.

상세하게는, 상기 학습 추천단계(S600)는 수치화하여 제공받은 각 온라인 수업 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값과 성적 데이터 및 수업 만족도 정보를 통합 분석하여, 온라인 수업 참여자 중 집중도 평가 정보와 성적 데이터가 상반된 결과를 나타낼 경우, 즉, 온라인 수업 집중도 평가 정보를 분석한 결과 값은 수치상으로 집중도가 낮다고 분석되었지만 실제 성적은 높게 나타날 경우, 해당하는 온라인 수업 참여자가 온라인 수업 중 보여준 행동 패턴 데이터가 비참여적 행동이 아닌 참여적 행동일 수 있기 때문에, 이러한 점을 고려하기 위하여 상기 학습 추천단계(S600)는 상기 집중도 평가단계(S500)로 각 온라인 수업 참여자에 대한 상기 학습 가이드라인 정보를 제공하여, 이 후 이루어지는 온라인 수업 집중도 평가 정보를 분석하는데 활용할 수 있도록 하는 것이 바람직하다.In detail, in the learning recommendation step (S600), the result of analyzing the online class concentration evaluation information of each online class participant provided in numerical value, grade data, and class satisfaction information are integrated and analyzed to provide concentration evaluation information among online class participants. Behavioral pattern data shown by the corresponding online class participant during online class when the result data shows contradictory results, that is, when the result of analyzing the online class concentration evaluation information is numerically low, but the actual grade is high. may be a participatory action rather than a non-participatory action, in order to consider this point, the learning recommendation step (S600) is the concentration evaluation step (S500) by providing the learning guideline information for each online class participant. After that, it is desirable to make it usable to analyze the online class concentration evaluation information.

즉, 다시 말하자면, 본 발명의 일 실시예에 따른 다중 AI 기법을 이용한 스마트 제조 환경에서의 이상탐지 시스템은, 스마트 제조 환경에서 공유되는 공공 데이터 뿐 아니라, 스마트 공장에서 생성되는 제조 데이터를 수집하여, 각각의 AI 기법에 적용하여 적어도 둘 이상의 다중 AI 기법을 이용한, 학습 이후 입력되는 제조 데이터의 행위에 대한 이상 여부를 정확도 높게 탐지할 수 있는 장점이 있다.That is, in other words, the anomaly detection system in a smart manufacturing environment using a multi-AI technique according to an embodiment of the present invention collects manufacturing data generated in a smart factory as well as public data shared in the smart manufacturing environment, It has the advantage of being able to accurately detect abnormalities in the behavior of manufacturing data input after learning using at least two or more multiple AI techniques by applying to each AI technique.

이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, in the present invention, specific matters such as specific components and the like and limited embodiment drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above one embodiment. No, various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims described below, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .

100 : 정보 전처리부
200 : 안면 분석부
210 : 일치 분석부 220 : 시선 분석부
230 : 감정 분석부
300 : 행동 분석부
400 : 집중도 평가부
500 : 수업 분석부
600 : 학습 추천부100: information pre-processing unit
200: facial analysis unit
210: coincidence analysis unit 220: gaze analysis unit
230: emotion analysis unit
300: behavior analysis unit
400: concentration evaluation unit
500: class analysis unit
600: study recommendation unit

Claims (15)

입력되는 온라인 수업 참여자의 이미지 데이터를 이용하여, 참여자에 대한 기본 상태 특징점 정보를 추출하는 정보 전처리부(100);
상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보를 이용하여, 참여자의 안면부에 포함되어 있는 기설정된 항목의 안면 인식 정보들을 분석하는 안면 분석부(200);
상기 정보 전처리부(100)로부터 전달받은 상기 기본 상태 특징점 정보를 이용하여, 참여자의 상반부에 포함되어 있는 기설정된 항목의 행동 인식 정보들을 분석하는 행동 분석부(300);
상기 안면 분석부(200)와 행동 분석부(300)에 의한 참여자의 분석 정보들을 이용하여, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석하는 집중도 평가부(400); 및
입력되는 온라인 수업 강의자의 소리 데이터를 이용하여, 온라인 수업이 이루어지는 동안의 시계열에 따른 온라인 수업 상태를 수업 시간 또는 쉬는 시간으로 분류 판단하여, 판단 결과를 상기 집중도 평가부(400)로 전달하는 수업 분석부(500);
를 포함하여 구성되며,
상기 집중도 평가부(400)는
상기 수업 분석부(500)로부터 전달받은 상기 온라인 수업 상태가 수업 시간에 해당할 경우에만, 참여자의 온라인 수업 집중도 평가 정보를 분석하고,
상기 수업 분석부(500)는
상기 소리 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터와 기입력된 온라인 수업 목표 데이터 간의 유사성 분석을 통해, 상기 소리 데이터가 강의 내용에 해당하는지 강의 내용에 해당하지 않는지 구분하여, 상기 온라인 수업 상태를 분류 판단하는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템.
an information pre-processing unit 100 for extracting basic state feature point information about a participant by using the input image data of the online class participant;
a face analysis unit 200 that analyzes facial recognition information of a preset item included in the participant's face unit using the basic state feature point information received from the information preprocessing unit 100;
a behavior analysis unit 300 for analyzing behavior recognition information of a preset item included in the upper half of the participant using the basic state feature point information received from the information preprocessing unit 100;
Concentration evaluation unit 400 for analyzing the online class concentration evaluation information of the participant while the online class is in progress by using the participant's analysis information by the facial analysis unit 200 and the behavior analysis unit 300; and
Class analysis that uses the input online class lecturer 's sound data to classify the online class status according to the time series during the online class into class time or break time, and delivers the judgment result to the concentration evaluation unit 400 part 500;
It consists of
The concentration evaluation unit 400 is
Only when the online class status received from the class analysis unit 500 corresponds to the class time, the online class concentration evaluation information of the participant is analyzed,
The class analysis unit 500
By converting the sound data into text data, and by analyzing the similarity between the converted text data and the entered online class target data, whether the sound data corresponds to the lecture content or not, the online class status Online class concentration evaluation system through class behavior pattern analysis, characterized by classifying and judging.
삭제delete 제 1항에 있어서,
상기 수업 분석부(500)는
기저장된 알고리즘에 상기 소리 데이터를 적용하여, 진행되는 온라인 수업 상태를 수업 시간 또는 쉬는 시간으로 분류하는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템.
The method of claim 1,
The class analysis unit 500
Online class concentration evaluation system through class behavior pattern analysis, characterized in that by applying the sound data to a pre-stored algorithm, the online class status is classified into class time or break time.
삭제delete 제 1항에 있어서,
상기 안면 분석부(200)는
기입력된 참여자의 안면 이미지의 특징점을 분석하고, 분석한 상기 특징점과 상기 기본 상태 특징점 정보를 비교 분석하여, 참여자의 일치 여부를 판단하는 일치 분석부(210);
상기 기본 상태 특징점 정보로부터, 눈 영역 정보, 코 영역 정보 및 얼굴 하관 영역 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안의 참여자의 시선 관련 정보를 분석하는 시선 분석부(220); 및
기설정된 분석 알고리즘을 이용하여, 상기 기본 상태 특징점 정보를 통한 참여자의 감정 변화 정보를 분석하는 감정 분석부(230);
를 더 포함하여 구성되는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템.
The method of claim 1,
The facial analysis unit 200
a coincidence analysis unit 210 that analyzes the feature points of the entered participant's facial image, compares and analyzes the analyzed feature points with the basic state feature point information, and determines whether the participant matches or not;
A gaze analysis unit that analyzes any one or more selected from the information on the eye area, the nose area, and the lower face area from the basic state feature point information, and analyzes the gaze-related information of the participant during the online class based on the analysis result (220); and
an emotion analysis unit 230 for analyzing the emotion change information of the participant through the basic state feature point information by using a preset analysis algorithm;
Online class concentration evaluation system through class behavior pattern analysis, characterized in that it further comprises a.
제 1항에 있어서,
상기 행동 분석부(300)는
상기 기본 상태 특징점 정보로부터, 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안 참여자의 자세 정보 또는 행동 정보를 분석하는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템.
The method of claim 1,
The behavior analysis unit 300
From the basic state feature point information, any one or more selected from body region information, arm region information, and shoulder line region information is analyzed, and based on the analysis result, the participant's posture information or behavior information is analyzed while the online class is in progress. Online class concentration evaluation system through class behavior pattern analysis.
제 1항에 있어서,
상기 집중도 평가부(400)는
상기 안면 분석부(200)와 행동 분석부(300)에 의한 참여자의 분석 정보들을 통해서, 온라인 수업이 완료된 후, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값을 제공하되,
기설정된 알고리즘을 활용하여, 시계열 순에 따른 분석정보들의 패턴 분석을 수행하고, 분석한 패턴들 간의 연관성을 반영하여 각각의 참여자별 온라인 수업 집중도 평가 정보를 분석을 수행하는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템.
The method of claim 1,
The concentration evaluation unit 400 is
Through the analysis information of the participant by the facial analysis unit 200 and the behavior analysis unit 300, after the online class is completed, the online class concentration evaluation information of the participant during the online class is analyzed and a result value is provided but,
Class behavior pattern, characterized in that by using a preset algorithm, pattern analysis of the analysis information according to the time series is performed, and the online class concentration evaluation information for each participant is analyzed by reflecting the correlation between the analyzed patterns Online class concentration assessment system through analysis.
제 7항에 있어서,
상기 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템은
상기 집중도 평가부(400)에 의한 각 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값과, 입력되는 참여자의 성적 데이터 및 수업 만족도 정보 중 적어도 하나 이상을 이용하여, 각 참여자 별 커스터마이징된 학습 가이드라인 정보를 생성하는 학습 추천부(600);
를 더 포함하여 구성되는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템.
8. The method of claim 7,
The online class concentration evaluation system through the class behavior pattern analysis is
A customized learning guideline for each participant using at least one of the result of analyzing the online class concentration evaluation information of each participant by the concentration evaluation unit 400 and the inputted participant's grade data and class satisfaction information a learning recommendation unit 600 for generating information;
Online class concentration evaluation system through class behavior pattern analysis, characterized in that it further comprises a.
정보 전처리부에서, 온라인 수업이 진행되는 동안의 온라인 수업 참여자의 이미지 데이터와 온라인 수업 강의자의 소리 데이터가 입력되는 데이터 입력단계(S100);
정보 전처리부에서, 상기 데이터 입력단계(S100)에 의해 입력된 온라인 수업 참여자의 이미지 데이터를 이용하여, 참여자에 대한 기본 상태 특징점 정보를 추출하는 특징점 추출단계(S200);
안면 분석부에서, 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 안면부에 포함되어 있는 미리 설정된 항목의 안면 인식 정보들을 분석하는 안면 분석단계(S300);
행동 분석부에서, 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 상반부에 포함되어 있는 기설정된 항목의 행동 인식 정보들을 분석하는 행동 분석단계(S400) 및
집중도 평가부에서, 상기 안면 분석단계(S300) 및 행동 분석단계(S400)에 의해 분석한 정보들을 이용하여, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석하는 집중도 평가단계(S500);
를 포함하여 구성되며,
상기 데이터 입력단계(S100)를 수행하고 난 후,
수업 분석부에서, 상기 데이터 입력단계(S100)에 의해 입력된 온라인 수업 강의자의 소리 데이터를 이용하여, 온라인 수업이 이루어지는 동안의 시계열에 따른 온라인 수업 상태를 수업 시간 또는 쉬는 시간으로 판단하는 수업 상태 판단단계(S110);
를 더 포함하여 구성되며,
상기 수업 상태 판단단계(S110)는
기설정된 알고리즘에 상기 소리 데이터를 적용하여, 상기 소리 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터와 기입력된 온라인 수업 목표 데이터 간의 유사성 분석을 통해, 상기 소리 데이터가 강의 내용에 해당하는지 강의 내용에 해당하지 않는지 구분하여, 상기 온라인 수업 상태를 분류 판단하고,
상기 집중도 평가단계(S500)는
상기 수업 상태 판단단계(S110)에 의해, 상기 온라인 수업 상태가 수업 상태에 해당할 경우에만, 기설정된 알고리즘을 활용하여 참여자의 온라인 수업 집중도 평가 정보를 분석하는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법.
A data input step (S100) in which, in the information pre-processing unit, image data of online class participants and sound data of an online class lecturer are input while the online class is in progress;
a feature point extraction step (S200) of extracting, in the information preprocessing unit, basic state feature point information about the participant by using the image data of the online class participant input by the data input step (S100);
A facial analysis step (S300) of analyzing, in the face analysis unit, facial recognition information of a preset item included in the participant's facial part by using the basic state key point information extracted by the key point extraction step (S200);
In the behavior analysis unit, a behavior analysis step (S400) of analyzing the behavior recognition information of a preset item included in the upper half of the participant by using the basic state feature point information extracted by the feature point extraction step (S200), and
In the concentration evaluation unit, using the information analyzed by the facial analysis step (S300) and the behavior analysis step (S400), the concentration evaluation step (S500) of analyzing the online class concentration evaluation information of the participant while the online class is in progress );
It consists of
After performing the data input step (S100),
In the class analysis unit, by using the sound data of the online class lecturer input by the data input step (S100), the class status determination that determines the online class status according to the time series during the online class as class time or break time step (S110);
Consists of further including
The class state determination step (S110) is
By applying the sound data to a preset algorithm, converting the sound data into text data, and analyzing the similarity between the converted text data and the entered online class target data, whether the sound data corresponds to the lecture contents By classifying whether it does not correspond to, classifying the online class status,
The concentration evaluation step (S500) is
Through the class behavior pattern analysis, characterized in that by the class state determination step (S110), only when the online class state corresponds to the class state, the online class concentration evaluation information of the participant is analyzed using a preset algorithm How to evaluate online class concentration.
삭제delete 삭제delete 제 9항에 있어서,
상기 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법은
상기 집중도 평가단계(S500)를 수행하고 난 후,
학습 추천부에서, 상기 집중도 평가단계(S500)에 의해 분석한 참여자의 온라인 수업 집중도 평가 정보와, 입력되는 참여자의 성적 데이터 및 수업 만족도 정보 중 적어도 하나 이상을 이용하여, 참여자 별 커스터마이징된 학습 가이드라인 정보를 생성하여, 제공하는 학습 추천단계(S600);
를 더 포함하여 구성되는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법.
10. The method of claim 9,
The online class concentration evaluation method through the class behavior pattern analysis is
After performing the concentration evaluation step (S500),
In the learning recommendation unit, using at least one of the participant's online class concentration evaluation information analyzed by the concentration evaluation step (S500), and the input participant's grade data and class satisfaction information, customized learning guidelines for each participant A learning recommendation step (S600) for generating and providing information;
Online class concentration evaluation method through class behavior pattern analysis, characterized in that it further comprises a.
제 9항에 있어서,
상기 안면 분석단계(S300)는
상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 눈 영역 정보, 코 영역 정보 및 얼굴 하관 영역 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안의 참여자의 시선 관련 정보를 분석하는 제1 분석단계(S310); 및
기설정된 분석 알고리즘에 상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 적용하여, 온라인 수업이 진행되는 동안의 참여자의 감정 변화 정보를 분석하는 제2 분석단계(S320);
를 더 포함하여 구성되는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법.
10. The method of claim 9,
The facial analysis step (S300) is
Using the basic state feature point information extracted by the feature point extraction step (S200), any one or more selected from the participant's eye region information, nose region information, and lower face region are analyzed, and an online class is conducted based on the analysis result. A first analysis step (S310) of analyzing the gaze-related information of the participant while being; and
a second analysis step (S320) of applying the basic state key point information extracted by the key point extraction step (S200) to a preset analysis algorithm to analyze the emotional change information of the participant during the online class (S320);
Online class concentration evaluation method through class behavior pattern analysis, characterized in that it further comprises a.
제 9항에 있어서,
상기 행동 분석단계(S400)는
상기 특징점 추출단계(S200)에 의해 추출한 상기 기본 상태 특징점 정보를 이용하여, 참여자의 몸통 영역 정보, 팔 영역 정보 및 어깨선 영역 정보 중 선택되는 어느 하나 이상을 분석하여, 분석 결과를 토대로 온라인 수업이 진행되는 동안 참여자의 자세 관련 정보 또는 행동 정보를 분석하는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법.
10. The method of claim 9,
The behavior analysis step (S400) is
Using the key point information in the basic state extracted by the key point extraction step (S200), any one or more selected from the participant's body area information, arm area information, and shoulder line area information is analyzed, and an online class is conducted based on the analysis result. An online class concentration evaluation method through class behavior pattern analysis, characterized in that the participant's posture-related information or behavioral information is analyzed during the course.
제 9항에 있어서,
상기 집중도 평가단계(S500)는
상기 안면 분석단계(S300)와 행동 분석단계(S400)에 의한 참여자의 분석 정보들을 통해서, 온라인 수업이 완료된 후, 온라인 수업이 진행되는 동안의 참여자의 온라인 수업 집중도 평가 정보를 분석한 결과 값을 제공하되,
기설정된 알고리즘을 활용하여, 시계열 순에 따른 분석정보들의 패턴 분석을 수행하고, 분석한 패턴들 간의 연관성을 반영하여 각각의 참여자별 온라인 수업 집중도 평가 정보를 분석을 수행하는 것을 특징으로 하는 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 방법.10. The method of claim 9,
The concentration evaluation step (S500) is
Through the analysis information of the participant by the facial analysis step (S300) and the behavior analysis step (S400), after the online class is completed, the online class concentration evaluation information of the participant during the online class is analyzed and the result value is provided but,
Class behavior pattern, characterized in that by using a preset algorithm, pattern analysis of the analysis information according to the time series is performed, and the online class concentration evaluation information for each participant is analyzed by reflecting the correlation between the analyzed patterns A method of evaluating online class concentration through analysis.

Images