WO2022080551A1 - Eyeline-based cheating detection method using object recognition, and computing device and system for performing same method - Google Patents

Eyeline-based cheating detection method using object recognition, and computing device and system for performing same method Download PDF

Info

Publication number
WO2022080551A1
WO2022080551A1 PCT/KR2020/015256 KR2020015256W WO2022080551A1 WO 2022080551 A1 WO2022080551 A1 WO 2022080551A1 KR 2020015256 W KR2020015256 W KR 2020015256W WO 2022080551 A1 WO2022080551 A1 WO 2022080551A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
information
gaze
candidate
cheating
Prior art date
Application number
PCT/KR2020/015256
Other languages
French (fr)
Korean (ko)
Inventor
석윤찬
Original Assignee
주식회사 비주얼캠프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼캠프 filed Critical 주식회사 비주얼캠프
Publication of WO2022080551A1 publication Critical patent/WO2022080551A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the disclosed embodiment relates to a gaze-based cheating detection technology using object recognition.
  • Disclosed embodiments are to provide a gaze-based cheating detection method using object recognition capable of detecting whether a candidate has cheated, and a computing device and system for executing the same.
  • a gaze-based cheating detection method is a method performed in a computing device having one or more processors, and a memory storing one or more programs executed by the one or more processors, each obtaining the test taker's eye tracking information, test question display information, and answer input information; generating gaze-related analysis information of the candidate based on at least one of the gaze tracking information and the test question display information; and monitoring whether test takers are cheating based on at least one of the gaze-related analysis information and the answer input information.
  • the gaze tracking information may include a gaze coordinate value of the candidate on a virtual plane of the same plane as the screen of the candidate terminal.
  • the generating of the gaze-related analysis information includes generating information on whether each candidate stares at the screen based on the test question display information and the gaze coordinate value, and the monitoring of whether or not cheating is performed may include: It may include an operation of checking whether or not cheating is performed based on the information on whether each test taker stares at the screen.
  • the checking of whether or not the cheating has occurred may include: calculating at least one of the number of out-of-screen staring counts and out-of-screen staring ratio of each test taker during the test period based on the information on whether each test taker stares at the screen; and detecting the candidate as a cheating candidate when at least one of the number of out-of-screen gazes and the ratio of out-of-screen gazes of the candidate exceeds a preset first threshold during the test period.
  • the checking of whether or not the cheating has occurred may include: calculating at least one of the number of out-of-screen stares and the out-of-screen staring rate of each test taker per preset reference time based on the information on whether or not each test taker stares at the screen; and detecting the candidate as a cheating candidate when at least one of the number of out-of-screen gazes and the out-of-screen gaze rate per reference hour exceeds a preset second threshold.
  • the checking of whether the cheating has occurred may include: checking whether or not the correct answer is given to each candidate's test question through the answer input information; calculating the number of times each test taker stares outside the screen while the test question is displayed on the screen based on the screen staring information; and detecting a cheating candidate based on whether the test question is answered correctly and the number of times of staring outside the screen.
  • the operation of generating the gaze-related analysis information includes generating gaze pattern analysis information of each candidate based on the gaze tracking information and the test question display information, and the operation of monitoring whether or not cheating is performed includes:
  • the method may include an operation of comparing the gaze pattern analysis information of the test takers with each other to detect a candidate whose gaze pattern analysis information differs from other test takers by more than a preset criterion as a cheating candidate.
  • the detecting as the cheating candidate may include: checking whether the candidate has answered each test question correctly through the answer input information; and comparing the gaze pattern analysis information among the test takers who entered the correct answer for the test question. Among the test takers who entered the correct answer, the gaze pattern analysis information differs from other test takers by more than a preset criterion as a cheating candidate. It may include an operation of detecting with .
  • the detecting as the cheating candidate includes a gaze pattern in a first axial direction and a second axial direction perpendicular to the first axial direction for the test question of the test takers based on the gaze tracking information and the test question display information. calculating each of the gaze patterns of and comparing the gaze pattern in the first axis direction and the gaze pattern in the second axis direction between test takers who have entered correct answers to the test question.
  • the detecting as the cheating candidate includes: calculating a correct rate of each candidate based on the answer input information; and when the correct answer rate of a given candidate is greater than or equal to a preset reference correct rate, and the gaze pattern analysis information of the candidate is different from the gaze pattern analysis information of other correct respondents for the test questions entered as correct answers by the candidate by more than a preset criterion , detecting the candidate as a cheating candidate.
  • the detecting as the cheating candidate includes: calculating the number of consecutive correct answers of each candidate based on the answer input information; and the number of consecutive correct answers of a predetermined test taker is greater than or equal to a preset reference number, and the gaze pattern analysis information of the test taker differs from the gaze pattern analysis information of other correct answers for the test questions entered as correct answers by the test taker by more than a preset criterion If there is, it may include an operation of detecting the candidate as a cheating candidate.
  • the monitoring of whether the cheating is performed may include: checking a degree of reading of a test question by a test taker based on the eye tracking information and the test question display information; checking whether the test taker has answered the test question correctly through the answer input information; and detecting the candidate as a cheating candidate based on the reading degree for the test question and whether the test question is answered correctly.
  • the checking of the reading degree may include: calculating a gaze pattern in a first axial direction and a gaze pattern in a second axial direction perpendicular to the first axial direction, respectively, of the examinee based on the gaze tracking information; and checking the degree of reading of the test question by the test taker based on the gaze pattern in the first axis direction and the gaze pattern in the second axis direction.
  • the generating of the gaze-related analysis information includes generating fixation analysis information of each candidate based on at least one of the gaze tracking information and the test question display information, and determining whether the cheating is done.
  • the monitoring operation may include an operation of comparing the fixation analysis information of the test takers with each other and detecting, as a cheating candidate, a candidate whose fixation analysis information differs from other test takers by more than a preset criterion.
  • the generating of the fixation analysis information may include: detecting a fixation excluding a sacard from the eye tracking information; and generating fixation detection information of each test taker during a test time based on the detected fixation, wherein the monitoring of whether or not the cheating has occurred is based on the answer input information for each test question of the test taker. action to check whether the answer is correct; and by comparing fixation detection information among test takers who entered the correct answer for the test question, among test takers who entered the correct answer, a candidate whose fixation detection information differs from other test takers by more than a preset criterion is a cheating candidate It may include an operation of detecting with .
  • the generating of the fixation analysis information may include: detecting a fixation excluding a sacard from the eye tracking information; and generating each candidate's gaze heat map analysis information for a test question based on the detected fixation, wherein the monitoring of whether or not cheating is performed includes the operation of generating each test taker's gaze heat map analysis information for the test question based on the detected fixation action to check whether the answer to the question is correct; and comparing the gaze heat map analysis information among the test takers who entered the correct answer for the test question, and negating the candidate whose gaze heat map analysis information differs from other test takers by more than a preset criterion among the test takers who entered the correct answer It may include an operation of detecting as an action candidate.
  • the gaze-related analysis information includes at least one of each candidate's screen gaze information, gaze pattern analysis information, and fixation analysis information. calculating a plurality of cheating determining factors based on one or more of the pattern analysis information, the fixation analysis information, and the answer input information; assigning a cheating score to each of the calculated cheating factors; and detecting a cheating candidate among test takers based on the summed score of the cheating scores.
  • the cheating determining factors include the number of out-of-screen stares during the test time, the out-of-screen staring rate during the test time, the number of out-of-screen stares per preset reference time, the out-of-screen staring rate per preset reference time, the number of out-of-screen stares versus the correct answer rate of the test taker; It may include a plurality of out-of-screen staring ratio, similarity between gaze pattern analysis information of different test takers for each test taker, degree of reading for each test question of each test taker, and similarity between fixation analysis information of other test takers for each test taker .
  • a computing device includes one or more processors; Memory; and one or more programs, wherein the one or more programs are stored in the memory and configured for execution by the one or more processors, the one or more programs comprising: each candidate's eye tracking information, test question indication information, and instructions for obtaining answer input information; instructions for generating gaze-related analysis information of the test taker based on at least one of the gaze tracking information and the test question display information; and a command for monitoring whether test takers are cheating based on at least one of the gaze-related analysis information and the answer input information.
  • a gaze-based cheating detection system includes: a candidate terminal that generates and transmits gaze tracking information, test question display information, and answer input information of a candidate; and receiving the gaze tracking information, test question display information, and answer input information, and generating gaze-related analysis information of the candidate based on at least one of the gaze tracking information and the exam question display information, and the gaze-related analysis and an analysis server for monitoring whether test takers cheat based on one or more of the information and the answer input information.
  • the cheating candidate can be detected in real time even while the test takers are taking the test, and other test takers Through comparison of gaze pattern analysis information and fixation analysis information with (for example, correct answers), a cheating candidate can be more accurately detected and objectivity can be secured.
  • FIG. 1 is a diagram showing the configuration of a gaze-based cheating detection system using object recognition according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing the configuration of an analysis server according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a state in which a gaze analysis module checks whether a candidate gazes at a screen according to an embodiment of the present disclosure
  • FIG. 4 is a diagram schematically illustrating a state in which a cheating detection module detects a cheating candidate based on gaze pattern analysis information of each candidate, according to an embodiment of the present disclosure
  • FIG. 5 is a view showing a state in which the cheating detection module compares the gaze patterns of correct answers in an embodiment to be disclosed;
  • FIG. 6 is a view showing a state in which the cheating detection module compares the gaze heat map analysis information of the correct respondents in an disclosed embodiment
  • FIG. 7 is a diagram illustrating a state in which the cheating detection module compares the fixation detection information of correct answers in an embodiment disclosed
  • FIG. 8 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
  • the terms "transmission”, “communication”, “transmission”, “reception” and other similar meanings of a signal or information are not only directly transmitted from one component to another component, but also a signal or information This includes passing through other components.
  • to “transmit” or “transmit” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for “reception” of signals or information.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another component.
  • a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
  • FIG. 1 is a diagram showing the configuration of a gaze-based cheating detection system using object recognition according to an embodiment of the present invention.
  • the cheating detection system 100 may include a test taker terminal 102 , an analysis server 104 , and an administrator terminal 106 .
  • the candidate terminal 102 and the manager terminal 106 are communicatively connected to the analysis server 104 through the communication network 150 .
  • communication network 150 is the Internet, one or more local area networks, wide area networks, cellular networks, mobile networks, other types of networks, or such networks. may include combinations of these.
  • the test taker terminal 102 may be a test taker's terminal.
  • the candidate may take the exam online using the candidate terminal 102 .
  • Candidates may gather in a certain place to take the online test collectively, but the present invention is not limited thereto, and the test takers may take the online test in a dispersed state.
  • the test taker terminal 102 may display the exam questions on the screen.
  • the test taker's terminal 102 may download test questions by accessing a test preparation organization server (not shown).
  • the test taker terminal 102 may display a test question corresponding to the test taker's command input through an input device (eg, a keyboard or a mouse) on the screen.
  • the test question may consist of text, but is not limited thereto, and may include content such as images or videos.
  • the test taker terminal 102 may transmit test question display information, which is information about the test question displayed on the screen during the test time, to the analysis server 104 .
  • the test question display information may be information indicating which question was displayed on the screen of the candidate terminal 102 during the test time and at what time.
  • the candidate terminal 102 may generate gaze tracking information by tracking the gaze of the candidate.
  • the test taker terminal 102 may track the gaze of the test taker looking at the screen while the test question is presented (ie, during the test time).
  • the gaze tracking module 102a for tracking the gaze of the candidate may be mounted on the candidate terminal 102 .
  • the eye tracking module 102a may be implemented through a camera and an application provided in the candidate terminal 102 , or may be provided as a separate device from the candidate terminal 102 and mounted on the candidate terminal 102 . .
  • the eye tracking module 102a may photograph the examinee and extract a face region and an eye region of the examinee from the captured image, respectively.
  • the eye tracking module 102a calculates the candidate's face vector and pupil vector based on the extracted face region and eye region, respectively, and based on the candidate's face vector and pupil vector, a virtual screen on the same plane as the screen of the candidate terminal 102 . It is possible to calculate the gaze coordinates (x, y) of the candidate on the plane.
  • the gaze tracking module 102a may track which object the test taker is looking at in the exam question.
  • the candidate terminal 102 may transmit the gaze tracking information to the analysis server 104 .
  • the candidate terminal 102 may transmit the gaze tracking information generated during the test time to the analysis server 104 in real time.
  • the test taker terminal 102 may transmit the gaze tracking information to the analysis server 104 in association with the test question display information. That is, the eye tracking information may be time synchronized with the test question display information.
  • the test taker terminal 102 may transmit answer input information input by the test taker for each test question to the analysis server 104 .
  • the analysis server 104 may receive test question display information, gaze tracking information, and answer input information from each test taker terminal 102 .
  • the analysis server 104 may monitor each test taker's misconduct based on the test question display information, the gaze tracking information, and the answer input information received from each test taker terminal 102 .
  • the analysis server 104 may transmit the fraud monitoring information to the manager terminal 106 .
  • the cheating monitoring information may include information about cheating candidates among test takers.
  • the administrator terminal 106 may be a terminal of the test administrator.
  • the manager terminal 106 may receive the fraud monitoring information from the analysis server 104 .
  • the manager terminal 106 may display misconduct monitoring information on the screen.
  • FIG. 2 is a block diagram showing the configuration of the analysis server 104 according to an embodiment of the present invention.
  • the analysis server 104 may include a communication module 111 , a gaze analysis module 113 , and a cheating detection module 115 .
  • the communication module 111 , the gaze analysis module 113 , and the cheating detection module 115 are implemented using one or more physically separated devices, or one or more processors or one or more processors and software. It may be implemented by combination, and unlike the illustrated example, it may not be clearly distinguished in specific operation.
  • the communication module 111 may communicate with the test taker terminal 102 and the manager terminal 106 , respectively.
  • the communication module 111 may receive test question display information, gaze tracking information, and answer input information from each candidate terminal 102 .
  • the communication module 111 may transmit the fraud monitoring information to the manager terminal 106 .
  • the gaze analysis module 113 may generate gaze-related analysis information of a corresponding candidate based on at least one of test question display information and gaze tracking information of each candidate terminal 102 .
  • the gaze-related analysis information may include one or more of screen gaze information, gaze pattern analysis information, and fixation analysis information.
  • the gaze analysis module 113 may generate information on whether the candidate stares at the screen based on the test question display information and the gaze tracking information of each candidate terminal 102 . That is, the gaze analysis module 113 provides information on whether or not to stare at the screen, which is information about whether the test taker is gazing inside the screen or outside the screen when a predetermined test question is displayed on the screen in the test taker terminal 102 . can create
  • FIG. 3 is a diagram illustrating a state in which the gaze analysis module 113 checks whether a candidate gazes at a screen according to an embodiment of the present disclosure.
  • the gaze analysis module 113 calculates gaze coordinate values (x,y) included in the gaze tracking information (ie, gaze coordinate values of the gazetteer on a virtual plane of the same plane as the screen of the candidate terminal 102 ). Based on the , it can be checked whether the gaze of the candidate is within the screen of the candidate terminal 102 or outside the screen.
  • the gaze analysis module 113 may generate gaze pattern analysis information of the candidate based on the test question display information and the gaze tracking information of each candidate terminal 102 . That is, the gaze analysis module 113 may generate gaze pattern analysis information by analyzing a gaze pattern for the gaze movement and gaze path of the candidate while a predetermined test question is being displayed on the candidate terminal 102 .
  • the gaze pattern analysis information may include information about where the candidate's gaze is located within the exam question (eg, on which object) and where it moves (eg, from which object to which object on the exam question). It may include a gaze path for
  • the gaze analysis module 113 determines the gaze pattern in the first axis direction and the gaze pattern in the second axis direction of the candidate based on the test question display information and the gaze tracking information of each candidate terminal 102 .
  • the first axis direction eg, the x-axis direction
  • the second axis direction eg, the y-axis direction
  • the gaze analysis module 113 may generate gaze pattern analysis information for the gaze pattern in the first axis direction and the gaze pattern in the second axis direction of the candidate in association with the test question display information.
  • the gaze analysis module 113 may generate fixation analysis information of the candidate based on at least one of test question display information and gaze tracking information of each candidate terminal 102 .
  • the fixation analysis information may include one or more of fixation detection information and gaze heat map analysis information.
  • the gaze analysis module 113 may detect a fixation excluding a saccade from the gaze tracking information of the candidate.
  • the gaze analysis module 113 may use the detected fixation to generate fixation detection information of the test taker during the test time.
  • the fixation detection information may be information indicating how much of the fixation of the candidate was detected in which section during the test time.
  • saccade is an eye movement in which both eyes move rapidly in the same direction at the same time, and occurs between fixes, and generally lasts 20-40 ms.
  • the saccard is mainly used to direct the gaze towards the object of interest.
  • fixation refers to maintaining the gaze at a single position, and may mean that the gaze is fixed. Pixation can typically last 50-600ms.
  • the gaze analysis module 113 may generate gaze heat map analysis information of a corresponding candidate for a predetermined test question by using the detected fixation. That is, when a predetermined test question is displayed on the test taker terminal 102 using the detected fixation, the gaze analysis module 113 determines which part (eg, a certain object part of the test question) by the test taker to some extent. You can analyze the gaze heat map for whether you are looking. In this case, the gaze analysis module 113 may generate gaze heat map analysis information in association with the test question display information.
  • the cheating detection module 115 generates cheating monitoring information by monitoring whether test takers cheat based on one or more of gaze-related analysis information and answer input information, and detects cheating candidates according to the monitoring result. . That is, the cheating detection module 115 monitors whether test takers are cheating based on at least one of screen staring information, gaze pattern analysis information, fixation analysis information, and answer input information, and cheating according to the monitoring result. Candidates can be detected.
  • the cheating detection module 115 may check whether the corresponding candidate has cheated on the basis of information on whether or not each candidate stares at the screen.
  • the cheating detection module 115 may calculate the number of out-of-screen stares (or out-of-screen staring ratio) of the test taker during the test time based on the information on whether each test taker stares at the screen.
  • the cheating detection module 115 detects the candidate as a cheating candidate when the number of out-of-screen gazes (or out-of-screen gaze ratio) exceeds a preset first threshold number (or first threshold ratio) during the test period. can
  • the cheating detection module 115 may calculate the number of out-of-screen gazes (or out-of-screen gaze ratio) per preset reference time (eg, 5 minutes or 10 minutes, etc.) based on the information on whether each candidate stares at the screen. there is.
  • the cheating detection module 115 detects the candidate as a cheating candidate when the number of out-of-screen gazes (or out-of-screen gaze ratio) per preset reference time exceeds a preset second threshold number (or second threshold ratio) can do.
  • the second threshold number or the second threshold ratio may be set to be lower than the first threshold number or the first threshold ratio, but is not limited thereto.
  • the cheating detection module 115 may detect cheating candidates based on the number of times each candidate stares outside the screen and answer input information during the test period. The cheating detection module 115 may check whether the candidate has an answer to each test question through answer input information. The cheating detection module 115 may detect a cheating candidate based on the candidate's correct answer rate and the number of out-of-screen gazes. That is, the cheating detection module 115 detects the candidate as a cheating candidate when the candidate has given the correct answer to a given test question, and the candidate stares outside the screen several times while the predetermined test question is displayed on the screen can do.
  • the cheating detection module 115 may detect a cheating candidate based on the gaze pattern analysis information of each candidate.
  • 4 is a diagram schematically illustrating a state in which the cheating detection module 115 detects a cheating candidate based on gaze pattern analysis information of each candidate, according to an embodiment of the present disclosure. Referring to FIG. 4 , the cheating detection module 115 compares the gaze pattern analysis information of the test takers during the test period and detects a candidate whose gaze pattern analysis information differs from other test takers by more than a preset criterion as a cheating candidate. can do.
  • the cheating detection module 115 may detect a cheating candidate based on each candidate's gaze pattern analysis information and answer input information.
  • the cheating detection module 115 determines the degree of reading for each test question of the candidate based on the gaze pattern in the first axis direction and the gaze pattern in the second axis direction among the gaze pattern analysis information of the candidate (ie, the exam). You can check whether you are reading the question well).
  • the cheating detection module 115 may check whether the test taker reads one line of the test question well through the test taker's gaze pattern in the first axis direction, and through the gaze pattern in the second axis direction of the test taker Candidates can check whether they are reading well by wrapping the text of the exam questions.
  • the cheating detection module 115 is configured to detect when a given test taker's reading degree for a given test question is less than or equal to a preset standard and the correct answer is entered in the test question (that is, when the answer input information for the test question is the correct answer), The candidate may be detected as a cheating candidate.
  • the cheating detection module 115 may check whether each test taker has an answer to each test question through answer input information of each test taker.
  • the cheating detection module 115 may detect a cheating candidate by comparing gaze pattern analysis information between test takers who input correct answers for each test question. In this case, the cheating detection module 115 may detect, as a cheating candidate, a candidate whose gaze pattern analysis information differs from another candidate by more than a preset criterion.
  • the cheating detection module 115 may compare the gaze pattern in the first axis direction and the gaze pattern in the second axis direction among the gaze pattern analysis information of the test takers (correct answerers) who have entered the correct answer.
  • FIG. 5 is a diagram illustrating a state in which the cheating detection module 115 compares the gaze patterns of correct answerers in an disclosed embodiment.
  • the gaze pattern in the first axis direction (x-axis direction) and the gaze pattern in the second axis direction (y-axis direction) were compared with each other.
  • FIG. 5 (a) shows the gaze pattern in the first axis direction and the gaze pattern in the second axis direction of a normal correct answerer
  • FIG. 5 (b) is the first axis direction gaze pattern and It shows the gaze pattern in the second axis direction.
  • the cheating detection module 115 may detect, as a cheating candidate, a candidate whose gaze pattern is different from another correct answer by more than a preset criterion.
  • the cheating detection module 115 may detect a cheating candidate based on each candidate's correct answer rate (the ratio of correct input to the number of test questions) and gaze pattern analysis information. In an exemplary embodiment, the cheating detection module 115 determines that the correct answer rate of a given candidate is greater than or equal to a preset reference correct rate, and gaze pattern analysis information of a given candidate differs from the gaze pattern analysis information of other correct respondents by more than a preset criterion. In this case, the candidate may be detected as a cheating candidate.
  • the cheating detection module 115 calculates the number of consecutive correct answers (the number of test questions in which the correct answer is continuously entered, for example, if the number of consecutive correct answers is 3, the correct answer is entered in 3 consecutive answers) and gaze pattern analysis information of each test taker. Based on this, it is possible to detect cheating candidates.
  • the cheating detection module 115 determines that the number of consecutive correct answers of a given candidate is greater than or equal to a preset reference number, and the gaze pattern analysis information of the predetermined candidate differs from the gaze pattern analysis information of other correct answers by more than a preset criterion If there is, the candidate may be detected as a cheating candidate.
  • the cheating detection module 115 may detect a cheating candidate based on the fixation analysis information and answer input information. Specifically, the cheating detection module 115 may detect a cheating candidate based on gaze heat map analysis information and answer input information among the fixation analysis information of each candidate. The cheating detection module 115 may detect a cheating candidate by comparing gaze heat map analysis information between test takers who input correct answers for each test question.
  • FIG. 6 is a diagram illustrating a state in which the cheating detection module 115 compares the gaze heat map analysis information of the correct respondents in an disclosed embodiment.
  • Fig. 6 (a) shows the gaze heat map of the correct correct person
  • Fig. 6 (b) shows the gaze heat map of the correct correct person or the cheating candidate.
  • the cheating detection module 115 may detect, as a cheating candidate, a candidate whose gaze heat map analysis information differs from another candidate by more than a preset criterion.
  • the cheating detection module 115 may detect a cheating candidate based on fixation detection information and answer input information among the fixation analysis information of each candidate.
  • the cheating detection module 115 may detect cheating candidates by comparing fixation detection information among test takers who have entered correct answers for each test question.
  • FIG. 7 is a diagram illustrating a state in which the cheating detection module 115 compares the fixation detection information of correct answers in an disclosed embodiment.
  • Fig. 6 (a) shows a fixation detection graph of a correct correct person
  • Fig. 6 (b) shows a fixation detection graph of a correct correct answer or a cheating candidate.
  • the cheating detection module 115 may detect a candidate whose fixation detection information differs from another candidate by more than a preset criterion as a cheating candidate.
  • the cheating detection module 115 calculates a plurality of cheating determination elements based on one or more of screen staring information, gaze pattern analysis information, fixation analysis information, and answer input information, and determines a plurality of cheating actions By giving each element a cheating score, it is also possible to detect a candidate whose cheating score is equal to or greater than a preset threshold score as a cheating candidate.
  • the cheating determining factors include the number of out-of-screen stares during the test time, the out-of-screen staring ratio during the test time, the number of out-of-screen stares per preset reference time, the out-of-screen staring rate per preset reference time, and the number of out-of-screen stares versus the correct answer rate of the test taker Alternatively, a plurality of out-of-screen gaze ratios may be included.
  • the cheating determining factor may include a degree of similarity between gaze pattern analysis information of different test takers for each test taker, a degree of reading for each test question of each test taker, and a degree of similarity between fixation analysis information of other test takers for each test taker.
  • the cheating candidate can be detected in real time even while the test takers are taking the test, and other test takers Through comparison of gaze pattern analysis information and fixation analysis information with (for example, correct answers), a cheating candidate can be more accurately detected and objectivity can be secured.
  • a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware.
  • the "module” may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or a single type of hardware.
  • each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12 .
  • computing device 12 may be candidate terminal 102 .
  • Computing device 12 may also be analytics server 104 .
  • the computing device 12 may be an administrator terminal 106 .
  • Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 .
  • the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 .
  • the one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be
  • Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14 .
  • computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 .
  • the input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 .
  • Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 .
  • Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices and/or output devices such as display devices, printers, speakers and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Disclosed are an eyeline-based cheating detection method using object recognition, and a computing device and system for performing the method. The eyeline-based cheating detection method according to a disclosed embodiment is a method performed by the computing device comprising one or more processors and a memory for storing one or more programs executed by the one or more processors, and comprises the steps of: obtaining eyeline tracking information, test question display information, and answer input information of each examinee; generating eyeline-related analysis information of the examinee, on the basis of one or more of the eyeline tracking information and the test question display information; and monitoring cheating of examinees, on the basis of one or more of the eyeline-related analysis information and the answer input information.

Description

객체 인식을 이용한 시선 기반의 부정행위 검출 방법과 이를 실행하기 위한 컴퓨팅 장치 및 시스템Gaze-based fraud detection method using object recognition and computing device and system for executing the same
개시되는 실시예는 객체 인식을 이용한 시선 기반의 부정행위 검출 기술과 관련된다.The disclosed embodiment relates to a gaze-based cheating detection technology using object recognition.
최근, 정부 공공기관을 중심으로 블라인드 채용 제도를 시행하고 있으며, 민간에서도 실무 역량 중심의 채용 프로세스가 점차 확대되고 있다. 또한, CBT(Computer Based Testing) 또는 온라인 시험 등을 통해 응시자의 업무 능력이나 상식 정도를 평가하는 기관 또는 기업이 증가하고 있다. 이 경우, 응시자에 대한 관리가 어려우며 응시자의 부정행위가 발생할 가능성이 높다는 문제점이 있다.Recently, the government has implemented a blind recruitment system centered on public institutions, and the private sector is also gradually expanding the hiring process centered on practical competency. In addition, an increasing number of organizations or companies evaluate test takers' work ability or common sense through computer-based testing (CBT) or online tests. In this case, there is a problem in that it is difficult to manage the test takers and there is a high possibility that the test takers may cheat.
개시되는 실시예는 응시자의 부정행위 여부를 검출할 수 있는 객체 인식을 이용한 시선 기반의 부정행위 검출 방법과 이를 실행하기 위한 컴퓨팅 장치 및 시스템을 제공하기 위한 것이다. Disclosed embodiments are to provide a gaze-based cheating detection method using object recognition capable of detecting whether a candidate has cheated, and a computing device and system for executing the same.
개시되는 일 실시예에 따른 시선 기반의 부정행위 검출 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 각 응시자의 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 획득하는 동작; 상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 상기 응시자의 시선 관련 분석 정보를 생성하는 동작; 및 상기 시선 관련 분석 정보 및 상기 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링 하는 동작을 포함한다.A gaze-based cheating detection method according to an embodiment of the present disclosure is a method performed in a computing device having one or more processors, and a memory storing one or more programs executed by the one or more processors, each obtaining the test taker's eye tracking information, test question display information, and answer input information; generating gaze-related analysis information of the candidate based on at least one of the gaze tracking information and the test question display information; and monitoring whether test takers are cheating based on at least one of the gaze-related analysis information and the answer input information.
상기 시선 추적 정보는, 응시자 단말의 화면과 동일한 평면의 가상 평면 상에서 상기 응시자의 시선 좌표 값을 포함할 수 있다.The gaze tracking information may include a gaze coordinate value of the candidate on a virtual plane of the same plane as the screen of the candidate terminal.
상기 시선 관련 분석 정보를 생성하는 동작은, 상기 시험 문제 표시 정보 및 상기 시선 좌표 값에 기반하여 각 응시자의 화면 응시 여부 정보를 생성하는 동작을 포함하고, 상기 부정행위 여부를 모니터링 하는 동작은, 상기 각 응시자의 화면 응시 여부 정보에 기반하여 부정행위 여부를 확인하는 동작을 포함할 수 있다.The generating of the gaze-related analysis information includes generating information on whether each candidate stares at the screen based on the test question display information and the gaze coordinate value, and the monitoring of whether or not cheating is performed may include: It may include an operation of checking whether or not cheating is performed based on the information on whether each test taker stares at the screen.
상기 부정행위 여부를 확인하는 동작은, 상기 각 응시자의 화면 응시 여부 정보에 기반하여 시험 기간 동안 각 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상을 산출하는 동작; 및 상기 시험 기간 동안 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상이 기 설정된 제1 임계치를 초과하는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The checking of whether or not the cheating has occurred may include: calculating at least one of the number of out-of-screen staring counts and out-of-screen staring ratio of each test taker during the test period based on the information on whether each test taker stares at the screen; and detecting the candidate as a cheating candidate when at least one of the number of out-of-screen gazes and the ratio of out-of-screen gazes of the candidate exceeds a preset first threshold during the test period.
상기 부정행위 여부를 확인하는 동작은, 상기 각 응시자의 화면 응시 여부 정보에 기반하여 기 설정된 기준 시간당 각 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상을 산출하는 동작; 및 상기 기준 시간당 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상이 기 설정된 제2 임계치를 초과하는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The checking of whether or not the cheating has occurred may include: calculating at least one of the number of out-of-screen stares and the out-of-screen staring rate of each test taker per preset reference time based on the information on whether or not each test taker stares at the screen; and detecting the candidate as a cheating candidate when at least one of the number of out-of-screen gazes and the out-of-screen gaze rate per reference hour exceeds a preset second threshold.
상기 부정행위 여부를 확인하는 동작은, 상기 답안 입력 정보를 통해 각 응시자의 시험 문제에 대한 정답 여부를 확인하는 동작; 상기 화면 응시 여부 정보에 기반하여 상기 시험 문제가 상기 화면에 표시되는 동안 각 응시자의 화면 바깥 응시 횟수를 산출하는 동작; 및 상기 시험 문제에 대한 정답 여부 및 상기 화면 바깥 응시 횟수에 기반하여 부정행위 후보자를 검출하는 동작을 포함할 수 있다.The checking of whether the cheating has occurred may include: checking whether or not the correct answer is given to each candidate's test question through the answer input information; calculating the number of times each test taker stares outside the screen while the test question is displayed on the screen based on the screen staring information; and detecting a cheating candidate based on whether the test question is answered correctly and the number of times of staring outside the screen.
상기 시선 관련 분석 정보를 생성하는 동작은, 상기 시선 추적 정보 및 상기 시험 문제 표시 정보에 기반하여 각 응시자의 시선 패턴 분석 정보를 생성하는 동작을 포함하고, 상기 부정행위 여부를 모니터링 하는 동작은, 상기 응시자들의 시선 패턴 분석 정보를 상호 비교하여 시선 패턴 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The operation of generating the gaze-related analysis information includes generating gaze pattern analysis information of each candidate based on the gaze tracking information and the test question display information, and the operation of monitoring whether or not cheating is performed includes: The method may include an operation of comparing the gaze pattern analysis information of the test takers with each other to detect a candidate whose gaze pattern analysis information differs from other test takers by more than a preset criterion as a cheating candidate.
상기 부정행위 후보자로 검출하는 동작은, 상기 답안 입력 정보를 통해 상기 응시자의 각 시험 문제에 대한 정답 여부를 확인하는 동작; 및 상기 시험 문제에 대해 정답을 입력한 응시자들 간의 시선 패턴 분석 정보를 비교하여 상기 정답을 입력한 응시자들 중 시선 패턴 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The detecting as the cheating candidate may include: checking whether the candidate has answered each test question correctly through the answer input information; and comparing the gaze pattern analysis information among the test takers who entered the correct answer for the test question. Among the test takers who entered the correct answer, the gaze pattern analysis information differs from other test takers by more than a preset criterion as a cheating candidate. It may include an operation of detecting with .
상기 부정행위 후보자로 검출하는 동작은, 상기 시선 추적 정보 상기 시험 문제 표시 정보에 기반하여 상기 응시자들의 상기 시험 문제에 대한 제1축 방향의 시선 패턴 및 상기 제1축 방향과 수직한 제2축 방향의 시선 패턴을 각각 산출하는 동작; 및 상기 시험 문제에 대해 정답을 입력한 응시자들 간의 상기 제1축 방향의 시선 패턴 및 상기 제2축 방향의 시선 패턴을 비교하는 동작을 포함할 수 있다.The detecting as the cheating candidate includes a gaze pattern in a first axial direction and a second axial direction perpendicular to the first axial direction for the test question of the test takers based on the gaze tracking information and the test question display information. calculating each of the gaze patterns of and comparing the gaze pattern in the first axis direction and the gaze pattern in the second axis direction between test takers who have entered correct answers to the test question.
상기 부정행위 후보자로 검출하는 동작은, 상기 답안 입력 정보에 기반하여 각 응시자의 정답률을 산출하는 동작; 및 소정 응시자의 정답률이 기 설정된 기준 정답률 이상이고, 상기 응시자의 시선 패턴 분석 정보가 상기 응시자가 정답으로 입력한 시험 문제들에 대한 다른 정답자들의 시선 패턴 분석 정보와 기 설정된 기준 이상으로 차이가 있는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The detecting as the cheating candidate includes: calculating a correct rate of each candidate based on the answer input information; and when the correct answer rate of a given candidate is greater than or equal to a preset reference correct rate, and the gaze pattern analysis information of the candidate is different from the gaze pattern analysis information of other correct respondents for the test questions entered as correct answers by the candidate by more than a preset criterion , detecting the candidate as a cheating candidate.
상기 부정행위 후보자로 검출하는 동작은, 상기 답안 입력 정보에 기반하여 각 응시자의 정답 연속 횟수를 산출하는 동작; 및 소정 응시자의 정답 연속 횟수가 기 설정된 기준 횟수 이상이고, 상기 응시자의 시선 패턴 분석 정보가 상기 응시자가 정답으로 입력한 시험 문제들에 대한 다른 정답자들의 시선 패턴 분석 정보와 기 설정된 기준 이상으로 차이가 있는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The detecting as the cheating candidate includes: calculating the number of consecutive correct answers of each candidate based on the answer input information; and the number of consecutive correct answers of a predetermined test taker is greater than or equal to a preset reference number, and the gaze pattern analysis information of the test taker differs from the gaze pattern analysis information of other correct answers for the test questions entered as correct answers by the test taker by more than a preset criterion If there is, it may include an operation of detecting the candidate as a cheating candidate.
상기 부정행위 여부를 모니터링 하는 동작은, 상기 시선 추적 정보 및 상기 시험 문제 표시 정보에 기반하여 응시자의 시험 문제에 대한 리딩(Reading) 정도를 확인하는 동작; 상기 답안 입력 정보를 통해 상기 응시자의 시험 문제에 대한 정답 여부를 확인하는 동작; 및 상기 시험 문제에 대한 리딩 정도 및 상기 시험 문제에 대한 정답 여부에 기반하여 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The monitoring of whether the cheating is performed may include: checking a degree of reading of a test question by a test taker based on the eye tracking information and the test question display information; checking whether the test taker has answered the test question correctly through the answer input information; and detecting the candidate as a cheating candidate based on the reading degree for the test question and whether the test question is answered correctly.
상기 리딩 정도를 확인하는 동작은, 상기 시선 추적 정보에 기반하여 상기 응시자의 제1축 방향의 시선 패턴 및 상기 제1축 방향과 수직한 제2축 방향의 시선 패턴을 각각 산출하는 동작; 및 상기 제1축 방향의 시선 패턴 및 상기 제2축 방향의 시선 패턴에 기반하여 상기 응시자의 상기 시험 문제에 대한 리딩 정도를 확인하는 동작을 포함할 수 있다.The checking of the reading degree may include: calculating a gaze pattern in a first axial direction and a gaze pattern in a second axial direction perpendicular to the first axial direction, respectively, of the examinee based on the gaze tracking information; and checking the degree of reading of the test question by the test taker based on the gaze pattern in the first axis direction and the gaze pattern in the second axis direction.
상기 시선 관련 분석 정보를 생성하는 동작은, 상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 각 응시자의 픽세이션(Fixation) 분석 정보를 생성하는 동작을 포함하고, 상기 부정행위 여부를 모니터링 하는 동작은, 상기 응시자들의 픽세이션 분석 정보를 상호 비교하여 픽세이션 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The generating of the gaze-related analysis information includes generating fixation analysis information of each candidate based on at least one of the gaze tracking information and the test question display information, and determining whether the cheating is done. The monitoring operation may include an operation of comparing the fixation analysis information of the test takers with each other and detecting, as a cheating candidate, a candidate whose fixation analysis information differs from other test takers by more than a preset criterion.
상기 픽세이션 분석 정보를 생성하는 동작은, 상기 시선 추적 정보에서 사카드를 제외한 픽세이션을 검출하는 동작; 및 상기 검출된 픽세이션에 기반하여 시험 시간 동안 각 응시자의 픽세이션 검출 정보를 생성하는 동작을 포함하고, 상기 부정행위 여부를 모니터링 하는 동작은, 상기 답안 입력 정보를 통해 상기 응시자의 각 시험 문제에 대한 정답 여부를 확인하는 동작; 및 상기 시험 문제에 대해 정답을 입력한 응시자들 간의 픽세이션 검출 정보를 비교하여 상기 정답을 입력한 응시자들 중 픽세이션 검출 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The generating of the fixation analysis information may include: detecting a fixation excluding a sacard from the eye tracking information; and generating fixation detection information of each test taker during a test time based on the detected fixation, wherein the monitoring of whether or not the cheating has occurred is based on the answer input information for each test question of the test taker. action to check whether the answer is correct; and by comparing fixation detection information among test takers who entered the correct answer for the test question, among test takers who entered the correct answer, a candidate whose fixation detection information differs from other test takers by more than a preset criterion is a cheating candidate It may include an operation of detecting with .
상기 픽세이션 분석 정보를 생성하는 동작은, 상기 시선 추적 정보에서 사카드를 제외한 픽세이션을 검출하는 동작; 및 상기 검출된 픽세이션에 기반하여 시험 문제에 대한 각 응시자의 시선 히트맵 분석 정보를 생성하는 동작을 포함하고, 상기 부정행위 여부를 모니터링 하는 동작은, 상기 답안 입력 정보를 통해 상기 응시자의 각 시험 문제에 대한 정답 여부를 확인하는 동작; 및 상기 시험 문제에 대해 정답을 입력한 응시자들 간의 시선 히트맵 분석 정보를 비교하여 상기 정답을 입력한 응시자들 중 시선 히트맵 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함할 수 있다.The generating of the fixation analysis information may include: detecting a fixation excluding a sacard from the eye tracking information; and generating each candidate's gaze heat map analysis information for a test question based on the detected fixation, wherein the monitoring of whether or not cheating is performed includes the operation of generating each test taker's gaze heat map analysis information for the test question based on the detected fixation action to check whether the answer to the question is correct; and comparing the gaze heat map analysis information among the test takers who entered the correct answer for the test question, and negating the candidate whose gaze heat map analysis information differs from other test takers by more than a preset criterion among the test takers who entered the correct answer It may include an operation of detecting as an action candidate.
상기 시선 관련 분석 정보는, 각 응시자의 화면 응시 여부 정보, 시선 패턴 분석 정보, 및 픽세이션 분석 정보 중 하나 이상을 포함하고, 상기 부정행위 여부를 모니터링 하는 동작은, 상기 화면 응시 여부 정보, 상기 시선 패턴 분석 정보, 상기 픽세이션 분석 정보, 및 상기 답안 입력 정보 중 하나 이상에 기반하여 복수 개의 부정행위 판단 요소를 산출하는 동작; 상기 산출한 복수 개의 부정행위 판단 요소에 각각 부정행위 점수를 부여하는 동작; 및 상기 부정행위 점수의 합산된 점수에 기반하여 응시자들 중 부정행위 후보자를 검출하는 동작을 포함할 수 있다.The gaze-related analysis information includes at least one of each candidate's screen gaze information, gaze pattern analysis information, and fixation analysis information. calculating a plurality of cheating determining factors based on one or more of the pattern analysis information, the fixation analysis information, and the answer input information; assigning a cheating score to each of the calculated cheating factors; and detecting a cheating candidate among test takers based on the summed score of the cheating scores.
상기 부정행위 판단 요소는, 시험 시간 동안 화면 바깥 응시 횟수, 시험 시간 동안 화면 바깥 응시 비율, 기 설정된 기준 시간당 화면 바깥 응시 횟수, 기 설정된 기준 시간당 화면 바깥 응시 비율, 응시자의 정답률 대비 화면 바깥 응시 횟수 또는 화면 바깥 응시 비율, 각 응시자 별 다른 응시자들의 시선 패턴 분석 정보 간의 유사도, 각 응시자의 각 시험 문제에 대한 리딩 정도, 및 각 응시자 별 다른 응시자들의 픽세이션 분석 정보 간의 유사도 중 복수 개를 포함할 수 있다.The cheating determining factors include the number of out-of-screen stares during the test time, the out-of-screen staring rate during the test time, the number of out-of-screen stares per preset reference time, the out-of-screen staring rate per preset reference time, the number of out-of-screen stares versus the correct answer rate of the test taker; It may include a plurality of out-of-screen staring ratio, similarity between gaze pattern analysis information of different test takers for each test taker, degree of reading for each test question of each test taker, and similarity between fixation analysis information of other test takers for each test taker .
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 각 응시자의 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 획득하기 위한 명령; 상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 상기 응시자의 시선 관련 분석 정보를 생성하기 위한 명령; 및 상기 시선 관련 분석 정보 및 상기 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링 하기 위한 명령을 포함한다.A computing device according to one disclosed embodiment includes one or more processors; Memory; and one or more programs, wherein the one or more programs are stored in the memory and configured for execution by the one or more processors, the one or more programs comprising: each candidate's eye tracking information, test question indication information, and instructions for obtaining answer input information; instructions for generating gaze-related analysis information of the test taker based on at least one of the gaze tracking information and the test question display information; and a command for monitoring whether test takers are cheating based on at least one of the gaze-related analysis information and the answer input information.
개시되는 일 실시예에 따른 시선 기반의 부정행위 검출 시스템은, 응시자의 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 생성하여 송신하는 응시자 단말; 및 상기 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 수신하고, 상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 상기 응시자의 시선 관련 분석 정보를 생성하며, 상기 시선 관련 분석 정보 및 상기 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링 하는 분석 서버를 포함한다.A gaze-based cheating detection system according to an embodiment of the present disclosure includes: a candidate terminal that generates and transmits gaze tracking information, test question display information, and answer input information of a candidate; and receiving the gaze tracking information, test question display information, and answer input information, and generating gaze-related analysis information of the candidate based on at least one of the gaze tracking information and the exam question display information, and the gaze-related analysis and an analysis server for monitoring whether test takers cheat based on one or more of the information and the answer input information.
개시되는 실시예에 의하면, 응시자들이 시험을 보는 동안 각 응시자들의 시선을 추적하고 이를 기반으로 부정행위 후보자를 검출함으로써, 응시자들이 시험을 보는 중간에도 실시간으로 부정행위 후보자를 검출할 수 있으며, 다른 응시자(예를 들어, 정답자)들과의 시선 패턴 분석 정보 및 픽세이션 분석 정보의 비교를 통해 부정행위 후보자를 보다 정확하게 검출할 수 있고 객관성을 확보할 수 있게 된다.According to the disclosed embodiment, by tracking the gaze of each test taker while the test takers are taking the test and detecting the cheating candidate based on this, the cheating candidate can be detected in real time even while the test takers are taking the test, and other test takers Through comparison of gaze pattern analysis information and fixation analysis information with (for example, correct answers), a cheating candidate can be more accurately detected and objectivity can be secured.
도 1은 본 발명의 일 실시예에 따른 객체 인식을 이용한 시선 기반의 부정행위 검출 시스템의 구성을 나타낸 도면1 is a diagram showing the configuration of a gaze-based cheating detection system using object recognition according to an embodiment of the present invention;
도 2는 본 발명의 일 실시예에 따른 분석 서버의 구성을 나타낸 블록도2 is a block diagram showing the configuration of an analysis server according to an embodiment of the present invention;
도 3은 개시되는 일 실시예에서 시선 분석 모듈이 응시자의 화면 응시 여부를 확인하는 상태를 나타낸 도면3 is a diagram illustrating a state in which a gaze analysis module checks whether a candidate gazes at a screen according to an embodiment of the present disclosure;
도 4는 개시되는 일 실시예에서, 부정행위 검출 모듈이 각 응시자의 시선 패턴 분석 정보에 기반하여 부정행위 후보자를 검출하는 상태를 개략적으로 나타낸 도면4 is a diagram schematically illustrating a state in which a cheating detection module detects a cheating candidate based on gaze pattern analysis information of each candidate, according to an embodiment of the present disclosure;
도 5는 개시되는 일 실시예에서 부정행위 검출 모듈이 정답자들의 시선 패턴을 비교하는 상태를 나타낸 도면5 is a view showing a state in which the cheating detection module compares the gaze patterns of correct answers in an embodiment to be disclosed; FIG.
도 6은 개시되는 일 실시예에서 부정행위 검출 모듈이 정답자들의 시선 히트맵 분석 정보를 비교하는 상태를 나타낸 도면6 is a view showing a state in which the cheating detection module compares the gaze heat map analysis information of the correct respondents in an disclosed embodiment;
도 7은 개시되는 일 실시예에서 부정행위 검출 모듈이 정답자들의 픽세이션 검출 정보를 비교하는 상태를 나타낸 도면7 is a diagram illustrating a state in which the cheating detection module compares the fixation detection information of correct answers in an embodiment disclosed;
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도8 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to provide a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is merely an example, and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. And, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification. The terminology used in the detailed description is for the purpose of describing embodiments of the present invention only, and should in no way be limiting. Unless explicitly used otherwise, expressions in the singular include the meaning of the plural. In this description, expressions such as “comprising” or “comprising” are intended to indicate certain features, numbers, steps, acts, elements, some or a combination thereof, one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, acts, elements, or any part or combination thereof.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, the terms "transmission", "communication", "transmission", "reception" and other similar meanings of a signal or information are not only directly transmitted from one component to another component, but also a signal or information This includes passing through other components. In particular, to “transmit” or “transmit” a signal or information to a component indicates the final destination of the signal or information and does not imply a direct destination. The same is true for "reception" of signals or information. In addition, in this specification, when two or more data or information are "related", it means that when one data (or information) is acquired, at least a part of other data (or information) can be acquired based thereon.
한편, 상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.Meanwhile, directional terms such as upper side, lower side, one side, the other side, etc. are used in connection with the orientation of the disclosed drawings. Since components of embodiments of the present invention may be positioned in various orientations, the directional terminology is used for purposes of illustration and not limitation.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Also, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The above terms may be used for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
도 1은 본 발명의 일 실시예에 따른 객체 인식을 이용한 시선 기반의 부정행위 검출 시스템의 구성을 나타낸 도면이다. 1 is a diagram showing the configuration of a gaze-based cheating detection system using object recognition according to an embodiment of the present invention.
도 1을 참조하면, 부정행위 검출 시스템(100)은 응시자 단말(102), 분석 서버(104), 및 관리자 단말(106)을 포함할 수 있다. 여기서, 응시자 단말(102) 및 관리자 단말(106)은 통신 네트워크(150)를 통해 분석 서버(104)와 통신 가능하게 연결된다. Referring to FIG. 1 , the cheating detection system 100 may include a test taker terminal 102 , an analysis server 104 , and an administrator terminal 106 . Here, the candidate terminal 102 and the manager terminal 106 are communicatively connected to the analysis server 104 through the communication network 150 .
몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.In some embodiments, communication network 150 is the Internet, one or more local area networks, wide area networks, cellular networks, mobile networks, other types of networks, or such networks. may include combinations of these.
응시자 단말(102)은 시험에 응하는 응시자의 단말일 수 있다. 예시적인 실시예에서, 응시자는 응시자 단말(102)을 이용하여 온라인으로 시험을 치를 수 있다. 응시자는 일정한 장소에 모여 집합적으로 온라인 시험을 치를 수 있으나, 이에 한정되는 것은 아니며 개별적으로 흩어진 상태에서 온라인 시험을 치를 수도 있다. The test taker terminal 102 may be a test taker's terminal. In an exemplary embodiment, the candidate may take the exam online using the candidate terminal 102 . Candidates may gather in a certain place to take the online test collectively, but the present invention is not limited thereto, and the test takers may take the online test in a dispersed state.
응시자 단말(102)은 시험 문제를 화면에 표시할 수 있다. 예를 들어, 응시자 단말(102)은 시험 출제 기관 서버(미도시)에 접속하여 시험 문제를 다운로드 할 수 있다. 응시자 단말(102)은 입력 장치(예를 들어, 키보드 또는 마우스 등)를 통해 입력되는 응시자의 명령에 따라 그에 대응하는 시험 문제를 화면에 표시할 수 있다. 여기서, 시험 문제는 텍스트로 이루어질 수 있으나, 이에 한정되는 것은 아니며, 이미지 또는 동영상 등의 콘텐츠를 포함할 수도 있다. The test taker terminal 102 may display the exam questions on the screen. For example, the test taker's terminal 102 may download test questions by accessing a test preparation organization server (not shown). The test taker terminal 102 may display a test question corresponding to the test taker's command input through an input device (eg, a keyboard or a mouse) on the screen. Here, the test question may consist of text, but is not limited thereto, and may include content such as images or videos.
응시자 단말(102)은 시험 시간 동안 화면에 표시되는 시험 문제에 대한 정보인 시험 문제 표시 정보를 분석 서버(104)로 전송할 수 있다. 여기서, 시험 문제 표시 정보는 시험 시간 동안 응시자 단말(102)의 화면에 어떤 문제가 어느 시간에 표시되었는지를 나타내는 정보일 수 있다.The test taker terminal 102 may transmit test question display information, which is information about the test question displayed on the screen during the test time, to the analysis server 104 . Here, the test question display information may be information indicating which question was displayed on the screen of the candidate terminal 102 during the test time and at what time.
응시자 단말(102)은 응시자의 시선을 추적하여 시선 추적 정보를 생성할 수 있다. 응시자 단말(102)은 시험 문제가 출제되는 동안(즉, 시험 시간 동안) 화면을 바라보는 응시자의 시선을 추적할 수 있다. The candidate terminal 102 may generate gaze tracking information by tracking the gaze of the candidate. The test taker terminal 102 may track the gaze of the test taker looking at the screen while the test question is presented (ie, during the test time).
예시적인 실시예에서, 응시자 단말(102)에는 응시자의 시선을 추적하기 위한 시선 추적 모듈(102a)이 장착될 수 있다. 여기서, 시선 추적 모듈(102a)은 응시자 단말(102)에 구비된 카메라 및 어플리케이션 등을 통해 구현될 수도 있고, 응시자 단말(102)과는 별도의 장치로 마련되어 응시자 단말(102)에 장착될 수도 있다. In an exemplary embodiment, the gaze tracking module 102a for tracking the gaze of the candidate may be mounted on the candidate terminal 102 . Here, the eye tracking module 102a may be implemented through a camera and an application provided in the candidate terminal 102 , or may be provided as a separate device from the candidate terminal 102 and mounted on the candidate terminal 102 . .
예시적인 실시예에서, 시선 추적 모듈(102a)은 응시자를 촬영하고, 촬영 영상에서 응사자의 얼굴 영역 및 눈 영역을 각각 추출할 수 있다. 시선 추적 모듈(102a)은 추출한 얼굴 영역 및 눈 영역에 기반하여 응시자의 얼굴 벡터 및 눈동자 벡터를 각각 산출하고, 응시자의 얼굴 벡터 및 눈동자 벡터에 기반하여 응시자 단말(102)의 화면과 동일한 평면의 가상 평면 상에서 응시자의 시선 좌표(x, y)를 계산할 수 있다. 응시자가 응시자 단말(102)의 화면 내의 영역을 보고 있는 경우, 시선 추적 모듈(102a)은 응시자가 시험 문제에서 어느 객체에 시선을 향하고 있는지를 추적할 수 있다.In an exemplary embodiment, the eye tracking module 102a may photograph the examinee and extract a face region and an eye region of the examinee from the captured image, respectively. The eye tracking module 102a calculates the candidate's face vector and pupil vector based on the extracted face region and eye region, respectively, and based on the candidate's face vector and pupil vector, a virtual screen on the same plane as the screen of the candidate terminal 102 . It is possible to calculate the gaze coordinates (x, y) of the candidate on the plane. When the test taker is looking at an area within the screen of the test taker terminal 102 , the gaze tracking module 102a may track which object the test taker is looking at in the exam question.
응시자 단말(102)은 시선 추적 정보를 분석 서버(104)로 전송할 수 있다. 예시적인 실시예에서, 응시자 단말(102)은 시험 시간 동안 생성되는 시선 추적 정보를 분석 서버(104)로 실시간 전송할 수 있다. 응시자 단말(102)은 시선 추적 정보를 시험 문제 표시 정보와 연동하여 분석 서버(104)로 전송할 수 있다. 즉, 시선 추적 정보는 시험 문제 표시 정보와 시간이 동기화 될 수 있다. The candidate terminal 102 may transmit the gaze tracking information to the analysis server 104 . In an exemplary embodiment, the candidate terminal 102 may transmit the gaze tracking information generated during the test time to the analysis server 104 in real time. The test taker terminal 102 may transmit the gaze tracking information to the analysis server 104 in association with the test question display information. That is, the eye tracking information may be time synchronized with the test question display information.
응시자 단말(102)은 각 시험 문제에 대해 응시자가 입력하는 답안 입력 정보를 분석 서버(104)로 전송할 수 있다. The test taker terminal 102 may transmit answer input information input by the test taker for each test question to the analysis server 104 .
분석 서버(104)는 각 응시자 단말(102)로부터 시험 문제 표시 정보, 시선 추적 정보, 및 답안 입력 정보를 수신할 수 있다. 분석 서버(104)는 각 응시자 단말(102)로부터 수신한 시험 문제 표시 정보, 시선 추적 정보, 및 답안 입력 정보에 기반하여 각 응시자의 부정행위를 모니터링 할 수 있다. 분석 서버(104)는 부정행위 모니터링 정보를 관리자 단말(106)로 전송할 수 있다. 부정행위 모니터링 정보에는 응시자들 중 부정행위 후보자에 대한 정보가 포함될 수 있다.The analysis server 104 may receive test question display information, gaze tracking information, and answer input information from each test taker terminal 102 . The analysis server 104 may monitor each test taker's misconduct based on the test question display information, the gaze tracking information, and the answer input information received from each test taker terminal 102 . The analysis server 104 may transmit the fraud monitoring information to the manager terminal 106 . The cheating monitoring information may include information about cheating candidates among test takers.
관리자 단말(106)은 시험 관리자의 단말일 수 있다. 관리자 단말(106)은 분석 서버(104)로부터 부정행위 모니터링 정보를 수신할 수 있다. 관리자 단말(106)은 부정행위 모니터링 정보를 화면에 표시할 수 있다. The administrator terminal 106 may be a terminal of the test administrator. The manager terminal 106 may receive the fraud monitoring information from the analysis server 104 . The manager terminal 106 may display misconduct monitoring information on the screen.
도 2는 본 발명의 일 실시예에 따른 분석 서버(104)의 구성을 나타낸 블록도이다. 2 is a block diagram showing the configuration of the analysis server 104 according to an embodiment of the present invention.
도 2를 참조하면, 분석 서버(104)는 통신 모듈(111), 시선 분석 모듈(113), 및 부정행위 검출 모듈(115)을 포함할 수 있다. Referring to FIG. 2 , the analysis server 104 may include a communication module 111 , a gaze analysis module 113 , and a cheating detection module 115 .
일 실시예에서, 통신 모듈(111), 시선 분석 모듈(113), 및 부정행위 검출 모듈(115)은 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.In one embodiment, the communication module 111 , the gaze analysis module 113 , and the cheating detection module 115 are implemented using one or more physically separated devices, or one or more processors or one or more processors and software. It may be implemented by combination, and unlike the illustrated example, it may not be clearly distinguished in specific operation.
통신 모듈(111)은 응시자 단말(102) 및 관리자 단말(106)과 각각 통신을 수행할 수 있다. 통신 모듈(111)은 각 응시자 단말(102)로부터 시험 문제 표시 정보, 시선 추적 정보, 및 답안 입력 정보를 수신할 수 있다. 통신 모듈(111)은 관리자 단말(106)로 부정행위 모니터링 정보를 송신할 수 있다. The communication module 111 may communicate with the test taker terminal 102 and the manager terminal 106 , respectively. The communication module 111 may receive test question display information, gaze tracking information, and answer input information from each candidate terminal 102 . The communication module 111 may transmit the fraud monitoring information to the manager terminal 106 .
시선 분석 모듈(113)은 각 응시자 단말(102)의 시험 문제 표시 정보 및 시선 추적 정보 중 하나 이상에 기반하여 해당 응시자의 시선 관련 분석 정보를 생성할 수 있다. 여기서, 시선 관련 분석 정보는 화면 응시 여부 정보, 시선 패턴 분석 정보, 및 픽세이션 분석 정보 중 하나 이상이 포함될 수 있다. The gaze analysis module 113 may generate gaze-related analysis information of a corresponding candidate based on at least one of test question display information and gaze tracking information of each candidate terminal 102 . Here, the gaze-related analysis information may include one or more of screen gaze information, gaze pattern analysis information, and fixation analysis information.
구체적으로, 시선 분석 모듈(113)은 각 응시자 단말(102)의 시험 문제 표시 정보 및 시선 추적 정보에 기반하여 해당 응시자의 화면 응시 여부 정보를 생성할 수 있다. 즉, 시선 분석 모듈(113)은 응시자 단말(102)에서 소정 시험 문제가 화면에 표시되고 있을 때 해당 응시자가 화면 내부를 응시하고 있는지 아니면 화면 바깥을 응시하고 있는지 여부에 대한 정보인 화면 응시 여부 정보를 생성할 수 있다. Specifically, the gaze analysis module 113 may generate information on whether the candidate stares at the screen based on the test question display information and the gaze tracking information of each candidate terminal 102 . That is, the gaze analysis module 113 provides information on whether or not to stare at the screen, which is information about whether the test taker is gazing inside the screen or outside the screen when a predetermined test question is displayed on the screen in the test taker terminal 102 . can create
도 3은 개시되는 일 실시예에서 시선 분석 모듈(113)이 응시자의 화면 응시 여부를 확인하는 상태를 나타낸 도면이다. 도 3을 참조하면, 시선 분석 모듈(113)은 시선 추적 정보에 포함된 시선 좌표 값(x,y)(즉, 응시자 단말(102)의 화면과 동일한 평면의 가상 평면 상에서 응시자의 시선 좌표 값)을 기반으로 해당 응시자의 시선이 응시자 단말(102)의 화면 내에 있는지 아니면 화면 밖에 있는지를 확인할 수 있다. FIG. 3 is a diagram illustrating a state in which the gaze analysis module 113 checks whether a candidate gazes at a screen according to an embodiment of the present disclosure. Referring to FIG. 3 , the gaze analysis module 113 calculates gaze coordinate values (x,y) included in the gaze tracking information (ie, gaze coordinate values of the gazetteer on a virtual plane of the same plane as the screen of the candidate terminal 102 ). Based on the , it can be checked whether the gaze of the candidate is within the screen of the candidate terminal 102 or outside the screen.
시선 분석 모듈(113)은 각 응시자 단말(102)의 시험 문제 표시 정보 및 시선 추적 정보에 기반하여 해당 응시자의 시선 패턴 분석 정보를 생성할 수 있다. 즉, 시선 분석 모듈(113)은 응시자 단말(102)에서 소정 시험 문제가 표시되고 있는 동안 해당 응시자의 시선 움직임 및 시선 경로 등에 대한 시선 패턴을 분석하여 시선 패턴 분석 정보를 생성할 수 있다. 예를 들어, 시선 패턴 분석 정보는 응시자의 시선이 시험 문제 내에서 어디에 위치(예를 들어, 어느 객체에 위치)하고 어디로 이동(예를 들어, 시험 문제 내 어느 객체 에서 어느 객체로 이동)하는지에 대한 시선 경로를 포함할 수 있다.The gaze analysis module 113 may generate gaze pattern analysis information of the candidate based on the test question display information and the gaze tracking information of each candidate terminal 102 . That is, the gaze analysis module 113 may generate gaze pattern analysis information by analyzing a gaze pattern for the gaze movement and gaze path of the candidate while a predetermined test question is being displayed on the candidate terminal 102 . For example, the gaze pattern analysis information may include information about where the candidate's gaze is located within the exam question (eg, on which object) and where it moves (eg, from which object to which object on the exam question). It may include a gaze path for
예시적인 실시예에서, 시선 분석 모듈(113)은 각 응시자 단말(102)의 시험 문제 표시 정보 및 시선 추적 정보에 기반하여 해당 응시자의 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 분석할 수 있다. 여기서, 제1축 방향(예를 들어, x축 방향)은 응시자 단말(102) 화면의 가로 방향을 의미하고, 제2축 방향(예를 들어, y축 방향)은 응시자 단말(102) 화면의 세로 방향을 의미할 수 있다. 시선 분석 모듈(113)은 시험 문제 표시 정보와 연동하여 해당 응시자의 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴에 대한 시선 패턴 분석 정보를 생성할 수 있다. In an exemplary embodiment, the gaze analysis module 113 determines the gaze pattern in the first axis direction and the gaze pattern in the second axis direction of the candidate based on the test question display information and the gaze tracking information of each candidate terminal 102 . can be analyzed. Here, the first axis direction (eg, the x-axis direction) means the horizontal direction of the screen of the candidate terminal 102 , and the second axis direction (eg, the y-axis direction) is the screen of the candidate terminal 102 . It can mean the vertical direction. The gaze analysis module 113 may generate gaze pattern analysis information for the gaze pattern in the first axis direction and the gaze pattern in the second axis direction of the candidate in association with the test question display information.
시선 분석 모듈(113)은 각 응시자 단말(102)의 시험 문제 표시 정보 및 시선 추적 정보 중 하나 이상에 기반하여 해당 응시자의 픽세이션(Fixation) 분석 정보를 생성할 수 있다. 여기서, 픽세이션 분석 정보는 픽세이션 검출 정보 및 시선 히트맵 분석 정보 중 하나 이상을 포함할 수 있다.The gaze analysis module 113 may generate fixation analysis information of the candidate based on at least one of test question display information and gaze tracking information of each candidate terminal 102 . Here, the fixation analysis information may include one or more of fixation detection information and gaze heat map analysis information.
구체적으로, 시선 분석 모듈(113)은 해당 응시자의 시선 추적 정보에서 사카드(Saccade)를 제외하고 픽세이션(Fixation)을 검출할 수 있다. 시선 분석 모듈(113)은 검출된 픽세이션을 이용하여 시험 시간 동안 해당 응시자의 픽세이션 검출 정보를 생성할 수 있다. 픽세이션 검출 정보는 시험 시간 동안 어느 구간에서 해당 응시자의 픽세이션이 얼만큼 검출되었는지를 나타내는 정보일 수 있다. Specifically, the gaze analysis module 113 may detect a fixation excluding a saccade from the gaze tracking information of the candidate. The gaze analysis module 113 may use the detected fixation to generate fixation detection information of the test taker during the test time. The fixation detection information may be information indicating how much of the fixation of the candidate was detected in which section during the test time.
여기서, 사카드(Saccade)는 두 눈이 동시에 동일한 방향으로 빠르게 움직이는 안구 운동으로 픽세이션들 사이에 일어나며, 일반적으로 20-40ms 지속되게 된다. 사카드는 주로 시선이 관심 객체를 향하도록 하는데 사용된다. 또한, 픽세이션(Fixation)은 시선이 단일 위치에서 유지되는 것으로, 시선이 고정되는 것을 의미할 수 있다. 픽세이션은 일반적으로 50-600ms 지속될 수 있다.Here, saccade is an eye movement in which both eyes move rapidly in the same direction at the same time, and occurs between fixes, and generally lasts 20-40 ms. The saccard is mainly used to direct the gaze towards the object of interest. In addition, fixation refers to maintaining the gaze at a single position, and may mean that the gaze is fixed. Pixation can typically last 50-600ms.
시선 분석 모듈(113)은 검출된 픽세이션을 이용하여 소정 시험 문제에 대한 해당 응시자의 시선 히트맵 분석 정보를 생성할 수 있다. 즉, 시선 분석 모듈(113)은 검출된 픽세이션을 이용하여 응시자 단말(102)에서 소정 시험 문제가 표시되고 있을 때, 응시자가 어느 부분(예를 들어, 시험 문제 중 어느 객체 부분)을 어느 정도 보고 있는지에 대한 시선 히트맵을 분석할 수 있다. 이때, 시선 분석 모듈(113)은 시험 문제 표시 정보와 연동하여 시선 히트맵 분석 정보를 생성할 수 있다. The gaze analysis module 113 may generate gaze heat map analysis information of a corresponding candidate for a predetermined test question by using the detected fixation. That is, when a predetermined test question is displayed on the test taker terminal 102 using the detected fixation, the gaze analysis module 113 determines which part (eg, a certain object part of the test question) by the test taker to some extent. You can analyze the gaze heat map for whether you are looking. In this case, the gaze analysis module 113 may generate gaze heat map analysis information in association with the test question display information.
부정행위 검출 모듈(115)은 시선 관련 분석 정보 및 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링하여 부정행위 모니터링 정보를 생성하고, 모니터링 결과에 따라 부정행위 후보자를 검출할 수 있다. 즉, 부정행위 검출 모듈(115)은 화면 응시 여부 정보, 시선 패턴 분석 정보, 픽세이션 분석 정보, 및 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링하고, 모니터링 결과에 따라 부정행위 후보자를 검출할 수 있다.The cheating detection module 115 generates cheating monitoring information by monitoring whether test takers cheat based on one or more of gaze-related analysis information and answer input information, and detects cheating candidates according to the monitoring result. . That is, the cheating detection module 115 monitors whether test takers are cheating based on at least one of screen staring information, gaze pattern analysis information, fixation analysis information, and answer input information, and cheating according to the monitoring result. Candidates can be detected.
구체적으로, 부정행위 검출 모듈(115)은 각 응시자의 화면 응시 여부 정보에 기반하여 해당 응시자의 부정행위 여부를 확인할 수 있다. 부정행위 검출 모듈(115)은 각 응시자의 화면 응시 여부 정보에 기반하여 시험 시간 동안 해당 응시자의 화면 바깥 응시 횟수(또는 화면 바깥 응시 비율)를 산출할 수 있다. 부정행위 검출 모듈(115)은 시험 기간 동안 화면 바깥 응시 횟수(또는 화면 바깥 응시 비율)가 기 설정된 제1 임계 횟수(또는 제1 임계 비율)를 초과하는 경우, 해당 응시자를 부정행위 후보자로 검출할 수 있다. Specifically, the cheating detection module 115 may check whether the corresponding candidate has cheated on the basis of information on whether or not each candidate stares at the screen. The cheating detection module 115 may calculate the number of out-of-screen stares (or out-of-screen staring ratio) of the test taker during the test time based on the information on whether each test taker stares at the screen. The cheating detection module 115 detects the candidate as a cheating candidate when the number of out-of-screen gazes (or out-of-screen gaze ratio) exceeds a preset first threshold number (or first threshold ratio) during the test period. can
부정행위 검출 모듈(115)은 각 응시자의 화면 응시 여부 정보에 기반하여 기 설정된 기준 시간(예를 들어, 5분 또는 10분 등)당 화면 바깥 응시 횟수(또는 화면 바깥 응시 비율)를 산출할 수 있다. 부정행위 검출 모듈(115)은 기 설정된 기준 시간당 화면 바깥 응시 횟수(또는 화면 바깥 응시 비율)가 기 설정된 제2 임계 횟수(또는 제2 임계 비율)를 초과하는 경우, 해당 응시자를 부정행위 후보자로 검출할 수 있다. 여기서, 제2 임계 횟수 또는 제2 임계 비율은 제1 임계 횟수 또는 제1 임계 비율 보다 낮게 설정될 수 있으나, 이에 한정되는 것은 아니다.The cheating detection module 115 may calculate the number of out-of-screen gazes (or out-of-screen gaze ratio) per preset reference time (eg, 5 minutes or 10 minutes, etc.) based on the information on whether each candidate stares at the screen. there is. The cheating detection module 115 detects the candidate as a cheating candidate when the number of out-of-screen gazes (or out-of-screen gaze ratio) per preset reference time exceeds a preset second threshold number (or second threshold ratio) can do. Here, the second threshold number or the second threshold ratio may be set to be lower than the first threshold number or the first threshold ratio, but is not limited thereto.
부정행위 검출 모듈(115)은 시험 기간 동안 각 응시자의 화면 바깥 응시 횟수와 답안 입력 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 부정행위 검출 모듈(115)은 답안 입력 정보를 통해 해당 응시자의 각 시험 문제에 대한 정답 여부를 확인할 수 있다. 부정행위 검출 모듈(115)은 응시자의 정답률과 화면 바깥 응시 횟수에 기반하여 부정행위 후보자를 검출할 수 있다. 즉, 부정행위 검출 모듈(115)은 소정 시험 문제에 대해 응시자가 정답을 맞추었는데, 소정 시험 문제가 화면에 표시되는 동안 응시자가 화면 바깥을 여러 차례 응시한 경우, 해당 응시자를 부정행위 후보자로 검출할 수 있다. The cheating detection module 115 may detect cheating candidates based on the number of times each candidate stares outside the screen and answer input information during the test period. The cheating detection module 115 may check whether the candidate has an answer to each test question through answer input information. The cheating detection module 115 may detect a cheating candidate based on the candidate's correct answer rate and the number of out-of-screen gazes. That is, the cheating detection module 115 detects the candidate as a cheating candidate when the candidate has given the correct answer to a given test question, and the candidate stares outside the screen several times while the predetermined test question is displayed on the screen can do.
부정행위 검출 모듈(115)은 각 응시자의 시선 패턴 분석 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 도 4는 개시되는 일 실시예에서, 부정행위 검출 모듈(115)이 각 응시자의 시선 패턴 분석 정보에 기반하여 부정행위 후보자를 검출하는 상태를 개략적으로 나타낸 도면이다. 도 4를 참조하면, 부정행위 검출 모듈(115)은 시험 기간 동안 응시자들의 시선 패턴 분석 정보를 상호 비교하여 시선 패턴 분석 정보가 다른 응시자와 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출할 수 있다. The cheating detection module 115 may detect a cheating candidate based on the gaze pattern analysis information of each candidate. 4 is a diagram schematically illustrating a state in which the cheating detection module 115 detects a cheating candidate based on gaze pattern analysis information of each candidate, according to an embodiment of the present disclosure. Referring to FIG. 4 , the cheating detection module 115 compares the gaze pattern analysis information of the test takers during the test period and detects a candidate whose gaze pattern analysis information differs from other test takers by more than a preset criterion as a cheating candidate. can do.
부정행위 검출 모듈(115)은 각 응시자의 시선 패턴 분석 정보와 답안 입력 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 부정행위 검출 모듈(115)은 응시자의 시선 패턴 분석 정보 중 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴에 기반하여 해당 응시자의 각 시험 문제에 대한 리딩(Reading) 정도(즉, 시험 문제를 잘 읽고 있는지 정도)를 확인할 수 있다. The cheating detection module 115 may detect a cheating candidate based on each candidate's gaze pattern analysis information and answer input information. The cheating detection module 115 determines the degree of reading for each test question of the candidate based on the gaze pattern in the first axis direction and the gaze pattern in the second axis direction among the gaze pattern analysis information of the candidate (ie, the exam). You can check whether you are reading the question well).
즉, 부정행위 검출 모듈(115)은 응시자의 제1축 방향의 시선 패턴을 통해 응시자가 시험 문제의 텍스트 한 줄을 잘 읽고 있는지 여부를 확인할 수 있고, 응시자의 제2축 방향의 시선 패턴을 통해 응시자가 시험 문제의 텍스트를 줄을 바꾸면서 잘 읽고 있는지 여부를 확인할 수 있다. That is, the cheating detection module 115 may check whether the test taker reads one line of the test question well through the test taker's gaze pattern in the first axis direction, and through the gaze pattern in the second axis direction of the test taker Candidates can check whether they are reading well by wrapping the text of the exam questions.
부정행위 검출 모듈(115)은 소정 응시자의 소정 시험 문제에 대한 리딩 정도가 기 설정된 기준 이하이면서 해당 시험 문제에 정답을 입력한 경우(즉, 해당 시험 문제에 대한 답안 입력 정보가 정답인 경우), 해당 응시자를 부정행위 후보자로 검출할 수 있다. The cheating detection module 115 is configured to detect when a given test taker's reading degree for a given test question is less than or equal to a preset standard and the correct answer is entered in the test question (that is, when the answer input information for the test question is the correct answer), The candidate may be detected as a cheating candidate.
부정행위 검출 모듈(115)은 각 응시자의 답안 입력 정보를 통해 각 응시자의 각 시험 문제에 대한 정답 여부를 확인할 수 있다. 부정행위 검출 모듈(115)은 각 시험 문제에 대해 정답을 입력한 응시자들 간의 시선 패턴 분석 정보를 비교하여 부정행위 후보자를 검출할 수 있다. 이때, 부정행위 검출 모듈은(115)은 시선 패턴 분석 정보가 다른 응시자와 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출할 수 있다. 부정행위 검출 모듈(115)은 정답을 입력한 응시자들(정답자들)의 시선 패턴 분석 정보 중 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 상호 비교할 수 있다.The cheating detection module 115 may check whether each test taker has an answer to each test question through answer input information of each test taker. The cheating detection module 115 may detect a cheating candidate by comparing gaze pattern analysis information between test takers who input correct answers for each test question. In this case, the cheating detection module 115 may detect, as a cheating candidate, a candidate whose gaze pattern analysis information differs from another candidate by more than a preset criterion. The cheating detection module 115 may compare the gaze pattern in the first axis direction and the gaze pattern in the second axis direction among the gaze pattern analysis information of the test takers (correct answerers) who have entered the correct answer.
도 5는 개시되는 일 실시예에서 부정행위 검출 모듈(115)이 정답자들의 시선 패턴을 비교하는 상태를 나타낸 도면이다. 여기서는, 제1축 방향(x축 방향)의 시선 패턴 및 제2축 방향(y축 방향)의 시선 패턴을 상호 비교하였다. 5 is a diagram illustrating a state in which the cheating detection module 115 compares the gaze patterns of correct answerers in an disclosed embodiment. Here, the gaze pattern in the first axis direction (x-axis direction) and the gaze pattern in the second axis direction (y-axis direction) were compared with each other.
도 5의 (a)는 정상적인 정답자의 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 나타낸 것이고, 도 5의 (b)는 정답자이나 부정행위 후보자의 제1축 방향의 시선 패턴 및 제2축 방향의 시선 패턴을 나타낸 것이다. 도 5에서 보는 바와 같이, 부정행위 검출 모듈(115)은 시선 패턴이 다른 정답자와 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출할 수 있다.Figure 5 (a) shows the gaze pattern in the first axis direction and the gaze pattern in the second axis direction of a normal correct answerer, and FIG. 5 (b) is the first axis direction gaze pattern and It shows the gaze pattern in the second axis direction. As shown in FIG. 5 , the cheating detection module 115 may detect, as a cheating candidate, a candidate whose gaze pattern is different from another correct answer by more than a preset criterion.
부정행위 검출 모듈(115)은 각 응시자의 정답률(시험 문제 수 대비 정답을 입력한 비율)과 시선 패턴 분석 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 예시적인 실시예에서, 부정행위 검출 모듈(115)은 소정 응시자의 정답률이 기 설정된 기준 정답률 이상이고, 소정 응시자의 시선 패턴 분석 정보가 다른 정답자들의 시선 패턴 분석 정보와 기 설정된 기준 이상으로 차이가 있는 경우, 해당 응시자를 부정행위 후보자로 검출할 수 있다. The cheating detection module 115 may detect a cheating candidate based on each candidate's correct answer rate (the ratio of correct input to the number of test questions) and gaze pattern analysis information. In an exemplary embodiment, the cheating detection module 115 determines that the correct answer rate of a given candidate is greater than or equal to a preset reference correct rate, and gaze pattern analysis information of a given candidate differs from the gaze pattern analysis information of other correct respondents by more than a preset criterion. In this case, the candidate may be detected as a cheating candidate.
부정행위 검출 모듈(115)은 각 응시자의 정답 연속 횟수(정답을 연속해서 입력한 시험 문제 개수, 예를 들어 정답 연속 횟수 3이면, 3 문제를 연속해서 정답을 입력함)와 시선 패턴 분석 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 예시적인 실시예에서, 부정행위 검출 모듈(115)은 소정 응시자의 정답 연속 횟수가 기 설정된 기준 횟수 이상이고, 소정 응시자의 시선 패턴 분석 정보가 다른 정답자들의 시선 패턴 분석 정보와 기 설정된 기준 이상으로 차이가 있는 경우, 해당 응시자를 부정행위 후보자로 검출할 수 있다. The cheating detection module 115 calculates the number of consecutive correct answers (the number of test questions in which the correct answer is continuously entered, for example, if the number of consecutive correct answers is 3, the correct answer is entered in 3 consecutive answers) and gaze pattern analysis information of each test taker. Based on this, it is possible to detect cheating candidates. In an exemplary embodiment, the cheating detection module 115 determines that the number of consecutive correct answers of a given candidate is greater than or equal to a preset reference number, and the gaze pattern analysis information of the predetermined candidate differs from the gaze pattern analysis information of other correct answers by more than a preset criterion If there is, the candidate may be detected as a cheating candidate.
부정행위 검출 모듈(115)은 픽세이션 분석 정보 및 답안 입력 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 구체적으로, 부정행위 검출 모듈(115)은 각 응시자의 픽세이션 분석 정보 중 시선 히트맵 분석 정보와 답안 입력 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 부정행위 검출 모듈(115)은 각 시험 문제에 대해 정답을 입력한 응시자들 간의 시선 히트맵 분석 정보를 비교하여 부정행위 후보자를 검출할 수 있다. The cheating detection module 115 may detect a cheating candidate based on the fixation analysis information and answer input information. Specifically, the cheating detection module 115 may detect a cheating candidate based on gaze heat map analysis information and answer input information among the fixation analysis information of each candidate. The cheating detection module 115 may detect a cheating candidate by comparing gaze heat map analysis information between test takers who input correct answers for each test question.
도 6은 개시되는 일 실시예에서 부정행위 검출 모듈(115)이 정답자들의 시선 히트맵 분석 정보를 비교하는 상태를 나타낸 도면이다. 도 6의 (a)는 정상적인 정답자의 시선 히트맵을 나타낸 것이고, 도 6의 (b)는 정답자이나 부정행위 후보자의 시선 히트맵을 나타낸 것이다. 부정행위 검출 모듈은(115)은 시선 히트맵 분석 정보가 다른 응시자와 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출할 수 있다.6 is a diagram illustrating a state in which the cheating detection module 115 compares the gaze heat map analysis information of the correct respondents in an disclosed embodiment. Fig. 6 (a) shows the gaze heat map of the correct correct person, and Fig. 6 (b) shows the gaze heat map of the correct correct person or the cheating candidate. The cheating detection module 115 may detect, as a cheating candidate, a candidate whose gaze heat map analysis information differs from another candidate by more than a preset criterion.
또한, 부정행위 검출 모듈(115)은 각 응시자의 픽세이션 분석 정보 중 픽세이션 검출 정보와 답안 입력 정보에 기반하여 부정행위 후보자를 검출할 수 있다. 부정행위 검출 모듈(115)은 각 시험 문제에 대해 정답을 입력한 응시자들 간의 픽세이션 검출 정보를 비교하여 부정행위 후보자를 검출할 수 있다. Also, the cheating detection module 115 may detect a cheating candidate based on fixation detection information and answer input information among the fixation analysis information of each candidate. The cheating detection module 115 may detect cheating candidates by comparing fixation detection information among test takers who have entered correct answers for each test question.
도 7은 개시되는 일 실시예에서 부정행위 검출 모듈(115)이 정답자들의 픽세이션 검출 정보를 비교하는 상태를 나타낸 도면이다. 도 6의 (a)는 정상적인 정답자의 픽세이션 검출 그래프를 나타낸 것이고, 도 6의 (b)는 정답자이나 부정행위 후보자의 픽세이션 검출 그래프를 나타낸 것이다. 부정행위 검출 모듈은(115)은 픽세이션 검출 정보가 다른 응시자와 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출할 수 있다.7 is a diagram illustrating a state in which the cheating detection module 115 compares the fixation detection information of correct answers in an disclosed embodiment. Fig. 6 (a) shows a fixation detection graph of a correct correct person, and Fig. 6 (b) shows a fixation detection graph of a correct correct answer or a cheating candidate. The cheating detection module 115 may detect a candidate whose fixation detection information differs from another candidate by more than a preset criterion as a cheating candidate.
한편, 부정행위 검출 모듈(115)은 화면 응시 여부 정보, 시선 패턴 분석 정보, 픽세이션 분석 정보, 및 답안 입력 정보 중 하나 이상에 기반하여 복수 개의 부정행위 판단 요소를 산출하고, 복수 개의 부정행위 판단 요소에 각각 부정행위 점수를 부여하여 합산된 부정행위 점수가 기 설정된 임계 점수 이상인 응시자를 부정행위 후보자로 검출할 수도 있다. On the other hand, the cheating detection module 115 calculates a plurality of cheating determination elements based on one or more of screen staring information, gaze pattern analysis information, fixation analysis information, and answer input information, and determines a plurality of cheating actions By giving each element a cheating score, it is also possible to detect a candidate whose cheating score is equal to or greater than a preset threshold score as a cheating candidate.
여기서, 부정행위 판단 요소는 시험 시간 동안 화면 바깥 응시 횟수, 시험 시간 동안 화면 바깥 응시 비율, 기 설정된 기준 시간당 화면 바깥 응시 횟수, 기 설정된 기준 시간당 화면 바깥 응시 비율, 및 응시자의 정답률 대비 화면 바깥 응시 횟수 또는 화면 바깥 응시 비율 중 복수 개를 포함할 수 있다. Here, the cheating determining factors include the number of out-of-screen stares during the test time, the out-of-screen staring ratio during the test time, the number of out-of-screen stares per preset reference time, the out-of-screen staring rate per preset reference time, and the number of out-of-screen stares versus the correct answer rate of the test taker Alternatively, a plurality of out-of-screen gaze ratios may be included.
또한, 부정행위 판단 요소는 각 응시자 별 다른 응시자들의 시선 패턴 분석 정보 간의 유사도, 각 응시자의 각 시험 문제에 대한 리딩 정도, 및 각 응시자 별 다른 응시자들의 픽세이션 분석 정보 간의 유사도 등이 포함될 수 있다. In addition, the cheating determining factor may include a degree of similarity between gaze pattern analysis information of different test takers for each test taker, a degree of reading for each test question of each test taker, and a degree of similarity between fixation analysis information of other test takers for each test taker.
개시되는 실시예에 의하면, 응시자들이 시험을 보는 동안 각 응시자들의 시선을 추적하고 이를 기반으로 부정행위 후보자를 검출함으로써, 응시자들이 시험을 보는 중간에도 실시간으로 부정행위 후보자를 검출할 수 있으며, 다른 응시자(예를 들어, 정답자)들과의 시선 패턴 분석 정보 및 픽세이션 분석 정보의 비교를 통해 부정행위 후보자를 보다 정확하게 검출할 수 있고 객관성을 확보할 수 있게 된다.According to the disclosed embodiment, by tracking the gaze of each test taker while the test takers are taking the test and detecting the cheating candidate based on this, the cheating candidate can be detected in real time even while the test takers are taking the test, and other test takers Through comparison of gaze pattern analysis information and fixation analysis information with (for example, correct answers), a cheating candidate can be more accurately detected and objectivity can be secured.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.In this specification, a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware. For example, the "module" may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and does not necessarily mean physically connected code or a single type of hardware.
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.8 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 응시자 단말(102)일 수 있다. 또한, 컴퓨팅 장치(12)는 분석 서버(104)일 수 있다. 또한, 컴퓨팅 장치(12)는 관리자 단말(106)일 수 있다.The illustrated computing environment 10 includes a computing device 12 . In one embodiment, computing device 12 may be candidate terminal 102 . Computing device 12 may also be analytics server 104 . Also, the computing device 12 may be an administrator terminal 106 .
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다. Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 . The processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above. For example, the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 . The one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14 . In one embodiment, computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다. Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다. Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 . The input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 . Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 . Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices and/or output devices such as display devices, printers, speakers and/or network cards. The exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although representative embodiments of the present invention have been described in detail above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications are possible within the limits without departing from the scope of the present invention with respect to the above-described embodiments. . Therefore, the scope of the present invention should not be limited to the described embodiments, and should be defined by the claims described below as well as the claims and equivalents.

Claims (20)

  1. 하나 이상의 프로세서들, 및one or more processors, and
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, A method performed in a computing device having a memory storing one or more programs to be executed by the one or more processors, the method comprising:
    각 응시자의 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 획득하는 동작;obtaining each test taker's eye tracking information, test question display information, and answer input information;
    상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 상기 응시자의 시선 관련 분석 정보를 생성하는 동작; 및generating gaze-related analysis information of the candidate based on at least one of the gaze tracking information and the test question display information; and
    상기 시선 관련 분석 정보 및 상기 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링 하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and monitoring whether test takers are cheating based on at least one of the gaze-related analysis information and the answer input information.
  2. 청구항 1에 있어서, The method according to claim 1,
    상기 시선 추적 정보는, The eye tracking information is
    응시자 단말의 화면과 동일한 평면의 가상 평면 상에서 상기 응시자의 시선 좌표 값을 포함하는, 시선 기반의 부정행위 검출 방법.A gaze-based cheating detection method comprising the gaze coordinate value of the candidate on a virtual plane on the same plane as the screen of the candidate terminal.
  3. 청구항 2에 있어서, 3. The method according to claim 2,
    상기 시선 관련 분석 정보를 생성하는 동작은, The operation of generating the gaze-related analysis information includes:
    상기 시험 문제 표시 정보 및 상기 시선 좌표 값에 기반하여 각 응시자의 화면 응시 여부 정보를 생성하는 동작을 포함하고, and generating information on whether each candidate stares on the screen based on the test question display information and the gaze coordinate value,
    상기 부정행위 여부를 모니터링 하는 동작은, The operation of monitoring the misconduct is,
    상기 각 응시자의 화면 응시 여부 정보에 기반하여 부정행위 여부를 확인하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.The gaze-based cheating detection method comprising the operation of determining whether or not cheating is performed based on the information on whether each candidate stares at the screen.
  4. 청구항 3에 있어서, 4. The method according to claim 3,
    상기 부정행위 여부를 확인하는 동작은, The operation to check whether the cheating is done is,
    상기 각 응시자의 화면 응시 여부 정보에 기반하여 시험 기간 동안 각 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상을 산출하는 동작; 및calculating at least one of the number of out-of-screen staring counts and out-of-screen staring ratio of each test taker during the test period based on the information on whether each test taker stares at the screen; and
    상기 시험 기간 동안 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상이 기 설정된 제1 임계치를 초과하는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and detecting the candidate as a cheating candidate when at least one of a number of out-of-screen gazes and a ratio of out-of-screen gazes of a candidate during the test period exceeds a preset first threshold; .
  5. 청구항 3에 있어서, 4. The method according to claim 3,
    상기 부정행위 여부를 확인하는 동작은, The operation to check whether the cheating is done is,
    상기 각 응시자의 화면 응시 여부 정보에 기반하여 기 설정된 기준 시간당 각 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상을 산출하는 동작; 및calculating at least one of the number of out-of-screen stares and out-of-screen staring ratio of each test taker per preset reference time based on the information on whether each test taker stares at the screen; and
    상기 기준 시간당 응시자의 화면 바깥 응시 횟수 및 화면 바깥 응시 비율 중 하나 이상이 기 설정된 제2 임계치를 초과하는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and detecting the candidate as a cheating candidate when at least one of the number of out-of-screen gazes and the out-of-screen gaze ratio per reference hour exceeds a preset second threshold.
  6. 청구항 3에 있어서, 4. The method according to claim 3,
    상기 부정행위 여부를 확인하는 동작은, The operation to check whether the cheating is done is,
    상기 답안 입력 정보를 통해 각 응시자의 시험 문제에 대한 정답 여부를 확인하는 동작; checking whether each test taker has an answer to the test question through the answer input information;
    상기 화면 응시 여부 정보에 기반하여 상기 시험 문제가 상기 화면에 표시되는 동안 각 응시자의 화면 바깥 응시 횟수를 산출하는 동작; 및calculating the number of times each test taker stares outside the screen while the test question is displayed on the screen based on the screen staring information; and
    상기 시험 문제에 대한 정답 여부 및 상기 화면 바깥 응시 횟수에 기반하여 부정행위 후보자를 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.A gaze-based cheating detection method comprising the operation of detecting a cheating candidate based on the correct answer to the test question and the number of gazes outside the screen.
  7. 청구항 1에 있어서, The method according to claim 1,
    상기 시선 관련 분석 정보를 생성하는 동작은,The operation of generating the gaze-related analysis information includes:
    상기 시선 추적 정보 및 상기 시험 문제 표시 정보에 기반하여 각 응시자의 시선 패턴 분석 정보를 생성하는 동작을 포함하고, and generating gaze pattern analysis information of each test taker based on the gaze tracking information and the test question display information,
    상기 부정행위 여부를 모니터링 하는 동작은, The operation of monitoring the misconduct is,
    상기 응시자들의 시선 패턴 분석 정보를 상호 비교하여 시선 패턴 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and detecting, as a cheating candidate, a candidate whose gaze pattern analysis information differs from other test takers by more than a preset criterion by comparing the gaze pattern analysis information of the test takers.
  8. 청구항 7에 있어서, 8. The method of claim 7,
    상기 부정행위 후보자로 검출하는 동작은, The operation of detecting as the cheating candidate is
    상기 답안 입력 정보를 통해 상기 응시자의 각 시험 문제에 대한 정답 여부를 확인하는 동작; 및checking whether the candidate has answered each test question correctly through the answer input information; and
    상기 시험 문제에 대해 정답을 입력한 응시자들 간의 시선 패턴 분석 정보를 비교하여 상기 정답을 입력한 응시자들 중 시선 패턴 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.By comparing the gaze pattern analysis information among the test takers who entered the correct answer for the test question, among the test takers who entered the correct answer, the gaze pattern analysis information differs from other test takers by more than a preset criterion as a cheating candidate. A gaze-based cheating detection method comprising the operation of detecting.
  9. 청구항 8에 있어서, 9. The method of claim 8,
    상기 부정행위 후보자로 검출하는 동작은, The operation of detecting as the cheating candidate is
    상기 시선 추적 정보 상기 시험 문제 표시 정보에 기반하여 상기 응시자들의 상기 시험 문제에 대한 제1축 방향의 시선 패턴 및 상기 제1축 방향과 수직한 제2축 방향의 시선 패턴을 각각 산출하는 동작; 및calculating, respectively, a gaze pattern in a first axis direction and a gaze pattern in a second axis direction perpendicular to the first axis direction for the test question of the test takers based on the gaze tracking information and the test question display information; and
    상기 시험 문제에 대해 정답을 입력한 응시자들 간의 상기 제1축 방향의 시선 패턴 및 상기 제2축 방향의 시선 패턴을 비교하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and comparing the gaze pattern in the first axis direction and the gaze pattern in the second axis direction between test takers who have entered correct answers to the test question.
  10. 청구항 7에 있어서, 8. The method of claim 7,
    상기 부정행위 후보자로 검출하는 동작은, The operation of detecting as the cheating candidate is
    상기 답안 입력 정보에 기반하여 각 응시자의 정답률을 산출하는 동작; 및calculating a percentage of correct answers for each test taker based on the answer input information; and
    소정 응시자의 정답률이 기 설정된 기준 정답률 이상이고, 상기 응시자의 시선 패턴 분석 정보가 상기 응시자가 정답으로 입력한 시험 문제들에 대한 다른 정답자들의 시선 패턴 분석 정보와 기 설정된 기준 이상으로 차이가 있는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.When the correct answer rate of a given candidate is greater than or equal to the preset reference correct rate, and the gaze pattern analysis information of the candidate is different from the gaze pattern analysis information of other correct answers for the test questions entered as the correct answer by the candidate by more than a preset criterion, A gaze-based cheating detection method comprising the operation of detecting the candidate as a cheating candidate.
  11. 청구항 7에 있어서, 8. The method of claim 7,
    상기 부정행위 후보자로 검출하는 동작은, The operation of detecting as the cheating candidate is
    상기 답안 입력 정보에 기반하여 각 응시자의 정답 연속 횟수를 산출하는 동작; 및calculating the number of consecutive correct answers of each test taker based on the answer input information; and
    소정 응시자의 정답 연속 횟수가 기 설정된 기준 횟수 이상이고, 상기 응시자의 시선 패턴 분석 정보가 상기 응시자가 정답으로 입력한 시험 문제들에 대한 다른 정답자들의 시선 패턴 분석 정보와 기 설정된 기준 이상으로 차이가 있는 경우, 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.The number of consecutive correct answers of a given candidate is greater than or equal to the preset reference number, and the gaze pattern analysis information of the candidate is different from the gaze pattern analysis information of other correct answers for the test questions entered by the candidate as the correct answer by more than a preset criterion case, the gaze-based cheating detection method comprising the operation of detecting the candidate as a cheating candidate.
  12. 청구항 1에 있어서, The method according to claim 1,
    상기 부정행위 여부를 모니터링 하는 동작은,The operation of monitoring the misconduct is,
    상기 시선 추적 정보 및 상기 시험 문제 표시 정보에 기반하여 응시자의 시험 문제에 대한 리딩(Reading) 정도를 확인하는 동작;checking the degree of reading of the test question by the test taker based on the eye tracking information and the test question display information;
    상기 답안 입력 정보를 통해 상기 응시자의 시험 문제에 대한 정답 여부를 확인하는 동작; 및checking whether the test taker has answered the test question correctly through the answer input information; and
    상기 시험 문제에 대한 리딩 정도 및 상기 시험 문제에 대한 정답 여부에 기반하여 해당 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and detecting the candidate as a cheating candidate based on the reading degree for the test question and whether the test question is correct.
  13. 청구항 12에 있어서, 13. The method of claim 12,
    상기 리딩 정도를 확인하는 동작은, The operation to check the reading degree is,
    상기 시선 추적 정보에 기반하여 상기 응시자의 제1축 방향의 시선 패턴 및 상기 제1축 방향과 수직한 제2축 방향의 시선 패턴을 각각 산출하는 동작; 및calculating a gaze pattern in a first axis direction and a gaze pattern in a second axis direction perpendicular to the first axis direction, respectively, based on the gaze tracking information; and
    상기 제1축 방향의 시선 패턴 및 상기 제2축 방향의 시선 패턴에 기반하여 상기 응시자의 상기 시험 문제에 대한 리딩 정도를 확인하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and checking the degree of reading of the test question by the test taker based on the gaze pattern in the first axis direction and the gaze pattern in the second axis direction.
  14. 청구항 1에 있어서, The method according to claim 1,
    상기 시선 관련 분석 정보를 생성하는 동작은,The operation of generating the gaze-related analysis information includes:
    상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 각 응시자의 픽세이션(Fixation) 분석 정보를 생성하는 동작을 포함하고, generating fixation analysis information of each candidate based on at least one of the eye tracking information and the test question display information;
    상기 부정행위 여부를 모니터링 하는 동작은, The operation of monitoring the misconduct is,
    상기 응시자들의 픽세이션 분석 정보를 상호 비교하여 픽세이션 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and detecting, as a cheating candidate, a candidate whose fixation analysis information differs from other test takers by more than a preset criterion by comparing the fixation analysis information of the test takers.
  15. 청구항 14에 있어서, 15. The method of claim 14,
    상기 픽세이션 분석 정보를 생성하는 동작은, The operation of generating the fixation analysis information includes:
    상기 시선 추적 정보에서 사카드를 제외한 픽세이션을 검출하는 동작; 및detecting a fixation excluding a sarcard from the eye tracking information; and
    상기 검출된 픽세이션에 기반하여 시험 시간 동안 각 응시자의 픽세이션 검출 정보를 생성하는 동작을 포함하고, and generating fixation detection information of each test taker during a test time based on the detected fixation,
    상기 부정행위 여부를 모니터링 하는 동작은, The operation of monitoring the misconduct is,
    상기 답안 입력 정보를 통해 상기 응시자의 각 시험 문제에 대한 정답 여부를 확인하는 동작; 및checking whether the candidate has answered each test question correctly through the answer input information; and
    상기 시험 문제에 대해 정답을 입력한 응시자들 간의 픽세이션 검출 정보를 비교하여 상기 정답을 입력한 응시자들 중 픽세이션 검출 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.By comparing the fixation detection information among the test takers who entered the correct answer for the test question, among the test takers who entered the correct answer, the fixation detection information differs from other test takers by more than a preset criterion as a cheating candidate. A gaze-based cheating detection method comprising the operation of detecting.
  16. 청구항 14에 있어서, 15. The method of claim 14,
    상기 픽세이션 분석 정보를 생성하는 동작은, The operation of generating the fixation analysis information includes:
    상기 시선 추적 정보에서 사카드를 제외한 픽세이션을 검출하는 동작; 및detecting a fixation excluding a sarcard from the eye tracking information; and
    상기 검출된 픽세이션에 기반하여 시험 문제에 대한 각 응시자의 시선 히트맵 분석 정보를 생성하는 동작을 포함하고, and generating, based on the detected fixation, analysis information of each candidate's gaze heat map for a test question,
    상기 부정행위 여부를 모니터링 하는 동작은, The operation of monitoring the misconduct is,
    상기 답안 입력 정보를 통해 상기 응시자의 각 시험 문제에 대한 정답 여부를 확인하는 동작; 및checking whether the candidate has answered each test question correctly through the answer input information; and
    상기 시험 문제에 대해 정답을 입력한 응시자들 간의 시선 히트맵 분석 정보를 비교하여 상기 정답을 입력한 응시자들 중 시선 히트맵 분석 정보가 다른 응시자들과 기 설정된 기준 이상으로 차이가 있는 응시자를 부정행위 후보자로 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.Cheating a test taker whose gaze heat map analysis information differs from other test takers by more than a preset criterion among test takers who entered the correct answer by comparing gaze heat map analysis information among test takers who entered the correct answer for the test question A gaze-based cheating detection method comprising the operation of detecting as a candidate.
  17. 청구항 1에 있어서, The method according to claim 1,
    상기 시선 관련 분석 정보는, 각 응시자의 화면 응시 여부 정보, 시선 패턴 분석 정보, 및 픽세이션 분석 정보 중 하나 이상을 포함하고, The gaze-related analysis information includes at least one of information on whether each candidate stares at the screen, gaze pattern analysis information, and fixation analysis information,
    상기 부정행위 여부를 모니터링 하는 동작은, The operation of monitoring the misconduct is,
    상기 화면 응시 여부 정보, 상기 시선 패턴 분석 정보, 상기 픽세이션 분석 정보, 및 상기 답안 입력 정보 중 하나 이상에 기반하여 복수 개의 부정행위 판단 요소를 산출하는 동작; calculating a plurality of cheating determining factors based on at least one of the screen gaze information, the gaze pattern analysis information, the fixation analysis information, and the answer input information;
    상기 산출한 복수 개의 부정행위 판단 요소에 각각 부정행위 점수를 부여하는 동작; 및assigning a cheating score to each of the calculated cheating factors; and
    상기 부정행위 점수의 합산된 점수에 기반하여 응시자들 중 부정행위 후보자를 검출하는 동작을 포함하는, 시선 기반의 부정행위 검출 방법.and detecting a cheating candidate among test takers based on the summed score of the cheating scores.
  18. 청구항 17에 있어서, 18. The method of claim 17,
    상기 부정행위 판단 요소는, The factors for determining the misconduct are:
    시험 시간 동안 화면 바깥 응시 횟수, 시험 시간 동안 화면 바깥 응시 비율, 기 설정된 기준 시간당 화면 바깥 응시 횟수, 기 설정된 기준 시간당 화면 바깥 응시 비율, 응시자의 정답률 대비 화면 바깥 응시 횟수 또는 화면 바깥 응시 비율, 각 응시자 별 다른 응시자들의 시선 패턴 분석 정보 간의 유사도, 각 응시자의 각 시험 문제에 대한 리딩 정도, 및 각 응시자 별 다른 응시자들의 픽세이션 분석 정보 간의 유사도 중 복수 개를 포함하는, 시선 기반의 부정행위 검출 방법.number of off-screen exams during the test period, the rate of off-screen gazes during the test period, the number of off-screen exams per preset reference hour, the ratio of off-screen gazes per preset reference hour, the ratio of off-screen or off-screen gazes to the correct answer rate, each candidate A gaze-based cheating detection method comprising a plurality of similarities between gaze pattern analysis information of different test takers, a reading degree for each test question of each test taker, and a similarity between fixation analysis information of different test takers for each test taker.
  19. 하나 이상의 프로세서들;one or more processors;
    메모리; 및Memory; and
    하나 이상의 프로그램들을 포함하고,one or more programs;
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors;
    상기 하나 이상의 프로그램들은, the one or more programs,
    각 응시자의 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 획득하기 위한 명령;instructions for obtaining each candidate's eye tracking information, test question display information, and answer input information;
    상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 상기 응시자의 시선 관련 분석 정보를 생성하기 위한 명령; 및instructions for generating gaze-related analysis information of the test taker based on at least one of the gaze tracking information and the test question display information; and
    상기 시선 관련 분석 정보 및 상기 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링 하기 위한 명령을 포함하는, 컴퓨팅 장치.and a command for monitoring whether test takers cheat based on at least one of the gaze-related analysis information and the answer input information.
  20. 응시자의 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 생성하여 송신하는 응시자 단말; 및a test taker terminal that generates and transmits the test taker's eye tracking information, test question display information, and answer input information; and
    상기 시선 추적 정보, 시험 문제 표시 정보, 및 답안 입력 정보를 수신하고, 상기 시선 추적 정보 및 상기 시험 문제 표시 정보 중 하나 이상에 기반하여 상기 응시자의 시선 관련 분석 정보를 생성하며, 상기 시선 관련 분석 정보 및 상기 답안 입력 정보 중 하나 이상에 기반하여 응시자들의 부정행위 여부를 모니터링 하는 분석 서버를 포함하는, 시선 기반의 부정행위 검출 시스템.receiving the gaze tracking information, test question display information, and answer input information, and generating gaze-related analysis information of the candidate based on at least one of the gaze tracking information and the exam question display information, and the gaze-related analysis information and an analysis server that monitors whether test takers have cheated based on at least one of the answer input information.
PCT/KR2020/015256 2020-10-12 2020-11-04 Eyeline-based cheating detection method using object recognition, and computing device and system for performing same method WO2022080551A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200131028A KR20220048182A (en) 2020-10-12 2020-10-12 Method for detecting cheating of based eye using object recognition, computing device and system for executing the method
KR10-2020-0131028 2020-10-12

Publications (1)

Publication Number Publication Date
WO2022080551A1 true WO2022080551A1 (en) 2022-04-21

Family

ID=81208204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015256 WO2022080551A1 (en) 2020-10-12 2020-11-04 Eyeline-based cheating detection method using object recognition, and computing device and system for performing same method

Country Status (2)

Country Link
KR (1) KR20220048182A (en)
WO (1) WO2022080551A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998617B1 (en) * 2010-05-03 2010-12-07 교통안전공단 Central control type cbt system and method thereof
KR101455200B1 (en) * 2012-10-09 2014-10-30 경북대학교 산학협력단 Learning monitering device and method for monitering of learning
JP2016177475A (en) * 2015-03-19 2016-10-06 京セラドキュメントソリューションズ株式会社 Monitor system
KR20170031369A (en) * 2015-09-11 2017-03-21 삼성전자주식회사 server for cheating detection and detection method thereof
KR20190140864A (en) * 2018-06-12 2019-12-20 주식회사 아이디어빈스 Method and apparatus for determining concentration level of user

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170065753A (en) 2015-12-04 2017-06-14 공주대학교 산학협력단 System for realtime marking and preventing a cheat using camera on smartphone

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100998617B1 (en) * 2010-05-03 2010-12-07 교통안전공단 Central control type cbt system and method thereof
KR101455200B1 (en) * 2012-10-09 2014-10-30 경북대학교 산학협력단 Learning monitering device and method for monitering of learning
JP2016177475A (en) * 2015-03-19 2016-10-06 京セラドキュメントソリューションズ株式会社 Monitor system
KR20170031369A (en) * 2015-09-11 2017-03-21 삼성전자주식회사 server for cheating detection and detection method thereof
KR20190140864A (en) * 2018-06-12 2019-12-20 주식회사 아이디어빈스 Method and apparatus for determining concentration level of user

Also Published As

Publication number Publication date
KR20220048182A (en) 2022-04-19

Similar Documents

Publication Publication Date Title
WO2018169330A1 (en) Systems and methods for determining defects in visual field of a user
WO2021182889A2 (en) Apparatus and method for image-based eye disease diagnosis
WO2014069741A1 (en) Apparatus and method for automatic scoring
WO2011083941A2 (en) System and method for managing online test assessment
CN109242412B (en) Examination management system
WO2020122439A1 (en) Cognitive task generation method and device
WO2019190076A1 (en) Eye tracking method and terminal for performing same
US9953543B2 (en) Secured computer based assessment
WO2021040327A1 (en) Apparatus and method for predicting cardiovascular risk factor
Tweissi et al. The accuracy of AI-based automatic proctoring in online exams
Dilini et al. Cheating detection in browser-based online exams through eye gaze tracking
WO2022080551A1 (en) Eyeline-based cheating detection method using object recognition, and computing device and system for performing same method
WO2023136511A1 (en) Solution-providing device for improving online education participation rate, and solution-providing system comprising same
WO2023068732A1 (en) Method for acquiring score for neuropsychological test, neuropsychological test apparatus performing same, and computer-readable recording medium
Das et al. I Cannot See Students Focusing on My Presentation; Are They Following Me? Continuous Monitoring of Student Engagement through “Stungage”
CN116228477A (en) Sports monitoring examination system based on Internet of things
WO2021206449A1 (en) Online english learning service and management server operating same
CN112669982B (en) Method, device, equipment and storage medium for determining close contact person
KR20220057892A (en) Method for educating contents gaze-based and computing device for executing the method
KR20230030683A (en) Platform for online learning concentration improvement and method thereof
WO2022065575A1 (en) Gaze-based contents education method using object recognition and system for executing the method
Ask et al. Cognitive flexibility but not cognitive styles influence deepfake detection skills and metacognitive accuracy
KR20210144208A (en) Augmented reality based cognitive rehabilitation training system and method
WO2024117678A1 (en) Apparatus, method, and computer program for analysis of cognitive ability with respect to social situation based on feedback on content
WO2021177513A1 (en) Page turning method, and computing device for performing same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20957796

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20957796

Country of ref document: EP

Kind code of ref document: A1