KR102472170B1 - Method for implementing securely video conference based on image analysis using artificial intelligence by alap - Google Patents

Method for implementing securely video conference based on image analysis using artificial intelligence by alap Download PDF

Info

Publication number
KR102472170B1
KR102472170B1 KR1020210183359A KR20210183359A KR102472170B1 KR 102472170 B1 KR102472170 B1 KR 102472170B1 KR 1020210183359 A KR1020210183359 A KR 1020210183359A KR 20210183359 A KR20210183359 A KR 20210183359A KR 102472170 B1 KR102472170 B1 KR 102472170B1
Authority
KR
South Korea
Prior art keywords
user
analysis
video conference
emotion
user terminal
Prior art date
Application number
KR1020210183359A
Other languages
Korean (ko)
Inventor
노승건
아흐메드 마루프
노태현
Original Assignee
노승건
아흐메드 마루프
노태현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노승건, 아흐메드 마루프, 노태현 filed Critical 노승건
Priority to KR1020210183359A priority Critical patent/KR102472170B1/en
Application granted granted Critical
Publication of KR102472170B1 publication Critical patent/KR102472170B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4431OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention relates to a method for implementing a secure video conference based on artificial intelligence video analysis and, more particularly, to a method for implementing a video conference or video test based on artificial intelligence video analysis and implementing a security function of preventing the leakage of important information or the fraudulent behavior of a user.

Description

인공지능 영상 분석 기반 보안적 화상회의 실행 방법{METHOD FOR IMPLEMENTING SECURELY VIDEO CONFERENCE BASED ON IMAGE ANALYSIS USING ARTIFICIAL INTELLIGENCE BY ALAP}A method for conducting a secure video conference based on artificial intelligence video analysis

본 발명은 인공지능 영상 분석 기반 보안적 화상회의 실행 방법에 관한 것으로서, 더욱 상세하게는 인공지능 영상 분석을 기반으로 화상회의나 화상 시험을 실행하는 데에 있어서 중요 정보의 유출이나 사용자의 부정행위를 방지하도록 보안 기능을 구현할 수 있는 방법에 관한 것이다.The present invention relates to a method for executing a secure video conference based on artificial intelligence video analysis, and more particularly, in executing a video conference or video test based on artificial intelligence video analysis, leakage of important information or fraudulent behavior of users is prevented. It is about how you can implement security features to prevent it.

최근의 급진적인 통신망의 기술 발전에 의해 많은 정보의 빠른 습득을 중요하게 여기는 정보화 사회가 등장함에 따라, 사용자들은 기존의 전화와 데이터 전송 서비스 외에 보다 향상된 수준의 음성, 화상, 동영상 등의 멀티미디어 정보에 대한 전송 서비스를 요구하게 되었다.With the advent of an information society in which rapid acquisition of a lot of information is important due to the recent rapid development of communication network technology, users are provided with advanced multimedia information such as voice, image, and video in addition to existing telephone and data transmission services. Forwarding service was requested.

화상회의는 이러한 멀티미디어 전송 서비스를 활용하는 대표적인 응용으로써 많은 연구와 다양한 환경에서의 개발 및 구현이 이루어졌다.Videoconferencing is a representative application that utilizes these multimedia transmission services, and has been studied and developed and implemented in various environments.

화상회의는 여러 가지 단말과 회선으로 이루어지는 통신시스템을 이용하여 멀리 떨어져 있는 사람들 간에 영상화면으로 모습을 보아가며, 마치 한 회의실에 함께 있는 분위기로 회의를 진행하는 것을 말한다. 멀리 떨어져 있는 사람들 간에 회의뿐 아니라 음성과 함께 참여자들의 모습과 관련된 정보 자료를 영상으로 나타낼 수 있기 때문에 영상회의라고도 한다. 기업의 본사와 지사간의 회의나 여러 회의장이 따로 떨어져 있어 한 장소에 모여서 회의를 진행하기 어려운 경우에 컴퓨터 네트워크를 이용하여 원격으로 진행한다. Videoconferencing refers to holding a meeting in the atmosphere of being together in a conference room by using a communication system composed of various terminals and lines to view images on a video screen between people who are far away. It is also called videoconferencing because it can display not only conferences between people who are far away, but also information data related to the appearance of participants along with audio. In cases where it is difficult to hold a meeting between the head office and branch offices of a company or several meeting halls in one place because they are separated, it is held remotely using a computer network.

최근에는 비대면 시대의 도래에 따라 이러한 화상회의 프로그램을 화상수업이나 화상 면접 등에도 활용되고 있다.Recently, with the advent of the non-face-to-face era, these video conference programs are being used for video classes and video interviews.

이에 따라, 다수의 사용자들을 대상으로 화상회의, 화상 수업, 화상 면접 및 화상 시험 등을 실행하는데 있어서 중요 정보의 유출이나, 사용자의 부정행위가 발생하는 문제에 대비할 수 있는 맞춤형 보안 솔루션이 필요한 실정이다.Accordingly, there is a need for a customized security solution that can prepare for problems such as leakage of important information or user misconduct in conducting video conferences, video classes, video interviews, and video tests for multiple users. .

(특허문헌 0001) 대한민국 등록특허 제10-1339944호(Patent Document 0001) Republic of Korea Patent Registration No. 10-1339944

본 발명은 종래의 문제를 해결하기 위해 안출한 것으로서, 본 발명은 인공지능 영상 분석을 기반으로 화상회의나 화상 시험을 실행하는 데에 있어서 중요 정보의 유출이나 사용자의 부정행위를 방지하도록 보안 기능을 구현할 수 있는 방법을 제공하는데 그 목적이 있다.The present invention has been devised to solve the conventional problems, and the present invention provides a security function to prevent leakage of important information or user's fraudulent behavior in conducting a video conference or video test based on artificial intelligence video analysis. Its purpose is to provide a method that can be implemented.

본 발명의 실시예에 따른 인공지능 영상 분석을 기반으로 보안적인 화상회의를 실행하는 방법은 상기 화상회의에 참여하는 제1 사용자 단말에 탑재된 카메라 모듈을 통해 제1 사용자의 안면을 촬영한 데이터를 수신하는 단계; 상기 제1 사용자의 안면을 촬영한 데이터의 분석을 통해 상기 제1 사용자 감정을 분석하는 단계; 상기 제1 사용자의 감정 분석 결과를 기반으로 상기 제1 사용자의 부정행위 수행 여부를 추정하는 단계; 및 상기 제1 사용자의 부정행위 수행 여부 추정 결과를 제2 사용자 단말로 알림 전송하는 단계를 포함한다.A method for executing a secure video conference based on artificial intelligence video analysis according to an embodiment of the present invention includes data obtained by photographing the face of a first user through a camera module mounted in a first user terminal participating in the video conference. receiving; analyzing the emotion of the first user through analysis of data obtained by photographing the face of the first user; estimating whether or not the first user has performed a cheating act based on a result of analyzing the emotion of the first user; and transmitting a notification of a result of estimating whether or not the first user has performed a fraudulent act to a second user terminal.

상기와 같은 본 발명의 실시예에 따른 인공지능 영상 분석을 기반으로 화상회의나 화상 시험을 실행하는 데에 있어서 중요 정보의 유출이나 사용자의 부정행위를 방지하도록 보안 기능을 구현할 수 있다.A security function may be implemented to prevent leakage of important information or misconduct by a user in executing a video conference or video test based on the artificial intelligence video analysis according to an embodiment of the present invention as described above.

도 1은 인공지능 영상 분석 기반 보안적 화상회의를 실행하는 일 예를 도시하는 사진이다.
도 2는 본 발명의 실시예에 따른 인공지능 영상 분석 기반 보안적 화상회의 실행 시스템의 구성을 도시하는 블록도이다.
도 3은 본 발명의 일 실시예에 의한 관리 서버의 구성을 개략적으로 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 하는 인공지능 영상 분석 기반 보안적 화상회의 실행 방법을 설명하기 위한 순서도이다.
1 is a photograph showing an example of executing a secure video conference based on artificial intelligence video analysis.
2 is a block diagram showing the configuration of a secure video conference execution system based on artificial intelligence video analysis according to an embodiment of the present invention.
3 is a block diagram schematically showing the configuration of a management server according to an embodiment of the present invention.
4 is a flowchart illustrating a method for executing a secure video conference based on artificial intelligence video analysis according to an embodiment of the present invention.

이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify the technical spirit of the present invention. In describing the present invention, if it is determined that a detailed description of a related known function or component may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. Elements having substantially the same functional configuration in the drawings are assigned the same reference numerals and reference numerals as much as possible, even though they are displayed on different drawings. For convenience of description, the device and method are described together if necessary.

도 1은 인공지능 영상 분석 기반 보안적 화상회의를 실행하는 일 예를 도시하는 사진이고, 도 2는 본 발명의 실시예에 따른 인공지능 영상 분석 기반 보안적 화상회의 실행 시스템의 구성을 도시하는 블록도이다.1 is a photograph showing an example of executing a secure video conference based on artificial intelligence video analysis, and FIG. 2 is a block diagram showing the configuration of a secure video conference execution system based on artificial intelligence video analysis according to an embodiment of the present invention. It is also

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능 영상 분석 기반 보안적 화상회의 실행 시스템은 복수의 제1 사용자 단말기(100: 101, 102, ……, 100n), 제2 사용자 단말기(200) 및 관리 서버(300)를 포함한다.As shown in FIG. 2, the artificial intelligence video analysis-based secure videoconferencing execution system according to an embodiment of the present invention includes a plurality of first user terminals (100: 101, 102, ..., 100n), a second user terminal (200) and a management server (300).

도시된 바와 같이, 네트워크 통신망은 무선 인터넷 등의 통신망으로서, 후술되는 복수의 제1 사용자 단말기(100), 제2 사용자 단말기(200) 및 관리 서버(300) 사이의 통신 회선을 연결하여 상호간에 화상회의 및 화상회의 응용 프로그램 서비스와 관련된 데이터 통신이 이루어지도록 한다.As shown, the network communication network is a communication network, such as wireless Internet, by connecting a communication line between a plurality of first user terminals 100, second user terminals 200, and a management server 300 to be described later, so that an image is displayed between them. It enables data communication related to conference and video conferencing application program services.

여기서 제1 사용자는 화상회의에 참여하기 위해 제1 사용자 단말을 소지하는 사용자로서, 일 실시예로 화상회의를 통해 시험이나 테스트를 치루고자 하는 복수의 수험자 일 수 있다. 또한, 제2 사용자는 화상회의에 참여하기 위해 제2 사용자 단말을 소지하는 사용자로서, 일 실시예로 화상회의를 통해 시험이나 테스트를 주관하고 관리하는 감독관 또는 시험관일 수 있다.Here, the first user is a user who possesses a first user terminal to participate in a video conference, and may be a test taker or a plurality of test takers who want to take a test through a video conference. In addition, the second user is a user who possesses a second user terminal to participate in a video conference, and may be a supervisor or an examiner who supervises and manages a test or a test through a video conference.

제1 사용자 단말(100)은 화상회의, 안면 인식 및 음성 녹음 등을 위한 카메라 모듈이 내장되며, 인증이 필요한 업무를 수행하는 다양한 장치들이 내장될 수 있다. 제1 사용자 단말(100)의 일례로, 스마트폰, PDA, 태블릿 PC 등이 있다. 여기서 인증이 필요한 업무는 인공지능 영상 분석 기반 보안적 화상회의 시스템에 회원가입하거나 애플리케이션을 실행시키기 위한 로그인 업무 등을 포함할 수 있다.The first user terminal 100 has a built-in camera module for video conferencing, face recognition, voice recording, and the like, and may include various devices that perform tasks requiring authentication. As an example of the first user terminal 100, there is a smart phone, a PDA, a tablet PC, and the like. Here, tasks requiring authentication may include signing up for a secure video conferencing system based on artificial intelligence video analysis or logging in to run an application.

제1 사용자 단말(100) 및 제2 사용자 단말(200)은 클라이언트가 보안적 화상회의를 수행하는데 사용할 수 있는 애플리케이션에서 이용되는 API(Application Programming Interface)를 실행할 수 있다.The first user terminal 100 and the second user terminal 200 may execute an API (Application Programming Interface) used in an application that a client may use to perform a secure video conference.

상기 클라이언트는 제1 사용자 단말(100)이 화상회의 실행을 위해 로그인하면, 제1 사용자 단말(100)에 구비되어 있는 카메라 모듈, 와이파이 모듈, 블루투스 모듈, 모바일 액세스 포인트 모듈, USB 포트, 및 메모리 등과 같은 모듈들의 동작을 제어할 수 있다. When the first user terminal 100 logs in to execute a video conference, the client may include a camera module, a Wi-Fi module, a Bluetooth module, a mobile access point module, a USB port, and a memory provided in the first user terminal 100. You can control the operation of the same modules.

이와 같이 상기 클라이언트는 제1 사용자 단말(100)에 포함된 다양한 모듈들의 동작을 제어함으로써 화상회의 실행 시 제1 사용자 단말(100)을 이용하여 생성된 다양한 데이터들이 외부로 유출되는 것을 방지할 수 있고, 제1 사용자 단말(100)을 통해 부정행위가 수행되는 것을 방지할 수 있다. In this way, the client can prevent various data generated using the first user terminal 100 from being leaked to the outside when a video conference is executed by controlling the operation of various modules included in the first user terminal 100. , It is possible to prevent cheating from being performed through the first user terminal 100 .

제1 사용자 단말(100)은 상기 클라이언트가 보안적 화상회의를 수행하는데 사용할 수 있는 애플리케이션을 관리 서버(300로부터 다운로드 받고 설치할 수 있다. 예를 들어, 사용자가 애플리케이션 플랫폼 상에서 검색을 통해 제1 사용자 단말(100)에 애플리케이션을 직접 설치하거나, 웹 페이지에 접속 중일 때, 애플리케이션 다운로드 및 설치에 대한 안내 메시지가 표출되고 사용자 단말(200) 상에 설치가 자동으로 이뤄질 수도 있다. 이와 같은 애플리케이션을 통해 사용자 단말(100)은 관리 서버(300)의 클라이언트로 기능할 수 있다.The first user terminal 100 can download and install an application that the client can use to conduct a secure video conference from the management server 300. For example, the first user terminal 100 can search through an application platform. When an application is directly installed in the 100 or while accessing a web page, a guide message for downloading and installing the application may be displayed and the installation may be automatically performed on the user terminal 200. Through such an application, the user terminal (100) may function as a client of the management server (300).

클라이언트는 통신 인터페이스로 관리 서버(300)와 같은 외부 장치와 연결가능하고, 복수의 기능에 대응되는 어플리케이션이 설치된 오픈 프레임워크 통해 화상 장치의 보안정책을 설정할 수 있다. The client can connect to an external device such as the management server 300 through a communication interface and set security policies of the image device through an open framework in which applications corresponding to a plurality of functions are installed.

이를 위해 예를 들면, 사용자 단말(100)은 통신 인터페이스를 이용하여 사용자 인증에 대응되는 적어도 하나의 보안 프로바이더가 저장된 외부 장치에 접속하고, 상기 보안 프로바이더를 선택하며, 상기 선택된 보안 프로바이더를 사용자 단말(100)로 수신하여 수신된 보안 프로바이더를 사용자 단말(100)에 설치할 수 있다. 이에, 사용자 단말(100)로부터 보안 모드를 선택받고, 선택된 보안 모드에 따라, 상기 설치된 보안 프로바이더를 적용할 적어도 하나의 어플리케이션을 선택하여, 상기 설치된 보안 프로바이더를 상기 선택된 적어도 하나의 어플리케이션에 대한 사용자 인증방식으로 설정할 수 있다.To this end, for example, the user terminal 100 accesses an external device in which at least one security provider corresponding to user authentication is stored using a communication interface, selects the security provider, and selects the selected security provider. The security provider received by the user terminal 100 may be installed in the user terminal 100 . Accordingly, a security mode is selected from the user terminal 100, at least one application to which the installed security provider is applied is selected according to the selected security mode, and the installed security provider is applied to the selected at least one application. It can be set as the user authentication method.

여기서, 보안 모드는 인증을 수행하지 않는 제1 보안 모드, 하나의 보안 프로바이더를 이용하여 인증을 수행하는 제2 보안 모드 및 복수의 보안 프로바이더를 이용하여 인증을 수행하는 제3 보안 모드 중 적어도 하나를 포함할 수 있다.Here, the security mode is at least one of a first security mode in which authentication is not performed, a second security mode in which authentication is performed using one security provider, and a third security mode in which authentication is performed using a plurality of security providers. may contain one.

또 다른 실시예로서, 관리 서버(300)는 통신 인터페이스로 외부 장치와 연결가능하고, 복수의 기능에 대응되는 어플리케이션이 설치된 오픈 프레임워크를 구비하는 제1 사용자 단말(100)에 대해 보안 정책을 설정하기 위한 방법으로서, 제1 사용자 단말(100)에 대해 보안 정책 명령을 전송하여, 제1 사용자 단말(100)에 설정된 보안정책 및 제1 사용자 단말(100)에 기설치된 보안 프로바이더를 표시할 수 있다. 이어, 상기 표시된 보안 프로바이더 중 적어도 하나의 보안 프로바이더를 선택하도록 하고, 상기 선택된 보안 프로바이더를 적용할 적어도 하나의 어플리케이션을 선택받으며, 상기 선택된 보안 프로바이더를 상기 복수의 어플리케이션에 대한 사용자 인증 방식으로 설정할 수 있다.As another embodiment, the management server 300 sets a security policy for the first user terminal 100 that is connectable to an external device through a communication interface and has an open framework in which applications corresponding to a plurality of functions are installed. As a method for doing this, a security policy command may be transmitted to the first user terminal 100 to display the security policy set in the first user terminal 100 and security providers previously installed in the first user terminal 100. have. Next, at least one security provider is selected from among the displayed security providers, at least one application to which the selected security provider is to be applied is selected, and the selected security provider is used as a user authentication method for the plurality of applications. can be set to

여기서, 사용자 인증 방식으로서 상기 선택된 보안 프로바이더를 상기 선택된 적어도 하나의 어플리케이션에 대한 사용자 인증방식으로 설정할 수 있다.Here, as a user authentication method, the selected security provider may be set as a user authentication method for the selected at least one application.

그리고, 사용자 인증방식은 아이디, 비밀번호를 이용한 인증, 생체 인증 등 공지의 기술을 이용할 수 있다.In addition, as the user authentication method, known technologies such as authentication using ID and password and biometric authentication may be used.

제2 사용자 단말(200)은 상기 API를 통해 복수의 제1 사용자 단말(100)의 커넥션 상태, 실시간 안면을 촬영한 데이터 및 부정행위 수행 여부 추정 결과를 표시할 수 있다. 마찬가지로, 제2 사용자 단말(200)에 대해서도 제1 사용자 단말(100)에 채용되는 보안 정책이 설정될 수 있고, 동일하게 설정된 보안 정책이 실행될 수 있다.The second user terminal 200 may display connection states of the plurality of first user terminals 100 , real-time face photographing data, and an estimation result of whether or not cheating has been performed through the API. Similarly, a security policy employed in the first user terminal 100 may be set for the second user terminal 200, and the same set security policy may be executed.

도 3은 본 발명의 일 실시예에 의한 관리 서버의 구성을 개략적으로 보여주는 블록도이다. 도 3을 참조하면, 관리 서버(300)는 안면 촬영 데이터 수신부(310), 제1 사용자 감정 분석부(320), 부정행위 수행 여부 추정부(330) 및 결과 알림부(340)를 포함한다.3 is a block diagram schematically showing the configuration of a management server according to an embodiment of the present invention. Referring to FIG. 3 , the management server 300 includes a face capture data receiver 310, a first user emotion analyzer 320, a fraudulent behavior estimation unit 330, and a result notification unit 340.

안면 촬영 데이터 수신부(310)는 화상회의에 참여하는 복수의 제1 사용자 단말(100)에 탑재된 카메라 모듈을 통해 각 제1 사용자의 안면을 촬영한 데이터를 수신한다. The face photographing data receiving unit 310 receives face photographing data of each first user through a camera module mounted in a plurality of first user terminals 100 participating in a video conference.

제1 사용자 감정 분석부(320)는 제1 사용자의 안면을 촬영한 데이터의 분석을 통해 각 제1 사용자 감정을 분석한다. 일 실시예로, 제1 사용자 감정 분석부(320)는 상기 수집된 제1 사용자의 안면 및 음성을 이미지화 또는 데이터화할 수 있다. 그리고, 상기 데이터화된 음성의 감정을 인식하고 인공지능 알고리즘 기반 분석을 통해 제1 분석값을 산출하고, 상기 이미지화된 얼굴 안면의 감정을 인식하고 인공지능 기반 분석을 통해 제2 분석값을 산출할 수 있다.The first user emotion analyzer 320 analyzes each first user's emotion through analysis of face-photographed data of the first user. As an embodiment, the first user emotion analysis unit 320 may convert the collected face and voice of the first user into images or into data. In addition, recognizing the emotion of the dataized voice and calculating a first analysis value through artificial intelligence algorithm-based analysis, recognizing the emotion of the imaged face and calculating a second analysis value through artificial intelligence-based analysis have.

부정행위 수행 여부 추정부(330)는 각 제1 사용자의 감정 분석 결과를 기반으로 각 제1 사용자의 부정행위 수행 여부를 추정한다. 이를 위해, 부정행위 수행 여부 추정부(330)는 제1 분석값 및 제2 분석값을 기반으로 최종 감정값을 산출한다. 여기서, 상기 감정값은 긴장, 불안, 초조를 포함하는 감정에 대한 값이며, 상기 최종 감정값이 사전에 설정된 기준값보다 초과된 경우, 상기 제1 사용자가 부정행위를 수행하는 것으로 추정할 수 있다.The fraudulent activity estimator 330 estimates whether or not each first user has performed a fraudulent activity based on the emotion analysis result of each first user. To this end, the fraudulent behavior estimator 330 calculates a final emotion value based on the first analysis value and the second analysis value. Here, the emotion value is a value for emotions including tension, anxiety, and nervousness, and when the final emotion value exceeds a preset reference value, it can be estimated that the first user is cheating.

결과 알림부(340)는 제1 사용자의 부정행위 수행 여부 추정 결과를 제2 사용자 단말(200)로 알림 전송한다.The result notification unit 340 notifies and transmits a result of estimating whether or not the first user cheated to the second user terminal 200 .

한편, 관리 서버(300)는 상기 제1 분석값, 제2 분석값 및 최종 감정값은 서버(300)에 내장된 데이터베이스에 저장되고, 이를 빅데이터로 구축하며, 관리 서버(300)에 내장된 학습모듈에 의해 학습될 수 있다.On the other hand, the management server 300 stores the first analysis value, the second analysis value, and the final evaluation value in a database built in the server 300, builds them into big data, and stores the It can be learned by learning module.

상기 제2 사용자 단말은 상기 API를 통해 복수의 제1 사용자 단말의 커넥션 상태, 실시간 안면을 촬영한 데이터 및 부정행위 수행 여부 추정 결과를 표시할 수 있다.The second user terminal may display a connection state of a plurality of first user terminals, real-time facial image data, and an estimation result of whether or not cheating has been performed through the API.

이와 같이 구성된 본 발명의 실시예에 따른 인공지능 영상 분석 기반 보안적 화상회의 실행 방법을 구체적으로 설명하면 다음과 같다. A method for executing a secure video conference based on artificial intelligence video analysis according to an embodiment of the present invention configured as described above is described in detail as follows.

먼저, 관리 서버(300)가 제1 사용자가 각자의 제1 사용자 단말(100)을 통해 화상회의 프로그램을 이용한 테스트(시험)를 진행하고자 접속하면, 클라이언트를 통해 제1 사용자 단말(100)의 카메라 모듈을 동작시키고, 카메라 모듈을 통해 제1 사용자의 안면을 촬영한 데이터를 실시간으로 획득한다.First, when a first user accesses the management server 300 to conduct a test (test) using a video conference program through each first user terminal 100, the camera of the first user terminal 100 through the client. The module is operated, and data obtained by photographing the face of the first user through the camera module is obtained in real time.

제1 사용자 감정 분석부(320)가 테스트에 임하는 제1 사용자들이 접속하고 테스트가 시작되면, 대기모드에서 감정분석 모드로 전환을 하고, 각 제1 사용자의 안면을 촬영한 데이터의 분석을 통해 각 제1 사용자 감정을 분석한다. 이를 위해 제1 사용자 감정 분석부(320)는 안면인식 솔루션을 실행하고, 전달되는 사용자 안면 영상을 분석하여, 사용자 감정을 분석한다. When the first users participating in the test access the first user emotion analysis unit 320 and the test starts, the standby mode is switched to the emotion analysis mode, and each first user's face is analyzed through the analysis of data. The first user emotion is analyzed. To this end, the first user emotion analyzer 320 executes a facial recognition solution, analyzes the user's facial image, and analyzes the user's emotion.

일 실시예로, 제1 사용자 감정 분석부(320)는 안면 영상의 이미지를 입력받고, 입력된 이미지로부터 얼굴을 탐색하고, 탐색된 얼굴로부터 눈동자, 코, 입, 미간, 볼, 귀, 턱 및 안색을 구분하여 얼굴 특징점을 추출한다. 이후, 추출된 얼굴 특징점의 위치에 기매칭되어 저장된 기준 감정 특징점과 유사도가 기설정된 기준 값 이상인 기준 감정 특징점의 메타 데이터를 리딩한 후, 리딩된 메타 데이터를 이용하여 사용자의 감정을 추정할 수 있고, 이를 제1 분석값으로 산출할 수 있다.In one embodiment, the first user emotion analyzer 320 receives an image of a facial image, searches for a face from the input image, and uses the searched face for pupils, nose, mouth, forehead, cheeks, ears, chin, and Facial features are extracted by classifying complexion. Thereafter, after reading the meta data of the reference emotion feature point that is pre-matched to the location of the extracted facial feature point and the similarity with the stored reference emotion feature point is equal to or greater than a preset reference value, the user's emotion can be estimated using the read metadata. , which can be calculated as the first analysis value.

제1 사용자 감정 분석부(320)는 음성 데이터에 대해서도 마찬가지로 음성 파동의 특징점을 추출하여 음성 파동 특징점의 위치에 기매칭되어 저장된 기준 감정 특징점과 유사도가 기설정된 기준 값 이상인 기준 감정 특징점의 메타 데이터를 리딩한 후, 리딩된 메타 데이터를 이용하여 사용자의 감정을 추정할 수 있고, 이를 제2 분석값으로 산출할 수 있다.The first user emotion analyzer 320 similarly extracts voice wave feature points for voice data, and obtains meta data of reference emotion feature points that are pre-matched to the location of the voice wave feature points and whose similarity is equal to or greater than a preset reference value to stored reference emotion feature points. After reading, the user's emotion can be estimated using the read metadata, and this can be calculated as a second analysis value.

다음으로, 부정행위 수행 여부 추정부(330)가 제1 분석값 및 제2 분석값을 기반으로 제1 사용자의 최종 감정값을 산출한다. 만일, 긴장, 초조, 불안을 나타내는 최종 감정값이 기설정된 기준값 미만인 경우에는 제1 사용자가 부정행위를 저지르지 않고 테스트에 임하는 것으로 간주하고, 반대로 최종 감정값이 사전에 설정된 기준값보다 초과된 경우, 해당 제1 사용자가 부정행위를 수행하는 것으로 간주할 수 있다.Next, the fraudulent behavior estimator 330 calculates the final emotion value of the first user based on the first analysis value and the second analysis value. If the final emotional value indicating tension, nervousness, or anxiety is less than the preset reference value, the first user is considered to be taking the test without committing cheating, and conversely, if the final emotional value exceeds the preset reference value, It may be regarded that the first user is performing cheating.

여기서, 제1 사용자가 부정행위를 수행하는 것으로 간주된 경우, 관리 서버(300)는 해당 제1 사용자 단말(100) 및 제2 사용자 단말(200)에 이 사실을 알림 전송할 수 있고, 클라이언트를 통해 제1 사용자 단말(100)의 카메라 모듈, 와이파이 모듈, 블루투스 모듈, 모바일 액세스 포인트 모듈, USB 포트, 및 메모리 등과 같은 모듈들의 동작을 차단시킴으로써, 정보 유출이나 부정행위의 수행을 중단시킬 수 있다.Here, when the first user is deemed to be cheating, the management server 300 may transmit a notification of this fact to the corresponding first user terminal 100 and the second user terminal 200, and through the client. By blocking the operation of modules such as a camera module, a Wi-Fi module, a Bluetooth module, a mobile access point module, a USB port, and a memory of the first user terminal 100, information leakage or cheating can be stopped.

도 4는 본 발명의 일 실시예에 따른 하는 인공지능 영상 분석 기반 보안적 화상회의 실행 방법을 설명하기 위한 순서도이다. 각 단계의 상세한 설명은 앞서 도 2 및 도 3을 참조하여 상술한 설명과 동일하므로 상세한 설명은 전술한 기재를 참고하기로 한다. 도 4를 참조하면, 먼저 관리 서버(300)는 상기 화상회의에 참여하는 제1 사용자 단말에 탑재된 카메라 모듈을 통해 제1 사용자의 안면을 촬영한 데이터를 수신하는 단계(S110), 상기 제1 사용자의 안면을 촬영한 데이터의 분석을 통해 상기 제1 사용자 감정을 분석하는 단계(S120), 상기 제1 사용자의 감정 분석 결과를 기반으로 상기 제1 사용자의 부정행위 수행 여부를 추정하는 단계(S130) 및 상기 제1 사용자의 부정행위 수행 여부 추정 결과를 제2 사용자 단말로 알림 전송하는 단계(S140)를 포함한다.4 is a flowchart illustrating a method for executing a secure video conference based on artificial intelligence video analysis according to an embodiment of the present invention. Since the detailed description of each step is the same as that described above with reference to FIGS. 2 and 3, the detailed description will refer to the above description. Referring to FIG. 4 , first, the management server 300 receives data obtained by photographing a face of a first user through a camera module installed in a first user terminal participating in the video conference (S110), the first Analyzing the first user's emotion through analysis of data obtained by photographing the user's face (S120), estimating whether or not the first user cheated based on the emotion analysis result of the first user (S130). ) and transmitting a notification of a result of estimating whether or not the first user cheated has been performed to a second user terminal (S140).

본 발명에 따른 방법 및 장치는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세서를 수행하도록 하는 명령에 의하여 구동될 수 있다. Methods and apparatus according to the present invention may be driven by instructions that cause one or more processors to perform the functions and processors described above.

예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.For example, such instructions may include interpreted instructions, such as script instructions such as JavaScript or ECMAScript instructions, or executable code or other instructions stored on a computer readable medium. Furthermore, the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Although this specification and figures describe exemplary device configurations, implementations of the subject matter and functional operations described herein may be implemented in other types of digital electronic circuitry, or may be implemented in other types of digital electronic circuitry, or may include the structures disclosed herein and their structural equivalents. It may be implemented as computer software, firmware, or hardware, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, that is to say computer program instructions encoded on a tangible program storage medium for execution by or for controlling the operation of an apparatus according to the present invention. It can be implemented as more than one module. A computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of matter that affects a machine readable propagating signal, or a combination of one or more of these.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.Implementations of the subject matter described herein may include back-end components, such as, for example, data servers, or may include middleware components, such as, for example, application servers, or may include, for example, web browsers or graphical users through which users may interact with implementations of the subject matter described herein. It may be implemented in a computing system that includes a front-end component such as a client computer having an interface or any combination of one or more of such back-ends, middleware or front-end components. The components of the system are interconnectable by any form or medium of digital data communication, such as, for example, a communication network.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although this specification contains many specific implementation details, they should not be construed as limiting on the scope of any invention or what is claimed, but rather as a description of features that may be unique to a particular embodiment of a particular invention. It should be understood. Certain features that are described in this specification in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Further, while features may operate in particular combinations and are initially depicted as such claimed, one or more features from a claimed combination may in some cases be excluded from that combination, and the claimed combination is a subcombination. or sub-combination variations.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Similarly, while actions are depicted in the drawings in a particular order, it should not be construed as requiring that those actions be performed in the specific order shown or in the sequential order, or that all depicted actions must be performed to obtain desired results. In certain cases, multitasking and parallel processing can be advantageous. Further, the separation of various system components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the program components and systems described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.Specific embodiments of the subject matter described herein have been described. Other embodiments are within the scope of the following claims. For example, the actions recited in the claims can be performed in a different order and still achieve desirable results. As an example, the processes depicted in the accompanying drawings do not necessarily require the specific depicted order or sequential order in order to obtain desirable results. In certain implementations, multitasking and parallel processing may be advantageous.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The present description presents the best mode of the invention and provides examples to illustrate the invention and to enable those skilled in the art to make and use the invention. The specification thus prepared does not limit the invention to the specific terms presented. Therefore, although the present invention has been described in detail with reference to the above examples, those skilled in the art may make alterations, changes and modifications to the present examples without departing from the scope of the present invention.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be determined by the described embodiments, but by the claims.

100: 복수의 제1 사용자 단말
200: 제2 사용자 단말
300: 관리 서버
100: a plurality of first user terminals
200: second user terminal
300: management server

Claims (5)

인공지능 영상 분석을 기반으로 보안적인 화상회의를 실행하는 방법에 있어서,
상기 화상회의에 참여하는 제1 사용자 단말에 탑재된 카메라 모듈을 통해 제1 사용자의 안면을 촬영한 데이터 및 음성 데이터를 수신하는 단계;
상기 제1 사용자의 안면을 촬영한 데이터 및 음성 데이터의 분석을 통해 상기 제1 사용자의 감정을 분석하는 단계;
상기 제1 사용자의 감정 분석 결과를 기반으로 상기 제1 사용자의 부정행위 수행 여부를 추정하는 단계; 및
상기 제1 사용자의 부정행위 수행 여부 추정 결과를 제2 사용자 단말로 알림 전송하는 단계를 포함하며,
상기 제1 사용자의 감정을 분석하는 단계는,
수집된 제1 사용자의 안면 및 음성을 이미지화 또는 데이터화하는 단계;
상기 데이터화된 음성의 감정을 인식하고 인공지능 알고리즘 기반 분석을 통해 제1 분석값을 산출하는 단계; 및
상기 이미지화된 안면의 감정을 인식하고 인공지능 알고리즘 기반 분석을 통해 제2 분석값을 산출하는 단계;를 포함하며,
상기 제1 사용자의 부정행위 수행 여부를 추정하는 단계는,
상기 제1 분석값 및 제2 분석값을 기반으로 최종 감정값을 산출하되, 상기 감정값은 긴장, 불안, 초조를 포함하는 감정에 대한 값이며,
상기 최종 감정값이 사전에 설정된 기준값보다 초과된 경우, 상기 제1 사용자가 부정행위를 수행하는 것으로 추정하며,
상기 화상회의를 진행하는 클라이언트는 상기 제1 사용자 단말이 화상회의 실행을 위해 로그인하면, 상기 제1 사용자 단말에 구비되는 카메라 모듈, 와이파이 모듈, 블루투스 모듈, 모바일 액세스 포인트 모듈을 포함하는 모듈들의 제어가 가능한 것을 특징으로 하는 인공지능 영상 분석 기반 보안적 화상회의 실행 방법.
In the method of executing a secure video conference based on artificial intelligence video analysis,
receiving face data and voice data of a first user through a camera module mounted in a first user terminal participating in the video conference;
Analyzing the emotion of the first user through the analysis of the facial image data and voice data of the first user;
estimating whether or not the first user has performed a cheating act based on a result of analyzing the emotion of the first user; and
Transmitting a notification of a result of estimating whether or not the first user has performed a fraudulent act to a second user terminal;
Analyzing the emotion of the first user,
imaging or converting the collected face and voice of the first user into an image;
Recognizing the emotion of the voice data and calculating a first analysis value through an artificial intelligence algorithm-based analysis; and
Recognizing the emotion of the imaged face and calculating a second analysis value through artificial intelligence algorithm-based analysis; Including,
The step of estimating whether or not the first user has performed a fraudulent act,
A final emotion value is calculated based on the first analysis value and the second analysis value, wherein the emotion value is a value for emotions including tension, anxiety, and nervousness,
When the final emotion value exceeds a preset reference value, it is assumed that the first user is cheating;
When the first user terminal logs in to execute the video conference, the client performing the video conference controls modules including a camera module, a Wi-Fi module, a Bluetooth module, and a mobile access point module included in the first user terminal. A method of performing a secure video conference based on artificial intelligence video analysis, characterized in that possible.
삭제delete 삭제delete 제 1 항에 있어서,
상기 제1 분석값, 제2 분석값 및 최종 감정값은 서버에 내장된 데이터베이스에 저장되고, 이를 빅데이터로 구축하며, 상기 서버에 내장된 학습모듈에 의해 학습되는 것을 특징으로 하는 인공지능 영상 분석 기반 보안적 화상회의 실행 방법.
According to claim 1,
The first analysis value, the second analysis value, and the final emotion value are stored in a database built into the server, built into big data, and learned by a learning module built into the server. Based secure video conference implementation method.
제 1 항에 있어서,
상기 제1 사용자 단말 및 제2 사용자 단말은 클라이언트가 보안적 화상회의를 수행하는데 사용할 수 있는 애플리케이션에서 이용되는 API(Application Programming Interface)를 실행하고,
상기 제2 사용자 단말은 상기 API를 통해 복수의 제1 사용자 단말의 커넥션 상태, 실시간 안면을 촬영한 데이터 및 부정행위 수행 여부 추정 결과를 표시하는 것을 특징으로 하는 인공지능 영상 분석 기반 보안적 화상회의 실행 방법.
According to claim 1,
The first user terminal and the second user terminal execute an API (Application Programming Interface) used in an application that a client can use to perform a secure video conference,
The second user terminal executes a secure video conference based on artificial intelligence video analysis, characterized in that for displaying the connection status of the plurality of first user terminals, real-time face-photographed data, and a result of estimating whether or not cheating has been performed through the API Way.
KR1020210183359A 2021-12-21 2021-12-21 Method for implementing securely video conference based on image analysis using artificial intelligence by alap KR102472170B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183359A KR102472170B1 (en) 2021-12-21 2021-12-21 Method for implementing securely video conference based on image analysis using artificial intelligence by alap

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183359A KR102472170B1 (en) 2021-12-21 2021-12-21 Method for implementing securely video conference based on image analysis using artificial intelligence by alap

Publications (1)

Publication Number Publication Date
KR102472170B1 true KR102472170B1 (en) 2022-11-30

Family

ID=84234509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183359A KR102472170B1 (en) 2021-12-21 2021-12-21 Method for implementing securely video conference based on image analysis using artificial intelligence by alap

Country Status (1)

Country Link
KR (1) KR102472170B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339944B1 (en) 2012-08-06 2013-12-10 (주)디앤티 Video conference system with text message function using keyboard
KR20170031369A (en) * 2015-09-11 2017-03-21 삼성전자주식회사 server for cheating detection and detection method thereof
KR20190118139A (en) * 2018-04-09 2019-10-17 주식회사 마이다스아이티 System for analyzing image and method thereof
KR102330159B1 (en) * 2020-12-09 2021-11-23 주식회사 아이즈솔 Evaluation system and method of online class attention using class attitude pattern analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339944B1 (en) 2012-08-06 2013-12-10 (주)디앤티 Video conference system with text message function using keyboard
KR20170031369A (en) * 2015-09-11 2017-03-21 삼성전자주식회사 server for cheating detection and detection method thereof
KR20190118139A (en) * 2018-04-09 2019-10-17 주식회사 마이다스아이티 System for analyzing image and method thereof
KR102330159B1 (en) * 2020-12-09 2021-11-23 주식회사 아이즈솔 Evaluation system and method of online class attention using class attitude pattern analysis

Similar Documents

Publication Publication Date Title
CN108900776B (en) Method and apparatus for determining response time
WO2019231592A1 (en) Systems and methods for automatic meeting management using identity database
US7847815B2 (en) Interaction based on facial recognition of conference participants
US20070140532A1 (en) Method and apparatus for providing user profiling based on facial recognition
CN101273351A (en) Face annotation in streaming video
CN113163272A (en) Video editing method, computer device and storage medium
CN110705356B (en) Function control method and related equipment
US20230231973A1 (en) Streaming data processing for hybrid online meetings
US20140354758A1 (en) System and method for remote notarization and recording digital notary logbook entries
CN112398931A (en) Audio and video data processing method and device, computer equipment and storage medium
CN109816722A (en) Position method, apparatus, storage medium and the computer equipment of spokesman position
CN114363547A (en) Double-recording device and double-recording interaction control method
US20200162698A1 (en) Smart contact lens based collaborative video conferencing
KR102472170B1 (en) Method for implementing securely video conference based on image analysis using artificial intelligence by alap
CN113065879A (en) Data stream quality inspection method and system
WO2021057644A1 (en) Photographing method and apparatus
CN113342170A (en) Gesture control method, device, terminal and storage medium
CN110659006A (en) Cross-screen display method and device, electronic equipment and readable storage medium
US11374986B1 (en) Collaborative meeting interest analyzer based on capture attempts
US20220321633A1 (en) Dynamic modification of functionality of a real-time communications session
CN113709401A (en) Video call method, device, storage medium, and program product
KR102391898B1 (en) Remote access system for transmitting video data and method performing there of
CN112435037A (en) Customer service providing method, device, equipment and storage medium
US20240179491A1 (en) Method and device for recommending activities to at least one user
US11568866B2 (en) Audio processing system, conferencing system, and audio processing method

Legal Events

Date Code Title Description
GRNT Written decision to grant