KR102678003B1 - Realistic Real-Time Learning System Using Hologram Display Device And Method Thereof - Google Patents

Abstract

본 발명은 현장감 있는 강의 영상의 제공에 있어, 경제적 상황 및 강의 영상 수준 등을 고려해 온라인 강의에 참여하면서도 마치 오프라인 강의에 참여하는 거와 같은 느낌이 나도록 하는 실감형 실시간 원격 학습 시스템 및 방법에 관한 것이다. 먼저, 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템은 강의 영상을 촬영하고 촬영된 된 강의 영상과 환경데이터를 강의 영상과 함께 송신하는 스튜디오부, 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 서버부 및 복수 개의 조명모듈을 포함하고 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하는 디스플레이부를 포함한다.
또한, 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법은 (a) 스튜디오부가 강의 영상을 촬영하고 촬영된 된 강의 영상과 환경데이터를 강의 영상과 함께 송신하는 단계; (b)서버부가 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 단계; (c) 디스플레이부가 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하면서 홀로그램 강사 영상을 출력하는 단계를 포함한다.The present invention relates to an immersive real-time distance learning system and method that provides realistic lecture videos and allows people to feel as if they are participating in offline lectures while participating in online lectures, taking into account economic conditions and the level of lecture videos. . First, the realistic real-time remote learning system using the holographic display device of the present invention is a studio unit that captures lecture videos and transmits the captured lecture videos and environmental data together with the lecture videos, and lecture videos and environmental data from a remote studio unit. It includes a server unit that receives and extracts an instructor image from the received lecture video, and generates a hologram instructor image by combining the extracted instructor image with a background image, shadow image, and reflection image with a holographic effect, and a plurality of lighting modules. It includes a display unit that receives the hologram instructor image and environmental data from the server unit and operates the hologram instructor image and environmental data to control the lighting module.
In addition, the realistic real-time remote learning method using the holographic display device of the present invention includes the steps of (a) the studio unit filming a lecture video and transmitting the captured lecture video and environmental data together with the lecture video; (b) The server unit receives the lecture video and environmental data from the remote studio department, extracts the instructor video from the received lecture video, and synthesizes the extracted instructor video with the background image, shadow image, and reflection image with a holographic effect to create a hologram. Creating an instructor video; (c) The display unit receives the holographic instructor image and environmental data from the server unit, calculates the holographic instructor image and environmental data, and outputs the holographic instructor image while controlling the lighting module.

Description

홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템 및 그 방법{Realistic Real-Time Learning System Using Hologram Display Device And Method Thereof}Realistic Real-Time Learning System Using Hologram Display Device And Method Thereof}

본 발명은 서로 다른 각각의 원격지에 있는 홀로그램 디스플레이 장치를 통해 실감나는 강사의 모습으로 강의를 수강할 수 있도록 하는 시스템과 관련된 기술이다. 즉, 본 발명은 원격학습과 관련된 기술이다.The present invention is a technology related to a system that allows students to take lectures with a realistic instructor through hologram display devices located in different remote locations. In other words, the present invention is a technology related to distance learning.

통신 기술이 발달하게 되면서, 다양한 곳에서 서버에서 제공되는 영상을 많은 사람들이 시청할 수 있게 되었다. 아울러, 바이러스 등에 의한 전염병에 의해 비대면 수업인 원격 수업이 확산되고 있다. 비대면 원격 수업은 바이러스 감염 확산을 막으며 수업을 진행할 수 있는 유일한 방식으로 자리 잡았다.As communication technology has developed, many people have been able to watch videos provided by servers in various places. In addition, remote classes, which are non-face-to-face classes, are spreading due to infectious diseases such as viruses. Non-face-to-face remote classes have become the only way to conduct classes while preventing the spread of virus infections.

현재까지, 많은 원격 수업은 원격지에 있는 카메라로 강의가 촬영되면, 카메라와 네트워크로 연결된 서버에 접속된 학습자가 강의 영상을 시청하는 방식으로 진행되고 있다. 원격 수업은 별도의 하드웨어, 소프트웨어 장치를 이용하여 실시간으로 학습자와 강의 영상을 공유하면서 수업을 진행하거나, 미리 녹화된 강의 영상을 영상 스트리밍 서버 등에 저장하여, 학습자에게 비실시간으로 전달하는 방식이다.Until now, many remote classes are conducted in a way that the lecture is filmed by a camera located in a remote location, and learners connected to a server connected to the camera and a network watch the lecture video. Remote classes are a method of conducting classes while sharing lecture videos with learners in real time using separate hardware and software devices, or storing pre-recorded lecture videos on a video streaming server and delivering them to learners in non-real time.

이와 같은 원격 수업은 강사자나 학습자의 입장에서는 직접 대면의 필요성이 없고, 시공간의 제약이 없어, 언제 어디서나 강의하고 학습할 수 있다는 장점을 가진다.Such distance classes have the advantage that there is no need for face-to-face meetings for instructors or learners, and there are no restrictions on time and space, so lectures and learning can be taught anytime, anywhere.

다만, 이러한 강의 영상을 이용하는 원격 수업은 직접 대면으로 진행하는 수업 방식에 비해서는 강사자의 실재감이 부족하고 실감성이 떨어져, 학습자를 장시간 집중시키게 할 수 없다는 문제를 가지고 있다.However, compared to face-to-face classes, remote classes using lecture videos lack the presence of the instructor and are less realistic, so they have the problem of not being able to keep learners focused for a long time.

이러한 문제를 해결하기 위해, 원격 학습 시스템에 대한 기술을 개발하는 쪽에서는 생생한 강의 영상을 전달할 수 있도록, VR(Virtual Realty), AR(Augmented Realty) 및 MR(Mixed Realty) 등에 기반하여 실감나는 영상을 제작하려는 시도가 활발하게 이루어지고 있다.To solve this problem, those developing technology for distance learning systems are developing realistic videos based on VR (Virtual Realty), AR (Augmented Realty), and MR (Mixed Realty) to deliver vivid lecture videos. Attempts to produce it are actively being made.

그러나, 이와 같은 실감 미디어 방식으로 강의 영상을 제작하려면 고가의 하드웨어 및 소프트웨어 장치를 구비한 특별한 전문 스튜디오 등의 영상 제작 장치 및 설비를 별도로 구성할 필요가 있다. 이에 따라, 영상 제작에 높은 비용이 드는 문제가 있다.However, in order to produce lecture videos using this realistic media method, it is necessary to configure separate video production devices and facilities, such as a special professional studio equipped with expensive hardware and software devices. Accordingly, there is a problem of high costs in video production.

대한민국 공개특허 제10-2001-0096152호 (공개일: 2001년 11월 07일)Republic of Korea Patent Publication No. 10-2001-0096152 (Publication date: November 7, 2001)

본 발명은 현장감 있는 온라인 강의 영상의 제공에 있어, 고 비용이 투입되는 문제를 해결하고 온라인 수업의 문제 즉, 수업 참여에 집중력이 떨어지는 문제를 해결하고자 한다.The present invention seeks to solve the problem of high costs in providing realistic online lecture videos and to solve the problem of online classes, that is, the problem of lack of concentration in class participation.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.

상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템은 강의 영상을 촬영하고, 촬영된 된 강의 영상에 대한 환경데이터가 입력되면 강의 영상과 함께 환경데이터를 송신하는 스튜디오부, 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 서버부 및 복수 개의 조명모듈을 포함하고, 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하는 디스플레이부를 포함한다.The realistic real-time remote learning system using the holographic display device of the present invention to achieve the problem to be solved above captures a lecture video, and when environmental data for the captured lecture video is input, the environmental data is transmitted along with the lecture video. It receives lecture videos and environmental data from the studio department and the remote studio department, extracts the instructor video from the received lecture video, and synthesizes the extracted instructor video with the background image, shadow image, and reflection image with a hologram effect to create a hologram instructor. It includes a server unit that generates an image and a plurality of lighting modules, and a display unit that receives a hologram instructor image and environmental data from the server unit and operates the hologram instructor image and environmental data to control the lighting module.

여기서, 스튜디오부는 스튜디오 내에서 진행되는 강의를 촬영하는 카메라모듈과, 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 환경정보입력모듈과, 카메라모듈에서 촬영된 강의영상과 촬영환경정보를 서버부로 실시간으로 송신하는 강의영상정보송신모듈과, 강사의 옷에 부착된 마이크와 연결되어, 강사의 목소리를 녹음하고 녹음한 음성데이터를 강의영상정보송신모듈로 전달하여 서버부로 전송하는 녹음모듈을 포함한다.Here, the studio unit includes a camera module for filming lectures held in the studio, an environment information input module for inputting filming environment information including information on the light source direction, illuminance, and color tone of the lighting in the studio, and taking pictures in the camera module. It is connected to a lecture video information transmission module that transmits the lecture video and recording environment information to the server in real time, and a microphone attached to the instructor's clothes to record the instructor's voice and transmit the recorded voice data to the lecture video information transmission module. It includes a recording module that transmits it to the server unit.

서버부는 네트워크를 통해 스튜디오부와 접속하여 강의 촬영 영상을 수신하는 영상수신모듈과, 스튜디오부로부터 환경데이터를 수신하는 환경데이터수신모듈과, 스튜디오부로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 설정 객체를 추출하는 강사영상추출모듈과, 추출된 강사 영상을 저장하는 강사영상저장모듈과, 복수 개의 홀로그램 효과를 가지는 배경이미지, 복수 개의 그림자이미지 및 복수 개의 반사이미지를 생성한 후 저장하는 데이터관리모듈과, 강사영상추출모듈에서 추출된 강사 영상에 데이터관리모듈에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 영상합성모듈과, 영상합성모듈에서 생성된 강사합성영상을 디스플레이부에 전송하는 강사영상송신모듈과, 스튜디오부로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 조명제어데이터생성모듈과, 조명제어데이터생성모듈에서 생성된 조명제어데이터를 디스플레이부에 전송하는 조명제어정보송신모듈을 포함할 수 있다. 여기서, 디스플레이부는 서버부로부터 강사합성영상을 수신하는 강사영상수신모듈과, 수신된 강사합성영상을 재생하여 출력하는 강사영상재생모듈과, 서버부가 전송한 조명제어데이터를 수신하는 조명제어데이터수신모듈과, 조명제어데이터를 기반으로 복수 개의 조명모듈의 조명의 색도 및 조도를 제어하는 조명제어모듈과, 전면에 투명한 패널로 형성된 LCD패널이 설치되어 내부에 공간이 형성된 몸체모듈과, 몸체모듈의 내부 공간의 상단, 측면, 후면 및 하단에 설치되는 LED모듈과, 몸체모듈의 일면에서 전면을 향해 돌출 형성되어 측면으로부터 유입되는 빛이 LCD패널로 유입되지 않도록 하는 시선방제모듈을 포함할 수 있다.The server unit connects to the studio unit through the network and includes a video receiving module that receives lecture video, an environmental data receiving module that receives environmental data from the studio unit, and a color tone difference between the setting object and the background in the lecture video received from the studio unit. an instructor video extraction module that extracts setting objects through an instructor video storage module that stores the extracted instructor video, and a background image with multiple hologram effects, multiple shadow images, and multiple reflection images that are created and then stored. A data management module, an image synthesis module that creates an instructor composite video by synthesizing the instructor video extracted from the instructor video extraction module with a background image, shadow image, and reflection image with a holographic effect managed by the data management module, and an video synthesis module An instructor video transmission module that transmits the instructor composite video generated by the display unit to the display unit, a lighting control data generation module that extracts lighting control data from the environmental data received from the studio unit, and lighting control data generated by the lighting control data generation module. It may include a lighting control information transmission module that transmits to the display unit. Here, the display unit includes an instructor video reception module that receives the instructor composite video from the server unit, an instructor video playback module that reproduces and outputs the received instructor composite video, and a lighting control data reception module that receives lighting control data transmitted by the server unit. and a lighting control module that controls the chromaticity and illuminance of the lights of a plurality of lighting modules based on lighting control data, a body module in which an LCD panel formed as a transparent panel is installed on the front and a space is formed inside, and the interior of the body module It may include an LED module installed at the top, side, rear, and bottom of the space, and a line-of-sight blocking module that protrudes from one side of the body module toward the front to prevent light coming from the side from entering the LCD panel.

여기서, 복수 개의 홀로그램 효과를 가지는 배경이미지는 칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함할 수 있다. 그리고 복수 개의 그림자이미지는 강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함할 수 있다. 그리고 복수 개의 반사이미지는 강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함할 수 있다.Here, the background image with multiple holographic effects includes a background image with multiple holographic effects in the upper left corner of the blackboard, a background image with multiple holographic effects in the lower left corner of the blackboard, and a background with multiple holographic effects in the center of the blackboard. It may include an image, a background image with multiple holographic effects below the center of the blackboard, a background image with multiple holographic effects at the upper right of the blackboard, and a background image with multiple holographic effects at the lower right of the blackboard. And the plurality of shadow images includes an image in which the shadow is located in the upper left direction of the instructor, an image in which the shadow is located in the lower left direction of the instructor, an image in which the shadow is located in the downward direction of the instructor, an image in which the shadow is located in the upper right direction of the instructor, and an image in which the shadow is located in the upper right direction of the instructor. It can contain an image with a shadow located in the lower right corner. And the plurality of reflection images is an image with a reflection image located toward the instructor's upper left, an image with a reflection image toward the instructor's lower left, an image with a reflection image toward the instructor's bottom, and an image with a reflection image toward the instructor's upper right. , and may include an image with a reflection image located at the bottom right of the instructor.

상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법은, (a) 스튜디오부에서 강의 영상을 촬영하고 촬영된 강의 영상에서 환경데이터를 추출하여 강의 영상과 함께 송신하는 단계, (b) 서버부가 원격지의 스튜디오부로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 단계, (c) 디스플레이부가 서버부로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈을 제어하면서 홀로그램 강사 영상을 출력하는 단계를 포함한다.The realistic real-time remote learning method using the holographic display device of the present invention to achieve the above-mentioned problem is (a) filming a lecture video in the studio, extracting environmental data from the filmed lecture video, and combining it with the lecture video. Transmitting step, (b) the server unit receives the lecture video and environmental data from the remote studio unit, extracts the instructor video from the received lecture video, and extracts the instructor video from the background image, shadow image, and reflection image with a hologram effect. A step of generating a hologram instructor image by compositing, (c) a step where the display unit receives the hologram instructor image and environmental data from the server unit, calculates the hologram instructor image and environmental data, and outputs the hologram instructor image while controlling the lighting module. Includes.

여기서, (a) 단계는 (a-1) 스튜디오부에 포함되는 카메라모듈이 스튜디오 내에서 진행되는 강의를 촬영하는 단계, (a-2) 스튜디오부에 포함되는 환경정보입력모듈이 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 단계, (a-3) 스튜디오부에 포함되는 강의영상정보송신모듈이 강의촬영영상과 촬영환경정보를 서버부로 실시간으로 송신하는 단계를 포함할 수 있다. 그리고 강의영상정보송신모듈은 강사의 옷에 부착된 마이크와 연결되어 강사의 목소리를 녹음하는 녹음모듈로부터 음성데이터를 수신한 후, 서버부로 전송할 수 있다. 또한, (b) 단계는 (b-1) 서버부에 포함되는 영상수신모듈이 네트워크를 통해 스튜디오부와 접속하여 강의 촬영 영상을 수신하는 단계, (b-2) 서버부에 포함되는 환경데이터수신모듈이 스튜디오부로부터 환경데이터를 수신하는 단계, (b-3) 서버부에 포함되는 강사영상추출모듈이 스튜디오부로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 강사영상을 추출하는 추출하는 단계, (b-4) 서버부에 포함되는 강사영상저장모듈이 추출된 강사 영상을 저장하는 단계, (b-5) 서버부에 포함되는 데이터관리모듈이 복수 개의 홀로그램 효과를 가지는 배경이미지, 복수 개의 그림자이미지 및 복수 개의 반사이미지를 생성하며 생성된 이미지를 저장하는 단계, (b-6) 서버부에 포함되는 영상합성모듈이 강사영상추출모듈에서 추출된 강사 영상에 데이터관리모듈에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 단계, (b-7) 서버부에 포함되는 강사영상송신모듈이 영상합성모듈에서 생성된 강사합성영상을 디스플레이부에 전송하는 단계, (b-8) 서버부에 포함되는 조명제어데이터생성모듈이 스튜디오부로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 단계, (b-9) 서버부에 포함되는 조명제어정보송신모듈이 조명제어데이터생성모듈에서 생성된 조명제어데이터를 디스플레이부에 전송하는 단계를 포함할 수 있다.Here, step (a) is (a-1) a step in which the camera module included in the studio unit photographs the lecture taking place in the studio, and (a-2) the environmental information input module included in the studio unit controls the lighting in the studio. A step of inputting shooting environment information including light source direction, illumination intensity, and color tone information, (a-3) the lecture video information transmission module included in the studio unit transmits the lecture video and shooting environment information to the server unit in real time It may include steps. In addition, the lecture video information transmission module is connected to a microphone attached to the instructor's clothes and can receive voice data from the recording module that records the instructor's voice and then transmit it to the server unit. In addition, step (b) is (b-1) the video receiving module included in the server unit connects to the studio unit through the network to receive lecture video, (b-2) receiving environmental data included in the server unit. A step in which the module receives environmental data from the studio unit, (b-3) extraction in which the lecturer video extraction module included in the server unit extracts the lecturer video through the color tone difference between the setting object and the background from the lecture video received from the studio unit. (b-4) the instructor video storage module included in the server unit stores the extracted instructor video, (b-5) the data management module included in the server unit creates a background image with a plurality of hologram effects, A step of generating a plurality of shadow images and a plurality of reflection images and storing the generated images, (b-6) the image synthesis module included in the server unit manages the data management module on the instructor video extracted from the instructor video extraction module. A step of generating an instructor composite video by combining a background image with a holographic effect, a shadow image, and a reflection image, (b-7) the instructor video transmission module included in the server unit transmits the instructor composite video generated in the video synthesis module to the display unit. Step of transmitting to, (b-8) the lighting control data generation module included in the server unit extracts lighting control data from the environmental data received from the studio unit, (b-9) lighting control information included in the server unit The transmission module may include a step of transmitting lighting control data generated in the lighting control data generation module to the display unit.

(c) 단계는 (c-1) 디스플레이부에 포함되는 강사영상수신모듈이 서버부로 부터 강사합성영상을 수신하는 단계, (c-2) 디스플레이부에 포함되는 강사영상재생모듈이 수신된 강사합성영상을 재생하여 출력하는 단계, (c-3) 디스플레이부에 포함되는 조명제어데이터수신모듈이 수신된 서버부가 전송한 조명제어데이터를 수신하는 단계, (c-4) 디스플레이부에 포함되는 조명제어모듈이 조명제어데이터를 기반으로 복수 개의 조명모듈의 조명의 색도 및 조도를 제어하는 단계를 포함할 수 있다.Step (c) is (c-1) the instructor video reception module included in the display unit receives the instructor composite video from the server unit, and (c-2) the instructor composite video received by the instructor video playback module included in the display unit. Step of reproducing and outputting an image, (c-3) receiving lighting control data transmitted by the server unit from which the lighting control data reception module included in the display unit is received, (c-4) lighting control included in the display unit The module may include a step of controlling the chromaticity and illuminance of lighting of a plurality of lighting modules based on lighting control data.

디스플레이부는 일면에 시선방제모듈이 돌출 형성되어 몸체모듈의 측면으로부터 LCD패널로 빛의 유입을 차단할 수 있다. 이때, 복수 개의 홀로그램 효과를 가지는 배경이미지는 칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함할 수 있다. 그리고 복수 개의 그림자이미지는 강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함할 수 있다. 그리고 복수 개의 반사이미지는 강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함할 수 있다.The display unit has a line-of-sight blocking module protruding from one side, which can block the inflow of light into the LCD panel from the side of the body module. At this time, the background image with multiple holographic effects is a background image with multiple holographic effects in the upper left corner of the blackboard, a background image with multiple holographic effects in the lower left corner of the blackboard, and a background with multiple holographic effects in the center of the blackboard. It may include an image, a background image with multiple holographic effects below the center of the blackboard, a background image with multiple holographic effects at the upper right of the blackboard, and a background image with multiple holographic effects at the lower right of the blackboard. And the plurality of shadow images includes an image in which the shadow is located in the upper left direction of the instructor, an image in which the shadow is located in the lower left direction of the instructor, an image in which the shadow is located in the downward direction of the instructor, an image in which the shadow is located in the upper right direction of the instructor, and an image in which the shadow is located in the upper right direction of the instructor. It can contain an image with a shadow located in the lower right corner. And the plurality of reflection images is an image with a reflection image located toward the instructor's upper left, an image with a reflection image toward the instructor's lower left, an image with a reflection image toward the instructor's bottom, and an image with a reflection image toward the instructor's upper right. , and may include an image with a reflection image located at the bottom right of the instructor.

본 발명은 현장감 있는 강의 영상의 제공에 있어, 경제적 상황 및 강의 영상 수준 등을 고려해 온라인 강의에 참여하면서도 마치 오프라인 강의에 참여하는 것과 같은 느낌이 나도록 한다.In providing realistic lecture videos, the present invention takes into account the economic situation and the level of lecture videos, and allows participants to feel as if they are participating in an offline lecture while participating in an online lecture.

도 1은 본 발명의 일 실시예에 따른 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템의 전체 구성도이다.
도 2는 도 1의 본 발명의 일 실시예에 따른 스튜디오부의 기본 구성도이다.
도 3 및 도 4는 스튜디오부에 형성된 웹 인터페이스를 나타낸 도면이다.
도 5는 도 1의 본 발명의 일 실시예에 따른 서버의 기본 구성도이다.
도 6, 도 7, 도 8은 본 발명의 일 실시예에 따른 홀로그램 효과 이미지 세트의 예시를 나타낸 도면이다.
도 9는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 구성도이다.
도 10은 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 사시도이다.
도 11 및 도 12는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 작동 상태를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 강사 영상의 홀로그램 합성 후 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.
도 14는 시선가리개판이 설치된 다른 실시예의 디스플레이부를 나타낸 도면이다.
도 15는 시선방제모듈이 설치된 또 다른 실시예의 디스플레이부를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 강사 영상의 홀로그램 합성 전 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 본 발명의 실감형 실시간 원격학습방법의 순서도이다.Figure 1 is an overall configuration diagram of an immersive real-time remote learning system using a hologram display device according to an embodiment of the present invention.
Figure 2 is a basic configuration diagram of a studio unit according to an embodiment of the present invention in Figure 1.
Figures 3 and 4 are diagrams showing a web interface formed in the studio unit.
FIG. 5 is a basic configuration diagram of a server according to an embodiment of the present invention in FIG. 1.
Figures 6, 7, and 8 are diagrams showing examples of holographic effect image sets according to an embodiment of the present invention.
Figure 9 is a configuration diagram of the display unit according to an embodiment of the present invention in Figure 1.
Figure 10 is a perspective view of the display unit according to an embodiment of the present invention in Figure 1.
Figures 11 and 12 are diagrams showing the operating state of the display unit according to an embodiment of the present invention in Figure 1.
Figure 13 is a diagram showing the appearance of the instructor output from the display unit after hologram synthesis of the instructor image according to an embodiment of the present invention.
Figure 14 is a diagram showing the display unit of another embodiment in which the blindfold is installed.
Figure 15 is a diagram showing the display unit of another embodiment in which the line-of-sight prevention module is installed.
Figure 16 is a diagram showing the appearance of the instructor output from the display unit before hologram synthesis of the instructor image according to an embodiment of the present invention.
Figure 17 is a flowchart of the realistic real-time remote learning method of the present invention according to an embodiment of the present invention.

본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 장치는 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 한정되지는 않는다. 본 발명은 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.The advantages and features of the present invention and the apparatus for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below. The present invention may be implemented in a variety of different forms, and the present embodiment is provided solely to ensure that the disclosure of the present invention is complete and to fully inform those skilled in the art of the scope of the invention. will be.

본 발명의 청구범위는 청구항에 의해 정의될 수 있다. 아울러, 본 명세서 전체에 걸쳐 기재된 동일 참조 부호는 동일 구성요소를 지칭한다.The scope of the present invention can be defined by the claims. In addition, like reference numerals used throughout this specification refer to like elements.

이하, 도 1 내지 도 17을 참조하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습에 대해 구체적으로 설명한다.Hereinafter, with reference to FIGS. 1 to 17, realistic real-time remote learning using a holographic display device will be described in detail.

먼저, 도 1을 참조하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템에 대해 구체적으로 설명한다.First, with reference to FIG. 1, an immersive real-time remote learning system using a holographic display device will be described in detail.

도 1은 본 발명의 일 실시예에 따른 전체 구성도이다.1 is an overall configuration diagram according to an embodiment of the present invention.

홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템(1)은 서로 다른 원격지의 강의 현장에서 강의 영상을 촬영하고, 촬영한 강의 영상에서 강사 영상을 추출한다. 그리고 추출한 강사 영상을 홀로그램 영상으로 합성한 후, 서로 다른 원격지의 디스플레이부(30)로 송신하며 재생될 수 있도록 한다.The realistic real-time remote learning system (1) using a holographic display device captures lecture videos at lecture sites in different remote locations and extracts instructor videos from the captured lecture videos. Then, the extracted instructor video is synthesized into a holographic image and then transmitted to the display unit 30 at a different remote location so that it can be played.

이와 같은 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템(1)은 스튜디오부(10), 서버부(20) 및 디스플레이부(30)를 구성요소로 포함하여 강사 영상과 강사가 있는 곳의 조명 등의 환경적 요소를 추출하고 이를 다시 재현할 수 있는 홀로그램 강사 영상으로 제공함으로써, 원격 수업의 장점을 살리며 높은 온라인 효과를 기대할 수 있도록 한다. 여기서, 스튜디오부(10)와 서버부(20) 및 디스플레이부(30)는 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템(1)을 구현하기 위한 각 구성 요소들로써 일반적으로 네트워크를 통하여 접속되고 연결된다.The realistic real-time remote learning system (1) using such a holographic display device includes a studio unit (10), a server unit (20), and a display unit (30) as components, including an instructor video and lighting at the instructor's location. By extracting environmental elements and providing them as hologram instructor videos that can be reproduced, the advantages of remote classes can be taken advantage of and high online effectiveness can be expected. Here, the studio unit 10, the server unit 20, and the display unit 30 are components for implementing the realistic real-time remote learning system 1 using a hologram display device, and are generally connected and connected through a network. do.

이하, 도 2 내지 도 10을 참조하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템을 이루는 구성요소에 대해 구체적으로 설명한다.Hereinafter, with reference to FIGS. 2 to 10, the components that make up the realistic real-time remote learning system using a hologram display device will be described in detail.

도 2는 도 1의 본 발명의 일 실시예에 따른 스튜디오부의 기본 구성도이고, 도 3 및 도 4는 스튜디오부에 형성된 웹 인터페이스를 나타낸 도면이다. 그리고 도 5는 도 1의 본 발명의 일 실시예에 따른 서버의 기본 구성도이고, 도 6 , 도 7, 도 8은 본 발명의 일 실시예에 따른 홀로그램 효과 이미지 세트의 예시를 나타낸 도면이고, 도 9는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 구성도이다. 그리고 도 10은 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 사시도이다.Figure 2 is a basic configuration diagram of a studio unit according to an embodiment of the present invention in Figure 1, and Figures 3 and 4 are diagrams showing a web interface formed in the studio unit. And Figure 5 is a basic configuration diagram of a server according to an embodiment of the present invention in Figure 1, and Figures 6, 7, and 8 are diagrams showing an example of a hologram effect image set according to an embodiment of the present invention. Figure 9 is a configuration diagram of the display unit according to an embodiment of the present invention in Figure 1. And Figure 10 is a perspective view of the display unit according to an embodiment of the present invention in Figure 1.

스튜디오부(10)는 강의 영상을 촬영하고 촬영된 된 강의 영상에 대한 환경데이터를 수신해, 이를 강의 영상과 함께 서버부(20)로 전송한다. 이와 같은 스튜디오부(10)는 복수 개의 조명 및 크로마키 스크린 및 컴퓨터 등이 설치되어 강사가 강의를 촬영하는 장소가 된다. 이때, 스튜디오부(10)는 서로 다른 위치에 위치한 복수 개가 될 수 있다. 스튜디오부(10)는 강의 영상을 실시간 촬영하고, 촬영된 영상에서 강사를 캡쳐 한다. 그리고 촬영하고 캡쳐 한 영상을 유선 또는 무선 네트워크로 연결된 서버부(20)로 전송할 수 있다. 더욱이, 스튜디오부(10)는 서버부(20)와 접속하여 실시간으로 정보를 주고받을 수 있도록 하는 웹 브라우저 등의 인터넷 네트워크 프로그램이 탑재되어 있다. 여기서, 스튜디오부(10)는 일괄하여 강의 영상 캡쳐 스튜디오라 칭할 수 있다.The studio unit 10 captures a lecture video, receives environmental data for the captured lecture video, and transmits it to the server unit 20 along with the lecture video. This studio unit 10 is equipped with a plurality of lights, chroma key screens, computers, etc., and serves as a place for instructors to film lectures. At this time, there may be a plurality of studio units 10 located at different locations. The studio unit 10 films lecture videos in real time and captures the instructor from the filmed videos. Then, the filmed and captured video can be transmitted to the server unit 20 connected to a wired or wireless network. Furthermore, the studio unit 10 is equipped with an Internet network program such as a web browser that connects to the server unit 20 to exchange information in real time. Here, the studio unit 10 can be collectively referred to as a lecture video capture studio.

이와 같은 스튜디오부(10)는 카메라모듈(101), 환경정보입력모듈(102), 강의영상정보송신모듈(103)을 포함한다. 아울러, 스튜디오부(10)는 녹음모듈(104), 조명모듈(105), 스크린모듈(106) 및 방음장치모듈(107)등의 제반 설비를 구성요소로 더 포함할 수 있다.This studio unit 10 includes a camera module 101, an environmental information input module 102, and a lecture video information transmission module 103. In addition, the studio unit 10 may further include various equipment such as a recording module 104, a lighting module 105, a screen module 106, and a soundproofing module 107.

카메라모듈(101)은 강의를 진행하는 강사를 촬영하는 카메라가 될 수 있다. 이와 같은 카메라모듈(101)은 하나의 컴퓨터가 되거나, 하나의 컴퓨터 내에 설치된 프로그램 모듈이 되어 환경정보입력모듈(102), 강의영상정보송신모듈(103)과 하나의 컴퓨터 내에 설치될 수 있다.The camera module 101 may be a camera that photographs an instructor giving a lecture. This camera module 101 can be a computer or a program module installed in one computer and can be installed in one computer with the environmental information input module 102 and the lecture video information transmission module 103.

환경정보입력모듈(102)은 스튜디오 내의 조명에 대한 다양한 정보를 사용자가 입력할 수 있도록 한다. 이러한 환경정보입력모듈(102)은 컴퓨터에 설치되어 도 3에 도시된 바와 같은 화면을 나타낼 수 있도록 한다. 환경정보입력모듈(102)은 사용자가 광원의 방향, 조도 및 색조를 입력할 수 있도록 하며 카메라모듈(101)에서 촬영되는 환경 그리고 카메라모듈(101)에서 캡쳐 될 때 강사를 비추는 광원의 방향, 조도 및 색조를 입력할 수 있도록 한다. 여기서, 광원의 색조는 후술되는 서버부(20)에서 촬영된 강의 영상에서 설정된 객체 일례로, 강사를 색조의 차이로 추출할 수 있는 요소가 될 수 있다.The environmental information input module 102 allows the user to input various information about lighting in the studio. This environmental information input module 102 is installed in a computer to display a screen as shown in FIG. 3. The environment information input module 102 allows the user to input the direction, illuminance, and color tone of the light source, and the environment captured by the camera module 101 and the direction and illuminance of the light source that illuminates the instructor when captured by the camera module 101. and color tone can be entered. Here, the color tone of the light source is an example of an object set in a lecture video captured by the server unit 20, which will be described later, and can be a factor that can extract the instructor by the difference in color tone.

강의영상정보송신모듈(103)은 단말들 및 서버들 상호 간에 데이터 교환이 가능하게 하는 모듈이 될 수 있다. 이와 같은 강의영상정보송신모듈(103)은 Wi-Fi, 블루투스(Bluetooth), 인터넷, LAN(Local AreaNetwork), WAN(Wide Area Network), PAN(Personal Area Network), LTE 및, 5G 등과 같은 데이터를 송수신 가능하게 하는 네트워크 모듈을 포함할 수 있다.The lecture video information transmission module 103 may be a module that enables data exchange between terminals and servers. This lecture video information transmission module 103 transmits data such as Wi-Fi, Bluetooth, Internet, LAN (Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), LTE, and 5G. It may include a network module that enables transmission and reception.

녹음모듈(104)은 강사의 목소리를 녹음한다. 이러한 녹음모듈(104)은 강사의 옷에 부착된 마이크와 연결되어, 강사의 목소리를 녹음하는 기기로 형성될 수 있다. 이러한 녹음모듈(104)은 녹음한 음성데이터를 강의영상정보송신모듈(103)로 전달하여 서버부(20)로 전송될 수 있도록 한다.The recording module 104 records the instructor's voice. This recording module 104 can be connected to a microphone attached to the instructor's clothes to form a device that records the instructor's voice. This recording module 104 transmits the recorded voice data to the lecture video information transmission module 103 so that it can be transmitted to the server unit 20.

조명모듈(105)은 스튜디오부(10)의 스크린모듈(106)을 향해 빛을 조사하는 조명이 될 수 있다. 이러한 조명모듈(105)의 빛의 세기 및 빛을 비추는 방향은 컴퓨터의 입력값에 의해 조절되어, 조명모듈(105)은 크로마키 스크린을 향해 다양한 세기 빛 다양한 방향으로 빛을 쏠 수 있다.The lighting module 105 may be a light that irradiates light toward the screen module 106 of the studio unit 10. The intensity of light and the direction in which the light is emitted from the lighting module 105 are adjusted by computer input values, so that the lighting module 105 can emit light at various intensities and in various directions toward the chroma key screen.

스크린모듈(106)은 다양한 배경화면을 입힐 수 있는 크로마키 스크린으로 형성될 수 있다.The screen module 106 can be formed as a chroma key screen that can display various background screens.

방음장치모듈(107)은 스튜디오의 내부 외측에 설치되어 스튜디오 내부에서 외부로 방출되는 강사의 강의 소리가 나가지 않도록 한다. 이러한 방음장치모듈(107)은 스튜디오의 내부 외측에 부착되는 흡음재가 될 수 있다.The soundproofing module 107 is installed inside and outside the studio to prevent the sound of the instructor's lecture emitted from inside the studio to the outside. This soundproofing module 107 can be a sound absorbing material attached to the inside and outside of the studio.

서버부(20)는 스튜디오부(10)에서 전송되는 데이터를 연산 처리하여 디스플레이부(30)로 전송하는 장치가 된다. 일례로, 데이터통신 가능한 컴퓨터가 될 수 있다. 이때, 서버부(20)는 복수 개의 기능을 발휘할 수 있도록 각 기능을 수행할 수 있는 복수 개의 모듈로 구성될 수 있다. 이와 같은 서버부(20)는 네트워크를 통하여 스튜디오부(10)와 접속하여 강의영상정보송신모듈(103)을 통하여 강의 영상을 수신하고, 환경정보입력모듈(102)을 통하여 송신된 강의 영상 캡쳐 환경 정보를 수신하고, 수신된 강의 영상에서 강사 영상을 추출한다. 그리고 추출된 강사 영상과 합성할 홀로그램 효과 이미지 세트를 생성하거나 선택한 다음, 홀로그램 강사 영상을 합성하여 생성하고, 생성한 홀로그램 강사 영상을 디스플레이부(30)로 송신한다.The server unit 20 is a device that processes data transmitted from the studio unit 10 and transmits it to the display unit 30. For example, it could be a computer capable of data communication. At this time, the server unit 20 may be composed of a plurality of modules capable of performing each function so that it can perform a plurality of functions. This server unit 20 connects to the studio unit 10 through a network, receives lecture video through the lecture video information transmission module 103, and captures the lecture video transmitted through the environment information input module 102. Receive information and extract instructor video from the received lecture video. Then, a set of hologram effect images to be synthesized with the extracted instructor image is created or selected, then the hologram instructor image is synthesized and generated, and the generated hologram instructor image is transmitted to the display unit 30.

다시 말해, 서버부(20)는 네트워크를 통해 스튜디오부(10)로부터 강의 영상을 수신 받고, 수신 받은 강의 영상에서 강사 영상을 추출한 다음 홀로그램 강사 영상으로 합성하고 생성한 후, 디스플레이부(30)로 송신할 수 있도록 한다. 이와 같은 서버부(20)는 영상수신모듈(201), 환경데이터수신모듈(202), 강사영상추출모듈(203), 강사영상저장모듈(204), 데이터관리모듈(205)을 구성요소로 포함한다. 그리고 영상합성모듈(206), 강사영상송신모듈(207), 조명제어데이터생성모듈(208) 및 조명제어정보송신모듈(209)을 더 포함할 수 있다. 여기서, 영상수신모듈(201)은 네트워크를 통해 스튜디오부(10)와 접속하여 촬영된 강의 영상을 수신할 수 있다. 그리고 환경데이터수신모듈(202)은 스튜디오부(10)로부터 환경데이터를 수신할 수 있다.In other words, the server unit 20 receives the lecture video from the studio unit 10 through the network, extracts the instructor video from the received lecture video, synthesizes and creates a hologram instructor video, and then sends it to the display unit 30. Enable transmission. This server unit 20 includes a video reception module 201, an environmental data reception module 202, an instructor video extraction module 203, an instructor video storage module 204, and a data management module 205. do. It may further include a video synthesis module (206), an instructor video transmission module (207), a lighting control data generation module (208), and a lighting control information transmission module (209). Here, the video receiving module 201 can receive the recorded lecture video by connecting to the studio unit 10 through a network. And the environmental data receiving module 202 can receive environmental data from the studio unit 10.

강사영상추출모듈(203)은 스튜디오부(10)로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이 즉, 크로마키(Chroma-Key)를 통해 설정 객체를 추출한다. 이를 통해, 강사영상추출모듈(203)은 색조의 차이를 이용해 강사 영상만을 추출할 수 있도록 한다.The lecturer video extraction module 203 extracts the setting object from the lecture video received from the studio unit 10 through the color tone difference between the setting object and the background, that is, chroma-key. Through this, the instructor video extraction module 203 allows extracting only the instructor video using the difference in color tone.

강사영상저장모듈(204)은 추출된 강사 영상을 저장하는 장치가 된다. 즉, 강사영상저장모듈(204)은 데이터를 저장하는 메모리 장치로 형성될 수 있다.The instructor video storage module 204 is a device that stores the extracted instructor video. In other words, the instructor video storage module 204 may be formed as a memory device that stores data.

데이터관리모듈(205)은 강사영상추출모듈(203)에서 추출된 강사 영상에 대한 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지(C) 및 반사이미지(D)를 생성하고 저장할 수 있다. 그리고 저장된 이미지들이 추출된 강사 영상과 합성될 수 있도록 관리한다. 여기서, 데이터관리모듈(205)에 저장되어 있는 홀로그램 효과를 가지는 배경이미지(B)는 도 6에 도시된 바와 같이, 칠판의 왼쪽 위, 칠판의 왼쪽 아래, 칠판의 중앙, 칠판의 중앙 아래, 칠판의 오른쪽 위, 칠판의 오른쪽 아래 등과 같은 홀로그램 효과를 가지는 배경이미지가 될 수 있다. 그리고, 그림자이미지(C)는 도 7에 도시된 바와 같이, 강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래에 그림자가 위치한 이미지, 강사의 아래 방향 일례로, 6시 방향으로 그림자가 위치한 이미지, 강사의 우측 위 일례로, 1시 방향으로 그림자가 위치한 이미지, 강사의 우측 아래, 일례로, 5시 방향으로 그림자가 위치한 이미자가 될 수 있다.The data management module 205 can create and store a background image (B), a shadow image (C), and a reflection image (D) with a hologram effect for the instructor image extracted from the instructor image extraction module 203. And the saved images are managed so that they can be combined with the extracted instructor video. Here, the background image (B) with a hologram effect stored in the data management module 205 is, as shown in FIG. 6, the upper left of the blackboard, the lower left of the blackboard, the center of the blackboard, the lower center of the blackboard, and the blackboard. It can be a background image with a hologram effect, such as the upper right of a screen or the lower right of a blackboard. And, as shown in Figure 7, the shadow image (C) is an image where the shadow is located toward the upper left of the instructor, an image where the shadow is located toward the lower left of the instructor, an image where the shadow is located below the instructor, and an image where the shadow is located toward the lower left of the instructor. As an example of the direction, it may be an image with a shadow located in the 6 o'clock direction, an image in the upper right of the instructor, for example, an image with a shadow in the 1 o'clock direction, and an image in the lower right of the instructor, for example, in the 5 o'clock direction.

또한, 반사이미지 (D)는 도 8에 도시된 바와 같이, 강사를 기준으로 반사이미지가 형성될 수 있다.Additionally, as shown in FIG. 8, the reflected image (D) may be formed based on the instructor.

영상합성모듈(206)은 강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지 (C) 및 반사이미지 (D)를 합성하여 강사합성영상을 생성한다.The image synthesis module 206 adds a background image (B), a shadow image (C), and a reflection image (D) with a hologram effect managed by the data management module 205 to the instructor image extracted from the instructor image extraction module 203. Create a synthetic instructor video by compositing.

데이터관리모듈(205)은 추출된 강사 영상 및 환경데이터에 따라 배경이미지를 선택하고 그림자이미지를 선택하고 반사이미지를 선택한 다음, 홀로그램 효과 이미지 세트를 새로이 생성할 수 있다. 데이터관리모듈(205)은 추출된 강사 영상 및 환경데이터 즉, 강의 영상 캡쳐 환경 정보에 따라 저장되어 있는 데이터 중 이미 존재하고 있는 효과이미지를 선택하며 홀로그램 효과를 나타낼 수 있다. 여기서, 홀로그램 효과 이미지 세트를 생성하기 위한 배경이미지, 그림자이미지, 반사이미지 들은 홀로그램 효과를 구현하기 위한 가상의 이미지들로써 합성할 상기 강사 영상의 실제 배경, 실제 강사의 그림자, 실제 강사의 반사이미지를 굳이 고려하지 않아도 상관없다.The data management module 205 can select a background image, a shadow image, and a reflection image according to the extracted instructor image and environmental data, and then create a new hologram effect image set. The data management module 205 can display a hologram effect by selecting an effect image that already exists among the stored data according to the extracted instructor video and environmental data, that is, lecture video capture environment information. Here, the background image, shadow image, and reflection image to create the hologram effect image set are virtual images to implement the hologram effect, and the actual background of the instructor video to be synthesized, the actual instructor's shadow, and the actual instructor's reflection image are not necessarily used. It doesn’t matter if you don’t consider it.

도 6, 도 7, 도 8에서 도시된 배경이미지, 그림자이미지, 반사이미지 들은 평면적인 강사 영상을 입체적인 홀로그램 강사 영상으로 합성하면서, 보다 생생한 홀로그램 효과를 구현하기 위한 것일 뿐, 배경이미지, 그림자이미지, 반사이미지 들이 이로써 한정되는 것은 아니다.The background image, shadow image, and reflection image shown in FIGS. 6, 7, and 8 are only intended to implement a more vivid holographic effect by combining a flat instructor image into a three-dimensional hologram instructor image. Reflected images are not limited to this.

강사영상송신모듈(207)은 영상합성모듈(206)에서 생성된 강사합성영상을 디스플레이부(30)에 전송한다.The instructor video transmission module 207 transmits the instructor composite video generated by the video synthesis module 206 to the display unit 30.

조명제어데이터생성모듈(208)은 스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출한다. 조명제어정보송신모듈(209)은 조명제어데이터생성모듈(208)에서 생성된 조명제어데이터를 디스플레이부(30)에 전송한다. 즉, 조명제어정보송신모듈(209)은 디스플레이부(30)에 데이터를 전송하는 전송 모듈이 된다.The lighting control data generation module 208 extracts lighting control data from the environmental data received from the studio unit 10. The lighting control information transmission module 209 transmits the lighting control data generated in the lighting control data generation module 208 to the display unit 30. That is, the lighting control information transmission module 209 becomes a transmission module that transmits data to the display unit 30.

디스플레이부(30)는 복수 개의 조명모듈(105)을 포함하고, 서버부(20)로부터 홀로그램 강사 영상과 조명제어데이터를 수신 받아 홀로그램 강사 영상을 재생하고 조명제어데이터 연산하여 조명모듈(105)을 제어한다.The display unit 30 includes a plurality of lighting modules 105, receives the holographic instructor image and lighting control data from the server unit 20, plays the holographic instructor image, and calculates the lighting control data to display the lighting module 105. Control.

이와 같은 디스플레이부(30)는 네트워크를 통하여 서버부(20)와 접속하여, 생성된 홀로그램 강사 영상을 수신 받고, 저장하고, 재생하고, 출력할 수 있다. 이때, 디스플레이부(30)는 스튜디오부(10)가 서버부(20)로 송신한 강의 환경데이터를 수신 받아, 조명에서 출력되는 빛의 세기 및 조명의 작동 순서 등, 복수 개의 LED모듈을 작동 제어할 수 있는 조명제어데이터로 사용하여 디스플레이부(30)를 제어하면서 조명이 작동되도록 한다. 여기서, 디스플레이부(30)는 도 9에 도시된 바와 같이, 몸체모듈(310), LCD패널(320), LED모듈(330), 시선가리개판(340), 강사영상수신모듈(301), 강사영상재생모듈(302), 조명제어데이터수신모듈(303) 및 조명제어모듈(304)을 포함한다. 일례로, 디스플레이부(30)는 도 10에 도시된 바와 같이 형성된 몸체모듈(310)을 기본 골격으로 하여, 몸체모듈(310)의 앞면에 LCD패널(320)이 설치되고, 몸체모듈(310)의 내부에 형성된 공간의 상단, 양 측면, 후면 및 하단에 LED모듈(330)이 설치될 수 있다. 여기서, LCD패널(320)은 투명한 패널로 형성될 수 있어, 외부에서 몸체모듈(310)의 내부를 볼 수 있게 되도록 한다. 이때, LCD패널은 LED패널, OLED패널 등과 같은 패널로 변형될 수 있다. 이와 같은 LCD패널은 투명한 패널인 구조에 한해서 다양하게 변형되어 형성될 수 있다.This display unit 30 can connect to the server unit 20 through a network to receive, store, play, and output the generated holographic instructor image. At this time, the display unit 30 receives the lecture environmental data transmitted from the studio unit 10 to the server unit 20 and controls the operation of a plurality of LED modules, such as the intensity of light output from the lighting and the operating sequence of the lighting. Using the available lighting control data, the display unit 30 is controlled to operate the lighting. Here, as shown in FIG. 9, the display unit 30 includes a body module 310, an LCD panel 320, an LED module 330, a blindfold 340, an instructor video receiving module 301, and an instructor. It includes a video playback module 302, a lighting control data reception module 303, and a lighting control module 304. For example, the display unit 30 uses the body module 310 formed as shown in FIG. 10 as a basic skeleton, and the LCD panel 320 is installed on the front of the body module 310, and the body module 310 LED modules 330 may be installed at the top, both sides, rear, and bottom of the space formed inside. Here, the LCD panel 320 can be formed as a transparent panel so that the inside of the body module 310 can be seen from the outside. At this time, the LCD panel can be transformed into a panel such as an LED panel or OLED panel. Such an LCD panel can be formed in various forms as long as it has a transparent panel structure.

이하, 도 11 내지 도 14를 참조하여, 디스플레이부의 작동 상태에 대해 구체적으로 설명한다.Hereinafter, the operating state of the display unit will be described in detail with reference to FIGS. 11 to 14.

도 11 및 도 12는 도 1의 본 발명의 일 실시예에 따른 디스플레이부의 작동 상태를 나타낸 도면이고, 도 13은 본 발명의 일 실시예에 따른 영상의 홀로그램 합성 후 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.Figures 11 and 12 are diagrams showing the operating state of the display unit according to an embodiment of the present invention in Figure 1, and Figure 13 is a view of an instructor output from the display unit after holographic synthesis of images according to an embodiment of the present invention. This is a drawing showing .

LED모듈(330)은 도 11에 도시된 바와 같이, 몸체모듈(310)의 상단, 하단, 측면 및 후면 등에 설치될 수 있다. 이때, LED모듈(330)은 몸체모듈(310)의 내부에 설치된 조명제어모듈(304)을 통해, 후면에 설치된 LED모듈(330), 측면에 설치된 LED모듈(330) 그리고 하단에 설치된 LED모듈(330)이 각각 또는 동시에 켜질 수 있다. 이를 통해, 디스플레이부(30)는 도 12에 도시된 바와 같이, 몸체모듈(310)의 내부에 그라데이션이 나타나 입체적인 환경이 조성될 수 있도록 한다.As shown in FIG. 11, the LED module 330 may be installed on the top, bottom, sides, and rear of the body module 310. At this time, the LED module 330 is connected to the LED module 330 installed on the rear, the LED module 330 installed on the side, and the LED module installed at the bottom through the lighting control module 304 installed inside the body module 310 ( 330) can be turned on individually or simultaneously. Through this, the display unit 30 allows a three-dimensional environment to be created by appearing a gradient inside the body module 310, as shown in FIG. 12.

이와 같은 환경에서, 디스플레이부(30)는 서버부(20)에서 홀로그램 강사 영상을 수신하여 도 13에 도시된 바와 같이 홀로그램 강사 영상을 출력할 수 있다.In such an environment, the display unit 30 may receive a hologram instructor image from the server unit 20 and output the hologram instructor image as shown in FIG. 13.

이하, 도 14 및 도 15를 참조하여, 다양한 디스플레이부의 구조에 대해 구체적으로 설명한다.Hereinafter, with reference to FIGS. 14 and 15, the structures of various display units will be described in detail.

도 14는 다른 실시예의 시선가리개판이 설치된 디스플레이부를 나타낸 도면이고, 도 15는 시선방제가 설치된 또 다른 실시예의 디스플레이부를 나타낸 도면이다.FIG. 14 is a diagram showing a display unit equipped with a blind spot in another embodiment, and FIG. 15 is a diagram showing a display unit in another embodiment equipped with a blind spot.

디스플레이부(30)는 도 12에 도시된 바와 같이, 구조 외에도 몸체모듈(310)의 전면에 시선가리개판(340)이 설치된 제1디스플레이부(30-1) 및 몸체모듈(310)에서 전면을 향해 시선방제모듈(350)이 형성된 제2디스플레이부(30-2)로 형성될 수 있다. 여기서, 제1디스플레이부(30-1) 및 제2디스플레이부(30-2)는 모두 디스플레이부(30)에 포함되는 강사영상수신모듈(301), 강사영상재생모듈(302), 조명제어데이터수신모듈(303), 조명제어모듈(304), 몸체모듈(310) 그리고 LCD패널(320) 및 LED모듈(330)을 포함할 수 있다.As shown in FIG. 12, in addition to the structure, the display unit 30 has a first display unit 30-1 installed on the front of the body module 310 with a blindfold 340, and the front of the body module 310. It may be formed as a second display unit 30-2 in which a line-of-sight prevention module 350 is formed. Here, the first display unit 30-1 and the second display unit 30-2 include an instructor video reception module 301, an instructor video playback module 302, and lighting control data, which are all included in the display unit 30. It may include a receiving module 303, a lighting control module 304, a body module 310, and an LCD panel 320 and an LED module 330.

먼저, 도 14에 도시된 바와 같이, 제1디스플레이부(30-1)는 사각형의 박판의 시선가리개판(340)을 포함할 수 있다. 시선가리개판(340)은 몸체모듈(310)의 일측면에 탈 부착 가능하게 설치될 수 있다. 이러한 시선가리개판(340)은 열리고 닫히며 투명 LCD패널의 전면 또는 가장자리를 보호하고, 투명 LCD패널에의 출력 화면에 대한 청중의 측면으로부터의 시선을 차단할 수 있도록 한다. 또한, 도 15에 도시된 바와 같이, 제2디스플레이부(30-2)는 몸체모듈의 일면에 몸체모듈의 내측에 좌우의 옆면 및 상하에 돌출된 시선방제모듈(350)을 포함할 수 있다. 이러한 시선방제모듈(350)은 측면으로부터 유입되는 빛이 LCD패널(320)로 유입되지 않도록 하고 마찬가지로 청중의 측면으로부터의 시선을 차단할 수 있도록 한다.First, as shown in FIG. 14, the first display unit 30-1 may include a rectangular thin plate 340. The sight shield plate 340 may be detachably installed on one side of the body module 310. This blindfold 340 opens and closes to protect the front or edge of the transparent LCD panel and blocks the audience's view of the output screen on the transparent LCD panel from the side. In addition, as shown in FIG. 15, the second display unit 30-2 may include a line-of-sight blocking module 350 that protrudes from the left and right sides and up and down inside the body module on one surface of the body module. This gaze blocking module 350 prevents light coming from the side from flowing into the LCD panel 320 and similarly blocks the audience's gaze from the side.

이하, 도 16을 참조하여, 홀로그램 합성 전 디스플레이부에서 출력되는 강사의 모습에 대해 설명한다.Hereinafter, with reference to FIG. 16, the appearance of the instructor output from the display unit before hologram synthesis will be described.

도 16은 본 발명의 일 실시예에 따른 영상의 홀로그램 합성 전 디스플레이부에서 출력되는 강사의 모습을 나타낸 도면이다.Figure 16 is a diagram showing the appearance of an instructor output from the display unit before hologram synthesis of an image according to an embodiment of the present invention.

홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지 등이 강사 영상에 합성되지 않을 시, 도 16에 도시된 바와 같이, 디스플레이부에는 밋밋한 영상이 출력될 수 있다.When background images, shadow images, reflection images, etc. with holographic effects are not combined with the instructor image, a flat image may be output on the display unit, as shown in FIG. 16.

전술한 바와 같이, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템을 구성하는 구성요소를 기반으로 하여, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법에 대해 구체적으로 설명한다.As described above, based on the components that make up the realistic real-time remote learning system using the holographic display device, the realistic real-time remote learning method using the holographic display device will be described in detail.

홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법의 설명에 있어, 각 단계를 실행하는 주체는 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템을 구성하는 구성요소가 될 수 있다.In explaining the realistic real-time remote learning method using a holographic display device, the subject executing each step may be a component that constitutes a realistic real-time remote learning system using a holographic display device.

이에, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법에 대한 설명이 간결하고 명확해질 수 있도록, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템과 중복되는 방법의 주체에 대한 설명은 생략한다.Accordingly, so that the explanation of the realistic real-time remote learning method using a holographic display device can be concise and clear, the description of the subject of the method that overlaps with the realistic real-time remote learning system using a holographic display device will be omitted.

이하, 도 17을 참조하여 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법에 대해 구체적으로 설명한다.Hereinafter, a realistic real-time remote learning method using a hologram display device will be described in detail with reference to FIG. 17.

도 17은 본 발명의 일 실시예에 따른 본 발명의 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법의 순서도이다.Figure 17 is a flowchart of an immersive real-time remote learning method using the holographic display device of the present invention according to an embodiment of the present invention.

홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법은 스튜디오부(10)가 강의 영상을 촬영하고 촬영된 된 강의 영상과 환경데이터를 추출하여 강의 영상과 함께 송신하는 (a)단계, 서버부(20)가 원격지의 스튜디오부(10)로부터 강의 영상 및 환경데이터를 수신하여 수신한 강의 영상에서 강사 영상을 추출하고, 다수 종류의 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지 (C) 및 반사이미지 (D)에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 합성하여 생성하는 (b)단계로 진행된다. 이후, 디스플레이부(30)가 서버부(20)로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈(105)을 제어하면서 홀로그램 강사 영상을 출력하는 (c)단계로 진행될 수 있다. 여기서, (a)단계는 스튜디오부(10)에 포함되는 카메라모듈(101)이 스튜디오 내에서 진행되는 강의를 촬영하는 (a-1)단계(S602), 스튜디오부(10)에 포함되는 환경정보입력모듈(102)이 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 (a-2)단계(S603), 스튜디오부(10)에 포함되는 강의영상정보송신모듈(103)이 촬영 영상을 실시간으로 서버부(20)로 송신할 수 있으며(S604), 촬영환경정보를 서버부(20)로 실시간으로 송신하는 (a-3)단계(S605))를 포함할 수 있다. (a)단계는 (a-1)단계가 진행되기 전에 진행되는 스튜디오의 웹인터페이스에 접속하는 단계(S601)를 더 포함할 수 있다. 그리고 (b)단계는 서버부(20)에 포함되는 영상수신모듈(201)이 네트워크를 통해 스튜디오부(10)와 접속하여 강의 촬영 영상을 수신하는 (b-1)단계(S606) 그리고 서버부(20)에 포함되는 환경데이터수신모듈(202)이 스튜디오부(10)로부터 촬영환경데이터를 수신하는 (b-2)단계(S607), 서버부(20)에 포함되는 강사영상추출모듈(203)이 스튜디오부(10)로부터 수신한 강의 영상에서 크로마키(Chroma-Key)를 통해서 강사를 추출하는 (b-3)단계(S608), 서버부(20)에 포함되는 강사영상저장모듈(204)이 추출된 강사 영상을 저장하는 (b-4)단계(S609) 그리고 서버부(20)에 포함되는 데이터관리모듈(205)이 복수 개의 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 생성 하는 단계(S611) 및 생성된 이미지를 저장하는 단계(S612) 그리고 이를 추출된 강사 영상에 반영하는 (b-5)단계를 포함할 수 있다. 그리고 서버부(20)에 포함되는 영상합성모듈(206)이 강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 홀로그램 강사합성영상을 생성하는 (b-6)단계(S614), 서버부(20)에 포함되는 강사영상송신모듈(207)이 영상합성모듈(206)에서 생성된 홀로그램 강사합성영상을 디스플레이부(30)에 전송하는 (b-7)단계(S615) 그리고 서버부(20)에 포함되는 조명제어데이터생성모듈(208)이 스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 (b-8)단계(S610) 그리고 서버부(20)에 포함되는 조명제어정보송신모듈(209)이 조명제어데이터생성모듈(208)에서 조명제어데이터를 디스플레이부(30)에 전송하는 (b-9)단계(S616)를 포함할 수 있다. 그리고 (c)단계는 디스플레이부(30)에 포함되는 강사영상수신모듈(301)이 서버부(20)로부터 강사합성영상 즉, 홀로그램 강사 영상을 수신하는 (c-1)단계(S617), 디스플레이부(30)에 포함되는 강사영상재생모듈(302)이 수신된 강사합성영상을 재생하여 출력하는 (c-2)단계(S621, S622), 디스플레이부(30)에 포함되는 조명제어데이터수신모듈(303)이 수신된 서버부(20)가 전송한 조명제어데이터를 수신하는 (c-3)단계(S619) 및 디스플레이부(30)에 포함되는 조명제어모듈(304)이 조명제어데이터를 기반으로 복수 개의 조명모듈(105)의 조명의 색도 및 조도를 제어하는 (c-4)단계(S620)를 포함할 수 있다.The realistic real-time remote learning method using a holographic display device includes step (a) in which the studio unit 10 captures a lecture video, extracts the captured lecture video and environmental data, and transmits them together with the lecture video, and the server unit 20 Receives the lecture video and environmental data from the remote studio unit 10, extracts the instructor video from the received lecture video, and creates a background image (B), a shadow image (C), and a reflection image (C) with multiple types of hologram effects. The process proceeds to step (b), where the instructor image extracted in D) is synthesized and a hologram instructor image is created. Thereafter, step (c) in which the display unit 30 receives the holographic instructor image and environmental data from the server unit 20, calculates the holographic instructor image and environmental data, and outputs the holographic instructor image while controlling the lighting module 105. It can proceed as follows. Here, step (a) is step (a-1) in which the camera module 101 included in the studio unit 10 photographs the lecture taking place in the studio (S602), and environmental information included in the studio unit 10 In step (a-2) (S603), the input module 102 can input shooting environment information including information on the light source direction, illuminance, and color tone of the lighting in the studio, lecture video information included in the studio unit 10. The transmission module 103 can transmit the captured image to the server unit 20 in real time (S604), and performs step (a-3) (S605) of transmitting the shooting environment information to the server unit 20 in real time. It can be included. Step (a) may further include a step (S601) of accessing the studio's web interface, which is performed before step (a-1). And step (b) is step (b-1) in which the video receiving module 201 included in the server unit 20 connects to the studio unit 10 through the network to receive the lecture video (S606), and the server unit In step (b-2) (S607), the environmental data receiving module 202 included in (20) receives the shooting environment data from the studio unit 10, and the instructor video extraction module 203 included in the server unit 20 ) Step (b-3) of extracting the instructor from the lecture video received from the studio unit 10 through Chroma-Key (S608), the instructor video storage module 204 included in the server unit 20 ) is stored in the extracted instructor video (S609), and the data management module 205 included in the server unit 20 generates a background image, a shadow image, and a reflection image with a plurality of hologram effects. It may include a step (S611), a step of storing the generated image (S612), and a step (b-5) of reflecting this on the extracted instructor video. And the image synthesis module 206 included in the server unit 20 adds a background image, a shadow image, and a reflection image with a hologram effect managed by the data management module 205 to the instructor image extracted from the instructor image extraction module 203. In the step (b-6) of generating a holographic instructor composite image by compositing (S614), the instructor video transmission module 207 included in the server unit 20 transmits the holographic instructor composite image generated by the video synthesis module 206. Step (b-7) of transmitting to the display unit 30 (S615) and the lighting control data generation module 208 included in the server unit 20 generates lighting control data from the environmental data received from the studio unit 10. In the extracting (b-8) step (S610), the lighting control information transmission module 209 included in the server unit 20 transmits the lighting control data to the display unit 30 from the lighting control data generation module 208. (b-9) may include step (S616). And in step (c), the instructor video receiving module 301 included in the display unit 30 receives the instructor composite video, that is, the hologram instructor video, from the server unit 20 (S617), display Step (c-2) (S621, S622) in which the instructor video playback module 302 included in the unit 30 plays and outputs the received instructor composite video, and the lighting control data reception module included in the display unit 30 Step (c-3) (S619) of receiving the lighting control data transmitted by the server unit 20 (303) and the lighting control module 304 included in the display unit 30 based on the lighting control data. It may include step (c-4) (S620) of controlling the chromaticity and illuminance of the lighting of the plurality of lighting modules 105.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.Although embodiments of the present invention have been described above with reference to the attached drawings, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood as illustrative in all respects and not restrictive.

1: 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템
10: 스튜디오부
101: 카메라모듈
102: 환경정보입력모듈 103: 강의영상정보송신모듈
104: 녹음모듈 105: 조명모듈
106: 스크린모듈 107: 방음장치모듈
20: 서버부
201: 영상수신모듈 202: 환경데이터수신모듈
203: 강사영상추출모듈 204: 강사영상저장모듈
205: 데이터관리모듈 206: 영상합성모듈
207: 강사영상송신모듈 208: 조명제어데이터생성모듈
209: 조명제어정보송신모듈
30: 디스플레이부
301: 강사영상수신모듈 302: 강사영상재생모듈
303: 조명제어데이터수신모듈 304: 조명제어모듈
310: 몸체모듈 320: LCD패널
330: LED모듈 340: 시선가리개판
350: 시선방제모듈
A: 웹 인터페이스
B: 홀로그램 효과를 가지는 배경이미지
C: 그림자이미지
D: 반사이미지 1: Immersive real-time remote learning system using a holographic display device
10: Studio Department
101: Camera module
102: Environmental information input module 103: Lecture video information transmission module
104: recording module 105: lighting module
106: Screen module 107: Soundproofing module
20: Server section
201: Video reception module 202: Environmental data reception module
203: Instructor video extraction module 204: Instructor video storage module
205: Data management module 206: Video synthesis module
207: Instructor video transmission module 208: Lighting control data generation module
209: Lighting control information transmission module
30: Display unit
301: Instructor video reception module 302: Instructor video playback module
303: Lighting control data reception module 304: Lighting control module
310: Body module 320: LCD panel
330: LED module 340: Blindfold plate
350: Line of sight control module
A: Web interface
B: Background image with hologram effect
C: Shadow image
D: Reflected image

Claims (2)

강의 영상을 촬영하고, 촬영된 된 강의 영상에 대한 환경데이터가 입력되면 강의 영상과 함께 환경데이터를 송신하는 스튜디오부(10);
원격지의 스튜디오부(10)로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지(C) 및 반사이미지(D)에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 서버부(20) 및
복수 개의 조명모듈(105)을 포함하고, 서버부(20)로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈(105)을 제어하는 디스플레이부(30)를 포함하고,
스튜디오부(10)는,
스튜디오 내에서 진행되는 강의를 촬영하는 카메라모듈(101)과,
스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 환경정보입력모듈(102)과,
카메라모듈(101)에서 촬영된 강의영상과 촬영환경정보를 서버부(20)로 실시간으로 송신하는 강의영상정보송신모듈(103)과,
강사의 옷에 부착된 마이크와 연결되어 강사의 목소리를 녹음하고, 녹음한 음성데이터를 강의영상정보송신모듈(103)로 전달하여 서버부(20)로 전송하는 녹음모듈(104)을 포함하고,
서버부(20)는,
네트워크를 통해 스튜디오부(10)와 접속하여 강의 촬영 영상을 수신하는 영상수신모듈(201)과,
스튜디오부(10)로부터 환경데이터를 수신하는 환경데이터수신모듈(202)과,
스튜디오부(10)로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 설정 객체를 추출하는 강사영상추출모듈(203)과,
추출된 강사 영상을 저장하는 강사영상저장모듈(204)과,
복수 개의 홀로그램 효과를 가지는 배경이미지(B), 복수 개의 그림자이미지(C) 및 복수 개의 반사이미지(D)를 생성한 후 저장하는 데이터관리모듈(205)과,
강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 영상합성모듈(206)과,
영상합성모듈(206)에서 생성된 강사합성영상을 디스플레이부(30)에 전송하는 강사영상송신모듈(207)과,
스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 조명제어데이터생성모듈(208)과,
조명제어데이터생성모듈(208)에서 생성된 조명제어데이터를 디스플레이부(30)에 전송하는 조명제어정보송신모듈(209)을 포함하고,
디스플레이부(30)는,
서버부(20)로부터 강사합성영상을 수신하는 강사영상수신모듈(301)과,
수신된 강사합성영상을 재생하여 출력하는 강사영상재생모듈(302)과,
서버부(20)가 전송한 조명제어데이터를 수신하는 조명제어데이터수신모듈(303)과,
조명제어데이터를 기반으로 복수 개의 조명모듈(105)의 조명의 색도 및 조도를 제어하는 조명제어모듈(304)과,
전면에 투명한 패널로 형성된 LCD패널(320)이 설치되어 내부에 공간이 형성된 몸체모듈(310)과,
몸체모듈(310)의 내부 공간의 상단, 측면, 후면 및 하단에 설치되는 LED모듈(330)과,
몸체모듈의 일면에서 전면을 향해 돌출 형성되어 측면으로부터 유입되는 빛이 LCD패널(320)로 유입되지 않도록 하는 시선방제모듈(350)을 포함하고,
복수 개의 홀로그램 효과를 가지는 배경이미지(B)는,
칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함하고,
복수 개의 그림자이미지(C)는,
강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함하고,
복수 개의 반사이미지(D)는,
강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함하는, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습시스템.A studio unit (10) that captures a lecture video and transmits the environmental data together with the lecture video when environmental data for the captured lecture video is input;
Lecture video and environmental data are received from the remote studio unit 10, and the instructor video is extracted from the received lecture video, and extracted into a background image (B), shadow image (C), and reflection image (D) with a holographic effect. A server unit (20) that synthesizes the instructor images to generate a hologram instructor image, and
It includes a plurality of lighting modules 105, and includes a display unit 30 that receives holographic instructor images and environmental data from the server unit 20, calculates the holographic instructor images and environmental data, and controls the lighting module 105. do,
The studio part (10) is,
A camera module 101 for filming lectures held in the studio,
An environmental information input module 102 capable of inputting shooting environment information including information on the light source direction, illuminance, and color tone of the lighting in the studio;
A lecture video information transmission module (103) that transmits the lecture video and recording environment information captured in the camera module (101) to the server unit (20) in real time,
It includes a recording module (104) that is connected to a microphone attached to the instructor's clothes, records the instructor's voice, transmits the recorded voice data to the lecture video information transmission module (103), and transmits it to the server unit (20),
The server unit 20,
A video receiving module 201 that connects to the studio unit 10 through a network and receives lecture video,
An environmental data receiving module 202 that receives environmental data from the studio unit 10,
An instructor video extraction module 203 that extracts a setting object through the color tone difference between the setting object and the background from the lecture video received from the studio unit 10,
An instructor video storage module 204 that stores the extracted instructor video,
A data management module 205 that generates and stores a background image (B), a plurality of shadow images (C), and a plurality of reflection images (D) with a holographic effect,
An image synthesis module (206) that generates an instructor composite image by synthesizing a background image, a shadow image, and a reflection image with a hologram effect managed in the data management module (205) to the instructor image extracted in the instructor image extraction module (203); ,
an instructor video transmission module 207 that transmits the instructor composite video generated in the video synthesis module 206 to the display unit 30;
A lighting control data generation module 208 that extracts lighting control data from the environmental data received from the studio unit 10,
It includes a lighting control information transmission module 209 that transmits the lighting control data generated in the lighting control data generation module 208 to the display unit 30,
The display unit 30,
an instructor video reception module 301 that receives the instructor composite video from the server unit 20;
An instructor video playback module 302 that plays and outputs the received instructor composite video,
A lighting control data reception module 303 that receives lighting control data transmitted by the server unit 20,
A lighting control module 304 that controls the chromaticity and illuminance of the lighting of a plurality of lighting modules 105 based on lighting control data,
A body module 310 in which an LCD panel 320 formed of a transparent panel is installed on the front and a space is formed inside,
An LED module 330 installed at the top, side, rear, and bottom of the internal space of the body module 310,
It includes a line-of-sight blocking module 350 that protrudes from one side of the body module toward the front and prevents light coming from the side from entering the LCD panel 320,
The background image (B) with multiple hologram effects is,
A background image with multiple hologram effects at the top left of the blackboard, a background image with multiple hologram effects at the bottom left of the blackboard, a background image with multiple hologram effects at the center of the blackboard, and multiple hologram effects below the center of the blackboard. Includes a background image with a background image, a background image with a plurality of hologram effects at the top right of the blackboard, and a background image with a plurality of hologram effects at the bottom right of the blackboard,
The plurality of shadow images (C) are,
An image where the shadow is located toward the upper left of the instructor, an image where the shadow is located toward the lower left of the instructor, an image where the shadow is located toward the lower left of the instructor, an image where the shadow is located toward the upper right of the instructor, and an image where the shadow is located toward the lower right of the instructor. contains images,
The plurality of reflection images (D) are,
An image with a reflection image located toward the instructor's upper left, an image with a reflection image toward the instructor's lower left, an image with a reflection image toward the instructor's bottom, an image with a reflection image toward the instructor's top right, and an image toward the instructor's bottom right. A realistic real-time remote learning system using a holographic display device that includes an image with a reflection image located on it. (a) 스튜디오부(10)에서 강의 영상을 촬영하고 촬영된 강의 영상에서 환경데이터를 추출하여 강의 영상과 함께 송신하는 단계;
(b) 서버부(20)가 원격지의 스튜디오부(10)로부터 강의 영상 및 환경데이터를 수신하며 수신한 강의 영상에서 강사 영상을 추출하고, 홀로그램 효과를 가지는 배경이미지(B), 그림자이미지(C) 및 반사이미지(D)에 추출된 강사 영상을 합성하여 홀로그램 강사 영상을 생성하는 단계;
(c) 디스플레이부(30)가 서버부(20)로부터 홀로그램 강사 영상과 환경데이터를 수신 받아 홀로그램 강사 영상과 환경데이터를 연산하여 조명모듈(105)을 제어하면서 홀로그램 강사 영상을 출력하는 단계를 포함하고,
(a) 단계는,
(a-1) 스튜디오부(10)에 포함되는 카메라모듈(101)이 스튜디오 내에서 진행되는 강의를 촬영하는 단계;
(a-2) 스튜디오부(10)에 포함되는 환경정보입력모듈(102)이 스튜디오 내의 조명의 광원 방향, 조도 및 색조의 정보를 포함하는 촬영환경정보를 입력할 수 있는 단계;
(a-3) 스튜디오부(10)에 포함되는 강의영상정보송신모듈(103)이 강의촬영영상과 촬영환경정보를 서버부(20)로 실시간으로 송신하는 단계를 포함하고,
강의영상정보송신모듈(103)은,
강사의 옷에 부착된 마이크와 연결되어 강사의 목소리를 녹음하는 녹음모듈(104)로부터 음성데이터를 수신한 후, 서버부(20)로 전송하고,
(b) 단계는,
(b-1) 서버부(20)에 포함되는 영상수신모듈(201)이 네트워크를 통해 스튜디오부(10)와 접속하여 강의 촬영 영상을 수신하는 단계;
(b-2) 서버부(20)에 포함되는 환경데이터수신모듈(202)이 스튜디오부(10)로부터 환경데이터를 수신하는 단계;
(b-3) 서버부(20)에 포함되는 강사영상추출모듈(203)이 스튜디오부(10)로부터 수신한 강의 영상에서 설정 객체와 배경 간 색조 차이를 통해 강사영상을 추출하는 추출하는 단계;
(b-4) 서버부(20)에 포함되는 강사영상저장모듈(204)이 추출된 강사 영상을 저장하는 단계;
(b-5) 서버부(20)에 포함되는 데이터관리모듈(205)이 복수 개의 홀로그램 효과를 가지는 배경이미지, 복수 개의 그림자이미지 및 복수 개의 반사이미지를 생성하며 생성된 이미지를 저장하는 단계;
(b-6) 서버부(20)에 포함되는 영상합성모듈(206)이 강사영상추출모듈(203)에서 추출된 강사 영상에 데이터관리모듈(205)에서 관리되는 홀로그램 효과를 가지는 배경이미지, 그림자이미지 및 반사이미지를 합성하여 강사합성영상을 생성하는 단계;
(b-7) 서버부(20)에 포함되는 강사영상송신모듈(207)이 영상합성모듈(206)에서 생성된 강사합성영상을 디스플레이부(30)에 전송하는 단계;
(b-8) 서버부(20)에 포함되는 조명제어데이터생성모듈(208)이 스튜디오부(10)로부터 수신 받은 환경데이터에서 조명제어데이터를 추출하는 단계;
(b-9) 서버부(20)에 포함되는 조명제어정보송신모듈(209)이 조명제어데이터생성모듈(208)에서 생성된 조명제어데이터를 디스플레이부(30)에 전송하는 단계를 포함하고,
(c) 단계는,
(c-1) 디스플레이부(30)에 포함되는 강사영상수신모듈(301)이 서버부(20)로부터 강사합성영상을 수신하는 단계;
(c-2) 디스플레이부(30)에 포함되는 강사영상재생모듈(302)이 수신된 강사합성영상을 재생하여 출력하는 단계;
(c-3) 디스플레이부(30)에 포함되는 조명제어데이터수신모듈(303)이 수신된 서버부(20)가 전송한 조명제어데이터를 수신하는 단계;
(c-4) 디스플레이부(30)에 포함되는 조명제어모듈(304)이 조명제어데이터를 기반으로 복수 개의 조명모듈(105)의 조명의 색도 및 조도를 제어하는 단계를 포함하고,
디스플레이부(30)는 일면에 시선방제모듈(350)이 돌출 형성되어 몸체모듈의 측면으로부터 LCD패널(320)로 빛의 유입을 차단하고,
복수 개의 홀로그램 효과를 가지는 배경이미지(B)는,
칠판의 왼쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 왼쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 중앙 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 위의 복수 개의 홀로그램 효과를 가지는 배경이미지, 칠판의 오른쪽 아래의 복수 개의 홀로그램 효과를 가지는 배경이미지를 포함하고,
복수 개의 그림자이미지(C)는,
강사의 왼쪽 위 방향으로 그림자가 위치한 이미지, 강사의 왼쪽 아래 방향으로 그림자가 위치한 이미지, 강사의 아래 방향으로 그림자가 위치한 이미지, 강사의 오른쪽 위에 그림자가 위치한 이미지, 그리고 강사의 오른쪽 아래에 그림자가 위치한 이미지를 포함하고,
복수 개의 반사이미지(D)는,
강사의 왼쪽 위 방향으로 반사이미지가 위치한 이미지, 강사의 왼쪽 아래 방향으로 반사이미지가 위치한 이미지, 강사의 아래 방향으로 반사이미지가 위치한 이미지, 강사의 오른쪽 위에 반사이미지가 위치한 이미지, 그리고 강사의 오른쪽 아래에 반사이미지가 위치한 이미지를 포함하는, 홀로그램 디스플레이 장치를 이용한 실감형 실시간 원격학습방법.(a) filming a lecture video in the studio unit 10, extracting environmental data from the captured lecture video, and transmitting it together with the lecture video;
(b) The server unit 20 receives the lecture video and environmental data from the remote studio unit 10, extracts the instructor video from the received lecture video, and creates a background image (B) with a hologram effect and a shadow image (C). ) and generating a hologram instructor image by combining the extracted instructor image with the reflection image (D);
(c) The display unit 30 receives the holographic instructor image and environmental data from the server unit 20, calculates the holographic instructor image and environmental data, and outputs the holographic instructor image while controlling the lighting module 105. do,
Step (a) is,
(a-1) a step in which the camera module 101 included in the studio unit 10 photographs a lecture taking place in the studio;
(a-2) allowing the environmental information input module 102 included in the studio unit 10 to input shooting environment information including information on the light source direction, illuminance, and color tone of the lighting in the studio;
(a-3) comprising the step of the lecture video information transmission module 103 included in the studio unit 10 transmitting the lecture video and recording environment information to the server unit 20 in real time,
The lecture video information transmission module 103 is,
After receiving voice data from the recording module 104, which is connected to the microphone attached to the instructor's clothes and records the instructor's voice, it is transmitted to the server unit 20,
Step (b) is,
(b-1) the video receiving module 201 included in the server unit 20 connects to the studio unit 10 through a network to receive a lecture video;
(b-2) the environmental data receiving module 202 included in the server unit 20 receiving environmental data from the studio unit 10;
(b-3) an extraction step in which the instructor video extraction module 203 included in the server unit 20 extracts the instructor video through the color tone difference between the setting object and the background from the lecture video received from the studio unit 10;
(b-4) storing the extracted instructor video by the instructor video storage module 204 included in the server unit 20;
(b-5) the data management module 205 included in the server unit 20 generates a background image, a plurality of shadow images, and a plurality of reflection images having a plurality of hologram effects, and storing the generated images;
(b-6) The image synthesis module 206 included in the server unit 20 adds a background image and shadow with a hologram effect managed by the data management module 205 to the instructor image extracted from the instructor image extraction module 203. Generating an instructor composite video by compositing the image and the reflection image;
(b-7) the instructor video transmission module 207 included in the server unit 20 transmitting the instructor composite video generated by the video synthesis module 206 to the display unit 30;
(b-8) extracting lighting control data from the environmental data received from the studio unit 10 by the lighting control data generation module 208 included in the server unit 20;
(b-9) the lighting control information transmission module 209 included in the server unit 20 transmits the lighting control data generated in the lighting control data generation module 208 to the display unit 30,
Step (c) is,
(c-1) the instructor video receiving module 301 included in the display unit 30 receiving the instructor composite video from the server unit 20;
(c-2) a step of the instructor video playback module 302 included in the display unit 30 playing and outputting the received instructor composite video;
(c-3) receiving the lighting control data transmitted by the server unit 20 by the lighting control data receiving module 303 included in the display unit 30;
(c-4) comprising the step of the lighting control module 304 included in the display unit 30 controlling the chromaticity and illuminance of the lighting of the plurality of lighting modules 105 based on lighting control data,
The display unit 30 has a gaze blocking module 350 protruding from one side to block the inflow of light into the LCD panel 320 from the side of the body module,
The background image (B) with multiple hologram effects is,
A background image with multiple hologram effects at the top left of the blackboard, a background image with multiple hologram effects at the bottom left of the blackboard, a background image with multiple hologram effects at the center of the blackboard, and multiple hologram effects below the center of the blackboard. Includes a background image with a background image, a background image with a plurality of hologram effects at the top right of the blackboard, and a background image with a plurality of hologram effects at the bottom right of the blackboard,
The plurality of shadow images (C) are,
An image with a shadow located toward the instructor's upper left, an image with a shadow toward the instructor's lower left, an image with a shadow toward the instructor's lower left, an image with a shadow toward the instructor's upper right, and an image with a shadow toward the instructor's lower right. contains images,
The plurality of reflection images (D) are,
An image with a reflection image located toward the instructor's upper left, an image with a reflection image toward the instructor's lower left, an image with a reflection image toward the instructor's bottom, an image with a reflection image toward the instructor's top right, and an image toward the instructor's bottom right. A realistic, real-time remote learning method using a holographic display device, including an image with a reflection image located on it.