KR20200024441A - 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 - Google Patents

Abstract

종래의 강의 장치와 대비하여 장비의 작동, 즉 장면 전환을 자동으로 AI기능(인공지능 기능)으로 강사가 강의에 집중할 수 있게 하는 기능과 크로마키 방식으로 국한된 강의 스튜디오의 환경을 크로마키를 쓰지 않고 AR 합성방식의 에지 처리 방식을 발명하여 AR 강의실 방식의 강의 장치가 되게 하여 어떠한 교실, 강의 현장에서도 기존의 강의 방식보다 더욱 몰입된 강의가 되는 장면을 발생하게 하여 강의현장에 본 발명의 방식으로 강의를 하도록 하는 실시간 강의 장치, 실시간 강의 녹화 장치, 실시간 원격 수업, 강의 프리젠테이션 회의 장치가 완벽하게 구현하는 기술로써, 장치를 운영하는 사람 없이 운영하는데 필요한 스위쳐 버튼 같은 것을 전혀 쓰지 않고도 강사는 오직 강의만 집중하면서 필요시 포인터를 이용하여 슬라이드 변경과 포인터를 가상 그래픽 포인터로 강의 하는 자료의 주요 부분에 마킹 포인팅을 하며 가상 강의실의 아름다운 출력 화면, 가상 강의실에 배치한 가상 카메라로 부터 필요한 장면이 자동 합성되어 보여 지는 방식의 장면을 발생하도록 하는 지능형 가상 카메라 장면 전환을 통해 학생들에게 보여 강조하고 싶은 영역을 자동으로 장면이 전환될 수 있는 유사 VR환경을 구현하는 방식의 강의 장치를 발명하여, 그 동안 수백년간 사용된 교실 수업의 방법을 AR/VR/AI기술을 통해 현장 수업의 효과를 극대화 하고, 그동안 교실에 가야만 하던 수업을 전세계 어느 곳에서나 스마트 장치로 교실 수업 이상의 원격 수업이 가능하게 하고, 그동안 강의를 하려면 교실에 가서 해야 했던 강의를 원격지에서도 할수 있게 하는 스마트 강의, 스마트 교실이 가능하게 하는 새로운 기술을 이용한 스마트 강의 장치 , 실시간 강의 녹화 장치, 원격 강의 장치, 원격 수업 및 프리젠테이션 회의 시스템, 프리젠테이션 webinar 장치를 제공할 수 있다.

Description

가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치 {Smart Realtime Lecture, Lecture Capture and Tele-Presentation-Webinar, VR Class room, VR Conference method using Virtual/Augmented Reality Class Room and Artificial Intelligent Virtual Camera Switching technologies}

본 발명은 가상 및 증강 현실 강의실에서 인공지능기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 종래의 강의 장치와 대비하여 AR 크로마키를 쓰지 않고도 강사는 오직 강의만 집중하면서 강조하고 싶은 영역을 자동으로 장면이 전환될 수 있는 유사 VR환경을 구현하여 공간 및 시간적 측면의 효율성이 크게 향상될 수 있는 자동 장면 전환 기술을 이용한 스마트한 강의 장치 및 방법, 이를 이용한 실시간 강의 녹화 및 원격 강의 방법 및 장치에 관한 것으로 이 방법을 기존의 화상 회의와 함께 사용하는 원격 프리젠테이션 화상회의 (Tele-Presentation ) 장치이다.

종래의 강의 장치는 교실에서 사용하는 프로젝터, 칠판, 그리고 강의자료를 제어하는 교탁과 전자 칠판을 연동하는 방식의 장치들이 개발되어 왔다. 최신 VR, AR, MR 기술들이 새롭게 발전하고, Wifi 등 스마트 장치가 대중화 되면서 교실의 강의 녹화, 이러닝, 인터넷 강의의 MOOC 수업의 강의가 다양한 기존의 방송 기술을 사용하여 많은 강의 녹화가 이루어 지고 있다. 이러한 기술들을 사용하는 방법들은 아직도 녹화 편집된 강의가 실제 수업에 듣는 것 보다 집중도가 떨어지고 편집등 많은 시간이 필요하기도 하며, 이러한 이유로 실제 실시간 원격 강의, 즉 TelePresentation 기술 또는 장치가 존재하지 않고 있는 것이 사실이다.

도 1에는 종래의 강의 녹화 장치의 예시들이 도시되어 있다.

도 1을 참조하면, 직접 카메라로 녹화 하는 경우에는 칠판이 깨끗하게 보이지 못하는 문제 및 합성화면을 만들 경우의 강사와 자료를 비디오를 보는 사람이 화면 중 보아야 할 장면에 집중하지 못하는 문제가 발생된다.

이러한 비디오를 통한 원격 수업-이러닝, MOOC 코스가 최근 스마트 장치 인터넷을 중심으로 이루어 지고 있고 이들의 기술은 다음의 3가지로 방식으로 만들어 지고 있다

첫 번째 방식으로 강의 자료 즉 스크린 또는 PPT 화면만을 녹화하며 음성을 녹음하는 방식의 강의 녹화 방식으로 80%이상의 인터넷 강의가 이러한 방식으로 강사가 보이지 않아 강사의 의지나 학습이 동기 부여등이 보여 지지 못하는 단순 자료 화면과 펜의 강의 녹화 강의로 이루어 지고 있다. Khan's Academy가 대표적인 사례이다. 이 방식은 강사의 표정 교육의 모티베이션을 주는 부분 보다 어떻게 문제를 이해해야 하나에 주로 집중된 과외식 학습이 가능한 방법으로 간단하고 편안한 방식으로 많이 사용되는 부분이다.

두 번째 방식으로 첫 번째 화면에 강사의 USB 카메라 등의 강사가 코너에 보이는 방식의 이러닝 방식으로 Webinar등에 많이 사용되는 WebEx, Connect Pro 등의 방식이 이에 해당한다. 이 방식은 첫째의 부분을 보안하고 있지만 자료 화면이 작은 부분과 강사가 같은 위치에 계속 존재 하면서 결국 강사를 보지않게 되어 강사의 현존 느낌이 굳이 필요한가에 대한 느낌을 주는 부분이다.

세 번째 방법은 이러한 셀프(Self) 촬영 기법 보다 방송 기술자를 필요로 하는 방식으로 소위 스위처 믹서에 기반한 복수 카메라 스위칭 방식으로 강의 자료와 강사를 번갈아 보여 주면서 때론 강사, 때로는 강의 칠판, 때로는 합성 화면을 스위칭하는 방송 및 편집 방식을 사용하는 일반적인 방송기술로 전문가들과 전문 장비를 이용해 교실 수업을 찍는 방식이 사용되고 있다.

그러나, 이러한 강의 합성 장치 및 기존 스위처 믹서 방식의 강의 장치를 통한 강의 합성 장면 방식은 녹화 화면의 스위칭 및 장면 구성에 문제점 발생된다. 따라서, 교실에서는 선생님과 칠판 프로젝터 등 학생들이 집중된 곳을 산만하게 판단해 보아야 하는 문제가 발생된다.

이는 교실에서 수업을 찍지 않고 스튜디오 세트를 만들어 찍는 강의 스튜디오 촬영 편집 방식으로 이용되는 일반적인 교육 방송 및 인터넷 강의 회사들의 강의 수업촬영 방식을 의미한다. 이러한 스튜디오는 실제 세트를 사용하거나 가상스튜디오 방식 또는 그린 스크린에서 촬영 후 편집을 통해 제작을 하는 방법이 폭넓게 사용이 되고 있다.

최근에는 트랙리스 가상스튜디오 기술이 만들어 지면서 강의 녹화에 1개의 강사 카메라만으로도 다양한 카메라 효과를 만들어 내게 되는 방식으로 전세계 다수의 가상 스튜디오 회사 들이 이 기술을 이용한 강의 제작 방식을 사용하고 있다.

또, 최근 방송 스위칭 기술을 교실 내에서 촬영을 자동으로 하기 위해 촬영 인력을 최소화 하도록 하기 위한 노력으로 강의실의 강사 트랙킹 카메라가 저렴하게 공급이 되면서 교실 수업 녹화가 많은 교실서 요구 되어 지게 되고 이를 위한 스위칭 믹서와 강사 트랙킹을 합성한 방식의 자동 수업 녹화 기술 - 강사와 강의 자료를 PIP 또는 믹서 방식으로 강의를 녹화하는 방식이 최근 많은 교실에 적용이 되어 가고 있다.

그러나, 도 1의 전문 강사 트랙킹 및 합성 장치를 이용한 강의 녹화, 전송 방식으로 합성화면의 많은 부분을 사용하기 어려운 문제점과 강의자의 표정을 보이도록 하는 장면을 스위칭하는 장면의 스위칭을 위해 전문가가 판단 해야 하고, 대부분 한 장면으로 녹화를 하게 되고 현장 카메라가 강의실의 조명 문제 등으로 합성 장면이 아름답지 못하게 된다.

이러한 강의를 인터넷을 통해 수업을 하고 강의를 듣는 원격수업 또는 강의는 최근 인터넷과 스마트폰이 전세계에 갑작스럽게 등장하면서 더욱 교실의 강의녹화, 실시간 원격 수업, 공동 교실, 원격 과외 및 지도 등이 실시간으로 이동되고 있고 이러한 실시간 원격 수업, 실시간 원격 강의 및 프리젠테이션 회의 등이 요구 되어 지게 되면서 위 방법들을 원격 비디오 전송기술과 접목한 다양한 방식의 화상회의에 스크린을 보내게 할 수 있게 하는 방식으로 대부분의 인터넷 화상회의 시스템인 Skype, Hangout, 등에서 컴퓨터화면과 강사를 번갈아 보내게 하는 방식이 사용되어 왔고, 도 1에서 화면을 이용한 WebEx등의 방식을 소위 Webinar방식으로 사용되어 지고, 이들을 더욱 전문적으로 하는 전용 프리젠테이션을 위한 소위 "TELE-Presence" 즉 원격 강사가 있는 TV 스크린과 프로젝터 발표자료를 2개의 다른 화면을 두고 강의를 하는 방식이 일반적 화상원격 강의/발표 시스템으로 일반적 기술로 사용되어져 오고 있다.

그러나 이들의 모든 방식으로 원격지 수업을 듣는 방식들이 모두 실제 강의실 수업을 듣는 것보다 많은 차이가 있어서 실제 수업은 교실에 가서 들어야 하고 강의를 하는 강사도 항시 교실에서 수업을 해야 하는 것으로 인식되고 있다.

이러한 방송 장치들의 전문 방송장비를 사용해야 하고, 비록 이런 장비를 사용해도 스튜디오에서 특수하게 디자인된 강의장에서 전문가들이 동원되어야 하는 방식이어서 일반 강의실에서 사용이 가능하지 않게 된다.

따라서, 상기 전술한 종래의 강의 시스템이 가지고 있는 문제점들을 보완하여 보다 편리하고 기존의 AR 방식의 크로마키를 쓰지 않고도 유사한 VR 환경을 구현할 수 있는 방식의 가상 스튜디오의 구현이 개발이 요구되고 있는 실정이다.

특허등록공보 제10-1037797호 (2009.04.03) 특허등록공보 제10-0839953호 (2010.03.18)

본 발명은 상기와 같은 종래기술의 문제점과 과거로부터 요청되어온 기술적 과제를 해결하는 것을 목적으로 한다.

본 출원의 발명자들은 심도 있는 연구와 다양한 실험을 거듭한 끝에, 이후 설명하는 바와 같이, 본 발명에 따른 스마트 강의 장치 및 원격 강의 방법 및 장치는 특수 효과 및 2D/3D 복수 레이어를 조합하여 유사한 효과를 발생하는 방법 등을 이용하여 더욱 구체적이고 편리한 방식의 가상 교실 제작 방법 및 AR 방식의 크로마키를 쓰지 않고도 유사 VR환경을 만드는 방법으로 이러한 기술들을 활용할 수 있게 하고 무엇보다 이들의 방법들의 다양한 장면 전환을 강사를 중점적으로 가상 또는 증강현실 교실속에 보여 지게 하는 장면 들 이나 발표자료를 중심으로 보여 주는 장면들을 강사의 음성, 제스쳐, 위치, 포인터의 환경을 인지하여 자동으로 학생들이 보아야 할 장면으로 자동으로 변환이 되도록 하는 인공지능 방식으로 장면을 선택하여 보여 지게 하는 방식으로 학생들이 합성 화면만 집중해 보면 되도록 하는 방식의 강의 장치 및 이를 녹화 또는 전송을 하는 원격 강의 장치가 되도록 한다. 이렇게 별도의 장비 작동자 없이도 본 발명의 장치가 마치 방송 장면을 선택하도록 하는 방송 PD 기능처럼 장치에서 알아서 장면 전환이 되게 하는 스마트 PD 기능을 발명하여 그동안의 장비 운영자가 있어야 했던 방송 장비의 문제를 해결하는 자동 강의 장치가 되도록 한다. 즉 강사는 강의만 집중하고 학생들이 보아야 하는 자동의 장면 전환으로 강사가 강조되는 장면과 가상 전자 칠판의 기능을 동시에 수행하는 가상 교실 속의 가상 모니터 또는 가상 전자칠판들이 강조되는 VR교실 장면을 자동 생성되게 하는 기술이 통합되어 있는 자동 장면 전환 기술을 이용한 실시간 VR/AR 강의 장치, 이 장치의 출력 화면을 녹화하는 실시간 강의 녹화 장치, 또 이화면을 원격지에 보내어 강의를 하는 스마트-원격 강의 방법 및 장치를 제공하는 것이다.

또한, 본 발명에 따른 VR/AR 기술의 가상 교실속에 강사와 강의 자료를 보여 주게 하는 강의 방식, 이를 녹화 하는 강의 녹화 장치, 이들 장면을 원격지에 보이며 강의를 하는 실시간 원격 VR/AR 강의 방법 및 장치는 기존의 교실에서 사용되는 칠판, 교탁, 전자 칠판, 전자 교탁 등을 사용하는 교실 수업을 더욱 효율적으로 하도록 하는 새로운 강의 방법 및 교실의 수업 방식을 근본적으로 바꾸는 새로운 강의 장치로써, 교실은 물론 원격지 수업도 실제 선생님이 강의 하는 교실의 본장치의 VR/AR 가상 교실 강의 장면을 보여주는 강의 방식으로 과거 방식의 스크린에 PPT화면을 보여 주는 방식이 아닌 화면에 VR/AR 가상 교실의 실시간 재 합성 화면을 보여 주는 강의 방식으로 더 몰입감이 높은 화면, 선생님과 전체 학생들이 동시 눈마춤이 되게 하는 강의로 강의 집중도가 높아 지게 되어 지는 화면을 원격지에 같은 강의를 시청하게 되고 같은 방식으로 전세계 스마트 장치로 청취할 수 있는 강의 방송이 되도록 하여 그 동안의 한계인 교실에 가야만 수업을 바르게 들을 수 있다는 한계 및 그 동안 모두가 알고 있는 원격지 동영상 강의를 듣는 것이 교실에서 강사의 강의를 듣는 것보다 나을 수 없다는 근본적인 문제를 해결하는 새로운 강의 방법 및 장치를 제공하는 것이다.

이러한 목적을 달성하기 위한 본 발명에 따른 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법은,

(a) 강의 영상 합성을 위해 그래픽으로 VR 및 AR 방식으로 가상의 교실에 강사 및 강의 자료를 합성할 수 있도록 하는 2D 및 3D 그래픽의 가상 강의실을 구성하여 가상의 책상, 바닥, 칠판, 천장, 교실 장식품 중 적어도 하나를 출력할 수 있게 하는 가상교실 제작 및 선정단계;

(b) 상기 가상 강의실에 선택적으로 위치, 회전 및 FoV(Field of View) 중 적어도 하나가 자유로이 정의되는 복수의 가상 카메라를 배치하여 복수의 가상 강의실 장면의 출력 화면들이 만들어지게 하는 복수의 가상 카메라들의 배치 기능을 제공하는 단계;

(c) 상기 가상 카메라에 보여지는 상기 가상 강의실 장면에 실제 강사를 촬영한 영상에서 크로마키/Depth 방식으로 강사만을 추출을 하거나 AR 합성을 위한 강사 카메라의 크롭, 에지 프레임/투명도 처리 방식의 가장자리 처리를 통한 합성, 또는 강사의 얼굴인식등을 통해 강사 캐릭터를 실제 처럼 실시간으로 만들어 이들 강사 영상을 필요한 위치에 배치하여 해당 가상 카메라의 출력 화면에 필요한 크기 위치에 강사가 보여지게 하도록 강사영상을 배치할 수 있는 기능이 제공되어 상기 해당 가상 카메라를 통해 촬영되는 출력 화면이 시청자에게 보여 줄 장면에 강사가 필요한 크기로 필요한 위치에 보여지게 되도록 하는 단계;

(d) 강사의 영상, 책상, 칠판 중 적어도 하나가 상기 가상 강의실 장면에 독립적으로 함께 보여 주어야 할 복수의 발표자료 영상/이미지들을 상기 가상 강의실에 복수의 가상 전자 칠판들이 각각 크기 위치를 자유로이 배치되도록 하여 상기 가상 카메라의 강사 영상과 가상 칠판들이 필요한 장면으로 해당 가상 카메라에서 보여지게 만들어 지도록 자유롭게 상기 가상 전자 칠판을 배치할 수 있게 하는 기능이 제공되는 단계;

(e) 상기 복수의 가상 카메라의 설정된 장면들이 강의를 하면서 필요한 장면으로 선택되어 보여지는 출력 장면 전환 시 각 가상 카메라 위치로 카메라 트랙이 이동이 되는 시간 및 경로 중 적어도 하나 이상의 이동을 설정할 수 있게 하는 기능이 제공되는 과정으로, 상기 각 가상 카메라에 설정된 강사영상 배치 및 가상 전자 칠판들의 위치 크기가 카메라 이동과 동기 되어 각각의 트랙이 자동으로 생성이 되게 하여 이들 가상 카메라 변화 트랙 이동과 함께 각각의 강사영상 및 가상 전자 칠판이 함께 자연스러운 애니메이션으로 장면 전환이 되도록 하는 자동 또는 수동 트랙 발생 기능이 제공되는 단계;

(f) 이들의 복수의 카메라들을 일반 방송 스위처의 버튼 처럼 가상 스위처 버튼으로 정의하여 바둑판식의 버튼 GUI로 배치하고 이들 버튼의 ICON을 해당 장면을 보여 주게 하는 Preview 버튼으로 정의하여 주게 하는 스위처 버튼 설정 과정을 통해 선택저으로 강사가 마우스 버튼만으로 GUI 스위칭 화면을 보지 않고도 장면 전환을 마우스 또는 포인터의 버튼 만으로 직관적 장면을 스위칭할 수 있도록 배치 하는 단계;

(g) 상기 버튼 GUI 스위처 설정과 함께 각 가상 전자 칠판에 보여질 컨텐트 또는 외부 입력 카메라들을 설정하고 해당 가상 전자 칠판의 컨텐트를 용이하게 스위칭하여 보여 지게 하는 가상 전자 칠판 컨텐트 들의 스위칭 GUI 버튼 설정 단계; 및

(h) 상기 복수의 가상 카메라의 배치된 GUI의 선택 스위칭 버튼을 강의 상황에 따라 누르는 방송 PD의 기능을 원격 또는 자동으로 스위칭이 되는 인공지능 PD 기능으로써, 강사의 제스쳐, 포인터, 소리, 언어, 음성 중 적어도 하나 이상의 인식 방식, 강사모션의 시각이 바라보는(Gazing) 방향 인식과 학생들의 질문 소리 및 방향인식을 인식하여 장면을 판단하는 인공지능 PD 기능에 의해 자동으로 다양한 장면 전환 및 가상 전자 칠판 컨텐츠 변환을 자동으로 수행하여 강의 장면을 실시간으로 출력할 수 있게 하는 기능을 제공하는 단계;를 포함할 수 있다.

또한, 본 발명은,

(a) 교실에서 학생들이 보는 강사, PPT등과 같은 강의 자료를 카메라 등 입력 장치로 받아 들여 이들을 가상의 그래픽 교실 속에서 합성되어 보여 지도록 하는 영상 합성을 위해 2D, 또는 3D 그래픽의 가상의 교실에 합성화면으로 하는 VR 또는 AR 방식의 가상의 교실에 강사 및 강의 자료를 합성할 수 있도록 하는 2D 및 3D 그래픽의 가상 강의실을 구성하여 가상의 책상, 바닥, 칠판, 천장 이나 배경들을 아름답게 만들수 있게 하는 가상 또는 증강 교실 제작 및 선정단계;

(b) 상기 가상 강의실에 다양한 장면을 촬영하는 가상 카메라들이 자유롭게 위치, 회전 및 FoV(Field of View)를 정의되는 복수의 가상 카메라를 배치하여 복수의 가상 강의실 장면의 출력 화면들이 만들어지게 하는 가상 카메라들의 배치 및 설정을 하는 단계;

(c) 상기 복수의 각 가상 카메라에 보여지는 상기 가상 강의실 장면에 학생들이 교실서 강사와 강의 자료를 보듯 각 가상 카메라가 장면별로 보아야할 강사 및 강의 자료들을 가상 카메라에서 필요한 크기 및 위치에 보여 지도록 가상 강의실내 실제 강사의 카메라 장면과, 발표자료 장면을 각 가상 카메라 마다 배치하여 해당 가상 카메라의 출력 화면에 필요한 크기 위치에 강사가 보여지게 하도록 강사영상을 배치할 수 있는 기능이 제공되어 상기 해당 가상 카메라를 통해 촬영되는 출력 화면을 실제 교실 또는 원격지의 시청자/학생들이 본 발명의 장치의 실시간 합성 장면만 보며 강의를 듣게 하면 필요한 장면이 다양하게 보여지도록 하는 각 복수 카메라별 장면 설정 단계;

(d) 각 가상교실의 강의 자료들 즉 PPT, 동영상, 그림, 카메라 영상, 실물 화상기 카메라등을 가상 교실내에 배치하는 가상 전자 칠판의 화면으로 배치하고, 가상의 포인터를 제공하여 강의시 포인터를 마우스 또는 실제 포인터를 움직이면 이 포인터가 실제 강의 장면에 보여 지게 하면서 동시에 필요시 그리기, 지우기를 할수 있도록 하는 가상 펜을 제공하는 가상 전자 칠판과 이들 복수의 가상 전자 칠판들이 복수의 가상 카메라별로 독립 되게 외부 입력 강의 자료들을 자유롭게 배치 변경 설정하도록 하는 각 가상 전자 칠판별 강의 자료 설정 단계

(e) 상기 복수의 가상 카메라의 설정된 장면들이 강의를 하면서 필요한 장면으로 선택되어 보여지는 출력 장면 전환 시 각 가상 카메라 위치로 가상 카메라 트랙이 이동이 마치 실제 트랙킹 카메라 처럼 (또는 크레인의 카메라 이동 처럼) 가상 공간에서 이동이 자연스럽게 되는 시간 및 경로 이동을 설정할 수 있게 하는 기능이 제공되는 과정으로, 상기 각 가상 카메라에 설정된 강사영상 배치 및 가상 전자 칠판들의 위치 크기가 카메라 이동과 동기 되어 각각의 트랙이 자동 또는 미리 설정된 트랙으로 생성이 되게 하여 이들 가상 카메라 변화 트랙 이동과 함께 각각의 강사영상 및 가상 전자 칠판이 함께 자연스러운 애니메이션으로 장면 전환이 되도록 하여 본 장치의 출력 화면을 보면 자동적으로 보아야 할 장면으로 브드러운 화면의 전환으로 학생들이 자연스럽게 보아야 할 장면을 노치지 않고 집중을 하며 볼수 있도록 하는 자동 또는 수동 트랙 발생 기능이 제공되는 단계; 및

(f) 상기 복수의 가상 카메라의 장면들을 강의중 상황에 따라 필요한 카메라의 장면을 보여 주도록 해당 가상 카메라를 선택 하는 판단, 즉 일반 방송 스위처에 연결된 카메라 신호를 선택하는 스위처 처럼 가상 교실에 배치된 가상 카메라 장면을 선택해 주는 판단을 사람, 즉 방송 PD 가 하는 것 처럼 본 발명의 장치에서 인공 지능기능으로 PD 역활을 하는 기능으로써, 강사의 제스쳐, 포인터, 소리, 언어, 음성 중 적어도 하나 이상의 인식 방식, 강사가 바라보는 시각이 바라보는(Gazing) 방향 인식과 학생들의 질문 소리 및 방향인식을 인식하여 장면을 판단하는 인공지능 PD 기능에 의해 자동으로 다양한 장면 전환 및 가상 전자 칠판 컨텐츠 변환을 자동으로 수행하여 강의 장면을 실시간으로 출력할 수 있게 하는 기능을 제공하는 단계;를 포함할 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 단계 (d)에서, 상기 가상 전자 칠판에 출력되는 내용이 상기 복수의 카메라, 노트북, 동영상 리스트 및 그림 리스트 중 적어도 하나인 경우에 마우스 또는 포인터가 출력 화면상의 가상 전자 칠판을 지시하면 해당 전자 칠판의 내용 리스트에 올려놓은 외부 카메라, 영상들, 이미지들을 순서대로 스위칭할 수 있도록 해당 리스트를 미리 정의하고 상기 마우스 또는 포인터를 통해 다음 내용을 선택하여 스위처 메뉴를 보지 않고도 재생 리스트 제어가 각 해당 가상 전자 칠판 별로 수행할 수 있는 기능을 제공하고 이들 컨텐트의 변경 또는 PPT등 슬라이드를 변경할수 있는 단계;를 더 포함하는 것을 특징으로 하는 자동 가상 전자 칠판 선정에 의한 해당 가상 전자 칠판 컨텐트 장면을 마우스/포인터 컨트롤로 원터치 전환 기술을 이용하고, 이때 컨텐트 전환시 그려놓은 포인터의 그림들이 자동으로 지워지면서 해당 장면으로 장면 전환이 이루어 지도록 하는 기능을 포함할 수 있다.

여기서, 본 발명의 하나의 바람직한 예에서, 자동의 장면 전환 즉 스마트 PD 기능에서 자동으로 전환이 됨에 있어 포인터의 움직임이 없이 정지된 경우 이를 감지하여 강사의 크기가 커지게 하는 기능, PPT 슬라이드가 변경될때 해당 가상 전자 칠판이 저절로 강조되어 커지게 보이는 장면의 전화으로 되게 하는 기능, 마우스 또는 포인터가 해당 발표자료를 지속적으로 움직이는 경우 해당 가상 전자 칠판이 다소 커지거나 하는방식으로 지루한 화면에 일정 시간이 지나면 유사 장면으로 변경이 되게 하는 기능 등이 제공되는 타이머 기능을 제공하고 이를 설정하는 단계를 더 포함할 수 있다.

또, 본 발명의 하나의 바람직한 예에서, 전술한 자동 및 포인터 위치에 따른 또는 제스쳐 인식등이 제공되는 것 외에 각 가상 카메라들의 장면들의 전환을 강제적으로 발표자가 강의를 하면서 쉽게 장면을 원하는 경우 스스로 원 터치로 설정하도록 하기 위해서, 각 장면별로 컨트폴 팬널을 통해 제어 되게 하는 것은 당연하고, 컨트롤 팬널과 같은 장치를 써서 하는 것은 전문가가 있어야 하는방송 장치여서 이를 사용하지 않고, 간단한 마우스 또는 포인터를 통해 장면을 변경이 강사에의해 손쉽게 하기 위한 표준 템플릿을 제공하여 누구나 이 템플릿을 보면 지관적으로 장면 전환을 마우스 버튼 만으로 좌측 중심 우측의 버튼들과 마우스 휠을 통해 4x3의 버튼 12를 마우스의 좌, 중심, 우측 버튼을 누르면 해당 열의 버트( 가상 카메라 )을, Wheel을 돌리면 위아래로 변경이 되게 하여 특별히 메뉴를 보지 않고도 마우스 클릭만으로 수동 조정이 되게 하는 기능을 통해 일반 적으로 사용할수 있는 3개의 가상 전자 칠판을 가상 카메라 스위쳐 즉 본 발명의 GUI에 제공되는 그래픽 컨트롤 팬널에 3개의 가상 전자 칠판 별로 각 3개 또는 4개의 장면 배치를 할수 있게 하여 다양한 크기의 가상 전자 칠판을 보여 주게 하고 이를 자동 또는 수동으로 장면을 변경하며 강의를 하게 하고 필요한 가상 전자 칠판들을 변경하며 다른 발표 자료를 보여주며 강의를 하도록 하는 기능을 손쉽게 스위칭 할수 있도록 스위처 장면 즉 가상 카메라들을 그래픽 GUI의 스위처 버튼으로 자유로이 배치 할수 있게 하는 기능을 제공할 수 있다.

이때 각 가상 카메라의 장면을 캡쳐 하여 해당 가상 스위처 버튼에 아이콘으로 보여 지므로서 일반 스위처에 버튼과 달리 버튼 자체에 Preview 기능이 제공되어 특별히 Preview를 눌러 확인하고 출력을 시키는 일반 스위처의 프리뷰 누르기 없이 바로 출력 Program Out을 할수 있게 하는 기능을 제공하는 것을 통해 실시간 강의를 할 수 있게 된다.

또한, 본 발명의 하나의 바람직한 예에서, 상기 가상 컨트롤 팬널의 가상 카메라들의 배치, 즉 본 발명의 GUI배치를 자유롭게 해당 가상 카메라들을 정해 각 장면 설정단계에서 해당 스위처 GUI의 아이콘들에 배치 할수 있게 하는 기능이 제공되는 것은 당연하며 이때 해당 가상 카메라의 배치를 마치 가상 강의실에 카메라들이 좌우, 앞뒤로 배치 하듯 바둑 판식 1x4, 2x3, 3x4, 4x5등과 같이 배열이 가능하게 제공하고 이들이 횡방향으로 가상 전자 칠판 별로, 종 방향으로 카메라의 위치 즉 강사를 크게 또는 작게 보이되 강사가 크게 보이는 위치에서는 해당 가상 전자 칠판이 반대로 작게 또는 크게 배치하여 해당 가상 카메라에 강사가 크면 가상 전자 칠판이 적게 반대로 강사가 적게 되면 가상전자 칠판들이 크게 배치가 되는 화면구성이 되게 하는 장면들을 배치 시키게 하여 직관적으로 현재 장면에서 다음 장면으로 변경을 하는 스위쳐 작동시 마우스의 왼쪽 또는 오른편 마우스를 클릭으로 좌우 방향의 가상 카메라들을 선택 조정하고, 마우스 휠로 해당 가상 전자 칠판의 열에서 수직 방향으로 가상 카메라변경이 이루어 지게 하는 방식으로 복수의 전자 칠판과 해당 전자 칠판 부분의 강사와 칠판 크기 변경이 이루어 지는 카메라들이 변경되도록 하는 장면 전환을 마우스 클릭 또는 포인터에 부탁된 마우스 버튼 기능으로 자유로운 제어가 필요시 인공 지능 기능이 아니어도 선택할수 있는 기능을 제공하는 것이 중요하다.

또, 본 발명의 하나의 바람직한 예에서, 상기 장면 스위칭 컨트롤 버튼을 GUI에 배치 하는 기능외에 해당 가상 전자 칠판에 보여지는 내용을 변경하는 컨텐트 스위칭 기능이 제공되는 것이 중요하며 이를 위해 각 가상 전자 칠판 별로 강의에 사용할 다양한 외부 입력 즉 학생 카메라들, 실물화상기 입력 (Document 카메라), PPT 와 같은 화일들, 비디오, 사진 은 물론 다양한 프로그램 화면 캡쳐, 화상회의시 상대방의 비디오등을 선택하여 보여 지도록 하고 이들의 내용을 각 해당 가상 카메라 들 별로 선택하여 순서를 정해 배치 하는 컨텐트 스위쳐 아이콘들을 자유로이 선택 배치 하는 기능을 제공하고 이들의 컨넨트를 마우스의 클릭 버튼 즉 왼쪽 마우스를 누른 상태에서 휠을 돌리거나 오른쪽 마우스를 누르면 해당 가상 전자 칠판의 컨텐트 스위칭이 일어 나게 하는 방식등으로 해당 컨텐트를 스위칭 할수 있도록 하는 기능을 제공하는 컨텐트 스위칭 전환의 원터치 기능을 제공할 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 단계 (b)에서, 가상 강의실에서 가상 카메라에 보여 주는 강사와 가상 전자 칠판 외에 실시간 3D 렌더 기술을 이용하여 가상 물체애니메이션을 보여 줄 수 있도록 하는 3D 물체를 불러 들여 이를 자유로이 각 가상 카메라 장면에 크기 및 위치를 조정할수 있도록 배치하고 애니메이션 및 인터렉티브 제어가 되도록 하여 실제 교실서 실험이나 체험을 할 수 없는 무겁고 큰 물체나 매우 작은 DNS같은 물체의 실시간 3D가상 실험 및 체험학습을 조이스틱(Joystic) 또는 키보드로 제어 할 수 있도록 하는 단계;를 더 포함할 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 단계 (a)에서, 상기 가상 전자 칠판의 크기, 불필요한 부분의 크롭핑 조정과 더불어 가상 스크린을 곡면의 커브스크린으로 왜곡을 조정하도록 하는 상기 가상 전자 칠판을 3D 로 제작하여 각 가상 전자 칠판의 구부림의 정도를 조정할 수 있게 하여 아름다운 몰입 가상 전자 칠판을 보여 지게 하는 기능을 제공하여 각 가상 카메라의 장면에 배치되도록 하는 기능과 이들 가상 전자 칠판의 프레임을 함께 크기 및 곡면이 될수 있도록 하고, 프레임 칼라 및 크기를 조절하게 하여 아름다운 가상 카메라 출력 화면이 만들어 질수 있게 하는 기능을 제공하는 단계;를 더 포함할 수 있다.

또, 본 발명의 하나의 바람직한 예에서, 각 가상 전자 칠판이 출력 화면의 주요한 장면 구성을 하게 되어 이를 아름답게 가상 교실속에 보여 지게 하기 위한 가상의 프레임 즉 전자 칠판 외곽 프레임을 다양하게 외부 그래픽으로 제공하여 선택하여 사용할수 있게 하고, 이들 프레임의 두께, 색상, 투명도를 조절하여 해당 가상 교실에 어울리게 조절을 실시간으로 할수 있는 기능을 제공하는 기능을 포함할 수 있다.

또, 본 발명의 하나의 바람직한 예에서, 이와 같은 프레임 기능과 외곽 크롭핑 (잘라내기) 기능은 가상 전자 칠판은 물론 강사의 영상에 대해 서도 제공되며 강사의 영상 프레임및 가상 전자 칠판의 크롭핑을 사각형 또는 타원형등 다양한 모양을 선택할수 있도록 하고, 이때 프레임이 선택이 아니어도 외곽 테두리 영역을 서서히 투명도 처리를 하여 배경과 가상 전자 칠판 또는 강사 영상이 스며들듯 합성이 되게 하는 처리기능을 통해 특별히 AR 가상 교실이나, 강사의 카메라 입력 화면과 가상 책상등과 합성시 자연스런 일체감을 만들어 주도록 할 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 가상 전자 칠판은 마우스 또는 포인터에 의해 마킹이 가능한 전자 펜 기능을 포함하되, 상기 전자 펜의 두께, 색상 및 투명도 중 적어도 하나가 제어되며 상기 펜 기능으로 그려놓은 부분이 전자 칠판 컨텐트가 변경 되거나 파워포인트 장면이 전환시 자동으로 지워 지도록 하는 기능이 제공될 수 있다.

즉, 본 발명의 있어 강의의 집중도를 높이기 위해 일반 강의실에 사용되는 포인터처럼 상기 가상 전자 칠판은 마우스 또는 포인터에 의해 마킹이 가능한 가상 전자 펜 기능을 포함하되, 상기 전자 펜의 두께, 색상 및 투명도 중 적어도 하나가 제어될 수 있도록 하여 마우스 또는 자이로 포인터가 해당 가상 전자 칠판에서 가시화 되도록 하는 가상 그래픽 포인터로 크기 모양을 외부에서 그래픽으로 제공할수 있게 하고 이들 가상 포인터 그래픽의 크기, 칼라를 조정할수 있게 하는 기능을 제공하는 것은 가상 강의방식의 본발명에 중요한 기능이다.

본 발명의 하나의 바람직한 예에서, 자이로 기능이 탑재된 상기 마우스 또는 포인터를 사용하여 교실 및 발표장에서 본 발명의 장치를 이용하여 PPT만을 가져와 발표하는 경우에 PPT의 장면의 전환시 PPT 슬라이드 노트의 내용이 추가의 스크린에 보여 지게 하여 강사의 교탁 스크린에 보여 지게 하거나 강사 카메라에 프람프터 또는 모니터에 보여 지게 하여 강사가 이를 보며 발표할 내용을 읽게 하여 강의나 발표를 할수 있게 하는 자동 프람프터 기능을 제공하고, 이러한 발표 내용의 슬라이드 노트가 자동으로 가상 카메라 출력 화면에 자막으로 제공되는 자막 기능을 제공하여 발표와 자막이 함께 출력되게 하는 기능을 포함할 수 있다.

본 발명의 하나의 바람직한 예에서, 강사의 얼굴 인식, 방향 인식 및 표정인식 중 적어도 하나를 통해 강사 추적과 얼굴 회전 각도를 인식하는 카메라를 이용하여 가상 카메라의 스위칭에 사용하고, 해당 가상 카메라에 보여 지는 가상 전자 칠판에 해당 컨텐트, 즉 칠판 판서, 프로젝터 영상, 또는 질문 하는 학생를 자동으로 보여 지게 하는 기능을 포함하고,

상기 가상 카메라 장면 스위칭 및 카메라로부터 추출된 강사 안면 이미지 표정을 실시간으로 케릭터가 강사 카메라 영상 대신 사용이 되게 하여 크로마키 없이도 강사 이미지를 생성해 사용하는 기능을 포함할 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 전자 칠판 및 프로젝터 스크린이 동시에 사용되는 경우 강사의 위치 추적 외에 강사의 회전 각도 추적이 되는 핸드폰의 모션 센서를 사용하여 무선 신호 전송을 통해 강사의 회전 각도에 따른 자동 장면이 전환될 수 있다.

본 발명의 하나의 바람직한 예에서, 강의 자료, 특히 PPT 화일의 변경을 외부 입력 노트북의 PPT 파일 또는 PPT 파일의 가상 전자 칠판의 보여줄 자료들의 변경과 가상 카메라 장면의 스위칭 화면을 앱스(application)로 제공하여 무선 신호로 연동된 스마트 폰을 이용하여 원격지에서 제어할 수 있는 원격 제어기를 통해 화상회의 기능을 통해 전송되는 원격 장면을 보며 발명의 장치를 제어하도록 하는 원격 강의 제어기를 사용하는 방식을 사용해 누구나 원격지에서 PPT를 Upload하고 이를 원격 제어를 인터넷으로 하는 현장에 강사가 없는 원격 강의를 하는 tele-Lecture장치가 되도록 하는 기능을 포함할 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 강사의 영상은 원격지에서의 카메라를 통해 수신되는 원격 카메라 영상을 사용하여 원격지에서 강사가 강사 비디오와 강의 노트북을 보내는 텔레 프레슨스 (Tele Precence) 시스템을 입력으로 받아 출력되는 것을 특징으로 하는 스마트-원격 강의 방법은 당연 하며, 강사가 본 발명의 장치에 오지 않고 화상 회의 등으로 자신의 영상을 발명의 장치로 전송하고 본 장치의 영상을 화상회의로 받아 보며 자신의 ppt 발표 자료를 원격으로 본 장치에 보내 사용하며 발표를 하는 원격 발표자 강의 장치로 클라우드 서비스가 제공될 수 있다.

여기서, 본 발명의 하나의 바람직한 예에서, 상기 가상 포인터를 사용함에 있어 실제 강의에 사용하는 포인터만으로 본 발명의 장치를 자동으로 작동이 되게 하는 기능으로 PPT 페이지를 다음장 또는 이전 페이지를 이동하게 하는 버튼을 선택시 PPT화면 전환과 동시에 해당 장면을 보이는 가상 카메라를 선택하도록 가상 스위쳐가 작동이 되게 하는 기능과, 가상 포인터의 그리기를 하는 펜기능을 포인터의 기능과 연동하여 제어 가는 기능, 포인터 또는 마우스에 제공되는 왼쪽 마우스, 오른쪽 마우스 버튼 및 회전 휠을 누르는 기능을 이용한 가상 카메라의 가상 스위처의 배치에 따른 버튼 선택을 직관적으로 하도록 하는 기능을 제어 할수 있게 하고, 마우스 또는 포인터에 있는 회전 휠을 돌려 가상 스위처의 위아래 방향으로 스위칭이 되게 하는 장면 전환을 포인터로만 할수 있도록 하는 기능이 중요하게 제공되어 특별한 방송 스위쳐와 같은 컨트롤 판넬이 없이 12개, 16개 등 다양한 장면들을 모두 버튼 하나로만으로도 직관적 스위칭이 가능하게 하는 기능이 제공된다.

본 발명의 하나의 바람직한 예로서, 실제 강의시 일반 칠판 또는 실제 전자 칠판, 노트북, TV 등을 강의실서 사용하는 경우 이들을 선택하고 설명하는 강사의 위치, 자세, 그리고 얼굴의 각도와 몸의 위치를 강사 추적 영상 처리 카메라의 정보와 해당 영상 즉 강사의 얼굴 인식을 통해 얼굴이 바라보는 방향, 제스쳐를 통해 손이 가르키는 위치를 고려하여 해당 내용 즉 프로젝터 화면 내용, 칠판의 판서 내용, 학생의 질문 장면 카메라를 연동하여 선택하여 자동으로 보여 지게 하는 가상 카메라 선택 스위칭의 자동 스위칭 및 해당 가상 전자 칠판의 컨텐트 설정이 지능적으로 자동으로 이루어 지게 하는 기능이 제공 되는 것이 사용될어 지도록 다양한 인공 지능의 정보를 추가하여 더욱 정확하고 정밀하게 스위칭들이 이루어 지게 제공되고 이러한 기능의 다양한 센서및 영상 카메라 및 강사의 각도 측정을 위한 영상 처리 방식과 실제 회전 센서를 사용하는 자동 장면이 전환되는 방식일 수 있다.

여기서, 본 발명의 강의시 가상 카메라 장면을 실시간으로 강의실에서 사용하는 강의 방식으로 사용하는 것과, 이 장면을 실시간으로 녹화 하여 저장하는 강의 녹화장치, 이렇게 합성한 화면을 원격지로 실시간 전송하는 단계, 원격지의 카메라를 영상을 받아 강의실에 보여 주는 단계를 통한 본 발명의 장치가 강의 녹화 장치, 원격 강의 장치, 및 이를 인터넷등에 방송을 하는 강의 방송 장치로 사용되도록 하는 기능이 자동 제공되는 것은 당연하며, 이러한 방식의 강의 녹화 방식은 동영상 강의의 가 실제 강의실에 사용된 강의와 동일한 강의를 녹화 하므로서 그동안의 강의 녹화 방식과 달리 강의실에서 본 강의 그대로가 녹화 되고, 강의실에 보여 주며 강의한 내용 그대로가 원격 교실에 보여 지는 방식이 되어 그 동안 불가능했던 TelePresentation 장치로 구성될 수 있다.

여기서, 전술한 telepresenter에 기능에 있어서, 원격지와 양방향 질의 응답을 하는 기능을 위해 기존의 화상회의 S/W 즉 MS의 Skype 또는 Google의 Hangout을 사용하여 이들 화상회의 프로그램의 카메라 설정에 본 발명의 장치의 출력 가상 카메라를 선택하여 보여 지게 하는 가상 카메라 입력 기능을 표준 캡쳐 드라이버로 제공하여 어떠한 화상회의 프로그램에서도 특별한 h/w 설정없이 사용이 되게 하는 기능으로 화상회의는 물론 페이스북/유튜브 등과 같은 방송 플렛폼을 동시 사용이 되게 하는 기능을 제공하므로서 본 발명의 장치가 강의실안에서 강의를 효율적으로 하게 하는 강의 장치는 물로 교실 밖에서도 동일한 수업을 들을수 있는 강의 장치로 교실의 공간의 제약없이 전세계 어느 곳에서도 수업을 듣게 하는 스마트 교실 강의 장치가 되게 하는 강의 장치가 되게 하고, 그동안 수업이 수업 시간에만 들을수 있던 수업에서 수업 시간이 아니어도 동일한 수업을 들을수 있게 하는 스마트 강의 장치가 되게 한다.

여기서, 전술한 telepresenter에 기능에 있어서, 본 발명의 장치를 일반 발표장, 또는 대형 강의실, 컨퍼런스 호텔 등과 같이 대중이 모여 프리젠테이션을 하는 경우 상기 방법의 가상 교실 합성 화면을 컨퍼런스 장에서 보여 지게 하므로서 그동안 강사가 크게 보이지 않고 상대적으로 대형 화면에 자료만 보게 하는 컨퍼런스 현장에 합성된 화면의 강의 장면을 통해 강사와 강의 자료가 필요시마다 크고 작게 배치된 장면이 보여 지게 하고, 본 발명의 장치를 작동자가 하는 것은 물론, 작동자 없이도 강사가 포인터 하나로만 이러한 강의 장면 전환이 가능하게 하는 대형 강의실 또는 컨퍼런스 강의 장치로 사용이 되게 되게 하여 그동안 대형 강의실이나 호텔 컨퍼런스에 복잡한 방송 장치들이 대형 화면에 중계 하는 방식으로도 불가능한 집중도 높은 강의 현장이 만들어 지게 되는 장치로 사용되는 대형 강의실/컨퍼런스 중계 시스템, 더 나아가 원격 컨퍼런스 장치로 되어, 그동안 발표장 컨퍼런스에 가서 들어야 만 했던 발표회를 현장에 가지 않아도 현장에서 보는 것 이상의 컨퍼런스를 볼수 있게 되는 원격 컨퍼런스 중계 장치, 더 나아가 원격지에 현장에서 보여 지는 가상 카메라 장면 그대로 다른 컨퍼런스 장에서도 보여 지는 원격 컨퍼런스가 이루어져 유로 컨퍼런스의 경우와 같은 컨퍼런스 참가 비용을 원격지에서 그것도 동시에 여러 장소 도시, 국가에서 볼수 있게 하는 방식의 과금을 가능하게 하는 새로운 BM모델의 원격 VR컨퍼런스 기술로 사용이 되어 지게 된다.

이때, 원격지와 현장과 화상 회의 방식으로 질의식 토의가 동시 이루어 지게 되는 양방향의 복수 지역/교실의 컨퍼런스 중계 모델로 사업 분야가 만들어 질 수 있고, 이들 발표 장면이 녹화 되어 컨퍼런스 이후 컨텐트를 재판매가 이루어 지는 방식을 포함할 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 스마트-원격 강의 방법을 교실서 강의시 직접 강사가 손쉽게 강의가 되게 하는 전자 교탁 또는 전자 칠판내부에 탑재된 시스템으로 제공하고,

필요시 크로마키 기능을 제공할 수 있도록 하여 강사와 발표 자료가 함께 보여지는 강의 합성 장면을 보여 지는 방식으로 강의를 하도록 하고, 실제 강의 장에 보여 지지 않는 일반 강의 방식을 하여도 이러한 방식을 자동 강의 녹화가 되게 하거나 원격 강의로 보여 지게할 수 있다.

또한, 본 발명은 상기 방법을 사용하여 원격지에서 강사가 상기 텔레 프레슨스(Tele Presence)를 통해 강의를 하고, 강사와 강의 자료를 합성하여 강사가 있는 곳에 송신함으로써, 실시간으로 강의를 보며 원격지에서 강의를 하는 텔레 프레젼테이션(TelePresentation)을 사용하는 원격 강의 장치를 제공한다.

본 발명의 하나의 바람직한 예에서, 상기 기능이 전자 교탁 또는 전자 칠판내부에 탑재된 장치로 제공하고, 필요시 크로마키 기능을 제공할 수 있도록 하여 강사 추적 기능의 카메라를 연동하여 강사와 발표 자료가 함께 보여지는 본 발명의 강의 장치 기능이 탑재된 전자 교탁 또는 전자 칠판의 교실 수업이 되게 하는 스마트 강의 장치 전자 교탁 또는 전자 칠판일 수 있다.

본 발명의 하나의 바람직한 예에서, 상기 원격 강의 장치는 강의실에서 임의의 위치에 배치될 수 있으며, 예를 들어, 교실 앞에 두고 하는 수업 방식에서만이 아닌 강의실 뒤에 학생들이 본 장치의 출력 화면에 보면서 수업을 듣는 교실에 강사 또는 선생님이 학생이 보는 장면을 함께 보며 수업을 하는 교실 뒤에서 하는 수업 장치로 사용할수 있게 하는 거꾸로 교실 수업을 하므로서 선생님이 항상 출력 화면을 응시하며 강의를 하므로서 프로젝터 또는 TV화면에 있는 강사 추적 카메라에서 선생님의 시선이 카메라를 바라 보게 하여 교실의 학생들이 각자 자신을 선생님이 항시 응시하며 강의를 하는 동시 눈마춤, 즉 가상의 강사 합성 방식에 의한 교실 학생들과 동시 눈마춤 강의 가 되게 하여 강의 집중도가 극대화 되게 하는 방식의 수업 과 이를 이용한 원격지 교실에서도 무한한 학생들과의 동시 눈마춤이 되는 수업 방식의 동시 가상 눈마춤 방식의 수업이 되게 할 수 있다.

본 발명의 하나의 바람직한 예에서, 강사가 강의실 뒤에서 강의를 하는 경우 강의실 앞에 더 많은 스크린 공간이 확보되어 추가의 공간에 추가의 화면 또는 프로젝터 스크린을 장착하고 상기 화면 또는 프로젝터 스크린에 복수의 원격지 강의실의 청취자들을 함께 보여 주고 강사와 청취자들이 강사의 강의 합성 화면과 원격지 청취자들을 서로 보며 강의를 진행하는 원격 동시 강의 방식을 하게 하여 원격지에서도 강사의 강의 장면을 보면서 동시에 복수의 강의실의 청취자들이 함께 보여지는 강의를 진행할 수 있다.

본 발명의 하나의 바람직한 예에서, 강사가 강의실 앞에서 수업을 하는 경우 강사 카메라가 강사만 추출하는 크로마키 환경을 강사 뒷 부분에 하여 가상 화면의 합성 방식을 쓰게 하거나 크로마키 환경이 아닌 경우 Depth 카메라 방식이나 강사 얼굴 인식 방식으로 그래픽 3D 캐릭터를 강사와 같은 모습으로 만들어 실제 같은 캐릭터를 대신 사용하여 보이게 하는 방식의 가상 강사를 사용할수 있는 방식의 강의 장치 또는 원격 수업 방식의 강의 장치로 되게 하는 AR, VR강의 장치로 앞에서 수업을 하는 경우 강사가 발표 자료 화면을 바라 볼때 자료 화면을 보이는 가상 전자 칠판이 커지고 강사가 작아 지게 하는 화면으로 변환이 되고, 이때 강사의 위치에 따라 강사 바라보는 모습이 해당 가상 전자 칠판을 쳐다 보게 강사 카메라의 방향을 자동 반젼이 가능하게 하는 기능을 제공하여 강사 눈마춤이 필요하지 않는 강사 얼굴 방향이 강의자료를 함께 응시하게 하는 방식을 제공할 쉬 있다.

본 발명의 하나의 바람직한 예에서, 상기 원격 강의 장치는 이동식으로 배경과 조명, 모니터를 탑재한 강의 스튜디오를 카메라까지 탑재하여 제공하는 All in One 스튜디오 장치의 강의 스튜디오로 구성함으로써, 하나의 방송국이 되도록 하는 팩키지를 제공하여 사용자들이 공사 등의 어려움이 없이 1시간 이내에 강의 전용 방송국을 DIY로 제공될 수 있다.

이상 설명한 바와 같이, 본 발명에 따른 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 장치는 특수 효과, 2D 복수 레이어를 조합하여 유사한 효과를 발생하는 방법 등 더욱 구체적이고 편리한 방식의 가상 교실 제작 방법, 그리고 AR 방식의 크로마키를 쓰지 않고도 유사 VR환경의 느낌을 만드는 방법으로 위 기술들을 활용할 수 있게 하고, 무엇보다 이들의 방법들의 장면 전환을 자동으로 변환이 되게 하여 작동자 없이도 강사가 강의만 하면 자동의 장면 전환으로 강사가 강조되는 장면과 가상 전자 칠판의 기능을 하는 가상 교실 속의 가상 모니터 또는 가상 전자칠판들이 강조되는 VR교실 장면을 자동 생성되게 하는 기술이 통합되어 있는 자동 장면 전환 기술을 적용시킬 수 있는 효과가 있다.

본 발명에 따른 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 장치는 기존의 교실에서 사용되는 칠판, 교탁, 전자 칠판 및 전자 교탁 등을 사용하는 교실 수업을 더욱 효율적으로 하도록 하는 새로운 강의 방법 및 교실의 수업 방식을 근본적으로 바꾸는 새로운 강의 장치로써, 교실은 물론 원격지 수업도 실제 교실과 같은 강의를 시청하게 되고 같은 방식으로 전세계 스마트 장치로 청취할 수 있는 강의 방송이 되도록 하여 그 동안의 한계인 교실에 가야만 수업을 바르게 들을 수 있다는 한계 및 그 동안 모두가 알고 있는 원격지 동영상 강의를 듣는 것이 교실에서 강사의 강의를 듣는 것보다 우수한 환경을 제공할 수 있는 효과가 있다.

도 1 내도 도 3은 종래의 온라인 강의 녹화 장면 및 합성 화면이다;
도 2는 본 발명의 일실시예에 따른 가상 강의실 저작도구 개념 및 컴포넌트별 스튜디오 제작 화면이다;
도 3 내지 도 5는 본 발명의 일실시예에 따른 가상 강의실에서 가상 카메라별 배치 장면들을 나타내는 화면이다;
도 6은 본 발명의 일실시예에 따른 방향키를 이용한 화면 전환 및 화면 강조 방식이다;
도 7 내지 도 9는 본 발명의 일실시예에 따른 증강 현실기술을 이용한 다양한 화면의 합성 화면들이다;
도 10은 본 발명의 일실시예에 따른 인공지능에 따른 자동 장면 전환을 나타내는 화면들이다;
도 11은 본 발명의 일실시예에 따른 플립트 티칭 방식을 나타내는 화면이다;
도 12는 본 발명의 일실시예에 따른 원격 프리젠테이션을 나타내는 화면이다;
도 13은 본 발명의 일실시예에 따른 텔레 프리젠테이션 시스템의 장면이다;
도 14는 본 발명의 일실시예에 따른 비디오 윌을 이용한 멀티 화면 구성을 통한 장면을 나타내는 화면이다;
도 15는 본 발명의 일실시예에 따른 양방향 동시 수업이 가능한 구성을 나타내는 활용 개념도이다;
도 16은 본 발명의 일실시예에 따른 VR 및 AR 강의실 발표 장치 운영 개념도이다;
도 17 내지 도 18은 본 발명의 일실시예에 따른 AR 스튜디오를 구현한 구현예이다;
도 19는 본 발명의 일실시예에 따른 강의 녹화 기능 화면이다;
도 20은 본 발명의 일실시예에 따른 셀프(DIY) 이러닝 이동식 조립형 스튜디오 장치의 구성도이다;
도 21은 본 발명의 일실시예에 따른 스튜디오 장치를 이용한 올인원 이동식 서버 구성도이다;
도 22는 본 발명의 일실시예에 따른 가상 출력 화면 캡쳐 드라이버 기술의 개념도이다;
도 23은 본 발명의 일실시예에 따른 강의실 강의 장면의 구성도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명한다. 다만, 실시예가 본 발명의 범위를 제한하는 것은 아니며, 이는 본 발명의 이해를 돕기 위한 것으로 해석되어야 할 것이다.

실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 상세히 설명하기로 한다.

상술한 바와 같이, 종래의 강의 장치에서는 원격지 수업을 듣는 방식들이 모두 실제 강의실 수업을 듣는 것보다 많은 차이가 있어서 실제 수업은 교실에 가서 들어야 할 뿐만 아니라, 이러한 방송 장치들의 전문 방송장비를 사용해야 하고, 비록 이런 장비를 사용해도 스튜디오에서 특수하게 디자인된 강의장에서 전문가들이 동원되어야 하는 등 공간 및 시간적인 측면에서 한계가 있었다.

이에 본 발명에서는 특수 효과 및 3D / 2D 복수 레이어를 조합하여 유사한 효과를 발생하는 방법 등 더욱 구체적이고 편리한 방식의 가상 교실 제작 방법, 그리고 AR 방식의 크로마키를 쓰지 않고도 유사 VR환경의 느낌을 만드는 방법으로 위 기술들을 활용되도록 하여 전술한 문제점의 해결을 모색하였다.

본 발명에 따르면, 이러한 전문방송 기술자가 없이 발명의 장치에서 강사의 의도를 알아서 강사를 보아야 할 때는 강사를 필요한 강의 자료를 보여 줘야 할 때는 강의자료를 강조하도록 하는 장면을 보여 주기 위해 가상 강의실에 강사와 강의 자료를 재배치하고 이 가상 강의실에서 가상의 카메라로 필요한 장면을 보여 주게 되는 가상의 교실 촬영 ( 3D공간/또는 2D 레이어 방식의 합성 가상 합성)이 되게 하고 이들의 다양한 장면을 자동으로 선택해 보여 지게 하도록 하는 인공지능 PD 기능으로 장비 운영자가 없이도 필요한 화면을 자동으로 만들어 지게 하는 방식을 제공한다.

이러한 방식을 설명하면, 본 발명에서는 이러한 방송 기술을 실시간으로 강의실에서 사용하는 VR/AR 방식 나아가서 MR기술 활용을 통해 강의실 녹화 비디오가 실제 강의실에서 듣는 것 보다 더 향상될 수 있게 되고 이것이 실제 강의 보다 더 향상되면, 실제 강의실에서 기존의 강의 방식이 아닌 발명의 방식으로 강의를 교실에서도 보여 주게 하는 강의 장치로 사용하게 하여 기존 교실의 강의의 문제점인 동시 눈맞춤이 불가능하고, 학생들이 강사를 충분히 보기에 강의실이 큰 경우의 문제, 강의실이 아름답게 인테리어를 할 수 없는 문제 및 원격지에서 수업을 듣기 위한 한계 등의 문제를 해결하는 새로운 강의 장치로 될 수 있게 된다.

이러한 방식은 강사가 강의만 하면 장비 운영 및 복수의 카메라 작동자 없이도 마치 많은 카메라 장면들이 가상의 교실서 커지고 작아 지는 가상의 전자 칠판들을 이용해 자동으로 학생들이 보아야 할 장면이 화면에 만들어 보여 줌으로써, 때로는 강사가 실제 보다 더 크게 출력되고 때로는 자료화면이 아름다운 가상 또는 증강 현실 공간에 만들어 강의를 하게 되고, 같은 화면을 녹화 및 원격지에 보내져 강의비디오가 실시간으로 아름답고 시청자에게 높은 몰입감을 제공할 수 있다.

구체적으로, 방송에서 촬영 시 아름다운 스튜디오에서 강의를 하도록 하여 촬영을 하듯 발명의 장치는 먼저 강의실을 가상 또는 증강현실로 합성하여 아름다운 강의실을 만들게 하고 이를 위해 책상, 벽, 바닥 등을 가상 공간서 직접 조립 방식으로 다양하게 주어지는 강의실 스튜디오 모양에 바닥, 벽, 책상 및 장식품들을 레고 조립을 하듯이 배치하거나 멀티 레이어 방식으로 구성하고, 이러한 가상 공간서 강사, 가상 전자 칠판들 및 가상 카메라를 자유로이 배치하여 복수의 가상 카메라들에 의하여 출력되는 강사와 가상 전차 칠판들을 배치하도록 하여 다양한 장면을 아름답게 필요한 장면으로 자유로이 구성할 수 있다.

예를 들어, 칠판, 프로젝터 등을 사용하는 강의를 강사와 강의 자료를 합성하여 실시간으로 강의 자료를 보여 주던 프로젝터등의 스크린에 합성화면을 보여 주게 하는 강의 장치로 학생들은 강사와 강의 자료를 번갈아 보며 강의를 듣는 것이 아닌 합성화면을 보게 하여 강의를 하는 장치로, 강의 녹화, 원격지 강의, 양방향 동시 수업, 프리젠테이션 회의 등이 실제 강사가 가지 않고도, 또 수업을 교실에서 와서 보지 않아도, 또 수업을 듣는 교실의 학생도 기존의 방식 보다 더 집중도 있게 강의를 들을 수 있게 하며,

프로젝터 또는 TV 스크린에 PPT를 보여 주는 대신, 본 발명은 강사와 강의자료를 학생들이 강사를 봐야 할 때 강사가 크게, 강의자료를 볼 때 강의자료가, 때로는 함께 보여 지는 장면을 보여 주게 하기 위해 발명의 장치에서 학생들이 강의실서 강사의 제스쳐, 음성 등을 통해 판단하듯 보여줘야 할 장면을 학생들이 판단하듯, 발명의 장치에서 판단하는 인공지능 기능으로 이들의 장면을 보여 주게 하는 방식으로 강의 합성 화면을 강사, 강의자료, 그리고 아름다운 강의실 배경 - 가상 강의실에 합성하여 아름다운 방송화면으로 실시간 합성 및 장면 스위칭을 할 수 있다.

이때 강의 합성 화면을 보여 주기 위해 강사를 촬영하는 카메라 영상과 강의 자료 화면들 (PPT, 노트북 , 칠판, 전자 칠판, 질문 학생, 실물 화상기 등)을 실시간 영상/이미지로 입력 받아 이들을 그래픽 3D 또는 2D 멀티 레이어 합성방식의 가상 강의실에 강사 영상와 강의 자료를 가상 전자 칠판에 보여 지도록 자유롭게 배치하고(강사를 배경을 제거하고 강사 영상만을 추출하는 크로마키, 또는 Depth 인식 등의 방식으로 하는 VR 강의실 방식, 또는 엣지 등을 추출하고 일정부분의 배경을 합성하여 실제강의실 영상과 가상공간을 합성하는 AR 강의실 방식으로) 같은 가상 강의실 내에 자유로이 배치시킬 수 있는 가상 카메라를 통해 가상 강의실을 가상 촬영하는(가상 카메라로 보여 지는 가상 교실의) 화면, 이러한 카메라를 다양한 위치 별로, 움직이게 하고 이 가상 카메라위치 마다 가상 칠판들이나 강사 영상을 자유로이 배치시켜 가상 촬영 화면에 학생들이 집중하여 볼 수 있는 강의 장면을 보여 주도록 가상 교실의 가상 칠판들, 가상 책상, 가상위치의 강사의 크기들을 배치할 수 있게 하게 하고, 이들의 가상 카메라들을 자동으로 출력하여 이를 프로젝터 또는 스마트 장치로 보여준다.

이와 같이 발명의 장치는 가상의 강의실을 2D 멀티 레이어, 또는 3D 그래픽으로 구성할 수 있게 하고 , 이 그래픽 가상의 강의실에 다양한 위치에 자유로이 배치할 수 있는 복수의 가상 카메라 들을 배치할 수 있게 하고, 이들 가상의 카메라 마다 실제 강사를 촬영하는 카메라 영상을 가상의 책상등과 함께 배치 하게 하고, 가상 카메라로부터 강사의 영상과 보여주어야 할 강의 자료 영상을 보여주는 가상 전자 칠판을 배치하여 해당하는 가상 카메라에서 보여 지는 합성 화면이 학생들에게 보여줄 장면이 나타내도록 하는 장면들을 자유로이 만들어 지게 하고, 이들 장면들 즉 복수의 가상 카메라들을 선택하는 가상 스위쳐(실제 강의실에서 복수의 카메라를 실제 스위쳐로 스위칭하며 보여 지듯 가상 교실에 배치한 가상 카메라 들이 발명의 장치에서 스위칭이 되게 하는 가상 스위처 기능)로 스위칭을 하며 강의 장면을 보여 지게 하되, 이 스위쳐의 스위칭 판단을 발명의 장치가 자동으로 강사의 제스쳐, 음성, 판서, 포인터 위치, 학생들의 질문을 인식하여 판단하는 인공지능 기능을 통해 학생들에게 보여 줄 최적의 가상 카메라 장면이 보여 지게 하는 것으로, 이 스위칭은 필요시 강사나 운영보조자가 필요시 작동 할 수 있다.

본 발명에 따르면, 가상 교실에 자유로이 배치되는 복수의 가상 카메라 대신 한 대의 가상 카메라가 원하는 위치 즉 강사와 강의실이 필요한 크기로 보여주게 하는 위치 (즉 KeyFrame 위치)로 세팅을 하게 하고, 해당 카메라 위치 별로 보여 주어야 할 가상 전자 칠판들이 배치 되는 가상 전자 칠판들의 자유로운 배치 및 이들의 설정치를 세팅하고 해당 위치로 설정된 크기나 각도로 보여 지게 하는 트랙이 자동으로 실시간으로 생성되게 하여, 가상 카메라 위치가 12개인 경우 카메라 트랙수가 132 (12x11), 또 해당 가상 전자 칠판이 2개 인 경우 추가의 2x132가 되어 실제 이들의 트랙을 수동으로 설정하는 것은 불가능하게 되며 이를 자동으로 트랙 발생과 장면 전환시 마다 렌더와 트랙 발생이 동시에 되는 기능이 중요하며, 이때 트랙 발생의 다양한 경우 즉 커브의 모양과 시간 등을 자유로이 세팅하여 다양한 애니메이션 효과를 생성하게 하는 것으로 영상이 아름답게 애미메이션이 되게 하고, 또한 학생들이 커지는 칠판 또는 강사 얼굴등을 볼수 있게 하여 강의를 집중할 수 있도록 하는 기능이 제공된다.

원격지의 학생들과 원격 수업을 함에 있어 원격지 학생들, 질문자의 영상을 본 발명의 장치에서 사용하는 화상회의 프로그램과 연동시 화면의 프로그램 입력 기능을 제공하여 원격지 교실의 학생의 영상이 가상 전자 칠판에 보여 지게 하여 복수의 교실이 수업을 하는 경우 발표자와 질문자가 함께 보여 지는 화면이 다른 교실로 보여지는 기능을 제공한다.

이러한 복수의 가상 카메라들의 다양한 출력 화면들은 필요한 주요 장면을 미리 설정하여 가상 카메라의 키 프레임으로 정의하여 주는 장면들을 그림 4와 같이 다양한 VR 카메라에 강사와 가상 전자 칠판들을 보여 주게 미리 배치하는 방식으로 즉 강사가 크게 집중하여 보게 하는 강사 장면과 강의자료들중 하나에 집중하여 해당 가상 전자 칠판장면을 크게 하고 강사를 상대적으로 적게 보이도록 하는 장면들의 다양한 가상 장면들을 보이도록 하는 가상 카메라의 위치 및 해당 가상 전자 칠판을 미리 배치하여 필요한 장면을 보여 주는 방식으로 강의 장면 설정을 미리 할수 있도록 하는 단계를 통해 필요한 장면을 생성 시킴에 있어 이들의 장면이 일정한 룰을 정해 가상 카메라들이 바둑판 식으로 배열하여 위로는 강사 크기가, 아래로는 가상 칠판이 커지게 하는 배치에서, 좌측으로는 가상 칠판 1, 우측으로 2,3이 되게 하는 정열 방식을 사용하게 하여 직관적으로 가상 카메라들이 출력할 장면을 초보자도 이해할수 있게 배치 하게 가상 카메라 설정 스위처 배치를 하는 방식을 통해 스위처 버튼을 보지 않고도 알수 있게 하고, 현재의 장면을 보며 필요한 장면을 직관적으로 이동하도록 설정 버튼을 누르거나, 이들의 이동을 마우스 좌,중,우측 버튼을 눌러 좌우이동, 상하 스위처 이동을 마우스 휠을 돌려 이동을 할수 있거나 단순 화살표 키 버튼등으로 장면 이동을 강의중 강사가 간단히 할수 있게 하는 기능을 포함하되, 장면 전환이 기본적으로 마우스 포인터의 이동을 인식하여 그림 6에 설명된 것처럼 마우스 포인터가 출력 화면의 가상 전자 칠판에 올라가면 해당 칠판을 크게 하는 장면을 만드는 가상카메라 버튼을 자동 작동하게 하고, 마우스/포인터가 해당 가상전자 칠판서 일정 시간 움직이지 않게 되면 다시 강사가 크게 되게 하는 상위 방향의 버튼으로 자동 이동되어 강사가 크게 보여 지게 하며, 이러한 강사의 크게 보이는 장면이 설정 시간 이상이 되면 전체 스튜디오장면을 보이다다시 강사가 크게 하고, 마우스가 특정 가상 전자 칠판에 포인터로 움직이면 이것이 다시 해당 가상 전자 칠판이 크게 배치된 장면으로 이동이 되게 하는 방식이 되게 하는 방식이 진행되고, 마우스 포인터등이 가상 전자 칠판에 오래 동안 움직이는 경우 해당 가상 전자 칠판이 더커지는 장면으로 이동을 하게 하고 다시 일정 시간이 되면 조금 다른 장면으로 이동이 되다 포인터 움직임이 없게 되면 강사의 크기가 커지는 장면으로 이동되는 방식으로 자동 장면전환이 되게 하는 기능으로 포인터 인공지능 방식이 진행이 되게 하는 기능이 기본 제공되는 것이 중요하다.

강사가 노트북에 타블렛으로 펜을 그리거나, 전자 칠판의 판서 또는 노트북 마우스를 쓰는 경우 청구항 5의 경우처럼 이들의 마우스 포인터, 펜의 기능을 감지하여 네트웍으로 발명의 장치에 이를 감지하여 장면 전환이 이루어 지게 하는 것을 포함한다.

강사가 포인터를 쓰지 않고 레이저 포인터처럼 발명의 장치에서 인식이 안되는 경우 강사 카메라/또는 강사 추적 카메라에 들어오는 강사의 얼굴 방향 및 응시 방향 인식 영상 처리를 통해 강사가 보는 방향이 학생들 방향일때는 강사가 크게, 강사가 칠판 또는 프로젝터 화면을 볼때는 프로젝터 화면을 크게 하는 방법을 사용하는 방식을 이용하고, 강사 얼굴의 방향과, 강사의 강의실 위치를 읽어 내는 위치 센서 ( xyx)로 강의실에 강사의 위치를 알게 하고 이 경우 강사 트랙킹을 정밀하게 할수 있고 멀티 위치 센서를 장착하여 각 마이크 마다 이를 장착하여 질문자의 트랙킹카메라를 포함 마이크 음성과 위치를 이용하여 해당 가상 카메라 장면을 이동하고 강사가 바라보는 곳의 장면을 트랙킹 카메라가 위치와 각도를 통해 강사크기, 강의 자료를 보이는 가상 카메라 장면을 청구항 5의 경우처럼 시간과 자세를 통해 강사의 위치 얼굴의 방향을 인식하여 칠판을 쓰는 경우, 프로젝터 화면을 보는 경우, 학생을 보는 경우, 학생이 질문을 하는 경우들과 강사의 음성을 인식하여 시작, 끝, 화면을 보면, 등의 내용을 활용하여 장면 전환이 되게 하는 카메라 트랙킹 과 장면 전환을 동시에 하는 기능을 이용한 자동 강의 녹화 시스템이 가능하게 하는 기능으로 자동 강의 녹화, 자동 원격 수업이 가능하게 한다.

이렇게 자동으로 마치 학생들이 선생님의 제스쳐등을 보고 보아야 할 곳을 판단하듯, 강사의 강의 음성, 얼굴의 바라보는 각도, 제스쳐, 포인터 위치, 강사위치, 전자 칠판, 판서위치, 마이크 위치 및 소리 학생들의 움직임/제스쳐/질문들을 기준으로 마치 학생들이 강의실서 보아야 할 것을 판단해 강사와 칠판, 질문 학생을 바라 보듯 이러한 정보를 통해 발명의 장치의 인공지능 기능으로 자동으로 출력 해야할 가상 카메라 장면을 자동으로 선택하여 보여 주게 하여 발표자가 발표만 하면 본 발명의 장치가 알아서 인공지능 방식으로 학생들이 보아야 할 장면의 가상 카메라 화면을 생성 시키게 하는 방식의 강의 장치로 이 출력 화면을 실시간 녹화, 원격지 전송, 양방향 대화식 화상회의에 활용한 원격 교실 양방향 수업, 이러한 방식의 프리젠테이션을 비디오 컨퍼런스에 적용하는 텔레 프리젠테이션 (Tele-Presentation ) 회의 장치, 또 이러한 강의화면을 전세계로 방송을 하게 하는 Webinar 에 적용한 웹 컨퍼런스/웹세미나 가 되게 할 수 있다.

가상 카메라의 위치, 가상 전자칠판들의 각 가상 카메라에 대한 배치, 그리고 3D 물체까지 위치 크기 각도가 각각에 대해 12개의 가상 카메라 에 대해 세팅을 하는 경우 800 여개의 트랙들이 정의 되어야 하므로 이들의 트랙이 자동으로 실시간 생성이 되도록 하는 자동 트랙 발생을 위해 각 가상 카메라 장면별로 애니메이션 시간, 트랙 발생 조건들을 변경하게 하여 다양한 애니메이션이 자동으로 생성되도록 하여 3D max등에서 이들의 트랙을 생성하지 않고도 다양한 카메라 액션과, 애니메이션 가상 전자 칠판 그리고 3D 물체 들의 애니메이션이 자연스럽게 발생하게 하는 것을 통해 화면만 집중하면 학생들이 보아야할 장면이 브드럽게 보이고 자연스럽게 집중을 할 수 있도록 할 수 있다.

원격지 강의실에 강사와 강의 자료가 보여 지도록 일반 강의실에서 본 발명의 장치를 설치하여 자동으로 원격지로 강의가 전송되게 하고 원격지의 학생들 카메라가 강사가 있는 교실에도 보여 지고 원격지에도 강사가 가르치는 교실 학생이 보이게 하는 방법으로 양방향 수업 내지는 멀티 교실 수업이 가능하게 하는 방식의 원격 수업 방식, 즉 Tele-Class 솔류션을 사용하는 것은 그동안 원격 수업장치가 불가능했던 원격지에서 현장 교실 수업 이상의 수업 몰입이 발생하는 AR/VR강의 수업 시스템이 되게 하는 장치가 된다.

본 발명의 장치를 활용하여 강사가 카메라를 응시하며 수업을 하게 되고 강사가 프로젝터 화면을 볼 때는 화면이 크게 강사가 학생을 볼 때는 강사가 크게 되며 강사의 눈이 카메라 방향 즉 학생 들 방향을 보게 되면 강사의 눈이 교실의 모든 학생들을 바라 보고 수업을 하게 되어 동시 눈마춤 방식의 강의가 되게 하므로서 강의 집중도가 극대화 되고, 더 나아가 강사가 교실 뒤에서 수업을 하며 ( Flipped Teaching ) 본 장치의 합성화면을 학생들과 같이 보면서 수업을 하는 뒤에서 가르치는 수업을 학생들이 보는 수업장면을 강사가 함께 보는 수업이 되고 학생들이 실제 선생님 보다 더 큰 얼굴과 제스쳐 그리고 발표자료 및 원격 지 수업학생까지 함께 보게 되는 가상 원격 공동 수업이 가능하게 되고 원격지 교실도 강사가 있는 현장 교실 과 같은 화면의 수업을 공유하고 복수의 교실의 학생들이 함께 하는 동시 멀티 교실 수업이 가능하게 하는 새로운 원격 교실 공동 수업이 가능하게 된다. 이때 몰입감을 완벽하게 하기 위해 원격지 학생들과 함께 인터넷을 통해 스마트 폰으로 대답을 하게 하는 응답 시스템을 함께 사용하는 것은 몰입감을 극대화 하여 이를 함께 사용하는 기술을 통해 완벽한 원격 몰입 수업이 가능하게 하는 첨단 VR 교실이 되게 한다.

이는 기존의 화상회의, 웹비나, 텔레 프레슨스 시스템의 양방향 인터렉티브 화상회의 기능을 연동해 본 장치의 출력 화면이 화상회의 시스템의 카메라 입력으로 사용되도록 하는 출력 화면 카메라 드라이버로 제공하도록 하는 캡쳐 드라이버기능을 제공하거나 출력을 기존의 화상회의 장치의 입력을 제공하도록 하여 본 발명의 합성화면이 화상입력으로 되게 하여 기존 장치의 카메라를 인식하도록 하여 프리젠테이션 회의, 프리젠테이션 웹비나, 텔레 프리젠테션 시스템이 되게 하고 동시에 화상회의 장면이 유튜브나 페이스북 같은 방송에서 직접 출력이 추가의 엔코더 장치 없이 수행이 되게 하는 기능이 되게 한다. 이와 같은 기존의 WebEx또는 ConnectPro같은 Webinar 프로그램, Skype, Zoom 과 같은 화상회의 프로그램을 동시 연동하도록 하는 기술을 제공하여 원격 강의 회의, 프리젠테이션 Webinar가 VR/AR기술의 가상 교실 방식으로 이루어 지게 하여 기존의 화면에 강사가 작은 모습과 강의 자료가 주가 되던 수업 방식들에 강사와 강의 자료가 합성된 가상 강의실 화면을 보면서 수업을 받게 되는 새로운 가상 기술의 원격 교실, Webinar, 프리젠테이션 방송이 되게 한다. 이 방식은 기존의 Tele-Presence 방식의 화상 회의 프리젠테이션 시스템을 함께 사용하게 하여 그 동안 불가능한 TelePresentation 시스템 즉 원격 프리젠테이션 장치가 된다.

기존의 TelePresence시스템에 발명의 장치의 출력을 텔레 프리젠스 시스템의 노트북 입력으로 기존의 텔레 프리젠스 시스템의 강사 카메라를 본 장치의 강사 카메라로 발표 자 노트북을 본 장치의 가상 전자 칠판 자료로 입력 받아 발표자가 출력 화면을 보면서 발표를 하고 , 추가의 화면에 상대방의 회의팀이 보이게 하고, 상대방에서도 같은 발표 장면을 보며 추가의 채널로 참석자 들을 보는 TelePresentation장치로 그동안 TelePresence장치의 몰입 발표가 불가능했던 부분을 완벽한 원격 프리젠테이션 회의가 되는 Tele-Presentation시스템이 되게 한다.

다수의 지역과 화상 프리젠테이션을 하는 경우 복수의 참석자들을 효과적으로 보게 하고 또 발표자가 본 발명의 장치를 여럿이 사용하는 경우 이를 효과적으로 화면에 구성하도록 하는 Video Wall을 함께 사용하고 이때 비디오월의 입력 장면들을 자유롭게 구성하고 발표 자들이 자동으로 크게 되는 비디오 월 스취처를 연동하여 비디오월 멀티 참석 발표 VR 회의 시스템을 통해 그 동안 다수 발표 회의를 몰입감 있게 하는 시스템이 되게 하는 기술을 포함한다.

이러한 장치를 대형 강의실과 같이 다수의 청중이 강의 수업을 들어야 하는 대형 컨퍼런스 룸의 경우 출력 화면을 강의실의 프로젝터 스크린에 보여 주어 대형 강의실에 강사의 얼굴 표정이 여러명에게 효율적으로 보여 지도록 하고 동시에 이 화면이 다른 대형 교실 또는 강의실로 보여 지게 하여 기존의 대형 컨퍼런스 장의 발표 가 비효율적인 방식을 새롭게 하는 대형 컨퍼런스 발표 장치 및 중계 공동 컨퍼런스 시스템이 가능하게 한다.

또한, 출력 화면을 stereo Scopic 3D 로 가상 카메라를 눈 넓이로 배치한 좌우 화면을 출력 시킬 수 있고 이를 원격지에 보내 원격지서도 같은 입체 강의를 다양한 입체 스크린 또는 HMD로 볼 수 있게 하는 것은 당연하다

가상 강의실을 360 화면으로 스트리밍하여 이를 원격지서 360의 HMD로 보게 하는 방식과, 가상 강의실의 3D강의실을 각 클라이언트에게 미리 보내 클라이언트가 강사 카메라 및 강의 자료를 스트리밍 받아 이들의 가상 카메라 위치를 함께 다운 시켜 가상 카메라 장면의 360 기준 점에서의 장면을 보여 주게 하고 추가의 HMD 클라이언트 위치 및 각도로 클라이언트에서 렌더링하여 보여 주게 하는 방식으로 고화질 환경을 각자 갖게 하는 방식이 사용되어 지게 하는 방식과 가상 카메라 설정 위치를 미리 제공하여 자동 스위칭 방식이 아닌 클라이언트에서 이들의 장면을 스위칭 하며 강의를 수강하게 하는 방식을 제공하는 360 HMD강의 장치가 되게 하는 것은 당연하다.

이러한 강의 장치가 교탁으로 장착되게 하여 교탁에 강사를 트랙킹하는 카메라, 강의 컴퓨터, 학생 트랙킹 장치가 연동되어 강사가 청구항 1의 장치로 강의를 하면 강의가 자동으로 화면에 가상 강의 방식으로 보여지고, 녹화 되고, 여러 외부 교실과 수업이 되는 VR 교실 수업이 되게 하는 전자 VR교탁이 되게 된다.

전술한 방식의 실제 전자 칠판으로 만들어져 칠판의 판서 화면이 강사의 얼굴과 함께 녹화 되고 전송되는 수업으로 원격지에서 볼 수 있게 하여 카메라와 연동 강사 트랙킹, 전자 칠판 판서가 실시간으로 합성 녹화가 되고 일반 강의 및 VR 강의가 자동으로 되는 VR 강의용 전자 칠판이 되는 것은 당연하다

본 발명의 장치로 교실에서 강의 장치여 출력이 되는 화면을 보며 강의를 하면 녹화 되는 강의 녹화 스튜디오가 되는 것은 당연하며, 이때 강사가 프리젠테이션 자료를 사용할 경우 PPT와 같은 발표 슬라이드 프로그램의 슬라이드 노트 가 본 발명의 장치에서 인식되어 이를 타이틀 자막으로 보여 지게 하여 강사가 자막을 보며 강의 발표를 하게 하는 기능을 제공하고, 다음 슬라이드가 되는 포인터를 작동하면 슬라이드가 변경되면서 강의 자료가 커지는 가상 카메라 화면으로 자동 전환이 되고 이것을 읽고 발표하는 동안 슬라이드 노트가 스크롤 자막이 끝나면서 강사가 해당 슬라이드 자료 설명을 마치면 다시 강사가 커지게 보이도록 장면 자동 전환이 되게 하는 방식의 강의가 되게 하여, 강사는 슬라이드 변경 포인터 만으로 장면 전환과 프리젠테이션 슬라이드가 바뀌고 강사가 할 설명을 정확히 준비한 내용으로 정확한 발표를 하는 자동 강의 장치 가 되게 하여 슬라이드 변경과 장면 전환, 발표 슬라이드 노트가 자동으로 자막으로 처리 되도록 하는 기능의 강의 녹화기가 될수 있는 장치가 되어 누구나 아무런 조작 없이 USB등에 발표 자료를 PPT로만 가져와서 포인터로만 작동하면서 슬라이드 변경시 자동으로 화면이 발표자료가 커지고 자막에 슬라이드 노트가 보여 지고 자막의 스크롤 속도를 발표자 발표 속도와 연동되게 하여 이를 동기화 시키도록 하고, 자막이 끝나면 장면이 강사를 크게 하는 장면들로 이동이 되게 하는 방식의 강의장치가 되게 하는 기능을 포함하게 된다.

여기서, 자막 스크롤의 속도가 강사의 발표 음성을 인식하여 자막 속도와 스크롤하는 자막 속도와 발표자 발표 속도를 자동 조정이 되게 하는 인공 지능 기능과, 슬라이드 노트가 끝나고 나서도 강사가 추가로 하는 설명이 자막으로 추가적으로 음성인식으로 보여 지게 하는 기능을 제공하는 것은 당연하다.

여기서, 본 발명의 장치의 출력 화면을 프람프터의 스크린으로 쓰는 경우 프람프터의 글씨 스크롤을 슬라이드 노트 자막을 스크린에 크게 보이게 하도록 하는 배경을 투명하게 하여 출력 화면의 앞면에 보이게 하여 노트 글씨를 크게 읽으며 강의를 하게 하고 이 글씨가 스크롤이 끝나면 자동으로 없어 지게 하는 기능 등의 시간을 자동 조정 또는 수동으로 켜고 끄게 하여 강의를 하는 기능을 제공한다.

또, 강의실에 자이로 센서를 이용한 포인터를 사용하게 하여 포인터가 마우스 기능과 슬라이드 변경을 가능하게 하는 경우 일반 강의실에 강의에 자동으로 장면 전환이 되게 하고 포인터 표시가 가능하게 되는 강의 장면이 나타나게 되어 일반 강의 시 자이로 마우스 포인터만으로 일반 강의를 하며 화면의 포인터를 사용하여 포인터 마우스의 모션을 인식하여 합성 장면을 보여 주게 하는 방식으로 발명의 장치의 강의 장면 합성을 만들어 보여 주는 방식으로 본 발명을 사용한 강의가 자동으로 합성화면 전환이 이루어 지게 할 수 있다.

이러한 전용 강의 녹화 장치로 간편한 스튜디오를 도 20과 같이 크로마키 스크린과 2개 또는 1개 등의 스크린을 이용하여 도 19의 기능을 이용하는 1인 강의 녹화 시스템으로 간편, 스튜디오로 강의를 녹화하는 1인 스튜디오를 시스템으로 제공하여 스튜디오 공사 없이 어느 곳에서나 강의 녹화를 VR 강의 장치로 제공하는 강의 녹화 시스템 스튜디오가 그림24와 같은 조립식으로 모니터 거치, 카메라 거치 방식의 키트를 함께 제공하여 누구나 키트를 DIY로 조립해 본 발명의 장치의 자동 기능으로 누구나 첨단 프리젠테이션 강의가 가능하게 하는 DIY 스튜디오 설치와 DIY 강의 녹화 스튜디오가 가능하게 하는 키트제공을 하는 기술을 포함한다

본 발명의 기술은 일반 강의 현장에서 기존이 프로젝터와 발표 컴퓨터 화면을 입력 받아 사용하여 실시간 합성 화면을 기존의 교실 프로젝터에 보여 지도록 하는 자동 또는 수동의 간편 조작으로 강의 장면을 현장에 직접 출력하여 영화관 같은 강의 교실을 만들 수 있게 하는 강의실, 호텔, 컨퍼런스 현장을 중계, 녹화, 원격 지 강의를 하게 하는 장치로 사용이 되게 하는 것은 당연하며, 직접 강의실에 강의장치로 사용하지 않는 곳에서는 AR/VR 강의 녹화 (Lecture Capture) 장치로 이용하여 최첨단 녹화가 초보자도 만들 수 있게 하여 기존의 녹화 서비스의 어려웠던 문제와 녹화 강의가 실제 교실 수업 보다 많이 못한 문제를 해결하는 간편하면서 소중한 강의를 고화질로 녹화할수 있는 장치로 VR 강의 녹화 시스템으로 사용이 되는 장치가 되게 된다.

이러한 장치는 본 발명의 기술과, 이동이 편리하게 하는 노트북에 외부 강사 발표 컴퓨터 입력, 강사를 촬영하는 카메라 , 학생등을 촬영하는 카메라를 입력 받아 본 발명의 장치의 가상 카메라 설정화면으로 강사가 학생들을 볼때는 강사를 크게 강사자 자료를 볼때는 강사가 크게 하는 가상 카메라 세팅을 보여 주게 원터치 작동을 하게 해서 녹화를 하는 장치로 만들어 져 강의 녹화 장치 및 강의실 특히 대형 강의실의 경우 강사와 강의 자료들을 효과적으로 보이는 장치가 만들어 지게 된다. (도 21 참조)

특히 강사의 제스쳐 및 얼굴 표정인식을 통해 실제 강사의 카메라 영상을 합성하는 데 사용하지 않고 이들 얼굴 인식을 다른 캐릭터 로 표현하여 실제 와 같은 얼굴 및 손동작을 캐릭터로 구성하고 이를 합성 화면에 강사 대신 특정 캐릭터가 (자기 자신일수도 있는 2D또는 3.D 강사로 얼굴 표정은 물론 목소리까지 유사하게 발생시켜 실제 카메라를 캐릭터의 표정, 제스처를 표현하도록 하여 실제 강사가 강의 화면에 움직이는 것 이상의 캐릭터를 사용하고, 캐릭터가 얼굴 표정을 실제 강사 영상대신 케릭터로 대체하는 방식으로 얼굴 인식, 제스쳐 인식을 통해 실제 모습이 아닌 가상의 캐릭터 강의를 만들게 하여 이를 합성화면에 실제 강사 대신 캐릭터 강사를 실제 강사대신 표현하게 하여 강사의표정을 캐릭터로 실시간으로 보이게 하는 강의방식으로 크로마키 없이 캐리터 강사의 표정 제스쳐를 만들어 보여 주게 하는 얼굴 표정 제스쳐 인식으로 가상 강의 캐릭터를 표현하게 하는 방식을 갖는다. 이때 캐릭터는 실제 강사의 얼굴을 3D로 표현하여 실제 얼굴 인식에서 얻은 표정을 같이 표현시켜 가상 강사로 사용하게 하여 크로마키 없이도 완벽한 크로마키 처럼 합성이 되게 하는 기능이 가능하고 이때 얼굴인식을 실시간 처리가 어려운 경우 후 편집을 위해 강사얼굴인식을 강의 후 새로 정밀 인식 및 이를 처리 하는 과정으로 더욱 정확한 표정을 넣는 강의 동영상을 제작하게 할수 있다.

이하에서는 첨부된 도면을 참조하여 보다 구체적으로 설명한다.

먼저 도 23에서는 본 강의 장치가 사용되는 일반적인 교실의 환경에서의 강의 장치 환경을 보여 주고 있다. 먼저 강사를 찍는 강사 카메라를 강사가 이동시 트랙킹이 제공될수 있고, 강사 뒤에 크로마키 색상이 있는 영역에서는 크로마키가 손쉽게 될수 있고 강사가 다른 곳으로 크로마키 없는 곳으로 이동하면 본 장치의 AR 크롭 기능의 합성 방식으로 강의 화면에 강사 모습이 사용되게 된다. 두 번째로 강사의 발표 자료로 PPT화일 또는 노트북 입력을 하는 부분으로 이 두개의 자료가 가상 교실의 2D 또는 3D 그래픽 가상교실로 선택 또는 만들어진 공간에 배치된 가상 카메라로 재 합성된 화면으로 만들어진 화면이 강의실의 프로젝터 또는 TV를 통해 보여 지게 된다. 이? 다양한 가상 카메라 장면들이 자동으로 또는 수동에 의해 4에 명시된 스위쳐 장면으로 보여 지게 하고, 이때 발표 자료 화면의 가상 전자 칠판에 포인터 나 마우스로 그림을 그리거나 포인터를 보이며 강의를 하는 강의 장치이며, 발표자료가 보이는 가상 전자 칠판은 한개만이 아닌 복수의 칠판을 사용하여 다양한 입력을 동시에 보일수 있게 하고 강의 현장의 현실감을 증대 하기 위해 추가의 학생들을 보이는 추가의 카메라 를 사용하여 이를 동시 합성화면으로 보여 필요히 학생의 질문등의 장면을 크게 하여 이들의 화면을 보이 도록 하는 가상 카메라 장면을 보여 가게 된다.

도 2에는 본 발명의 일실시예에 따른 강의를 위한 기본적인 가상 강의실을 선정하여 사용하게 되고 이들 강의실을 누구나 쉽고 편리하게 만들거나 제공된 예제 가상 강의실을 수정 변경하여 사용하도록 하는 가상 강의실 저작도구가 제공되는 것이 매우 중요하며 이들의 저작 도구의 개념 및 컴포넌트별 스튜디오 제작 화면이 나타나 있다.

구체적으로, 도 2에 도시된 바와 같이, 발명의장치의 화면 구성의 예로 가상 강의실의 가상 책상과 강의자료를 보여줄 복수의 가상(VR) 전자 칠판으로 위 장면에는 3개의 가상 전자 칠판을 자유로이 크기 위치, 각도를 조정하여 배치 할수 있도록 하고 , 이들의 배치 별로 해당 화면을 강사가 크게 또는 자료가 크게 할수 있도록 하는 다양한 장면을 설정하고 이에 대한 가상 카메라를 배치 하여 실시간으로 출력 화면을 다양하게 만들어 주게 하여 강의 장면을 프로젝터 또는 녹화, 원격지로 전송하게 하는 방식으로 강사를 크게 또는 보여줄 자료를 크게 보여 지게 하며 이들의 장면은 포인터를 (가상그래픽) 사용해 설명을 화면을 보면서 할수 있게 하고 이를 보는 강사의 제스쳐 즉 손의방향, 포인터의 위치, 그리기 등을 감지하고, 음성의 소리에 따라 시작, 정지, 여기를 보세요등의음성을 인식하여 이들 장면에 노트북을 보일 경우, 학생을 보일경우를 판단해 보이고 학생의 제스쳐를 보고 이를 인식해 질문시 음성과, 제스쳐를 통해 학생을 해당 가상 전자 칠판에 보여 주어 강의실의 학생들은 물론 원격지에서도 볼수 있게 하는 방식을 사용하게 한다.

이러한 가상 강의실은 3D Max등에서 제작할 수 있게 하지만, 강사들이 자유로이 자신의 강의실을 특별한 프로그램을 쓰지 않고서도 제작이 가능하도록 다양한 강의실을 스스로 만들수 있도록 레고 식으로 조립이 가능한 책상, 장식품들을 제공하여 스튜디오 제작이 가능하게 하는 다양한 미리 제작된 아이템들을 제공하고 이들을 웹을 통해 추가 하거나 구매 할수 있도록 제공한다.

도 3 내지 도 5에는 본 발명의 일실시예에 따른 가상 강의실에서 가상 카메라별 배치 장면들을 나타내는 화면이 나타나 있다.

구체적으로, 도 3은 기본 개념의 조립 스튜디오 방식을 나타낸다, 가상 강의실의 천장, 벽, 책상들을 조립식으로 제작하는 강의실 저작도구 개념 및 조립 컴포넌트 별 위치 색상 크기 조정에 의한 다양한 스튜디오 제작을 나타는 것으로, 기존 특허 기술에 Shader기능의 색상을 각 구성품에 대해 택스튜어 변경 및 색상을 조절할수 있게 하는 기능을 주어 다양한 인테리어를 각 사용자가 손쉽게 만들 수 있게 하는 기능을 제공한다.

이때 가상 강의실의 벽, 바닥, 및 데코레이션 3D 물체들을 자유로이 배치 및 크기, 회전이 가능하게 함은 물로 사이즈조절이 되게 하여 자유롭게 배치 하게 하고, 특별히 이들의 색상들이 각 배경이나 3D 물체의 해당 표면들이 HSV 칼라 발기, 또는 RGB 색상 조정이 되어 느낌에 맞게 디자인을 할수 있는 기능을 제공하여 다른 프로그램 없이 이들의 조정을 하게 하는 Shader기능을 제공한다.

도 4는 발명의 장치의 가상 강의실에서 12개의 가상 카메라 별로 배치한 장면들의 예로 왼쪽은 가상전자 칠판 1을 중심으로 중심은 두 번째, 우측은 가상카메라 3을 배치하고 위로는 강사위주 아래로는 가상 전자 칠판이 커지게 하는 방식으로 배치하여 직관적으로 장면들의 스위칭이 어는 곳에 배치 하는 가를 쉽게 인식하게 하여 직관적으로 버튼이나 마우스 동작으로 일들을 스위칭이 필요시 할수 있게 하여 인공지능기능의 자동화면 전환과 더불어 직관적 스위칭이 포인터인 마우스의 버튼으로 조정이 가능하게 하는 기능을 함께 제공한다.

환언하면, 도 4는 발명의 장치에서 12개의 가상 카메라별로 장면들을 바둑판식 스위쳐 버튼형태로 표현하게 한 장면들로 발명의 장치에서 이들의 버튼을 바둑판식으로 하여 위아래로는 강사크기가 크고 작게 또 강사가 크면 가상 칠판이 상대적으로 작고 크게 해서 강사를 볼 때는 강사가, 강의 자료가 클 ?는 강의 자료가 커지도록 하는 방식과 촤측에서의 가상 전자 칠판 1이 우측에서는 3번이 중앙에는 2번의 가상 전자 칠판이 보여 주도록 하는 방식으로 장면을 배치할수 있게 하여 강사가 현장면에서 다른 장면으로 필요시 바로 이동이 가능하게 마우스 버튼이나 키보드 버튼으로 직관적 장면 선택이 가능하게 한다. 이 방식은 운영자 없이 장면 선택을 매뉴얼로 하는 경의 강의중 특별한 장치 운영 습득이 없이 가능하게 하는 중요한 기능이다.

즉, 12개의장면을 이러한 방식으로 배치한 발명의장치의 스위치 버튼의 장면을 발명의 장치에 자동으로 장면 세팅이 되면 버튼의 장면이 보여 지도록 하는 기능으로 일반 스위처의 프리부 장면을 보고 스위칭하는 일반 장비와 달리 직관적으로 버튼을 보면 장면을 예축하여 프리부 없이 바로 출력 장면을 보여 주게 하는 방식이 제공된다.

도 5에는 해당 가상 카메라 장면의 출력 화면에 강사가 마우스/포인터를 움직여 해당 가상 전자 칠판을 크게 보이도록 하는 해당 가상 카메라로 자동이동이 되게 하는 기능의 마우스 모션 과 위치를 감지하는 기능을 나타낸다.

구체적으로, 각 가상 카메라의 장면들을 강사의 포인터, 자세, 칠판 등에 대한 사용을 인식하여 자동 스위칭이 되게 하는 인공 지능의 기능으로 먼저 강의자의 강의 중 포인터 또는 마우스의 움직임을 감지하여 해당 장면을 보이게 하는 기능을 보여 주고 있다.

강사가 칠판을 쓰는 경우 강사의 자세 - 쓰기 위한 자세와 손의 위치, 제스쳐를 영상으로 감지하고 얼굴의 바라보는 얼굴 방향인식을 통해 칠판을 찍은 카메라가 칠판의 쓰는 장면을 트랙하고 이것을 강사와 칠판 카메라를 합성해 보여 주는 장면을 보여 주도록 하게 되는 인공 지능의 기능을 제공한다.

각 가상 모니터를 지적하거나 강사가 강의실서 프로젝터 또는 노트북, 또는 실물 화상기를 조작하는 경우 이들을 인식해 자동으로 해당 가상 전자 칠판의 장면이 크게 보이게 하는 가상 카메라 신을 보여 주도록 하는 인공 지능 기능의 장면 전환이 되게 하는 기능의 마우스 포인터 움직임을 감지하고 마우스 포인터가 해당 자료에 화면을 가르킬 때 해당 장면이 크게 보이게 하는 자동 장면 전환과, 포인터가 움직이지 않고 설명이 계속 될 때 다시 원위치를 하도록 하는 장면 전환이 되게 하는 강사 자세가 학생을 볼 때, 마우스 포인터가 안움직일 때 장면 변화 세팅을 통해 다양한 장면으로 자동 이동이 되게 할 수 있다.

다양한 인공 지능 기능이 제공되어있는 경우에도 강사가 특별한 장면을 보여 주고 싶은 경우 초보자도 마음껏 장면 전환을 복잡하지 않게 마우스 만으로 원하는 장면을 손쉽게 기억하고 작동을 하도록 마우스 클릭의 신 변경기능을 제공한다. 이렇게 세팅 시에도 필요한 다른 장면을 직관적으로 변경하기 위해서 특별히 작동 메뉴를 보지 않고 출력 화면만 보고 해당 장면을 도 3과 같이 배치한 장면 속에서 마우스 휠, 버튼을 누르거나 키보드에서 화살표 방향을 이용해 출력 장면만을 보며 강사가 직접 작동이 가능하게 하는 마우스, 또는 키보드 버튼으로 작동시킬 수 있다.

도 6에는 본 발명의 일실시예에 따른 방향키를 이용한 화면 전환 및 화면 강조 방식을 나타내는 화면이 도시되어 있다.

구체적으로, 인공지능 스위칭 중에도 강사가 수동으로 필요한 장면을 직관적으로 판단하여 쉽게 포인터로 사용하는 마우스나 키보드의 방향키/게임시 사용하는 왼쪽 손사용시의 키버튼 배열을 이용하여 현재 장면을 보고 다른 장면을 바두판식의 배열로 가상 카메라의 위치를 배치하여 왼쪽으로 오른 쪽으로 가상 전자 칠판을 강조하는 장면들과, 위아래로 강사 크기, 가상 칠판 크기를 조정하게 배치하는 방식의 바둑판식 스위처 버튼의배치 방식과 이를 마우스 버튼 또는 화살표버튼 만으로 장면 전환을 할 수 있다.

이 방식의 수동 전환 기능은 이전 특허의 기능을 함께 활용하여 자동시에도 수동 스위칭을 마우스클릭 하나 만으로도 가능하게 하는 기능이다. 본 발명에서는 이들의 장면전환시 해당 장면의 가상 전자 칠판의 내용 즉 외부 입력, 동영상 리스트, 사진들을 미리 순서대로 정의해 놓게 하여 이들이 다음 또는 이전의 내용으로 스위칭이 되도록 하는 것을 마우스의 중앙 휠을 눌러 회전하게 하거나 특수 F1, F2 키를 이용해 하는 방식으로 강의중 자동으로 해당 전자 칠판의 내용을 수정할수 있게 하는 기능을 첨가하고, 이 기능의 장면 스위칭을 음성 또는 제스쳐, 강사가 바라보는 학생으로 가상 전자 칠판 내용이 자동으로 보여 지게 하는 인공지능 방식으로 제공되게 된다.

도 7에는 가상 전자 칠판의 출력이 강조되는 가상 카메라 장면이 선택되어 보일 때 해당 가상 전자 칠판에 보여줄 외부 입력 또는 영상등의 자료 내용은 인공지능에서 강사의 말이나 제스쳐의 방향/포인터 움직임으로 자동으로 스위칭이 되게 하며, 필요시 강사가 장면 전환을 마우스 휠을 눌러 변경하거나 Function키를 써서 스위칭이 가능하도록 메뉴 스크린을 보지 않아도 장면 전환이 가능하게 설계 되어져 장면 전환은 물론 해당 가상 전자 칠판의 내용도 변경이 가능하게 인공지능 또는 포인터 버튼 즉 마우스에 의해 스위칭이 되게 하는 것이 제공된다.

가상 카메라의 수는 필요시 3개, 또는 4개, 8개, 12개 등 다양하게 사용하여 필요한 버튼을 만들어 이를 도 4의 좌우 위아래 식으로 배치하여 이들의 배치가 가상 강의실에서 가상 카메라가 바둑판식으로 배치 한것처럼 인식하게 하여 배치 장면을 예측할수 있게 하는 바둑판식 가상 카메라 위치와 이를 스위처 믹서의 버튼으로 배치 하는 방식은 강의자가 장비를 몰라도 메뉴를 직접 작동이 필요시 수동으로 할수 있게 하는 기능으로 매우 중요하다.

또한 이들의 각 가상 카메라의 스위칭시 해당 장면에 가상 전자 칠판들이 자동으로 배치 되도록 하는 편집이 가능하도록 제공하여 이들 가장 카메라 위치, 해당 가상 카메라에 대한 가상 전자 칠판들의 배치를 하도록 하는 각 가상 카메라별 장면인 Key프레임을 세팅하면 각 가상카메라 장면 즉 각각의 키프레임이 스위칭만이 아닌 애니메이션으로 가상 카메라 장면전환의 가상 카메라 이동 트랙이 자동 생성이 되도록 다양한 속도 및 트랙이 생성이 되게 하고, 그때 해당 가상 전자 칠판들도 애니메이션 시간, 트랙을 자동으로 생성이 되게 하여 장면 전환시 서서히 보아야 할 가상 칠판 또는 강사의 얼굴이 커지고 작아지게 되는 애니메이션을 통해 학생들이 장면 전환시 서서히 보아야 할 장면에 집중을 하도록 하는 기능이 매우 중요하다.

또한 발명의 장치에서는 외부 발표 자료로 보이는 2D 영상, PPT들만이 아닌 실시간 3D애니메이션을 실행하여 가상의 실험이나 공간으로 이동하여 보여 주게 하는 기능을 제공하는 실시간 인터렉티브 3D 애니메이션 물체를 보여 줄수 있게 하는 3D물체의 데이터를 불러 들일수 있는 기능으로 이들을 각 장면에 배치해 보여 주게 하는 기능을 가능하게 하여 실제 실험을 하는데 물리적 제약, 즉 크기, 무게 등을 극복하여 가상으로 실시간으로 3D 물체나 애니메이션을 보여 주는 기능을 제공하는 것이 중요한 가상/또는 증강 현실의 프리젠테이션이 되는 방식이 되게 된다. 이를 위해 3D Max나 Maya등의 3D편집기에서 애니메이션 물체의 데이터를 읽어 들여 이를 가상 강의실에 배치 할 수 있는 기능을 제공하게 한다(도 8 참조).

도 8에는 3D 물체를 보여 주며 애니메이션 장면/가상 인터렉티브 실험을 보여 주는 방식의 AR/VR 프리젠테이션 장면 및 가상 카메라 별 12개의 장면에 다르게 보여 주어 효과적을 프리젠테이션을 하는 장면이 나타나 있다.

이러한 3D 가상 물체를 보여 주는 방식은 그동안의 강의 녹화 나 강의 장치에 불가능 한 부분을 3D 가상 교실 강의 장치에서 가능하게 하는 새로운 강의 장치가 가능하게 된다.

이 방식은 도 4에 나타난 바와 같이, 12개 장면에 강사화면, 가상 전자 칠판 모니터 3개를 사용하는 경우 가상 카메라 트랙 12개에서 각각 11개 다른 가상카메라 위치로 이동하는 카메라 트랙 132가지 또 각 가상 전자 칠판이 3개 사용되고, 가상 3D object가 1개 사용되는 경우 총 트랙킹 패스가 총 132x 6 개가 되어 792개의 패스가 자동으로 생성이 되게 되어 이들이 자동으로 발생이 되지 않으면 디자이너들이 만들어 넣을 수 없는 양이 되는 것으로 본 발병의 장치에서는 각 장면들에 가상 카레마 위치, 가상 전자 칠판들의 위치, 그리고 가상 3D 물체를 치 하면 이들이 자동으로 애니메이션이 생성되게 하는 기능을 제공한다.

이러한 방식의 장치가 강의실에 배치 되어 각 가상 카메라 장면이 보여 지는 방식으로 출력되는 화면을 프로젝터를 통해 보여 지게 하는 강의실의 장면이 도 5에 나타나 있다.

도 9에는 발명의 장치에서 실시간으로 강사와 강의 자료를 가상 또는 증강 현실기술로 합성하여 다양한 장면 즉 강사가 크게 보일 때는 강사가 자료가 크게 보일 때는 자료가 보이게 하는 방식의 장면을 가상교실에 가상의 카메라들을 다양하게 배치하여 이들을 인공지능 기능 즉 강사의 제스쳐, 음성, 포인터 등을 판단해 마치 학생이 선생님과 자료를 스스로 판단해 보듯 발명의 장치가 이를 판단해 화면에 멋진 가상 교실에서 강의가 이루어 지게 보이도록 하는 장면을 보여 주는 방식으로 수업이 되게 하는 방법으로 이 합성 화면이 녹화, 전송이 되어 강의실에서는 물론 원격지에서도 수업을 현장 강의실과 같게 수업이 될 수 있게 하는 방식이 되게 된다.

도 10에는 강사의 제스처, 강사의 자세, 처다보는 각도, 음성인식으로 해당 프로젝터나 칠판을 보여 주려 하는 가상 전자 칠판 내용과 해당 장면이 자동으로 장면 전환이 되게 하는 인공지능의 기능으로 자세 인식 과 위치 인식을 영상 또는 외부 센서를 활용할수 있도록 하여 자동으로 장면전환이 되는 장면을 보여 주고 있다.

즉, 2개의 가상 전자 칠판을 이용해 크로마키 방식이 아닌 AR 방식으로 강사가 보이게 하는 부분 외의 바깥 부분을 타원으로 잘라내고 잘라내는 부분의 일정 부분을 투명처리를 점진적으로 시키고 이를 배경영상/이미지 및 가상 전자 칠판 화면들과 합성하는 AR 강의실 장면에 노트북 및 칠판 카메라를 보이는 장면의 예로 실제 강사의 카메라의 입력으로 강사 부분을 영역과 가상 전자 칠판 - 그래픽 프레임과, 노트북 입력을 합성하고 이를 크기 위치, 회전을 자유로이 시켜 배치하여 보여 주는 가상 카메라들에 다양하게 배치하여 보여 주는 장면의 전환 예를 나타내고 있다.

즉 강사가 프로젝터 화면을 쳐다 보고 말을 하는 경우 프로젝터에 보여 지는 노트북의 화면을 크게 하고, 상대적으로 강사의 비디오를 작게 하면서 배경에 AR 개념으로 배경 장면을 합성하여 보여 주게 하는 가상 카메라 장면이 출력 되고, 가상 전자 칠판에 노트북의 화면이 보여 주게 하는 스위칭전환이 자동으로 되게 한다, 강사가 다시 칠판에 가서 칠판에 판서를 하는 자세가 되는 경우 칠판 화면에 트랙킹 카메라가 해당 부분을 촬영하게 PTZ 제어를 통해 해당 카메라를 이동시키고 이 화면을 가상 전자 칠판에 보여 주면서 해당 가상 카메라 장면을 자동으로 보여 지게 하는 기술을 사용하게 한다.

이 발명의 방식을 교실에서 강사가 출력 화면을 교탁 위 또는 교탁에서 학생들을 바라 보는 방향으로 강사 카메라를 두게 되거나, 교실 뒤쪽에 강사 카메라를 배치하고 이 부분에 출력 화면을 보게 하여 강사가 강의시 이 출력 화면을 응시하며 강의를 하게 되면 강사의 눈이 항시 학생들을 처다 보듯 동시 교실 전체 학생들과 눈마춤이 되게 하는 동시 눈마춤 강의 방식이 되게 된다.

이 방식으로 강사가 강의실 뒤에서 앞의 프로젝터 화면을 보면서 강의를 하면 (도 11 참조) 강사가 이미 강의 화면의 아름다운 가상 강의실에 실제 보다 몇 배 큰 얼굴이 보여 지게 되고 일 장면을 보며 마우스 또는 포인터를 통해 강의를 하는 방식을 하게 되면 학생들이 보는 강의 장면을 강사도 보면서 수업을 하게 되고 강사 카메라가 프로젝터 상단에 배치 하면 자동으로 강사의 눈이 화면을 바라보고 이를 강사 카메라가 합성해 가상 교실 수업 장면을 프로젝터 화면에 보여 주게 되어 학생들은 모두 동시 눈마춤 수업으로 개인 지도를 받듣 몰입이 되게 되고 학생들이 보아야 할 장면이 자동으로 보여 주게 되어 일반 수업에서 학생들이 선생님을 보랴, 프로젝터 화면을 보랴 하지 않고 오직 출력 화면의 프로젝터 가상 교실 강의를 보게 되어 멋진 화면, 즉 가상 교실수업을 동시 눈마춤이 되는 수업이 되게 된다. 이때 교실 앞에 배치된 학생 카메라가 화면 옆 또는 가상 전자 칠판 중 1개에 보여 지게 하여 학생이 질문을 할때는 해당 장면으로 자동 전환이 되어 특정 질문 학생을 트랙킹 하게 하는 학생 트랙킹을 학생의 음성, 자세를 인식하여 자동으로 보여 지게 하여 수업에서 학생 얼굴을 보며 수업이 진행되게 되는 방식의 선생님이 학생들 제일 뒤에서 학생들과 같이 강의를 보며 강의를 하는 뒤에서 강의하는 방식의 수업 (Flipped Teaching )을 하게 하는 수업 방식이 되게 한다.

이러한 방식의 뒤에서 하는 수업으로 실제 강의실 수업에 강사가 학생들 앞에서 프로젝터 화면과 강사가 함께 공간을 차지 하지 않고 강의실 앞에는 큰 스크린의 강의실을 만들고 프로젝터시 조명을 낮게 해도 강사가 뒤에 있어 문제가 없게 되는 장점으로 강의실 수업이 몰입도가 극대화 되는 동시 눈마춤 가상 강의실 수업이 되게 된다.

이렇게 강의실 수업이 강사가 뒤에서 하도록 하는 수업은 실제 강의 동영상 수업이 되게 하고 이수업이 녹화 되면 수업후에 또는 다른 교실 수업에 동영상을 재생해도 되게 되며 특히 원격지 교실의 수업을 강사가 있는 현장 수업과 동일한 강의 화면을 보여 주며 하게 되므로 그동안 원격 수업이 현장 수업 보다 못한 기술의 문제를 완전하게 해결하는 원격 교실이 되게 된다.

도 11에 나타난 바와 같이, 뒤에서 강사가 발명의 방식의 가상 교실 화면을 보며 수업을 하는 방식의 강의실 뒤에서 강의 장면 및 학생들 및 원격지 교실을 보며 수업을 하는 Flipped Teaching방식 화면을 나타내고 있다.

이를 위해 발명의 장치에 양방향 인터렉티브 화상회의 기능을 연동해 출력 화면이 화상회의시 강사 카메라 역할을 하도록 화상회의 입력으로 본 발명의 장치의 합성화면이 설정되게 하는 출력 화면 카메라를 인식하도록 하는 출력 화면 카메라 드라이버 모드를 제공하여 어떠한 화상회의 또는 유튜브나 페이스북 같은 방송에서 직접 출력이 추가의 엔코더 장치 없이 수행이 되게 하는 기능이 제공되어 기존의 WebEx또는 ConnectPro같은 Webinar 프로그램, Skype, Zoom 과 같은 화상회의 프로그램을 동시 연동하도록 하는 기술을 제공하여 원격 강의 회의, 프리젠테이션 Webinar가 VR/AR기술의 가상 교실 방식으로 이루어 지게 하여 기존의 화면에 강사가 작은 모습과 강의 자료가 주가 되던 수업 방식들에 강사와 강의 자료가 합성된 가상 강의실 화면을 보면서 수업을 받게 되는 새로운 가상 기술의 원격 교실, Webinar, 프리젠테이션 방송이 되게 한다. 이 방식은 기존의 Tele-Presence 방식의 화상 회의 프리젠테이션 시스템을 함께 사용하게 하여 그동안 불가능한 TelePresentation시스템 즉 원격 프리젠테이션이 가능하게 한다.

도 12에는 발명의 장치를 기존의 화상회의(internet conference), 웹비나 (Webinar, Webconference) , TelePresence 회의시스템과 함께 사용하게 하여 원격지에서 눈마춤 강의가 바로 앞에서 강사가 와서 강의를 하듯 느껴지게 하는 원격 프리젠테이션 Tele-Presentation이 되게 하는 장면이 나타나 있다.

또, 도 13에서는 기존의 TelePresence 시스템에서 발표자, 발표자료를 보내 2개의 모니터로 보던 시스템에 발명의 장치로 발표자와 자료를 합성해 하나의 스크린으로 보내게 하는 방식의 텔레 프리젠테이션 시스템의 장면을 나타낸다.

이러한 TelePreseence 장치가 2개의 입력 즉 강사 카메라, 강사 노트북이 각각 원격지의 2개의 모니터에 보여 지게 되는 방식으로 본 발명의 장치에서 강사 카메라와 강사 노트북을 VR/AR 강의실 합성화면을 텔레 프레슨스 장치의 한 채널 즉 노트북 입력으로 보내고, 강사 카메라는 참석자들을 보여 주게 하여 원격지로 보내 주게 하는 방식으로 하여 양쪽의 강사, 참석자가 원격지에 보여 지게 하는 방식을 사용하게 한다.

출력 화면에 다수의 접속이 되는 경우 화상회의 출력을 비디오 월기술을 활용해 복수의 원격지 화면을 다양하게 보여 지게 하는 방식으로 Zoom등의 복수 환경과 발표자 확대 환경을 동시에 보여주게 하는 방식등을 사용해 새로운 Tele-Presentation Multi-conference 시스템이 가능하게 한다.

도 14에는 비디오 월을 이용한 멀티 화면구성을 통한 장면 활용 예를 나타내고 있다.

이렇게 여러 방식을 활용해 원격지 교실들을 연동해 수업을 하는 경우 기존의 강의실에 발명의 장치를 사용해 보내는 원격 중계 수업의 경우 원격지에서 현장 보다 더 몰입이 되도록 하는 효과적 수업이 가능하게 할수 있고 강의가 VR/AR방식의 발명의 장치 방식으로 녹화가 되므로 강의를 잘 이해 하지 못한 경우도 다시 볼수 있게 되어 강의가 실제 강의실 보다 못하지 않게 녹화가 되게 될 수 있게 된다.

본 발명에 따른 원격 가상 강의 시스템은 기존의 대형 강의실에서 프로젝터 스크린을 써서 강사가 작고 프로젝터 스크린이 큰 경우 스크린의 밝기로 실내 조명을 밝게 하지 못하여 강사가 어둡고 작아 보이지 않고 화면의 발표 자료만 키워 하는 대다수의 강의 실에서 사용하는 대형 강의실 강의 장치로 강사와 강의 자료를 효과적으로 대형 강의실에 보이는 장치로 사용이 가능하게 되며 동시에 이 강의를 원격지 강의실로 보내고 원격지의 카메라를 서로 교실에 보여 주게 하는 원격 대형 강의실 강의장치로서 기존의 강의 실의 문제점 및 대형강의실을 여러곳을 연동해 하는 수업기 가능하게 한다.

도 15에는 대형 강의실 강의의 문제점인 강사가 어둡고 작게 보이는 강의실에 강사와 강의 자료를 대형 스크린에 보이게 하고 이를 녹화 및 실시간 전송을 통해 다른 대형 강의실들과 동시 양방향 수업이 되게 하는 활용 개념도가 나타나 있다.

원격 수업시 양방향 질의 응답을 위해 서로 보는 화상 발표 시스템은 파워포인트 등의 노트북 화면으로 질문을 내고 이를 실기간으로 답변을 받아 이를 표로 보이게 하는 실시간 참석자 질의 응답 시스템과 연동하여 완벽한 원격 수업을 가능하게 하게 된다.

이 강의 장치는 가상 교실의 가상 카메라를 2개로 하여 StereoScopic이미지를 만들어 각 교실에 입체 3D 화면을 보는 입체 강의 장치로 하게 하는 사용하게 되고 특히 360화면의 HMD를 통해 가상 강의실 장면을 360화면으로 보내 보는 학생들이 자기 원하는 VR 화면에서 좌우 또는 앞뒤로 보는 장면을 조정하여 볼수 있게 하는 것이 지원되게 된다. 이때 실제 360화면을 화질이 좋게 하기 위해 본 발명의장치의 가상 교실의 3D데이터를 다운 시키고, 강의 자료와 강사 카메라 비디오를 전송시켜 이를 학생 HMD장치에서 실시간 렌더를 하도록 하는 프로그램을 각자 학생 HMD또는 컴퓨터와 HMD연동 방식을 으로 구현하게 하는 방식으로 몰입감을 극대화 할 수 있게 된다.

이 방식의 강의는 전 교실 및 인터넷 수강 학생, 원격 교실의 모든 학생들과 동시 눈마춤이 가능하게 하는 동시 눈마춤 강의 장치가 되게 하고, 또한 출력 화면이 가상 강의실의 아름다운 선생님 강의 장면이 되게 하고, 학생이 강사와 강의자료를 판단하여 보지 않아도 프로젝터 화면만 보면 필요한 장면을 볼수 있게 되어 기존의 강의실 수업을 더욱 몰입한 수업이 되게 하는 첨단 강의실이 되고 이 VR/AR 합성 화면의 강의가 실시간으로 녹화 되고, 자동으로 전세계 어느곳에서도 실시간으로 볼수 있게 전송이 되게 하여 원격지 수업을 볼수 있고, 다수의 강의실에 카메라는 통해 양방향 질의 응답이 되며, 실시간 응답 시스템을 적용하여 완벽한 양방향 수업이 가능하게 하는 첨단 VR/AR 교실 수업 시스템이 되어 그동안 미국으로 가서 수업을 들어야 하는 유학, 해외 컨퍼런스 공간을 모두 원격교실과 연동하여 수업, 컨퍼런스가 되어 질의 응답 , 실시간 문제 응답이 되게 하는 VR/AR 교실이 되게 한다.

이렇게 그 동안 수업은 교실을 가서 강의를 해야 했고 수업을 들어야 했던 그 동안의 강의/교실의 한계를 극복하여 더 이상 강의를 들으러 교실로, 강의실로, 컨퍼런스 장으로 가지 않아도 전세계 어느 곳에서도, 언제나 마치 현장에서 보는 것과 같이 또는 현장 보다 더 멋진 강의를 원격지에서 보고 들을 수 있게 하는 강의 장치가 되게 한다.

도 16에는 R 및 AR 강의실 발표 장치 운영 개념도가 도시되어 있다. 구체적으로, 강사 카메라의 크로마키 처리를 한 영상 및 외부 입력 카메라, 학생 트랙킹 카메라가 강사의 바라 보는 얼굴 방향 영상처리 각도와 강사 위치, 카메라 위치에 따른 학생 위치를 촬영하는 학생 트랙킹 카메라들이 합성 되어 강사가 학생들을 보고 설명을 할 때는 선생님이 크게 하고, 강사가 자료 화면을 볼? 해당 자료 화면을 함께 합성해서 보여 주게 된다.

AR 모드 강의 장면생성을 위해 강사의 카메라 출력에 크롭 잘라내기후 잘나내는 에지 부분을 프레임을 첨가하고 이들에 투명 효과 및 색상 변경 기능을 제공하여 화면을 배경과 합성하도록 하는 기능을 제공한다.

도 17에는 VR 강의실, AR 강의실 강의 장면과 AR강의실의 합성 화면제작에 강사 카메라의 타원형 크롭(잘라내기) 및 에지(크롭주변)에 투명도와 프레임 투명부분을 합성하는 방식의 배경과의 합성을 통해 AR스튜디오를 구현하는 장면이 나타나 있다.

도 18에는 AR 합성시 강사 카메라영상의 주변 잘라내기(타원형)와 잘라낸 경계면 Edge에 타원형의 프레임을 투명도 처리를 통해 은은하게 배경 가상 교실과 어울리게 처리한 AR 스튜디오 기법이 예시되어 있다. 강사 카메라의 강사 주변을 타원 잘라 내기후 edge부분의 테두리 프레임을 추가하도록 하고 이 부분의 투명도, 색상을 조정해 배경과 자연스럽게 보이게 하여 합성하는 AR 가상 교실 발표 장면을 나타낸다.

도 19에는 PPT 등의 슬라이드 노트를 프람프트 화면과 자막 스크롤로 지원하여 이를 보며 강의를 녹화하는 기능을 나타낸다. 구체적으로, 강사가 PPT 슬라이드를 넘기면 자동으로 슬라이드 노트가 자막과 프람프터 화면으로 나타나게 하고 이화면을 자막으로 하여 이를 읽어 가며 강의를 하는 장면(이 프람프터 화면을 출력 화면에 프람프터로 보여 지게 하는 기능 포함)을 나타낸다.

도 20에는 DIY 이러닝 이동식 조립형 스튜디오의 일예가 도시되어 있고, 도 21에는 이러한 이동식 조립형 스튜디오를 이용한 강의 중계/녹화/현장 VR/AR 스위처 환경- 노트북 이동식 시스템과 All in One 이동식 서버 구성도가 나타나 있으며, 도 22에는 화상회의, 유튜브, 페이스북 등 복수의 응용 프로그램을 동시에 사용하여 발명의 강의 합성 화면이 화상회의 프로그램이나 유투브 등의 방송에 추가의 장치 없이 사용이 되게 하는 가상 출력 화면 캡쳐 드라이버 기술이 일예로 나타나 있다.

이상, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (14)

1. (a) 강의 영상 합성을 위해 그래픽으로 VR 및 AR 방식으로 가상의 교실에 강사 및 강의 자료를 합성할 수 있도록 하는 2D 및 3D 그래픽의 가상 강의실을 구성하여 가상의 책상, 바닥, 칠판, 천장, 교실 장식품 중 적어도 하나를 출력할 수 있게 하는 가상교실 제작 및 선정단계;
   (b) 상기 가상 강의실에 선택적으로 위치, 회전 및 FoV(Field of View) 중 적어도 하나가 자유로이 정의되는 복수의 가상 카메라를 배치하여 복수의 가상 강의실 장면의 출력 화면들이 만들어지게 하는 복수의 가상 카메라들의 배치 기능을 제공하는 단계;
   (c) 상기 가상 카메라에 보여지는 상기 가상 강의실 장면에 실제 강사를 촬영한 영상에서 크로마키/Depth 방식으로 강사만을 추출을 하거나 AR 합성을 위한 강사 카메라의 크롭, 에지 프레임/투명도 처리 방식의 가장자리 처리를 통한 합성, 또는 강사의 얼굴인식등을 통해 강사 캐릭터를 실제 처럼 실시간으로 만들어 이들 강사 영상을 필요한 위치에 배치하여 해당 가상 카메라의 출력 화면에 필요한 크기 위치에 강사가 보여지게 하도록 강사영상을 배치할 수 있는 기능이 제공되어 상기 해당 가상 카메라를 통해 촬영되는 출력 화면이 시청자에게 보여 줄 장면에 강사가 필요한 크기로 필요한 위치에 보여지게 되도록 하는 단계;
   (d) 강사의 영상, 책상, 칠판 중 적어도 하나가 상기 가상 강의실 장면에 독립적으로 함께 보여 주어야 할 복수의 발표자료 영상/이미지들을 상기 가상 강의실에 복수의 가상 전자 칠판들이 각각 크기 위치를 자유로이 배치되도록 하여 상기 가상 카메라의 강사 영상과 가상 칠판들이 필요한 장면으로 해당 가상 카메라에서 보여지게 만들어 지도록 자유롭게 상기 가상 전자 칠판을 배치할 수 있게 하는 기능이 제공되는 단계;
   (e) 상기 복수의 가상 카메라의 설정된 장면들이 강의를 하면서 필요한 장면으로 선택되어 보여지는 출력 장면 전환 시 각 가상 카메라 위치로 카메라 트랙이 이동이 되는 시간 및 경로 중 적어도 하나 이상의 이동을 설정할 수 있게 하는 기능이 제공되는 과정으로, 상기 각 가상 카메라에 설정된 강사영상 배치 및 가상 전자 칠판들의 위치 크기가 카메라 이동과 동기 되어 각각의 트랙이 자동으로 생성이 되게 하여 이들 가상 카메라 변화 트랙 이동과 함께 각각의 강사영상 및 가상 전자 칠판이 함께 자연스러운 애니메이션으로 장면 전환이 되도록 하는 자동 또는 수동 트랙 발생 기능이 제공되는 단계; 및
   (f) 이들의 복수의 카메라들을 일반 방송 스위처의 버튼 처럼 가상 스위처 버튼으로 정의하여 바둑판식의 버튼 GUI로 배치하고 이들 버튼의 ICON을 해당 장면을 보여 주게 하는 Preview 버튼으로 정의하여 주게 하는 스위처 버튼 설정 과정을 통해 선택저으로 강사가 마우스 버튼만으로 GUI 스위칭 화면을 보지 않고도 장면 전환을 마우스 또는 포인터의 버튼 만으로 직관적 장면을 스위칭할 수 있도록 배치 하는 단계;
   (g) 상기 버튼 GUI 스위처 설정과 함께 각 가상 전자 칠판에 보여질 컨텐트 또는 외부 입력 카메라들을 설정하고 해당 가상 전자 칠판의 컨텐트를 용이하게 스위칭하여 보여 지게 하는 가상 전자 칠판 컨텐트 들의 스위칭 GUI 버튼 설정 단계; 및
   (h) 상기 복수의 가상 카메라의 배치된 GUI의 선택 스위칭 버튼을 강의 상황에 따라 누르는 방송 PD의 기능을 원격 또는 자동으로 스위칭이 되는 인공지능 PD 기능으로써, 강사의 제스쳐, 포인터, 소리, 언어, 음성 중 적어도 하나 이상의 인식 방식, 강사모션의 시각이 바라보는(Gazing) 방향 인식과 학생들의 질문 소리 및 방향인식을 인식하여 장면을 판단하는 인공지능 PD 기능에 의해 자동으로 다양한 장면 전환 및 가상 전자 칠판 컨텐츠 변환을 자동으로 수행하여 강의 장면을 실시간으로 출력할 수 있게 하는 기능을 제공하는 단계;를 포함하는 자동 장면 전환 기술을 이용하는 스마트-원격 강의 방법.
   
2. 제 1 항에 있어서,
   상기 단계 (d)에서, 상기 가상 전자 칠판에 출력되는 내용이 상기 복수의 카메라, 노트북, 동영상 리스트 및 그림 리스트 중 적어도 하나인 경우에 마우스 또는 포인터가 출력 화면상의 가상 전자 칠판을 지시하면 해당 전자 칠판의 내용 리스트에 올려놓은 외부 카메라, 영상들, 이미지들을 순서대로 스위칭할 수 있도록 해당 리스트를 미리 정의하고 상기 마우스 또는 포인터를 통해 다음 내용을 선택하여 스위처 메뉴를 보지 않고도 재생 리스트 제어가 각 해당 가상 전자 칠판 별로 수행할 수 있는 기능을 제공하고 이들 컨텐트의 변경 또는 PPT등 슬라이드를 변경할수 있는 단계;를 더 포함하는 것을 특징으로 하는 자동 가상 전자 칠판 선정에 의한 해당 가상 전자 칠판 컨텐트 장면을 마우스/포인터 컨트롤로 원터치 전환 기술을 이용하고, 이때 컨텐트 전환시 그려놓은 포인터의 그림들이 자동으로 지워지면서 해당 장면으로 장면 전환이 이루어지도록 하는 기능을 포함하는 스마트-원격 강의 방법.
   
3. 제 1 항에 있어서,
   상기 단계 (b)에서, 가상 강의실에서 가상 카메라에 보여 주는 강사와 가상 전자 칠판 외에 실시간 3D 렌더 기술을 이용하여 가상 물체애니메이션을 보여 줄 수 있도록 하는 3D 물체를 불러 들여 이를 자유로이 각 가상 카메라 장면에 크기 및 위치를 조정할수 있도록 배치하고 애니메이션 및 인터렉티브 제어가 되도록 하여 실시간 3D가상 실험 및 체험학습을 조이스틱(Joystic) 또는 키보드로 제어 할 수 있도록 하는 단계;를 더 포함하는 것을 특징으로 하는 스마트-원격 강의 방법.
   
4. 제 1 항에 있어서,
   상기 단계 (a)에서, 상기 가상 전자 칠판의 크기, 불필요한 부분의 크롭핑 조정과 더불어 가상 스크린을 곡면의 커브스크린으로 왜곡을 조정하도록 하는 상기 가상 전자 칠판을 3D 로 제작하여 각 가상 전자 칠판의 구부림의 정도를 조정할 수 있게 하여 몰입 가상 전자 칠판을 보여 지게 하는 기능을 제공하여 각 가상 카메라의 장면에 배치되도록 하는 기능과 이들 가상 전자 칠판의 프레임을 함께 크기 및 곡면이 될수 있도록 하고, 프레임 칼라 및 크기를 조절하게 하는 기능을 제공하는 단계;를 더 포함하는 것을 특징으로 하는 스마트-원격 강의 방법.
   
5. 제 1 항에 있어서,
   상기 가상 전자 칠판은 마우스 또는 포인터에 의해 마킹이 가능한 전자 펜 기능을 포함하되, 상기 전자 펜의 두께, 색상 및 투명도 중 적어도 하나가 제어되며 상기 펜 기능으로 그려놓은 부분이 전자 칠판 컨텐트가 변경 되거나 파워포인트 장면이 전환시 자동으로 지워 지도록 하는 기능이 제공되는 스마트-원격 강의 방법.
   
6. 제 1 항 또는 제 5 항에 있어서,
   자이로 기능이 탑재된 상기 마우스 또는 포인터를 사용하여 교실 및 발표장에서 PPT 파일을 사용하여 발표하는 경우에 PPT의 슬라이드 장면 전환시 각 슬라이드에 발표 내용을 써 놓는 슬라이드 노트의 내용이 발표 장치의 추가의 실제 모니터에 노트 내용이 큰 글씨로 보여 질수 있도록 글씨 크기 폰트 등을 정해 보여지게 하여 상기 슬라이드 노트 스크린을 방송 프람프터처럼 활용할수 있게 하고, 이를 강사가 보며 강의를 하도록 교탁에 배치하여 강사가 이를 보며 발표할 내용을 읽게 하여 강의나 발표를 할수 있게 하는 자동 프람프터 기능을 제공하고, 동시에 필요한 경우 슬라이드 노트가 자동으로 가상 카메라 출력 화면에 자막으로 제공되는 자막 기능을 제공하여 발표와 자막이 함께 출력되게 하는 기능을 포함하는 파워포인트 슬라이드 노트 자동 프람프터 및 자동자막 기능을 갖는 스마트-원격 강의 방법.
   
7. 제 1 항에 있어서,
   강사의 위치 및 얼굴 인식, 방향 인식, 제스쳐 인식 및 표정인식 중 적어도 하나를 통해 강사 위치, 자세 추적과 얼굴 회전 각도를 인식하는 카메라를 이용하여 강사가 보는 방향이 프로젝터 화면이면 프로젝터 화면이 가상 전자 칠판에 학생이면 해당 학생이 연동된 PTZ 카메라의 해당 학생을 선택하도록 움직이게 하여 가상 전자 칠판에 보여 지게 하면서 이를 강사와 가상 전자 칠판이 함께 보여 지게 하는 가상 카메라의 스위칭에 사용하고, 해당 가상 카메라에 자동으로 보여 지게 지능형 자동 가상 전자 칠판의 학생, 프로젝터, 혹은 칠판을 보여 주고 자동 추적을 하는 기능을 포함하고,
   상기 가상 카메라 장면 스위칭 및 카메라로부터 추출된 강사 안면 이미지 표정을 실시간으로 임의의 케릭터 혹은 실제 강사의 3d 이미지를 생성 시켜 강사 카메라 영상 대신 사용이 되게 하는 방식으로 강의 현장에 크로마키 없이도 강사 이미지를 생성해 VR방식으로 가상 강의실에 가상의 실제 같은 강사 캐릭터를 사용하는 기능을 포함하는 스마트-원격 강의 방법.
   
8. 제 1 항에 있어서,
   상기 전자 칠판 및 프로젝터 스크린이 동시에 사용되는 경우 강사의 위치 추적 외에 강사의 회전 각도 추적이 되는 핸드폰의 위치, 자세 및 모션 센서 신호와 이를 처리한 위치, 방향 및 모션의 신호를 무선 신호 전송을 통해 강사의 회전 각도, 움직이는 방향 및 위치에 따른 자동 장면, 즉 가상 카메라 및 가상 전자 칠판 내용이 전환되는 것을 특징으로 하는 스마트-원격 강의 방법.
   
9. 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 사용하여 강사가 강의실 앞에서 수업을 하는 방식이 아닌 강의실 뒤에 학생들과 함께 가상 카메라 방식의 합성 출력 화면에 보여 지는 강사와 강의 자료 합성 화면을 보면서 수업을 하는 강사가 강의실 교실 뒤에서 하는 수업 장치로 사용할 수 있게 하는 방식으로써, 강사가 학생들이 보는 출력 화면을 함께 응시하며 강의를 하므로서 출력 화면 부분에 강사 추적 카메라를 배치하게 한 강사의 시선이 강사 추적 카메라를 바라 보게 하여, 합성 화면에 항상 강사 영상이 정면을 보게 한 합성 강의 장면이 보여지게 되어, 이를 보는 교실의 학생들이 강사가 항시 학생들을 응시하며 강의를 하는 것처럼 되게 하는 스마트-원격 강의 방법.
   
10. 제 9 항에 있어서,
    상기 강사가 뒤에서 강의를 하는 경우 교실 앞에 더 많은 스크린 공간이 확보되어 추가의 공간에 추가의 화면 혹은 프로젝터 스크린을 장착하고 이곳에 복수의 원격지 교실의 학생들을 함께 보여 주고 강사와 학생들이 강사의 강의 합성 화면과, 원격지 학생들을 서로 보며 교실 수업을 하는 원격 동시 교실 수업 방식을 하게 하여 원격지도 강사의 수업 장면을 보면서 동시에 여러 교실의 학생들이 함께 보여 지는 수업을 하는 스마트-원격 강의 방법.
    
11. 제 1 항 있어서,
    강의 자료의 변경, 외부 입력 노트북의 PPT 파일의 가상 전자 칠판의 보여줄 자료들의 변경과 가상 카메라 장면의 스위칭 버튼 화면을 인터넷 연결이 가능한 스마트 장치의 앱스(application)로 제공하여 강의 현장의 네트웍은 물론 원격지 수업 교실에서서 자유로이 발표 자료 변경이나 가상 카메라 변경을 할수 있도록 제공하여 필요시 원격지에서 질문하는 학생이 필요한 장면의 가상 카메라 변경이나 ppt 슬라이드를 바꿀수 있도록 하는 기능을 제공하여 연동된 스마트 폰을 이용하여 원격지에서 제어할 수 있는 기능을 포함하는 스마트-원격 강의 방법.
    
12. 제 11 항에 있어서,
    상기 강사의 영상은 원격지에서의 카메라를 통해 수신되는 원격 카메라 영상을 사용하여 원격지에서 강사가 강사 비디오와 강의 노트북을 보내는 텔레 프레슨스 (Tele Precence) 시스템을 입력으로 받아 출력되는 것을 특징으로 하는 스마트-원격 강의 방법은 당연 하며, 강사가 본 발명의 장치에 오지 않고 화상 회의 등으로 자신의 영상을 발명의 장치로 전송하고 본 장치의 영상을 화상회의로 받아 보며 자신의 ppt 발표 자료를 원격으로 본 장치에 보내 사용하며 발표를 하는 원격 발표자 강의 장치로 클라우드 서비스가 가능하게 하는 스마트-원격 강의 방법.
    
13. 제 1 항에 있어서,
    상기 스마트-원격 강의 방법을 교실서 강의시 직접 강사가 손쉽게 강의가 되게 하는 전자 교탁 또는 전자 칠판내부에 탑재된 시스템으로 제공하고,
    필요시 크로마키 기능을 제공할 수 있도록 하여 강사와 발표 자료가 함께 보여지는 강의 합성 장면을 보여 지는 방식으로 강의를 하도록 하고, 실제 강의 장에 보여 지지 않는 일반 강의 방식을 하여도 이러한 방식을 자동 강의 녹화가 되게 하거나 원격 강의로 보여 지게 하는 스마트-원격 강의 방법.
    
14. 제 1 항에 따른 강의 방법을 이용하는 시스템을 포함하는 스마트-원격 강의 장치.

Images