KR20200043658A - Vr 발표 및 면접 훈련 시스템 - Google Patents
Vr 발표 및 면접 훈련 시스템 Download PDFInfo
- Publication number
- KR20200043658A KR20200043658A KR1020180124276A KR20180124276A KR20200043658A KR 20200043658 A KR20200043658 A KR 20200043658A KR 1020180124276 A KR1020180124276 A KR 1020180124276A KR 20180124276 A KR20180124276 A KR 20180124276A KR 20200043658 A KR20200043658 A KR 20200043658A
- Authority
- KR
- South Korea
- Prior art keywords
- presenter
- presentation
- interview
- face image
- face
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 71
- 238000004891 communication Methods 0.000 claims abstract description 22
- 210000003128 head Anatomy 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000004886 head movement Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000014509 gene expression Effects 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Tourism & Hospitality (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Cardiology (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Marketing (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Educational Technology (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 VR 발표 및 면접 훈련 시스템에 관한 것으로, 발표자에게 발표 및 면접 훈련 공간을 제공하는 훈련 부스와, 상기 훈련 부스와 통신망을 통해 연결되어 참관인이 접속하는 참관인 단말기를 포함하며; 상기 훈련 부스는 스피커와, 마이크와, 발표자가 착용 가능한 형태로 마련되고, VR 영상을 제공하는 VR 디스플레이부와, 발표자의 얼굴을 촬영하는 카메라와, 상기 카메라에 의해 촬영된 발표자의 얼굴 영상에 기초하여 발표자의 3D 얼굴 영상을 생성하는 얼굴 영상 생성부와, 상기 VR 디스플레이부를 통해 발표 및 면접 현장 상황에 대응하는 VR 영상을 제공하고, 상기 얼굴 영상 생성부에 의해 생성된 상기 3D 얼굴 영상이 적용된 발표자 아바타를 생성하여 상기 통신망을 통해 상기 참관인 단말기로 전송하고, 상기 스피커를 통해 입력되는 발표자의 음성을 상기 통신망을 통해 참관인 단말기로 전송하며, 상기 참관인 단말기로부터 상기 통신망을 통해 수신되는 참관인의 음성을 상기 스피커를 통해 출력하는 부스 제어부를 포함하는 것을 특징으로 한다. 이에 따라, 프리젠테이션, 연설, 면접 등과 같은 말하기 상황에서 발표자가 발표 등의 상황을 연습할 가상 공간을 제공하여 실제 발표나 면접 환경과 같은 긴장감 있는 환경을 제공하면서도, 원격지의 참관인이 발표자의 발표 및 면접 상황을 실제와 같이 느낄 수 있게 된다.
Description
본 발명은 VR 발표 및 면접 훈련 시스템에 관한 것으로, 보다 상세하게는 프리젠테이션, 연설, 면접 등과 같은 말하기 상황에서 발표자가 발표 등의 상황을 연습할 가상 공간을 제공하면서도 원격지의 참관인이 발표자의 발표 및 면접 상황을 실제와 같이 느낄 수 있는 VR 발표 및 면접 훈련 시스템에 관한 것이다.
최근 회의나 세미나 등에서 발표자가 워드프로세서나 프레젠테이션 프로그램 등이 탑재된 프레젠테이션 장치를 이용하여 다양한 전자 문서에 포함된 내용에 대해 발표를 수행하는 일이 많아지고 있다.
보통 회의나 세미나 등에서 발표 능력은 사업의 성패와도 관련이 되며, 이러한 프리젠테이션의 활용 영역이 넓어짐에 따라 최근에는 신입사원을 채용하는 채용시험에서 발표 능력을 평가하는 기업도 증가하고 있다.
그러나 종래에는 이러한 프리젠테이션이나 발표 또는 청중을 앞에 두고 연설하는 것에 대한 체계적인 교육이 이루어질 수 있는 기회가 많지 않았다.
관련된 종래 기술 중에 한국등록특허 제10-1204651호에는 '프리젠테이션 장치 및 프레젠테이션 장치의 발표시간 정보제공방법'이 있는데, 상기 선행기술의 경우에는 단순히 프리젠테이션을 위한 발표자료를 출력하면서 발표자가 발표의 진행시간을 확인할 수 있도록 하는 것이며, 이를 통해 사전에 발표 연습을 실시하는데는 한계가 있다.
아울러 별도의 훈련이 필요한 분야 중 면접 훈련도 최근 관심이 커지고 있다. 입시나 구직 등에서 면접 점수의 비중이 커짐에 따라서 다양한 질문에 대하여 대답을 하는 방법, 사람을 상대하는 방법 등에 대한 체계적인 훈련이 필요하지만 이러한 서비스 및 교육을 체계적으로 제공할 수 있는 곳이 한정되어 있기 때문에 많은 수험생이나 구직자들이 면접 준비에 어려움을 겪고 있다.
이에 본원 출원인은 한국공개특허공보 제10-2017-0128946호에서 가상현실을 이용한 '발표 및 면접 훈련 시스템'을 제안한 바 있다. 상기 한국공개특허공보에서는 프리젠테이션, 연설, 면접 등과 같은 말하기 상황을 연습할 수 있도록 실제 가상 공간을 시각화하고, 제스처나 음성 등을 평가하여 발표 능력을 향상시킬 수 있는 시스템을 제안하였다.
그러나, 본원 출원인의 상기 한국공개특허공보에 개시된 훈련 시스템은 데이터베이스에 저장되어 있는 정보에 기초하여 발표자의 발표 능력에 진단하는데 국한되어 있다. 그러나, 실제 발표나 면접 환경에서는 청중이나 면접관이 단순한 제스처나 목소리만을 보지 않고 발표자의 얼굴을 주로 바라보며 경청한다는 점에서 실제 상황을 정확히 구현하는데 에는 한계가 있다.
이에, 발표자와 참관인을 연결하는 화상 통화를 통한 훈련을 고려해 볼 수 있으나, 이는 단지 발표자에게 화상 통화 환경, 즉 대화 환경만을 제공할 뿐, 실제 발표나 면접과 같은 환경을 제공하지 못해 긴장감을 느끼지 못하는 문제점이 있다.
이에 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로써, 프리젠테이션, 연설, 면접 등과 같은 말하기 상황에서 발표자가 발표 등의 상황을 연습할 가상 공간을 제공하여 실제 발표나 면접 환경과 같은 긴장감 있는 환경을 제공하면서도, 원격지의 참관인이 발표자의 발표 및 면접 상황을 실제와 같이 느낄 수 있게 하는 VR 발표 및 면접 훈련 시스템을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, VR 발표 및 면접 훈련 시스템에 있어서, 발표자에게 발표 및 면접 훈련 공간을 제공하는 훈련 부스와, 상기 훈련 부스와 통신망을 통해 연결되어 참관인이 접속하는 참관인 단말기를 포함하며; 상기 훈련 부스는 스피커와, 마이크와, 발표자가 착용 가능한 형태로 마련되고, VR 영상을 제공하는 VR 디스플레이부와, 발표자의 얼굴을 촬영하는 카메라와, 상기 카메라에 의해 촬영된 발표자의 얼굴 영상에 기초하여 발표자의 3D 얼굴 영상을 생성하는 얼굴 영상 생성부와, 상기 VR 디스플레이부를 통해 발표 및 면접 현장 상황에 대응하는 VR 영상을 제공하고, 상기 얼굴 영상 생성부에 의해 생성된 상기 3D 얼굴 영상이 적용된 발표자 아바타를 생성하여 상기 통신망을 통해 상기 참관인 단말기로 전송하고, 상기 스피커를 통해 입력되는 발표자의 음성을 상기 통신망을 통해 참관인 단말기로 전송하며, 상기 참관인 단말기로부터 상기 통신망을 통해 수신되는 참관인의 음성을 상기 스피커를 통해 출력하는 부스 제어부를 포함하는 것을 특징으로 하는 VR 발표 및 면접 훈련 시스템에 의해서 달성된다.
여기서, 상기 얼굴 영상 생성부는 상기 카메라로부터 촬영된 얼굴 영상으로부터 발표자의 얼굴 영역을 추출하는 얼굴 인식부와, 상기 얼굴 인식부에 의해 추출된 얼굴 영역을 이용하여 상기 3D 얼굴 영상을 생성하는 3D 얼굴 모형 생성부와, 상기 3D 얼굴 영상 내의 눈, 코, 입 및 눈썹 중 적어도 하나에 대해 리깅(Rigging) 처리하여 상기 3D 얼굴 영상의 얼굴 표정을 처리하는 리깅 처리부와, 상기 스피커를 통해 수신되는 발표자의 음성을 분석하여, 상기 3D 얼굴 영상 내의 입에 대해 립싱크 처리하는 자동 립싱크 처리부를 포함할 수 있다.
또한, 상기 3D 얼굴 모형 생성부는 상기 얼굴 인식부에 의해 추출된 얼굴 영역의 색상을 감지하여, 상기 3D 얼굴 영상의 피부톤에 실시간 반영할 수 있다.
그리고, 상기 VR 디스플레이부에 설치되어 발표자의 머리 움직임을 감지하는 헤드 트래커와, 발표자의 손을 포함하는 모션을 감지하는 제스처 트래커를 더 포함하며; 상기 부스 제어부는 상기 헤드 트래커에 의해 감지된 머리의 움직임과, 상기 제스처 트래커에 의해 감지되는 모션을 상기 발표자 아바타에 반영할 수 있다.
그리고, 상기 부스 제어부는 상기 헤드 트래커에 의해 감지되는 발표자의 머리 움직임에 따른 발표자의 시선 방향에 기초하여 상기 VR 디스플레이부에 의해 표시되는 상기 VR 영상의 뷰포인트를 변경할 수 있다.
그리고, 발표자가 상기 VR 디스플레이부를 착용할 때 발표자의 피부에 접촉 가능한 위치에 설치되어, 발표자의 심박을 측정하는 심박 측정부를 더 포함하며; 상기 부스 제어부는 상기 심박 측정부에 의해 측정된 발표자의 심박에 기초하여 상기 발표자의 심리 상태에 대한 정보를 상기 통신망을 통해 상기 참관인 단말기로 전송할 수 있다.
상기 구성에 따라 본 발명에 따르면, 프리젠테이션, 연설, 면접 등과 같은 말하기 상황에서 발표자가 발표 등의 상황을 연습할 가상 공간을 제공하여 실제 발표나 면접 환경과 같은 긴장감 있는 환경을 제공하면서도, 원격지의 참관인이 발표자의 발표 및 면접 상황을 실제와 같이 느낄 수 있게 하는 VR 발표 및 면접 훈련 시스템이 제공된다.
도 1은 본 발명에 따른 VR 발표 및 면접 훈련 시스템의 구성을 나타낸 도면이고,
도 2 및 도 3은 본 발명에 따른 VR 발표 및 면접 훈련 시스템의 훈련 부스의 구성을 설명하기 위한 도면이다.
도 2 및 도 3은 본 발명에 따른 VR 발표 및 면접 훈련 시스템의 훈련 부스의 구성을 설명하기 위한 도면이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 따른 실시예에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 VR 발표 및 면접 훈련 시스템의 구성을 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 VR 발표 및 면접 훈련 시스템은 훈련 부스(100) 및 참관인 단말기를 포함한다.
훈련 부스(100)는 발표자에게 발표 및 면접 훈련 공간을 제공한다. 본 발명에서는 VR 발표 및 면접 훈련 시스템을 이용하는 사용자를 '발표자'로 정의하여 설명하고 있으나, 면접자, 연설자 등 본 발명에 따른 VR 발표 및 면접 훈련 시스템을 사용하는 사용자를 모두 포함하는 개념으로 사용된다.
참관인 단말기는 훈련 부스(100)와 통신망을 통해 연결되어 참관인이 접속한다. 여기서, '참관인'은 VR 발표 및 면접 훈련 시스템에서 발표자의 훈련 과정을 참관하고, 필요한 경우, 예를 들어 면접 훈련인 경우 질문을 하거나, 전체적인 훈련 과정에서 피드백을 제공하게 된다.
여기서, 훈련 부스(100)와 참관인 단말기는 서로 원격지에 위치할 수 있으며, 이를 통해 전문가가 본 발명에 따른 VR 발표 및 면접 훈련 시스템에 참관인 단말기를 통해 접속하고 훈련 부스(100)가 마련된 훈련 장소에서 발표자의 훈련 과정을 모니터링 하도록 마련될 수 있다.
참관인 단말기는 노트북이나 데스크탑과 같은 컴퓨터나, 스마트폰 형태로 구현될 수 있으며, 훈련 부스(100)와 접속하기 위한 프로그램, 앱 등이 설치되어 본 발명에 따른 VR 발표 및 면접 훈련 시스템의 참관인으로 접속할 수 있다.
이하에서는, 도 2 및 도 3을 참조하여 본 발명에 따른 VR 발표 및 면접 훈련 시스템의 훈련 부스(100)의 구성에 대해 상세히 설명한다.
훈련 부스(100)는 도 1 및 도 2에 도시된 바와 같이, 발표자가 출입 가능한 부스 형태로 마련되어, 훈련을 원하는 발표자가 부스 안에 들어가서 훈련을 진행하게 된다.
도 2 및 도 3을 참조하여 설명하면, 본 발명에 따른 훈련 부스(100)는 스피커(182), 마이크(181), VR 디스플레이부(130), 카메라(120), 얼굴 영상 생성부(140) 및 부스 제어부(110)를 포함한다.
스피커(182)는 훈련 과정에 필요한 설명이나, 참관인 단말기로부터 전송되는 음성, 예를 들어 면접 훈련일 경우 면접관으로 참관한 참관인의 질문 등을 출력하게 된다. 마이크(181)는 발표자의 발표자의 음성을 입력받고, 제어부가 통신망을 통해 참곤인 단말기로 전송하게 된다. 본 발명에서는 도 2에 도시된 바와 같이, 마이크(181) 및 스피커(182)가 헤드셋(180) 형태로 마련되는 것을 예로 하는데 이에 국한되지 않음은 물론이다. 예를 들어, 마이크(181)와 스피커(182)가 VR 디스플레이부(130)를 구성하는 HMD와 통합된 형태로 마련될 수 있음은 물론이다.
VR 디스플레이부(130)는, 도 2에 도시된 바와 같이, 발표자가 착용 가능한 형태로 마련되고, VR 영상을 제공한다. 여기서, VR 영상은 발표자의 훈련 내용에 따라 다양한 형태로 마련되는데, 예들 들어 프리젠테이션 훈련의 경우 회의실과 같은 공간을 표현한 VR 영상이 표시되고, 면접 훈련의 경우 전방에 다수의 면접관이 앉아있는 면접 공간을 표현한 VR 영상이 표시될 수 있다.
카메라(120)는 훈련 부스(100) 내부의 전방 측에 설치되어 발표자의 얼굴을 촬영한다. 본 발명에서는 후술할 바와 발표자의 얼굴 표정의 변화를 실시간으로 트래킹하기 위해 동영상 촬영이나 연속 촬영으로 발표자의 얼굴을 촬영하는 것을 예로 한다.
얼굴 영상 생성부(140)는 카메라(120)에 의해 촬영된 발표자의 얼굴 영상에 기초하여 발표자의 3D 얼굴 영상을 생성하는데, 이에 대한 상세한 설명은 후술한다.
부스 제어부(110)는 훈련 부스(100)의 전체 기능을 제어하며, 참관인 단말기과 통신 모듈(170)을 통해 통신한다. 본 발명에서는 부스 제어부(110)가, 도 2에 도시된 컴퓨터에 설치되는 것을 예로 하며, 상술한 얼굴 영상 생성부(140)도 컴퓨터에 설치되는 프로그램 형태를 갖는 것을 예로 한다.
보다 구체적으로 설명하면, 부스 제어부(110)는 VR 디스플레이부(130)를 통해 발표 및 면접 현장 상황에 대응하는 VR 영상을 제공한다. 발표자가 자신이 훈련 하고자 하는 상황, 예를 들어, 프리젠테이션, 강의, 면접 등의 상황 중 어느 하나를 보조 디스플레이부(183)에 표시된 선택 메뉴를 통해 선택하면, 해당 상황에 맞는 기 저장된 VR 영상이 VR 디스플레이부(130)에 표시되도록 VR 디스플레이부(130)를 제어한다.
그리고, 부스 제어부(110)는 얼굴 영상 생성부(140)에 의해 생성된 3D 얼굴 영상이 적용된 발표자 아바타를 생성하고, 통신망을 통해 참관인 단말기로 전송한다. 이를 통해, 참관인은 발표자의 얼굴이 반영된 발표자 아바타를 참관인 단말기를 통해 보면서 발표 또는 면접을 참관하게 된다.
그리고, 부스 제어부(110)는 스피커(182)를 통해 입력되는 발표자의 음성을 통신망을 통해 참관인 단말기로 전송하고, 참관인 단말기로부터 통신망을 통해 수신되는 참관인의 음성을 스피커(182)를 통해 출력한다.
상기와 같은 구성을 통해, 발표자는 VR 영상을 통해 실제 발표나 면접 현장을 생생하게 느끼면서 발표나 면접을 진행할 수 있게 되며, 참관인은 발표자의 얼굴 인식에 기반한 발표자 아바타를 보면서 실제 현장에서 발표나 면접을 진행하는 것 같은 현장감을 느끼며 참관이 가능하게 된다.
이하에서는 도 3을 참조하여 본 발명에 따른 얼굴 영상 생성부(140)의 구체적인 예에 대해 설명한다.
본 발명에 따른 얼굴 영상 생성부(140)는 얼굴 인식부(141), 3D 얼굴 모형 생성부(142), 리깅 처리부(143) 및 자동 립싱크 처리부(144)를 포함할 수 있다.
얼굴 인식부(141)는 카메라(120)로부터 촬영된 얼굴 영상으로부터 발표자의 얼굴 영상을 추출한다. 그리고, 3D 얼굴 모형 생성부(142)는 얼굴 인식부(141)에 의해 추출된 얼굴 영역을 이용하여 3D 얼굴 영상을 생성한다. 여기서, 본 발명에서는 3D 얼굴 영상의 생성을 위해 카메라(120)는 스테레오 카메라(120) 형태로 마련될 수 있음은 물론이다.
이 때, 3D 얼굴 모형 생성부(142)는 얼굴 인식부(141)에 의해 추출된 얼굴 영역의 색상을 감지하여, 3D 얼굴 영상의 피부톤에 이를 실시간으로 반영하도록 마련됨으로써, 발표자가 긴장하는 등의 원인으로 인해 얼굴색이 붉어지는 상태를 발표자 아바타에 실시간으로 반영함으로써, 참관인이 현재 발표자의 얼굴 상태를 보다 현장감있게 확인 가능하게 된다.
리깅 처리부(143)는 3D 얼굴 영상 내의 눈, 코, 입 및 눈썹 중 적어도 하나에 대해 리깅(Rigging) 처리하여 3D 얼굴 영상의 얼굴 표정을 처리하게 된다. 영상 내 얼굴에 대한 리깅(Rigging) 처리는 기 공지된 기술이 적용되는 바, 그 상세한 설명은 생략한다.
또한, 자동 립싱크 처리부(144)는 스피커(182)를 통해 수신되는 발표자의 음성을 분석하여, 3D 얼굴 영상 내의 입에 대한 립싱크 처리를 수행한다.
상기와 같은 구성을 통해, 참관인에게 표시되는 발표자 아바타의 얼굴색, 표정, 입 움직임은 현재 발표자의 얼굴을 보다 정확히 반영해줌으로써, 참관인이 직접 발표자와 대면하여 참관하는 것과 거의 동일한 효과를 제공할 수 있게 된다.
한편, 본 발명에 따른 훈련 부스(100)는, 도 2 및 도 3에 도시된 바와 같이, 헤드 트래커(150)오 제스처 트래커(160)를 더 포함할 수 있다.
헤드 크래커는 VR 디스플레이부(130)에 설치도어 발표자의 머리 움직임을 감지한다. 그리고, 제스처 트래커(160)는 발표자의 손을 포함하는 모션을 감지한다. 이 때, 부스 제어부(110)는 헤드 트래커(150)에 의해 감지된 머리의 움직임과, 제스처 트래커(160)에 의해 감지되는 모션을 발표자 아바타에 반영함으로써, 상술한 바와 같이, 얼굴의 표정, 얼굴의 움직임, 손 등의 제스쳐가 모두 발표자 아바타에 반영되어 보다 더 현장감을 높일 수 있게 된다.
여기서, 부스 제어부(110)는 헤드 트래커(150)에 의해 감지되는 발표자의 머리 움직임에 따른 발표자의 시선 방향에 기초하여, VR 디스플레이부(130)에 의해 표시되는 VR 영상의 뷰포인트를 변경할 수 있다. 이에 따라, 발표자는 자신의 시선의 움직임에 따라 면접 장소나 프리젠테이션 장소 내부를 바라보는 시야가 바뀌는 것을 실제로 느낄 수 있게 된다.
한편, 본 발명에 따른 훈련 부스(100)는, 도 3에 도시된 바와 같이, 심박 측정부(190)를 포함할 수 있다.
심박 측정부(190)는 발표자가 VR 디스플레이부(130)를 착용할 때 발표자의 피부에 접촉 가능한 위치에 설치되어, 발표자의 심박을 측정한다. 여기서, 부스 제어부(110)는 심박 측정부(190)에 의해 측정된 발표자의 심박에 기초하여, 발표자의 심리 상태에 대한 정보를 통신망을 통해 참관인 단말기로 전송할 수 있다. 이에 따라, 참관인은 현재 발표자가 어느 정도 긴장하고 있는지와 같은 심리 상태를 확인할 수 있게 된다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 훈련 부스 110 : 부스 제어부
120 : 카메라 130 : VR 디스플레이부
140 : 얼굴 영상 생성부 141 : 얼굴 인식부
142 : 3D 얼굴 모형 생성부 143 : 리깅 처리부
144 : 자동 립싱크 처리부 150 : 헤드 트래커
160 : 제스처 트래커 170 : 통신 모듈
180 : 헤드셋 181 : 마이크
182 : 스피커 183 : 보조 디스플레이부
190 : 심박 측정부
120 : 카메라 130 : VR 디스플레이부
140 : 얼굴 영상 생성부 141 : 얼굴 인식부
142 : 3D 얼굴 모형 생성부 143 : 리깅 처리부
144 : 자동 립싱크 처리부 150 : 헤드 트래커
160 : 제스처 트래커 170 : 통신 모듈
180 : 헤드셋 181 : 마이크
182 : 스피커 183 : 보조 디스플레이부
190 : 심박 측정부
Claims (6)
- VR 발표 및 면접 훈련 시스템에 있어서,
발표자에게 발표 및 면접 훈련 공간을 제공하는 훈련 부스와,
상기 훈련 부스와 통신망을 통해 연결되어 참관인이 접속하는 참관인 단말기를 포함하며;
상기 훈련 부스는
스피커와,
마이크와,
발표자가 착용 가능한 형태로 마련되고, VR 영상을 제공하는 VR 디스플레이부와,
발표자의 얼굴을 촬영하는 카메라와,
상기 카메라에 의해 촬영된 발표자의 얼굴 영상에 기초하여 발표자의 3D 얼굴 영상을 생성하는 얼굴 영상 생성부와,
상기 VR 디스플레이부를 통해 발표 및 면접 현장 상황에 대응하는 VR 영상을 제공하고, 상기 얼굴 영상 생성부에 의해 생성된 상기 3D 얼굴 영상이 적용된 발표자 아바타를 생성하여 상기 통신망을 통해 상기 참관인 단말기로 전송하고, 상기 스피커를 통해 입력되는 발표자의 음성을 상기 통신망을 통해 참관인 단말기로 전송하며, 상기 참관인 단말기로부터 상기 통신망을 통해 수신되는 참관인의 음성을 상기 스피커를 통해 출력하는 부스 제어부를 포함하는 것을 특징으로 하는 VR 발표 및 면접 훈련 시스템.
- 제1항에 있어서,
상기 얼굴 영상 생성부는
상기 카메라로부터 촬영된 얼굴 영상으로부터 발표자의 얼굴 영역을 추출하는 얼굴 인식부와,
상기 얼굴 인식부에 의해 추출된 얼굴 영역을 이용하여 상기 3D 얼굴 영상을 생성하는 3D 얼굴 모형 생성부와,
상기 3D 얼굴 영상 내의 눈, 코, 입 및 눈썹 중 적어도 하나에 대해 리깅(Rigging) 처리하여 상기 3D 얼굴 영상의 얼굴 표정을 처리하는 리깅 처리부와,
상기 스피커를 통해 수신되는 발표자의 음성을 분석하여, 상기 3D 얼굴 영상 내의 입에 대해 립싱크 처리하는 자동 립싱크 처리부를 포함하는 것을 특징으로 하는 VR 발표 및 면접 훈련 시스템.
- 제2항에 있어서,
상기 3D 얼굴 모형 생성부는 상기 얼굴 인식부에 의해 추출된 얼굴 영역의 색상을 감지하여, 상기 3D 얼굴 영상의 피부톤에 실시간 반영하는 것을 특징으로 하는 VR 발표 및 면접 훈련 시스템.
- 제2항에 있어서,
상기 VR 디스플레이부에 설치되어 발표자의 머리 움직임을 감지하는 헤드 트래커와,
발표자의 손을 포함하는 모션을 감지하는 제스처 트래커를 더 포함하며;
상기 부스 제어부는 상기 헤드 트래커에 의해 감지된 머리의 움직임과, 상기 제스처 트래커에 의해 감지되는 모션을 상기 발표자 아바타에 반영하는 것을 특징으로 하는 VR 발표 및 면접 훈련 시스템.
- 제2항에 있어서,
상기 부스 제어부는 상기 헤드 트래커에 의해 감지되는 발표자의 머리 움직임에 따른 발표자의 시선 방향에 기초하여 상기 VR 디스플레이부에 의해 표시되는 상기 VR 영상의 뷰포인트를 변경하는 것을 특징으로 하는 VR 발표 및 면접 훈련 시스템.
- 제2항에 있어서,
발표자가 상기 VR 디스플레이부를 착용할 때 발표자의 피부에 접촉 가능한 위치에 설치되어, 발표자의 심박을 측정하는 심박 측정부를 더 포함하며;
상기 부스 제어부는 상기 심박 측정부에 의해 측정된 발표자의 심박에 기초하여 상기 발표자의 심리 상태에 대한 정보를 상기 통신망을 통해 상기 참관인 단말기로 전송하는 것을 특징으로 하는 VR 발표 및 면접 훈련 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180124276A KR20200043658A (ko) | 2018-10-18 | 2018-10-18 | Vr 발표 및 면접 훈련 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180124276A KR20200043658A (ko) | 2018-10-18 | 2018-10-18 | Vr 발표 및 면접 훈련 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200043658A true KR20200043658A (ko) | 2020-04-28 |
Family
ID=70456077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180124276A KR20200043658A (ko) | 2018-10-18 | 2018-10-18 | Vr 발표 및 면접 훈련 시스템 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200043658A (ko) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102325506B1 (ko) * | 2020-05-09 | 2021-11-12 | 우송대학교 산학협력단 | 가상현실 기반의 의사소통 개선 시스템 및 방법 |
KR20220004288A (ko) * | 2020-07-03 | 2022-01-11 | 주식회사 스마트크리에이터 | Vr을 이용한 강의력 향상 시스템 |
KR102420840B1 (ko) * | 2022-02-04 | 2022-07-18 | 크로스잡 주식회사 | 메타버스 서비스에 기반한 구인구직 플랫폼을 제공하는 방법 및 장치 |
KR102456134B1 (ko) | 2022-07-20 | 2022-10-18 | 이아이피커뮤니케이션 주식회사 | 발표자 참여형 3d 콘텐츠 생성 방법, 장치 및 시스템 |
KR20230027658A (ko) * | 2021-08-19 | 2023-02-28 | 박예은 | 사용자의 스피치 능력 개선을 위한 피드백 장치 및 방법 |
-
2018
- 2018-10-18 KR KR1020180124276A patent/KR20200043658A/ko not_active Application Discontinuation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102325506B1 (ko) * | 2020-05-09 | 2021-11-12 | 우송대학교 산학협력단 | 가상현실 기반의 의사소통 개선 시스템 및 방법 |
KR20220004288A (ko) * | 2020-07-03 | 2022-01-11 | 주식회사 스마트크리에이터 | Vr을 이용한 강의력 향상 시스템 |
KR20230027658A (ko) * | 2021-08-19 | 2023-02-28 | 박예은 | 사용자의 스피치 능력 개선을 위한 피드백 장치 및 방법 |
KR102420840B1 (ko) * | 2022-02-04 | 2022-07-18 | 크로스잡 주식회사 | 메타버스 서비스에 기반한 구인구직 플랫폼을 제공하는 방법 및 장치 |
KR102456160B1 (ko) * | 2022-02-04 | 2022-10-19 | 크로스잡 주식회사 | 메타버스 서비스를 통해 결정되는 구직자의 기업에 대한 구직 관심도에 기반하여 상기 구직자 및 상기 기업의 구인 담당자 간 구인구직 매칭 서비스를 제공하는 방법 및 장치 |
KR102456158B1 (ko) * | 2022-02-04 | 2022-10-19 | 크로스잡 주식회사 | 기업 내부에 대한 가상 공간을 생성하여 구직자에게 기업에 대한 간접 체험 서비스를 제공하는 구인구직 매칭 방법 및 장치 |
KR102456134B1 (ko) | 2022-07-20 | 2022-10-18 | 이아이피커뮤니케이션 주식회사 | 발표자 참여형 3d 콘텐츠 생성 방법, 장치 및 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200043658A (ko) | Vr 발표 및 면접 훈련 시스템 | |
WO2020204000A1 (ja) | コミュニケーション支援システム、コミュニケーション支援方法、コミュニケーション支援プログラム、および画像制御プログラム | |
US8243116B2 (en) | Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications | |
US10049263B2 (en) | Computer-based micro-expression analysis | |
Sanchez-Cortes et al. | Emergent leaders through looking and speaking: from audio-visual data to multimodal recognition | |
Hoque et al. | Mach: My automated conversation coach | |
Gironzetti et al. | Smiling, gaze, and humor in conversation | |
KR101759335B1 (ko) | 뇌파 측정을 이용한 발표 및 면접 훈련 시스템 | |
WO2020148920A1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
US20210271864A1 (en) | Applying multi-channel communication metrics and semantic analysis to human interaction data extraction | |
Kang et al. | Does the contingency of agents' nonverbal feedback affect users' social anxiety? | |
JP2020136921A (ja) | ビデオ通話システム、およびコンピュータプログラム | |
KR20190048144A (ko) | 발표 및 면접 훈련을 위한 증강현실 시스템 | |
Kachach et al. | Immersive telepresence in remote education | |
KR102412823B1 (ko) | 번역 기능을 제공하는 실시간 양방향 온라인 회의 시스템 | |
Parmar et al. | Making it personal: Addressing individual audience members in oral presentations using augmented reality | |
JP6901190B1 (ja) | 遠隔対話システム、遠隔対話方法及び遠隔対話プログラム | |
KR101800546B1 (ko) | 가상 면접 시스템 | |
Berke et al. | Chat in the hat: A portable interpreter for sign language users | |
KR20160142648A (ko) | 가상현실을 통한 프리젠테이션 훈련 시스템 | |
Pereira et al. | Communication skills training intervention based on automated recognition of nonverbal signals | |
Lee et al. | Designing a multi-modal communication system for the deaf and hard-of-hearing users | |
KR102278162B1 (ko) | 사용자와 상호작용하는 스피치 보조 로봇의 동작 방법 | |
KR20170128946A (ko) | 발표 및 면접 훈련 시스템 | |
KR20170068910A (ko) | 발표 및 면접 훈련 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |