KR102278900B1 - 몰입형 가상 현실 기반 중장비 훈련 장치 - Google Patents

몰입형 가상 현실 기반 중장비 훈련 장치 Download PDF

Info

Publication number
KR102278900B1
KR102278900B1 KR1020190153789A KR20190153789A KR102278900B1 KR 102278900 B1 KR102278900 B1 KR 102278900B1 KR 1020190153789 A KR1020190153789 A KR 1020190153789A KR 20190153789 A KR20190153789 A KR 20190153789A KR 102278900 B1 KR102278900 B1 KR 102278900B1
Authority
KR
South Korea
Prior art keywords
training
user
content
information
situation
Prior art date
Application number
KR1020190153789A
Other languages
English (en)
Other versions
KR20210065287A (ko
Inventor
김기태
전재현
이승민
Original Assignee
주식회사 토즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토즈 filed Critical 주식회사 토즈
Priority to KR1020190153789A priority Critical patent/KR102278900B1/ko
Publication of KR20210065287A publication Critical patent/KR20210065287A/ko
Application granted granted Critical
Publication of KR102278900B1 publication Critical patent/KR102278900B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련, 자율 훈련, 국가 자격 실기 훈련 및 상황 훈련을 사용자 서비스로 제공함을 특징으로 한다.
본 발명은 상기된 발명의 목적을 달성하기 위하여 사용자에게 3D 영상으로 구성된 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD) 장치, 시뮬레이션 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치, 3D 사운드 스피커, 몰입형 VR을 실현하기 위해 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 사용자 조작장치, 멀티 콘텐츠 연동 클라이언트서버를 물리적 구성 요소로 하고, VR 기반 3D 실감 영상/사운드 콘텐츠, 립모션 기반 인터페이스, 실감형 햅틱 이펙터, 멀티 콘텐츠 연동 클라이언트를 콘텐츠 구성 요소로 하고, 중장비 도저, 로더의 기본 장비 운용을 교육하는 교육 훈련, 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련, 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가 자격 실기 훈련, 날씨 및 지형 상황, 안전상의 돌발 상황에 대한 대처를 위한 상황 훈련 등을 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 훈련 장치를 구현함으로써 본 발명의 목적을 실현한다.

Description

몰입형 가상 현실 기반 중장비 훈련 장치{Heavy Equipment Training Simulator based on Immersive Virtual Reality}
본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 가상 현실 기반 중장비 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련모드, 자율 훈련모드, 국가자격 실기 훈련모드 및 상황 훈련모드를 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것이다.
몰입형(Immersive) VR은 3D 영상과 3D 사운드, 실제 상황과 동일하게 극사실화 되어 운영되는 오감형 햅틱 이펙터 등을 시뮬레이터 사용자 인터페이스(UI/UX)로 제공하여 사용자가 마치 실제 상황에 처해있는 듯한 몰입감을 체험할 수 있도록 하는 극사실적인 가상 현실 기술이다.
건설 현장에서 주로 쓰이는 로더(Loader)와 도저(Dozer) 중장비는 산업 인력 관리 공단의 국가 자격 시험을 통해 운행 자격을 취득할 수 있는 장비로, 많은 훈련생들이 현장 실습을 통해 주행과 동작 실기를 연습하고 자격을 취득하여 현장에 배치된다.
그러나 이러한 현장 훈련만으로는 시간과 공간상의 제약이 심할 뿐 아니라 실제 건설 현장의 다양한 돌발이나 안전 상황에 대처하기에는 경험이 부족하게 되고, 자격 실기를 취득하였다 하여도 실기 시험에 포함되지 않은 다양한 상황에서 조작과 경험이 미숙해지는 단점이 있다.
이에 실제와 유사한 도저와 로더 사용자 조작 장치를 가지고 화면상에서 주행과 동작에 대한 조작 훈련을 할 수 있도록 하는 가상 현실 기반 VR 훈련 시뮬레이션 장치들이 도입되기 시작하였으며 굴삭, 토취에 관련된 실제 상황을 시뮬레이션에 적용하기 위한 동작 계산법 등이 선행 특허 문헌 1의 대한민국 특허 등록번호 제10-1789523호 (굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램)을 통해 제시된 바 있다.
VR 게임 시장에서는 증강 현실, 4D 효과, 햅틱 이펙터 등을 통해 현실 세계를 극사실적으로 표현하는 몰입형 VR 기술이 등장하고 있으며 이를 위해 HMD(Head Mounted Display), 3D 스피커, 오감형 햅틱 이펙터 등의 사용자 장비 기술들이 출현하고 있다. 그러나 이러한 기술들은 아직 레이싱이나 아케이드 게임을 위한 콘텐츠들로서, 컴퓨터 그래픽이 주는 효과와 몰입형 VR 콘텐츠를 적용한 오락성에 중점을 두어 제작하고 있는 실정으로 선행 특허 문헌 2의 대한민국 특허 등록번호 제10-1501632호 (인터랙티브 오감형 라이더 비행 배틀 레이싱 장치)를 통해 참고할 수 있다.
도저, 로더 중장비 훈련생들이 실제 훈련장과 동일한 시나리오로 현실 세계의 상황을 극사실적으로 표현한 몰입형 VR 시뮬레이션을 체험한다면, 훈련생 입장에서 볼 때 중장비 훈련을 보다 효과적으로 진행할 수 있을 뿐 아니라 교육 훈련 환경의 개선으로 장비 운행 경험을 확대하여 단기간에 높은 숙련도 달성을 기대할 수 있다.
선행문헌 1. 대한민국 등록특허 등록번호 제10-1789523호(굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램) 선행문헌 2. 대한민국 등록특허 등록번호 제10-1501632호(인터랙티브 오감형 라이더 비행 배틀 레이싱 장치)
본 발명은 목적은 도저, 로더 중장비 훈련에 있어 고효율 3D 미디어와 오감형 햅틱 물리 환경 구축을 통해 사용자의 몰입감을 극대화하여 주변 환경이 현실이라고 느끼게 하는 몰입형 가상 현실 중장비 시뮬레이션 훈련 장치를 구현하여 중장비 교육 훈련의 질을 개선하고 훈련자의 숙련도를 단기간에 개선할 수 있도록 하고자 한다.
본 발명은 도저, 로더와 같은 중장비 훈련생에게 실제와 유사한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 시뮬레이션 훈련 장치에 관한 것으로, 3D 영상 및 사운드 미디어, 립모션 기반 제스처 인식 제어 기능, 사용자에 극사실적인 오감각을 제공하는 햅틱 조작 장치를 시뮬레이터의 구성 요소로 하여 교육 훈련모드, 자율 훈련모드, 국가자격 실기 훈련모드 및 상황 훈련모드를 사용자 서비스로 제공함을 특징으로 한다.
본 발명은 상기된 발명의 목적을 달성하기 위하여 3D 영상으로 구성되어 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD - Head Mounted Display) 장치, 사용자 인증, 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치, 훈련 상황의 입체감 있는 표현을 위한 3D 사운드 스피커,몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 시뮬레이션 사용자 조작 장치, 협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고, 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어, 장치 간 동기화를 위하여 사용되는 시뮬레이션 서버를 물리적 구성 요소로 하고, VR 기반 3D 영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 영상/사운드 콘텐츠, 사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스, 제공되는 3D 컨텐츠와 사용자의 장치 조작, 3D 사운드와 동기화 되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터, 멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트를 콘텐츠 구성 요소로 하고, 중장비 도저, 로더의 기본 장비 운용을 교육하는 교육 훈련, 사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련, 산업인력공단의 도저와 로더 등 중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련, 날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련 등을 중장비 도저와 로더에 대한 사용자 서비스로 제공하는 몰입형 가상 현실 기반 중장비 훈련 장치를 구현함으로써 본 발명의 목적을 실현한다.
본 발명의 몰입형 가상 현실 중장비 시뮬레이션 훈련 장치를 통해서 종래에 현장 훈련으로 진행되던 도저 로더 중장비의 교육 훈련을 실제와 극사실적으로 유사한 가상 훈련 시뮬레이터를 통해 진행할 수 있도록 함으로써 중장비 교육 훈련의 질을 개선하고 훈련자의 숙련도를 단기간에 개선할 수 있다. 교육 시나리오 상에서 게임적인 요소와 레벨 평가를 통하여 숙련 레벨의 성취도를 평가할 수 있고, 날씨, 안전, 지형 요소들에 관련된 돌발 상황을 가정하여 다양한 체험을 할 수 있어 현장 훈련 만으로 극복할 수 없는 다양한 상황 대처 방법을 경험으로 체득할 수 있다.
또한, 상기 장치의 대중화를 통해 장소/시간/환경에 구애받지 않는 경제적 훈련 환경 조성으로 수요가 많은 중장비 교육 시장의 활성화와, 교육의 전문성 향상을 기대할 수 있다.
도 1은 본 발명에 따른 몰입형 가상 현실 기반 중장비 훈련 장치의 물리적 구성도
도 2는 본 발명에 따른 몰입형 가상 현실 기반 중장비 훈련 장치의 구성 및 서비스 개념도
도 3은 본 발명에 따른 시뮬레이션 콘텐츠 구성도
도 4는 본 발명에 따른 오감형 햅틱 사용자 조작 장치 구성도
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고, 상세한 설명을 통해 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 유사한 구성 요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 중장비 훈련생에게 실제와 거의 동일한 물리적 훈련을 제공하기 위한 몰입형 가상 현실 기반 중장비 훈련 장치에 있어서,
도 1에 도시한 바와 같이 중장비 도저와 로더의 실제 기종과 동일하게 구현되고 콘텐츠 정합의 오차를 최소화 한 사용자 조작 장치를 갖춘 시뮬레이션 사용자 장비(100)를 구성함에 있어,
3D 영상으로 구성되어 사용자에게 실제 상황을 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD - Head Mounted Display) 장치(110),
사용자 인증, 훈련 콘텐츠의 선택, 훈련 콘텐츠 진행 상의 인터랙티브를 위해 사용자의 제스처를 인식하여 소통하는 립모션 기반 모션 센서 장치(120),
훈련 상황의 입체감 있는 표현을 위한 3D 사운드 스피커(130),
몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 사용자 조작 장치(140),
협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되고, 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어, 장치 간 동기화를 위하여 사용되는 시뮬레이션 서버(150)를 물리적 구성 요소로 포함함을 특징으로 한다.
상기 몰입형 가상 현실 기반 중장비 훈련 장치는 사용자에게 극사실화된 실감 미디어와 오감형 체험 기능, 제스처 기반 제어를 제공하기 위한 콘텐츠 구성요소(200)는 도 2에 도시한 바와 같이,
VR 기반 3D 영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR 기반 3D 실감 콘텐츠(210),
사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스(220),
제공되는 3D 컨텐츠와 사용자의 장치 조작, 3D 사운드와 동기화 되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하기 위한 실감형 햅틱 이펙터(230),
멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트(240)를 포함한다.
상기 VR 기반 3D 실감 콘텐츠는 도 3에 도시한 바와 같이 사람 및 장애물, 지형, 작업을 위한 토착물, 토사, 시멘트 구조물 등의 액티브 객체를 구현한 가상 객체 DB(211),
실제 환경을 사실적으로 묘사한 배경, 날씨, 백그라운드 지형, 객체의 질감 등을 묘사한 환경 객체 DB(212),
훈련 상황 중에 사용자와 직접 상호 작용함으로써 훈련 상황을 제어하고 진행하며, 사용자와 인터랙션 하게 되는 논플레이어(NPC) 물리 객체 DB(213),
상기 객체들 간의 조합과 상호 연동을 통해 훈련 상황을 구성하고 사용자의 UI/UX 장치를 통해 입출력된 정보들과 동기화하기 위한 상호 연동모듈(214)로 구성되고,
상기 립모션 입력 인터페이스(220)는 도 3에 도시한 바와 같이 모션 센서를 통해 입력된 사용자의 제스처를 분석하여 사용자 입력 신호로 변환하는 제스처 인식모듈(221),
입력된 사용자의 제스처 정보를 훈련 시뮬레이션 상의 콘텐츠 진행 내용과 동기화하여 선택, 인증, 상호 인터랙션 정보 등으로 활용하여 시뮬레이션 상황을 진행하기 위해 정보 형태로 구성하는 콘텐츠 동기화모듈(222),
입력된 사용자 제스처 정보를 시뮬레이션 콘텐츠 정보와 결합하여 가상 객체와 인터랙션하고 이를 실시간으로 응답하여 사용자에게 피드백 함으로써 사용자와 가상 객체들 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상 객체와의 인터랙션모듈(223),
립모션으로 입력되는 사용자 신호에 대한 시뮬레이션 진행 상황에서 그 결과를 시뮬레이터의 특정 사용자 UI/UX를 통해 출력하고 응답함으로써 사용자가 즉각적으로 직관적인 방식으로 소통할 수 있도록 시뮬레이터 물리 장치들을 동기화하고 제어하는 시뮬레이터 연동모듈(224)을 포함하고,
상기 실감형 햅틱 이펙터(230)는 도 3에 도시한 바와 같이 시뮬레이션 제어 유닛(SCU - Simulation Control Unit)과 인터페이스하여 사용자에 전달할 응답 정보와 오감 신호를 추출하는 SCU 인터페이스(231),
사용자에게 전달할 오감 신호를 사용자가 현재 진행하고 있는 시뮬레이션 상황의 시각적, 청각적 멀티미디어 콘텐츠 정보 및 제스처 응답 정보와 실시간 동기함으로써 사용자에게 극사실적인 몰입형 VR를 체험할 수 있도록 하는 콘텐츠 동기화모듈(232),
사용자에게 전달되는 오감 정보를 시뮬레이션 상황과 콘텐츠 특성에 맞게 샘플링하여 멀티 콘텐츠 정보로 조합하고 합성한 후 정보 DB로 저장하고 시뮬레이터의 요청에 응답하는 햅틱 기반 실감 인터랙션모듈(233),
상기 오감 출력 정보가 사용자가 진행하는 훈련 상황의 시각적, 청각적 정보와 실시간으로 타임 동기되어 출력되도록 제어하는 콘텐츠 연동 조작 제어모듈(234)을 포함하여 사용자가 오감으로 훈련 상황을 실제와 비슷하게 몰입하여 체험할 수 있도록 구현하고,
상기 멀티 콘텐츠 연동 클라이언트(240)는 도 3에 도시한 바와 같이,
스마트 패드 또는 제스처 동작을 통해 훈련 상황을 모니터링하며 돌발이나 비상 상황 발생시 시뮬레이션을 종료하거나 중지할 수 있도록 하는 시뮬레이션 제어모듈(241),
시뮬레이션 진행 동안 사용자의 UI/UX 응답 시간과 반응 속도를 관리하며 모니터링 하는 UI/UX 관리모듈(242),
다자 간 협업 시나리오 같은 멀티 사용자 환경에서 현재 사용자의 동작 정보를 NPC 물리 객체와 하여 클라이언트 형태로 서버로 전달하고, 서버로부터 다른 사용자의 진행 상황 정보를 현재 사용자의 NPC 물리 객체 정보로 실시간 변환하여 시뮬레이션 진행 상황을 통제하는 NPC 물리 객체 정보 처리모듈(243),
훈련 상황의 모니터링 정보를 통해 훈련자의 훈련 진행 상태 정보를 통계 정보로 수집하여 평가하고 DB 형태로 관리하는 평가 DB(244)를 구성 요소로 포함하여 본 발명의 목적을 실현한다.
상기 사용자 조작 장치(140)는 도 4에 도시한 바와 같다. 즉,
로더 시뮬레이터를 위한 사용자 조작 장치(140a)는 기존 자동차 핸들과 조향 방식 동일하게 동작하는 조향 핸들(141),
앞으로 밀 경우 전진, 중앙에 둘 경우 중립, 뒤로 당길 경우 후진으로 동작하는 핸들 좌측 스틱(142),
레버를 위로 밀 경우 버켓을 하강하고 아래로 당길 경우 버켓을 상승하는 좌측 레버(143),
레버를 위로 및 경우 붐 하강하고, 아래로 당길 경우 붐 상승하는 우측 레버(144),
왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 엑셀러레이터로 작동하는 운행 페달(145)로 구성하고,
도저 시뮬레이터를 위한 사용자 조작 장치(140b)는
레버를 위로 및 경우 차량을 직진하고 아래로 당길 경우 차량을 후진하고 좌측으로 밀 경우 차량을 좌측으로 회전시키고 우측으로 밀 경우 차량을 우측으로 회전시키도록 동작하는 좌측 레버(146),
레버를 위로 및 경우 블레이드를 하강시키고 아래로 당길 경우 블레이드를 상승시키고, 좌측으로 밀 경우 블레이드를 좌측으로 회전시키고 우측으로 밀 경우 블레이드를 우측으로 회전시키도록 동작하는 우측 레버(147),
왼쪽 페달을 밟은 경우 브레이크로 작동하고 오른쪽 페달을 밟은 경우 주차 브레이크로 작동하도록 하는 운행 페달(148)로 구성되어,
실제 로더 또는 도저의 기종과 동일한 조작 환경을 제공하고, 실감형 햅틱 이펙터(230)로부터 오감형 콘텐츠 정보를 연동하여 사용자 UI/UX에 진동, 상하 좌석 움직임, 장치의 흔들림, 충격 효과 등을 제어하여 사용자가 오감으로 느낄 수 있는 실제 상황과 동일한 균형감과 충격감을 체험할 수 있도록 하여 몰입형 가상 현실 훈련 서비스를 구현한다.
상기 몰입형 가상 현실 기반 중장비 훈련 장치에서 제공하는 가상현실 훈련서비스는 실감 컨텐츠(210)와 오감형 햅틱 이펙터(230)를 사용하여 레벨에 따라 구성된 훈련 미션을 시나리오로 제공하여 사용자가 게임을 즐기듯 훈련 과정의 숙련도를 연마해 나갈 수 있도록 한다. 상기 몰입형 가상 현실 기반 중장비 훈련 장치는 사용자에게 제공하는 훈련 서비스로서 도 2에 도시한 바와 같이,
중장비 도저, 로더의 기본 장비 운용과 사용자 장치의 조작법을 훈련하는 교육 훈련모드(310),
사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어질 수 있도록 하는 자율 훈련모드(320),
산업인력공단의 도저와 로더 등 중장비 국가 자격 실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격 실기 훈련모드(330),
날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련모드(40) 등을 중장비 도저와 로더에 대한 사용자 서비스로 포함함을 특징으로 한다.
상기 몰입형 가상 현실 기반 중장비 훈련 장치는 상기된 물리적 장치 구성과 콘텐츠 요소 구성을 통하여 사용자에게 서비스를 제공함에 있어서,
도저, 로더의 기본 장비 운용을 교육하는 교육 훈련모드(310)는, 사용자 장치 조작 훈련, 화면의 지시 사항에 따르는 기초 운행 훈련, 주행 코스와 지형 지정 훈련, 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 매뉴얼화하여 제공하고,
사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 등의 훈련이 이루어 질 수 있도록 하는 자율 훈련모드(320)에 있어서 로더는 운행, 흙 굴토, 적재 등의 기능, 도저는 운행, 절삭, 성토, 되메우기 회전 등의 기능을 레벨별로 콘텐츠화 하여 제공하고,
산업인력공단의 도저와 로더 등 중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련모드(330)에 있어서,
로더는 버킷을 들어 올린 후 성토장으로 전진 - 버킷 수평조작 후 흙 굴토 - 붐과 버킷을 조작하여 흙을 평적이상 채운 후 후진 - 적재장소(덤프트럭)으로 주행하여 흙을 채움 - 출발 전 장비 위치에 주차 순으로,
도저는 전진 주행 후 전진 절삭(절토) - 블레이드를 들어 올린 후 성토를 넘어감 - 도착선을 통과 후 180도 회전 - 작업시작 지점까지 전진 되메우기 - 종료선 통과 후 180도 회전 - 출발 전 장비위치로 정차 순으로 진행하여 산업인력공단의 중장비 면허 실기 시험에 준용한 내용을 시나리오로 적용하고,
삭제
날씨 및 지형 상황, 안전 상의 돌발 상황 등을 고려하고, 다자 간 협업 시나리오에 따른 상황 훈련모드(40)는 낙석, 바람, 장비의 균형 잃음, 인적 사고 등의 안전 돌발 상황을 시뮬레이션하여 대처하고, 눈/비 등으로 인한 폭우/폭설, 지반 침하, 토사 덮침 등의 자연 재해와 기상 상황을 시뮬레이션 하여 대처하고, 건설 현장의 협업 상황을 통제하는 대처 서비스 등을 시나리오화하여 중장비 도저와 로더에 대한 사용자 서비스(300)로 제공한다.
삭제
001: 몰입형 가상 현실 기반 중장비 훈련 장치
100: 시뮬레이션 사용자 조작장비
110 : HMD장치
120: 립모션 기반 모션 센서 장치
130: 3D 사운드 스피커
140a, 140b: 사용자 조작 장치
141: 로더용 조향핸들
142: 로더용 좌측스틱
143: 로더용 좌측레버
144: 로더용 우측레버
145: 로더용 페달
146: 도저용 좌측레버
147: 도저용 우측레버
148: 도저용 페달
150: 시뮬레이션 서버
200: 콘텐츠 구성 요소
210: VR 기반 3D 실감 영상/사운드 콘텐츠
211: 가상 객체 DB
212: 환경 객체 DB
213: NPC 물리 객체 DB
214: 구성 모듈 간 상호 연동모듈
220: 제스처(립모션) 기반 인터페이스
221: 모션 센서를 통한 제스처 인식모듈
222: 콘텐츠 동기화모듈
223: 가상 객체와의 인터랙션 모듈
224: 시뮬레이터와 연동모듈
230: 실감형 햅틱 오감 이펙터
231: SCU 인터페이스
232: 콘텐츠 동기화 모듈
233: 햅틱 기반 실감 인터랙션 모듈
234: 콘텐츠 연동 조작 제어모듈
240: 멀티 콘텐츠 연동 클라이언트
241: 시뮬레이션 제어 SCU모듈
242: UI/UX 관리모듈
243: NPC 물리 객체정보 처리모듈
244: 평가 DB
300: 사용자 서비스
310: 교육 훈련모드
320: 자율 훈련모드
330: 국가자격실기 훈련모드
340: 상황 훈련모드

Claims (4)

  1. 사용자에게 극사실적으로 표현한 시각 콘텐츠 정보를 제공하기 위한 헤드 마운티드 디스플레이(HMD)장치(110),
    사용자의 제스처를 인식하여 소통하기 위한 립모션 기반 모션 센서 장치(120),
    훈련상황의 입체감 있는 표현을 위한 3D 사운드 스피커(130),
    몰입형 VR을 실현하기 위해 콘텐츠 제공 서버와 연동하여 사용자에게 극사실적인 오감각을 제공하는 햅틱 효과를 구현한 사용자 조작 장치(140a, 140b) 및, 협업 훈련 상황을 구현하기 위한 멀티 콘텐츠 연동 클라이언트로 사용되면서 시뮬레이션 제어 유닛, UI/UX 인터랙션 제어 및 장치간 동기화를 위한 시뮬레이션 서버(150)를 포함하는 시뮬레이션 사용자 장비(100);와

    VR기반 3D영상을 스토리화 하여 패키지 별로 분리하고, 훈련 기종과 훈련 상황에 맞게 선택 적용할 수 있도록 제작한 VR기반 3D실감 콘텐츠(210),
    사용자의 제스처를 인식하여 훈련 프로그램을 선택하거나 제어하고, 훈련 진행 중에 훈련 상황 속의 가상 객체들과 인터랙션 할 수 있도록 한 립모션 기반 인터페이스(220),
    상기 VR기반 3D실감 컨텐츠 및 상기 사용자 조작장치와 동기화되어 사용자에게 극사실적인 훈련 효과를 오감을 통해 전달하는 실감형 햅틱 이펙터(230) 및
    멀티 사용자 간에 협업을 기반으로 훈련하거나, 돌발 또는 재난 상황 같은 스토리 기반 훈련을 지원하기 위해 콘텐츠 클라이언트로 동작하여 다자 간 훈련 상황을 동기화하는 멀티 콘텐츠 연동 클라이언트(240)를 포함하는 콘텐츠 구성요소(200)를 구비하되,

    상기 VR기반 3D실감 콘텐츠(210)는
    사람, 장애물, 지형, 작업을 위한 토착물, 토사 및 시멘트 구조물의 액티브 객체를 구현한 가상 객체 DB(211),
    실제 환경을 사실적으로 묘사한 배경, 날씨, 백그라운드 지형, 객체의 질감을 묘사한 환경 객체 DB(212),
    훈련 상황 중에 사용자와 직접 상호 작용함으로써 훈련 상황을 제어하고 진행하며, 사용자와 인터랙션 하게 되는 논플레이어(NPC) 물리 객체 DB(213),
    상기 객체들 간의 조합과 상호 연동을 통해 훈련 상황을 구성하고 사용자의 UI/UX 장치를 통해 입출력된 정보들과 동기화하기 위한 상호연동 모듈(214)을 포함하고,

    상기 립모션 입력 인터페이스(220)는
    모션 센서를 통해 입력된 사용자의 제스처를 분석하여 사용자 입력 신호로 변환하는 제스처 인식모듈(221),
    입력된 사용자의 제스처 정보를 훈련 시뮬레이션 상의 콘텐츠 진행 내용과 동기화하여 선택, 인증, 상호 인터랙션 정보로 활용하여 시뮬레이션 상황을 진행하기 위해 정보 형태로 구성하는 콘텐츠 동기화모듈(222),
    입력된 사용자 제스처 정보를 시뮬레이션 콘텐츠 정보와 결합하여 가상 객체와 인터랙션하고 이를 실시간으로 응답하여 사용자에게 피드백 함으로써 사용자와 가상 객체들 사이의 상호 작용을 자연스럽고 사실적으로 묘사하기 위한 가상 객체와의 인터랙션 모듈(223) 및
    립모션으로 입력되는 사용자 신호에 대한 시뮬레이션 진행 상황에서 그 결과를 시뮬레이터의 특정 사용자 UI/UX를 통해 출력하고 응답함으로써 사용자가 즉각적으로 직관적인 방식으로 소통할 수 있도록 시뮬레이터 물리 장치들을 동기화하고 제어하는 시뮬레이터 연동 모듈(224)을 포함하며,

    상기 실감형 햅틱 이펙터(230)는
    시뮬레이션 제어 유닛(SCU)과 인터페이스 하여 사용자에 전달할 응답 정보와 오감 신호를 추출하는 SCU 인터페이스(231),
    사용자에게 전달할 오감 신호를 사용자가 현재 진행하고 있는 시뮬레이션 상황의 시각적, 청각적 멀티미디어 콘텐츠 정보 및 제스처 응답 정보와 실시간 동기함으로써 사용자에게 극사실적인 몰입형 VR를 체험할 수 있도록 하는 콘텐츠 동기화 모듈(232),
    사용자에게 전달되는 오감 정보를 시뮬레이션 상황과 콘텐츠 특성에 맞게 샘플링하여 멀티 콘텐츠 정보로 조합하고 합성한 후 정보 DB로 저장하고 시뮬레이터의 요청에 응답하는 햅틱 기반 실감 인터랙션 모듈(233) 및
    상기 오감 정보가 사용자가 진행하는 훈련 상황의 시각적, 청각적 정보와 실시간으로 타임 동기되어 출력되도록 제어하는 콘텐츠 연동 조작 제어모듈(234)을 포함하고,

    상기 멀티 콘텐츠 연동 클라이언트(240)는
    스마트 패드 또는 제스처 동작을 통해 훈련 상황을 모니터링하며 돌발이나 비상 상황 발생시 시뮬레이션을 종료하거나 중지할 수 있도록 하는 시뮬레이션 제어모듈(241),
    시뮬레이션 진행 동안 사용자의 UI/UX 응답 시간과 반응 속도를 관리하며 모니터링 하는 UI/UX 관리모듈(242),
    다자 간 협업 시나리오 같은 멀티 사용자 환경에서 현재 사용자의 동작 정보를 NPC 물리 객체와 하여 클라이언트 형태로 서버로 전달하고, 서버로부터 다른 사용자의 진행 상황 정보를 현재 사용자의 NPC 물리 객체 정보로 실시간 변환하여 시뮬레이션 진행 상황을 통제하는 NPC 물리 객체 정보 처리모듈(243) 및
    훈련 상황의 모니터링 정보를 통해 훈련자의 훈련 진행 상태 정보를 통계 정보로 수집하여 평가하고 DB 형태로 관리하는 평가 DB(244)를 포함하여,

    중장비 도저, 로더의 기본 장비 운용을 교육하는 교육훈련모드(310),
    사용자가 장치에 익숙해 질 수 있도록 게임 형식으로 장치 조작과 지형 적응과 장애물 회피의 훈련이 이루어 질 수 있도록 하는 자율훈련모드(320),
    중장비 국가자격실기 훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하는 국가자격실기 훈련모드(330),
    날씨 및 지형 상황, 안전 상의 돌발 상황을 고려하고, 다자 간 협업 시나리오에 따른 상황훈련모드(340)를 사용자 서비스(300)로 제공하는 것을 특징으로 하는
    몰입형 가상현실 기반 중장비 훈련 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 사용자 조작 장치(140a)는
    로더의 방향을 조작하는 조향 핸들(141),
    로더의 전후진을 위한 좌측 스틱(142),
    로더의 버켓의 승강을 조작하는 좌측 레버(143),
    로더의 붐의 승하강을 조작하는 우측 레버(144) 및
    브레이크 페달과 가속페달로 이루어진 운행 페달(145)을 포함하여,

    실제 로더의 기종과 동일한 조작 환경을 제공하는 몰입형 가상현실 기반 중장비 훈련 장치.
  4. 제1항에 있어서,
    상기 교육 훈련모드(310)는
    사용자 장치 조작 훈련, 화면의 지시 사항에 따르는 기초 운행 훈련, 주행 코스와 지형 지정 훈련, 로더는 운행, 흙 굴토, 적재 기능, 도저는 운행, 절삭, 성토와 되메우기 회전 기능을 매뉴얼화하여 제공하고,

    상기 자율 훈련모드(320)는
    중장비의 각 기능을 레벨별로 콘텐츠화하여 제공하되 사용자가 장치에 익숙해질 수 있도록 게임 형식으로 장치 조작과 지형 적응, 장애물 회피 훈련이 이루어질 수 있도록 하고,

    상기 국가자격실기 훈련모드(330)는
    중장비 국가자격 실기훈련 시나리오와 동일하게 구성되어 자격 취득을 위한 훈련과 평가를 제공하고,

    상기 상황 훈련모드(340)는
    낙석, 바람, 장비의 균형 잃음, 인적 사고의 안전 돌발 상황, 그리고 눈/비로 인한 폭우/폭설, 지반 침하, 토사 덮침의 자연 재해와 기상 상황을 시뮬레이션하여 대처하고, 건설 현장의 협업 상황을 통제하는 대처 서비스를 시나리오화한 것을 특징으로 하는
    몰입형 가상현실 기반 중장비 훈련 장치.
KR1020190153789A 2019-11-26 2019-11-26 몰입형 가상 현실 기반 중장비 훈련 장치 KR102278900B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153789A KR102278900B1 (ko) 2019-11-26 2019-11-26 몰입형 가상 현실 기반 중장비 훈련 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153789A KR102278900B1 (ko) 2019-11-26 2019-11-26 몰입형 가상 현실 기반 중장비 훈련 장치

Publications (2)

Publication Number Publication Date
KR20210065287A KR20210065287A (ko) 2021-06-04
KR102278900B1 true KR102278900B1 (ko) 2021-07-20

Family

ID=76391511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153789A KR102278900B1 (ko) 2019-11-26 2019-11-26 몰입형 가상 현실 기반 중장비 훈련 장치

Country Status (1)

Country Link
KR (1) KR102278900B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240039260A (ko) 2022-09-19 2024-03-26 배재대학교 산학협력단 가상 현실 기반 건설기계 실습 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624228B1 (ko) * 2021-09-30 2024-01-12 한화오션 주식회사 디지털플랫폼을 활용한 함정 통합 솔루션 시스템
CN113961080B (zh) * 2021-11-09 2023-08-18 南京邮电大学 一种基于手势交互的三维建模软件框架及设计方法
KR20240016140A (ko) * 2022-07-28 2024-02-06 주식회사 거비메타 중장비 양방향 비대면 훈련 플랫폼이 구비된 시스템 및 이를 사용한 훈련데이터 전송 및 운전 평가방법
KR102531830B1 (ko) * 2022-09-05 2023-05-12 주식회사 유토비즈 항공기 견인 목업장비형 xr 드라이빙 교육훈련 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501632B1 (ko) 2013-11-29 2015-03-12 주식회사 비주얼리액터 인터랙티브 오감형 라이더 비행 배틀 레이싱 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123334A (ko) * 2010-05-07 2011-11-15 (주)코아블루 가상현실 교육 시스템 제작 도구 및 방법
KR102097180B1 (ko) * 2015-07-07 2020-04-09 임진국 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
KR101789523B1 (ko) 2015-08-13 2017-11-21 한서대학교 산학협력단 굴삭기 최대 굴삭력 시뮬레이션 방법, 이를 실행하는 장치 및 기록 매체에 저장된 굴삭력 시뮬레이션 컴퓨터 프로그램
KR101850038B1 (ko) * 2016-05-24 2018-06-07 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101501632B1 (ko) 2013-11-29 2015-03-12 주식회사 비주얼리액터 인터랙티브 오감형 라이더 비행 배틀 레이싱 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240039260A (ko) 2022-09-19 2024-03-26 배재대학교 산학협력단 가상 현실 기반 건설기계 실습 시스템

Also Published As

Publication number Publication date
KR20210065287A (ko) 2021-06-04

Similar Documents

Publication Publication Date Title
KR102278900B1 (ko) 몰입형 가상 현실 기반 중장비 훈련 장치
JP3625212B1 (ja) 3次元仮想空間シミュレータ、3次元仮想空間シミュレーションプログラム、およびこれを記録したコンピュータ読み取り可能な記録媒体
Craig et al. Developing virtual reality applications: Foundations of effective design
Rostami et al. The metaverse and beyond: Implementing advanced multiverse realms with smart wearables
KR102264045B1 (ko) 스토리 기반 다자 참여형 vr 중장비 훈련 시스템 및 이를 이용한 협업 동기화 방법
KR102097180B1 (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
KR101608342B1 (ko) 무인 부스 형태의 체감형 모션 라이딩 시스템과 그의 작동방법
CN106601062A (zh) 一种用于模拟矿井灾害逃生训练的交互方法
RU2730796C2 (ru) Моделирующее устройство для крана, строительной машины или средства напольного транспорта
KR102346002B1 (ko) 국가직무능력표준(ncs) 기반 건설기계 로우더 실습교육 시스템 및 이를 이용한 실습방법
KR20170102758A (ko) 레일 차량 기반 체험형 콘텐츠 제공장치 및 그 방법
US20110124413A1 (en) Haptic-simulation home-video game
KR102409370B1 (ko) 협업 기반 전술 훈련장 맵을 이용한 vr 중장비 훈련 시스템
KR102446842B1 (ko) 멀미저감 및 피칭 진동기능을 제공하는 몰입형 가상현실기반 중장비훈련 시뮬레이션 시스템
WO2016135472A1 (en) Immersive vehicle simulator apparatus and method
GB2535729A (en) Immersive vehicle simulator apparatus and method
KR101814869B1 (ko) 실 선박 운동방정식을 적용한 소형 선박 시뮬레이터
KR20160099075A (ko) 영상 시뮬레이팅 시스템, 플랫폼 제어 장치 및 플랫폼 제어 방법
CN114053693B (zh) 虚拟场景中的对象控制方法、装置及终端设备
Johns et al. Unreal editor as a virtual design instrument in landscape architecture studio
Stavrev Natural user interface for education in virtual environments
CN108333956A (zh) 用于运动仿真平台的反解联动算法
CN211181201U (zh) 一种模拟飞行科普体验设备
WO2021261593A1 (ja) 航空機のvr訓練システム、航空機のvr訓練方法及び航空機のvr訓練プログラム
KR20190025241A (ko) Hmd를 이용한 vr탐사 인터렉션

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant