KR20210013900A - Simulation system of digestion experience using VR - Google Patents
Simulation system of digestion experience using VR Download PDFInfo
- Publication number
- KR20210013900A KR20210013900A KR1020190091665A KR20190091665A KR20210013900A KR 20210013900 A KR20210013900 A KR 20210013900A KR 1020190091665 A KR1020190091665 A KR 1020190091665A KR 20190091665 A KR20190091665 A KR 20190091665A KR 20210013900 A KR20210013900 A KR 20210013900A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- virtual reality
- hmd
- fire extinguishing
- experience
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C99/00—Subject matter not provided for in other groups of this subclass
- A62C99/0081—Training methods or equipment for fire-fighting
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Public Health (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Fire-Extinguishing By Fire Departments, And Fire-Extinguishing Equipment And Control Thereof (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 VR을 이용한 소화체험 시뮬레이션 시스템, 체험용 소화기 및 프로그램 등에 통해 실제 소화기 모양을 본 뜬 훈련용 소화기와 헤드 업 디스플레이(HMD)를 사용하여 실내에서 실제 소방 활동과 같은 순서로 소방 체험이 가능한 소화 체험(소화기 체험) 시뮬레이터 등에 관한 것이다.The present invention is a firefighting experience simulation system using VR, using a training fire extinguisher and a head-up display (HMD) that mimic the shape of an actual fire extinguisher through a fire extinguishing experience simulation system using VR, a fire extinguisher, and a program. It relates to a fire extinguishing experience (fire extinguisher experience) simulator.
소방 훈련 시뮬레이터의 종래기술로는 예를 들면, 트럭 등 화물칸에 실내 세트를 준비하고 실제로 화재를 발생시켜 실제 화염에 소화제를 투입 할 수 있도록 한 것이 있다(종래 기술 1).As a prior art of a fire fighting training simulator, for example, an indoor set is prepared in a cargo compartment such as a truck, and a fire is actually generated so that an extinguishing agent can be injected into the actual flame (Prior Art 1).
또한, 다른 종래의 기술로는 헤드 마운트 디스플레이(HMD)을 이용한 가상현실 체험 시뮬레이터로서 HMD와 그래픽 워크 스테이션을 케이블로 연결하여 시뮬레이터를 구축하는 것이 있다(종래 기술 2).In addition, another conventional technology is a virtual reality experience simulator using a head mounted display (HMD), and a simulator is constructed by connecting the HMD and a graphic workstation with a cable (Prior Art 2).
또한 다른 종래의 기술로는 스마트 폰 등을 이용하여 HMD를 구성하고 디스플레이에 체험자의 포괄적인 시야에 대응한 영상을 표시하는 것으로, 체험자에 몰입 시청 경험을 제공 할 예정되어 있는 웨어러블 장치가 있다(종래 기술 3).In addition, as another conventional technology, there is a wearable device that is scheduled to provide an immersive viewing experience to the experiencer by configuring an HMD using a smart phone, etc., and displaying an image corresponding to the experiencer's comprehensive field of view on the display. Technology 3).
종래 기술 1, 2는 모두 대규모 구조를 필요로 하는 예를 들어, 시뮬레이터의 이동성, 간편성 측면에서 개선의 여지가 있고, 또 모두 전문가가 사용하는 것이 주 목적으로 하고 있으며, 체험자의 연령대를 불문하고 누구나 손쉽게 이용할 수 있다는 것은 아니다.
또한 최근 VR(가상현실) 공간에서 다양한 몰입 형 보는 체험이 가능한 웨어러블 컴퓨팅 기술(위의 종래 기술 3)이 진행되고 있지만, 이 기술은 가상현실(VR) 공간에 몰입하는 것을 전제로 하고 있으며, 예를 들어, 실제 활동에 사용되는 도구를 사용하여 현실의 감각을 공유하면서 실제로 유용한 체험을 하는데 별다른 도움이 되지 않는다.In addition, wearable computing technology (
본 발명은 사용자가 용이하게 실제 소화활동 단계를 현장감을 가지고 체험 할 수 있는 VR을 이용한 소화체험 시뮬레이션 시스템을 제공하는 것이다.The present invention is to provide a fire extinguishing experience simulation system using VR that allows a user to easily experience the actual fire extinguishing activity step with a sense of reality.
본 발명의 다른 목적은 다음에 예시한 형태 및 최선의 실시 형태 및 첨부된 도면을 참조하여 당업자에게 명백해질 것이다.Other objects of the present invention will become apparent to those skilled in the art with reference to the following embodiments and the best embodiments and the accompanying drawings.
다음에, 본 발명의 개요를 쉽게 이해하기 위해, 본 발명에 따른 실시 예를 예시 한다.Next, in order to easily understand the outline of the present invention, an embodiment according to the present invention is illustrated.
제 1 실시예로서, VR을 이용한 소화체험 시뮬레이션 시스템은 영상을 표시하는 디스플레이와, 컴퓨터 및 통신 처리를 제 1 통신부와, 실제 영상을 촬상하는 영상용 카메라를 구비하고, 체험자에 장착되는 헤드 마운트 디스플레이(HMD)와, 상기 HMD의 상기 제 1 통신부 간에 통신하는 제 2 통신부와, 소화기 본체와, 상기 HMD가 가상현실(VR) 모드인 경우, 가상현실 소화제를 분사하는 스위치 역할을 하는 조작 레버와 상기 가상현실의 소화제를 끝에서 분출하는 분출장치로 기능하는 호스와, 상기 체험자에 의한 상기 조작 레버의 조작을 검출하는 제 1 센서와, 상기 호스 끝의 움직임을 감지하는 제 2 센서를 구비 상기 HMD의 제어로서의 기능을 겸하는 체험용 소화기를 포함하되, As a first embodiment, a fire extinguishing experience simulation system using VR includes a display for displaying an image, a first communication unit for computer and communication processing, and an image camera for capturing an actual image, and a head mounted display mounted on the experienced person (HMD), a second communication unit that communicates between the first communication unit of the HMD, a fire extinguisher body, and when the HMD is in a virtual reality (VR) mode, an operation lever serving as a switch for injecting a virtual reality fire extinguishing agent and the The HMD includes a hose that functions as an ejection device for ejecting a virtual reality fire extinguishing agent from the end, a first sensor that detects an operation of the operation lever by the experienced person, and a second sensor that detects the movement of the end of the hose. Including an experiential fire extinguisher that also functions as a control,
상기 HMD의 상기 컴퓨터는 상기 HMD의 동작을 제어하는 제어부로의 기능을 수항하되, 상기 제어부는, The computer of the HMD receives a function as a control unit for controlling the operation of the HMD, wherein the control unit,
실제영상 표시모드/가상현실 디스플레이 모드를 전환하며 상기 실제영상 표시모드의 경우에는 상기 영상용 카메라로 촬영한 실제영상을 상기 디스플레이에 표시하는 실제영상/가상현실 영상 전환부와A real image/virtual reality image conversion unit that switches the real image display mode/virtual reality display mode, and in the case of the real image display mode, displays the real image captured by the image camera on the display;
상기 HMD가 상기 실제영상 표시모드에서 상기 가상현실 영상표시모드로 전환되면, 상기 제 2 실시예로서, 제 1 통신부를 통해 입력되는 상기 체험용 소화기의 상기 제 1 센서 및 상기 제 2 센서의 각 검출 정보에 기초하여 상기 체험자의 손에 쥔 호스와, When the HMD is switched from the real image display mode to the virtual reality image display mode, as the second embodiment, each detection of the first sensor and the second sensor of the experience fire extinguisher input through a first communication unit Based on the information, the hose held in the hand of the experienced person,
상기 끝에서 상기 가상현실의 소화제가 분사되는 영상 및 가상현실의 불길이 진정되는 영상을 포함한 시뮬레이션 영상을 표시하는 가상현실 영상생성부를 갖지니고, 제 1 실시예에서 실제로 사용되는 소화기를 본뜬 체험용 소화기(HMD 컨트롤러를 겸함)를 이용하여 실제 소화활동뿐만 아니라, 레버 조작이나호스 끝의 방향을 바꾸는 동작을 손으로 할 수 있다. 따라서, 체험자는 실제 소화기에 익숙해 질 수 있다. 또한 바로 가상현실 공간에 들어가는 것이 아니라, 실제영상(예를 들어, HMD를 구성하는 스마트 폰 카메라로 촬영한 훈련용 소화기를 포함 실상)를 디스플레이에 표시하고 체험자가 훈련용 소화기와 자기의 손의 위치 등을 확인 한 후 그 확인된 실상을 거듭 형태로 가상현실(VR) 공간에서의 소방 활동 시뮬레이션을 시작하는 것이 가능하다. At the end, having a virtual reality image generation unit that displays a simulation image including an image in which the virtual reality extinguishing agent is sprayed and an image where the flame of virtual reality calms down, and an experience fire extinguisher imitating a fire extinguisher actually used in the first embodiment (It also functions as an HMD controller), as well as actual fire extinguishing activities, it is possible to operate the lever or change the direction of the hose end by hand. Thus, the experienced person can get used to the actual fire extinguisher. In addition, instead of entering the virtual reality space immediately, the actual image (for example, the actual image including the training fire extinguisher taken with the smartphone camera constituting the HMD) is displayed on the display, and the experiencer shows the location of the training fire extinguisher and his or her hand. It is possible to start a simulation of firefighting activity in a virtual reality (VR) space in the form of repeating the confirmed reality after checking the back.
따라서 현실감을 공유하면서 실제 소화활동 단계와 같은 방법으로 소화 작업(소화기 체험)을 할 수 있다. 따라서 체험들은 현실을 공유하면서 실제 소화활동 단계를 현장감을 가지고 체험 할 수 있다. Therefore, it is possible to perform fire extinguishing work (fire extinguisher experience) in the same way as the actual fire extinguishing stage while sharing a sense of reality. Therefore, the experiences can experience the actual stage of fire extinguishing with a sense of reality while sharing the reality.
또한, 본 형태의 소화체험 시뮬레이션 시스템의 주요 구성 요소는 체험용 소화기와 HMD이며, 구성이 단순화되어 있다. In addition, the main components of the fire extinguishing experience simulation system of this type are a fire extinguisher for experience and an HMD, and the configuration is simplified.
따라서 이동성(휴대성 설영 성)이 우수하며 간편성(예를 들어, 직원의개별 지원없이 실내에서 간편하게 실시 할 수 있는 점)을 갖춘 시뮬레이터를 쉽게 구현할 수 있다. Therefore, it is possible to easily implement a simulator with excellent mobility (portability setting) and simplicity (for example, a point that can be performed easily indoors without individual support from staff).
또한 훈련용 소화기 예를 들어, 실제 소화기와 동일 예를 들어, 센서 및 통신부를 구비하는 장치를 장착하여 제공 할 수 있으나, 이에 한정되는 것이 아니라 훈련 소화기의 무게를 가볍게 하고, 소아용으로 작고 소화기로 하고, 소화기 본체의 형상이나 표면에 부착되는 디자인을 약간 변경하는 등 적절히 변형할 수 있다.In addition, the training fire extinguisher, for example, the same as the actual fire extinguisher, for example, can be provided with a device equipped with a sensor and a communication unit, but is not limited thereto, and the weight of the training fire extinguisher is lightened, and a small fire extinguisher for children , It can be modified appropriately, such as slightly changing the shape of the fire extinguisher body or the design attached to the surface.
제 1 실시예에 종속되는 제 2 실시예에 있어서, 상기 HMD의 상기 제 1 통신부 간의 통신을 할 제 3의 통신부를 구비하며, 상기 제 1, 제 3의 통신부를 통해 입력되는 상기 실제영상 표시모드에서 실제영상의 영상 데이터 및 상기 가상현실 영상표시모드에서 가상현실 영상의 영상 데이터에 따라 상기 체험자가 상기 HMD의 상기 디스플레이를 통해 보는 것과 같은 영상을 모니터 영상으로 표시하는 모니터를 더 가질 수 있다.In a second embodiment dependent on the first embodiment, a third communication unit for communicating between the first communication units of the HMD is provided, and the actual image display mode input through the first and third communication units In the virtual reality image display mode, according to the image data of the real image and the image data of the virtual reality image in the virtual reality image display mode, the experiencer may further have a monitor that displays an image as seen through the display of the HMD as a monitor image.
제 2 실시예에 따르면, 체험자가 HMD 디스플레이를 통해 시청하고 있는 영상이 그대로 모니터에 비춰지는 것으로부터, 체험자 아닌 한 사람 또는 여러 사람(관중)가 체험자와 같은 영상을 통해 동일한 경험을 공유 할 수 있다. According to the second embodiment, since the image that the experiencer is watching through the HMD display is displayed on the monitor as it is, one person or multiple people (spectators) other than the experiencer can share the same experience through the same video as the experiencer. .
따라서, 예를 들면, 소화활동의 지도자가 체험자에적절하게 조언을 줄 수 있게 되고, 또한 관중이 함성을 올리는 등, 더 현실감을 더하는 연출을 하는 것도 가능과 된다. 또한 모니터는 예를 들어, 여러 사람이 공동으로 사용하는 한 대의 대형 스크린을 갖춘 투사형 표시 장치 일 수 있고, 혹은 관중의 각자의 태블릿 디스플레이 이어도 좋다.Therefore, for example, the leader of the fire extinguishing activity can give appropriate advice to the experienced person, and it is also possible to create a more realism, such as raising the audience's shouts. Further, the monitor may be, for example, a projection type display device having one large screen that is used in common by several people, or may be a tablet display of each of the audience.
제 3 실시예에 있어서, 상기 가상현실 영상생성부는 상기 가상현실 공간에 표시되는 상기 호스의 상기 끝을 쥐고 상기 체험자의 상기 손의 손목 받침의 위치를 고정하고, 상기 제 2 센서의 감지신호에 따라 상기 손목 상기 지점을 중심으로 상기 가상현실 공간에서의 상기 호스 상기 선단의 방향을 바꾸도록 할 수 있다.In a third embodiment, the virtual reality image generator holds the end of the hose displayed in the virtual reality space and fixes the position of the wrist rest of the hand of the experiencer, and according to the detection signal of the second sensor It is possible to change the direction of the tip of the hose in the virtual reality space around the point of the wrist.
제 3 실시예에에 따르면, 가상현실 공간에 표시되는호스의 끝을 쥐고 체험자의 손목 받침의 위치를 고정하고 그 지점을 중심으로, 예를 들어 손목의 회전에 의한 변이량 등을 측정하여 호스 끝의 방향을 특정 할 수 있다. According to the third embodiment, by holding the end of the hose displayed in the virtual reality space, fixing the position of the wrist rest of the experiencer, and measuring the amount of displacement caused by rotation of the wrist around the point, You can specify the direction.
이 경우 손의 깊이 방향(전후 방향)의 움직임과 상하 방향(수직 방향)의 움직임을 고려할 필요가 없기 때문에 센서의 검출부담을 줄일 수 있으며, 가상현실 영상생성부 영상 생성을위한 이미지 처리의부담도 경감 된다. In this case, since there is no need to consider the movement in the depth direction (forward and backward) and the movement in the vertical direction (vertical direction) of the hand, the detection burden of the sensor can be reduced, and the burden of image processing for image generation in the virtual reality image generator It is reduced.
또한 소화기를 사용할 때의 기본은적절한 거리에서 불꽃의 예를 들어 중심을 향해 힘차게 소화제를 분사하면서호스 끝을 가진 손목의 움직임에 의해 분출 방향을 조정하는(즉, 팔과 몸을 크게 움직이는 등의 불필요한 움직임없이 소화제를 불에 정확히 맞히는)라는 것이며, 이 기본 동작을 확실하게 체험 할 수 있다. 따라서, 체험자는 실제로 유용 소화활동에 관한 기본을 습득 할 수 있다.Also, when using a fire extinguisher, the basics of using a fire extinguisher are to adjust the direction of the jet by the movement of the wrist with the tip of the hose while spraying the fire extinguishing agent vigorously toward the center of the flame, for example, at an appropriate distance (i.e., unnecessary movement of the arm and body, etc. It means that you can accurately hit the fire extinguishing agent without movement), and you can definitely experience this basic movement. Thus, the experienced person can actually learn the basics of useful digestive activities.
제 4 실시예에 있어서, 상기 가상현실 영상생성부는 상기 실제영상 표시모드에서 상기 가상현실 영상표시모드로 전환되면, 가상현실 공간에 화재 현상의 소화활동 이전 영상보기 시킨 후 상기 소화활동 이전의 영상이 상기 체험자에게 다가와 멈추도록 제어 한 후, 상기 시뮬레이션 영상을 표시하고, 상기 불꽃이 진정되고 소정의 정도로 작아지면 상기 진정 되어 소정의 정도로 작아 진 불꽃을 포함한 소화활동 후의 영상이 상기 체험자에게 더욱 다가오고 멈추도록 제어하도록 할 수 있다.In a fourth embodiment, when the virtual reality image generation unit is switched from the real image display mode to the virtual reality image display mode, the image before the fire extinguishing activity is displayed in the virtual reality space after viewing the image before the fire extinguishing activity. After controlling to approach and stop the experiencer, the simulation image is displayed, and when the flame calms down and decreases to a predetermined degree, the video after the fire extinguishing activity including the flame that is calmed down and reduced to a predetermined degree approaches and stops. Can be controlled.
위의 제 3 실시예는 호스를 가진 손의 깊이 방향(전후 방향)의 움직임이 고려되지 않기 때문에 체험자에게는 소화 대상인 불꽃까지의 거리감을 잡기 어려울 수 있다는 것을 고려하여 제 4 실시예에서는 가상현실 공간에서의 영상(예를 들어, 배경영상에 불꽃의 영상이 중첩된 영상)를적절한 타이밍에 체험자에 접근 할 수 있도록하고이를 통해 체험자 자신이 불길을 향해 걸음을 전진했다(즉,적절한 거리까지 이동 한) 마치 감각을 얻을 수 있다. Since the third embodiment above does not take into account the movement of the hand with the hose in the depth direction (front-to-back direction), it may be difficult for the experienced person to grasp the sense of distance to the flame that is the object to be extinguished in the virtual reality space. (For example, a video of a flame superimposed on a background image) so that the experiencer can approach the experiencer at an appropriate timing, and through this, the experiencer himself advanced toward the flame (i.e., moved to an appropriate distance). It's like you can get a sense.
예를 들어, 실제영상 표시모드에서 가상현실 동상 모드로 전 환한 때 즉시 소화활동을 시작하는 것이 아니라, 영상을 체험자에 접근하는 것으로, 체험자는 우선, 화재 대상인 화염에 소화제가 도달하기 거리까지 접근하는 것이 중요하다는 소화활동의 기본 사항을 배울 수 있다. 또한 소화활동을 진행하여 어느 정도 수준까지 불길이 진정된 타이밍에서 불꽃이 작아 졌다고 방심하지 않고 더욱 가까이 접근하여, 확실하게 불을 끄는 것이 중요하다는 기본 사항을 배울 수 있다. For example, when switching from the real image display mode to the virtual reality frostbite mode, the fire extinguishing activity is not immediately started, but the video is approached to the experiencer, and the experiencer first approaches the fire target flame to the distance the extinguishing agent reaches. It is important to learn the basics of digestive activities. In addition, you can learn the basics that it is important to extinguish the fire reliably by proceeding with extinguishing activities and by approaching closer without being vigilant at the timing when the flame has calmed down to a certain level.
본 실시 예에서, 깊이 방향(전후 방향)에 대한 손의 움직임은 감지하지 단순화된 구성이 채용되는 한편, 체험자는 깊이 방향(전후 방향)의 소화 동작에서 주의해야 할 사항에 대해서도 확실하게 습득 할 수 있다.In this embodiment, a simplified configuration is adopted that does not detect hand movement in the depth direction (forward and backward direction), while the experienced person can reliably learn the matters to be noted in the fire extinguishing operation in the depth direction (forward and backward direction). have.
제 1 내지 제 4 어느 하나에 종속되는 제 5 채용예에서, In the fifth adoption example subordinate to any one of the first to fourth,
상기 가상현실 영상생성부는 상기 화재 현상의 소화활동 이전 영상에 포함된 배경영상 및 상기 시뮬레이션 영상에 포함된 배경영상으로 상기 체험자를 감상 할 수 있는 파노라마 영상을 표시하고 수 있다.The virtual reality image generator may display a background image included in an image prior to the fire extinguishing activity of the fire phenomenon and a panoramic image for viewing the experiencer as a background image included in the simulation image.
제 5 측면에서는 가상현실 공간에 표시되는 영상으로 평면 영상이 아니라 체험자가 둘러 볼 수 있는 넓은 시야 파노라마 영상(예를 들면, 360도 파노라마 영상)를 채용하여 체험자에 몰입 소화활동을 체험할 수 있다. 또한, 파노라마 영상은 전주(또는 부분 둘레)형 뿐만 아니라, 천문관 같은 돔(반구형) 스크린에서 시야의 위쪽 절반을 가리는 것과 같은 하늘 전체 둘레 형 전후 좌우 머리에서 발까지 전체 시야를 가리는 것과 같이 전체 천구형의 영상을 적절하게 채용 할 수 있다. 또한 체험자의 좌우의 눈에 제대로 시차가 있는 별도의 영상을 제공 할 수 있다면, 전체 천구 입체형의 파노라마 영상을 제공 할 수 있다.In the fifth aspect, a wide field of view panoramic image (for example, a 360-degree panoramic image) that the experiencer can look around is not a flat image as an image displayed in a virtual reality space, so that the experiencer can experience immersive digestion activities. In addition, the panoramic image is not only a pole (or partial circumference) type, but also a full celestial shape, such as covering the entire field of view from the left and right heads to feet, as well as a full circumference of the sky, such as covering the upper half of the field of view on a dome (hemispherical) screen such as a planetarium. You can appropriately adopt the video. In addition, if a separate image with a proper parallax can be provided for the left and right eyes of the experiencer, a panoramic image of the whole celestial sphere can be provided.
또한, 제 1 내지 제 5 실시예의 어느 하나에 종속하는 제 6 실시예에 있어서, 상기 제어부는 상기 가상현실 공간에서의 소방 활동이 종료된 후, 상기 체험자의 소화활동을 소정의 기준에 따라 평가 하고, 상기 평가를 나타내는 정보를 상기 HMD의 상기 디스플레이에 표시하는 평가부를 더 포함 할 수 있다.In addition, in a sixth embodiment subordinate to any one of the first to fifth embodiments, the control unit evaluates the firefighting activity of the experienced person according to a predetermined criterion after the firefighting activity in the virtual reality space is finished. , It may further include an evaluation unit for displaying the information indicating the evaluation on the display of the HMD.
제 6 실시예에서, 소화 체험 종료 후 평가부에 의한 평가(예 : "평가 결과"와 "시연 평가")을 HMD의 디스플레이(또는 제 2 실시예처럼 모니터를 갖추는 경우는 모니터의 표시면)에 표시 할 수 있다.In the sixth embodiment, the evaluation by the evaluation unit (eg, “evaluation result” and “demonstration evaluation”) after the fire extinguishing experience is completed is displayed on the display of the HMD (or the display surface of the monitor when equipped with a monitor as in the second embodiment). Can be displayed.
예를 들어, 화재에 걸린 시간 소화제의 분사 방향 등에 따라 평가가 내려지는하여 체험자(및 관중)은 게임 감각으로 심각한 영향을 미치지 않고, 실제로 도움이 소화 체험을 할 수 있다. 또한 평가를 줄 수는 체험자에 VR을 이용한 소화활동에적극적으로 참여하고자 하는 동기부여를 줄 수도 된다.For example, the evaluation is made according to the time spent on the fire and the direction of injection of the fire extinguishing agent, so that the experienced person (and the audience) does not have a serious effect on the sense of the game, and can actually help the fire extinguishing experience. It can also motivate those who can give evaluation to actively participate in digestion activities using VR.
제 7의 실시예에서는 체험용 소화기는 제 1 내지 제 6 실시예 중 어느 하나에 종속 VR을 이용한 소화체험 시뮬레이션 시스템 구성(즉, 시스템의 구성 요소이다) 체험용 소화기이다.In the seventh embodiment, the experience fire extinguisher is a fire extinguisher for experience in the configuration of a fire extinguishing experience simulation system (that is, a component of the system) using a dependent VR according to any one of the first to sixth embodiments.
체험용 소화기는 실제 소화기를 본뜬 형상, 구조 등이 있고 또한 체험자의 손의 움직임을 감지하는 센서 및 센서의 검출 정보를 HMD에 전송하는 통신부 등을 갖춘 구성이며, 많은 일반 분들이 체험용 소화기를 이용하여 실내에서 간편하게, VR을 이용한 소화활동을 체험 할 수 있게 된다.The experience fire extinguisher has a shape and structure that mimics an actual fire extinguisher, and is equipped with a sensor that detects the movement of the hands of the experienced person and a communication unit that transmits the detection information of the sensor to the HMD, and many general people use the experience fire extinguisher. Therefore, you can easily experience fire extinguishing activities using VR indoors.
제 8 실시예에서, 프로그램은 제 1 내지 제 6 실시예 중 어느 하나의 VR을 이용한 소화체험 시뮬레이션 시스템의 상기 HMD에 구비되는 상기 컴퓨터를 상기 제어부로 동작시키는 프로그램이다.In the eighth embodiment, the program is a program for operating the computer provided in the HMD of the fire extinguishing experience simulation system using VR as the control unit in any one of the first to sixth embodiments.
제 8 실시예에서, 예를 들어, 프로그램을 HMD의 컴퓨터에로드하여 HMd를, VR을 이용한 소화체험 시뮬레이션 시스템의 구성 요소 및 수 전용 HMD(전용의 웨어러블 컴퓨터)를 준비 할 필요가 없다. 따라서, 많은 일반 사용자가 쉽게 이용할 수 있도록 한다. 이것은 VR을 이용한 소화체험 시뮬레이션 시스템의 보급에 공헌할 수 있다.In the eighth embodiment, for example, it is not necessary to load a program into the computer of the HMD to prepare the HMd, the components of the fire extinguishing experience simulation system using VR, and a dedicated wearable computer (HMD). Therefore, it makes it easy to use by many general users. This can contribute to the spread of a fire extinguishing experience simulation system using VR.
당업자는 예시한 본 발명에 따른 실시 예는 본 발명의 정신을 벗어나지 않고, 또한 변경 될 수 있음을 쉽게 이해할 수 있을 것이다.Those skilled in the art will readily understand that the illustrated embodiments according to the present invention can be changed without departing from the spirit of the present invention.
도 1(a)는 본 발명에 따르면, VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템의 기본적인 구성 예를 나타내는 도면이다.
도 1(b)는 VR을 이용한 소화체험 시뮬레이션의 소화활동 사례를 나타내는 도면이다.
도 2는 도 2(a) 내지 도 2(d)는 각각 체험자가호스의 끝을 잡는 손의 손목 받침을 고정하고 지점을 중심으로 손목을 회전시키는 것으로, 호스 끝에서 분사하는 소화제의 방향을 변화시키는 예를 나타내는 도면이다.
도 3은 도 3(a) 내지 도 3(d)는 각각 VR을 이용한 소화체험단계 사례 및 가상현실의 불꽃이 보이는 위치 등을 설명하기 위한 도면이다.
도 4는 도 4(a) 내지 도 4(E)는 각각 VR을 이용한 소화 체험 중에 있어서 체험자와 관중(지도자 포함)이 시인하는 영상 예를 나타내는 도면이다.
도 5 VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템의 전체 구성 예를 나타내는 도면이다.
도 6(a) 및 도 6(b)는 파노라마 영상의 표시에 대해 설명하기 위한 도면이고,
도 6(c)는 불꽃 시뮬레이터의 기본적인 구성 예를 나타내는 도면이다.
도 7은 VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템에서, HMD의 제어부(컴퓨터)의 제어 방법의 예를 나타내는 흐름도이다.1(a) is a diagram showing a basic configuration example of a fire extinguishing experience simulation system using VR (virtual reality) according to the present invention.
1(b) is a diagram showing an example of a fire extinguishing activity in a fire extinguishing experience simulation using VR.
2(a) to 2(d) show that each experiencer fixes the wrist rest of the hand holding the end of the hose and rotates the wrist around the point, and changes the direction of the fire extinguishing agent sprayed from the end of the hose. It is a figure which shows an example to make.
3 is a view for explaining an example of a fire extinguishing experience step using VR and a location where a flame in virtual reality is visible, respectively, in FIGS. 3(a) to 3(d).
4A to 4E are diagrams showing examples of images visually recognized by the experiencer and the audience (including the leader) during a fire extinguishing experience using VR, respectively.
5 is a diagram showing an example of the overall configuration of a fire extinguishing experience simulation system using VR (virtual reality).
6(a) and 6(b) are views for explaining the display of a panoramic image,
6(c) is a diagram showing a basic configuration example of a flame simulator.
7 is a flow chart showing an example of a control method of a controller (computer) of an HMD in a fire extinguishing experience simulation system using VR (virtual reality).
이하에서 제시한 본 발명의 실시 예는 본 발명을 쉽게 이해하기 위해 사용되고 있다. 따라서, 당업자는 본 발명이 다음에 설명되는 실시 예에 의해 부당하게 제한되지 않음을 유의해야 한다.The embodiments of the present invention presented below are used to easily understand the present invention. Accordingly, those skilled in the art should note that the present invention is not unduly limited by the embodiments described below.
다음의 설명에서는 가상현실(VR)을 체험하기 위한 장치로서, 헤드 마운트 디스플레이(이하 HMD 라 칭함)를 사용한 예에 대해 설명하지만, HMD는 사람의 머리에 장착하는 것으로 한정되지 않고, 어깨와 목이나 몸통 등에 장착되는 것도 좋고, 광의로는 익힐 수 있는 컴퓨터(웨어러블 컴퓨터)와 같은 의미로 해석 할 수 이다.In the following description, an example in which a head mounted display (hereinafter referred to as HMD) is used as a device for experiencing virtual reality (VR) is described, but the HMD is not limited to being mounted on a person's head. It is good to be attached to the body, and in a broad sense, it can be interpreted in the same meaning as a computer (wearable computer) that can be learned.
또한 머리에 장착되는 HMD로 컴퓨터부분이 디스플레이에서 떨어져 지연되는 거치형 컴퓨터가 고글 또는 안경의 본체부에 일체적으로 설치되는 일체형 스마트 폰과 태블릿 PC 등 휴대 가능한 모바일 단말(모바일 단말기)를 머리 장착용 스트립의 지지부재에 착탈 가능하게 설치하여 HMD를 구성하는 모바일 형으로 대별 된다.In addition, a portable mobile terminal (mobile terminal) such as an integrated smart phone and tablet PC, which is installed integrally with the body of goggles or glasses, is a head-mounting strip where a stationary computer in which the computer part is delayed apart from the display with the head mounted HMD. It is largely divided into a mobile type that constitutes an HMD by installing detachably on the support member of
본 발명에서는 어느 것을 사용해도 좋지만, 특히 연령대를 불문하고 모두가 쉽게 저비용으로 소화활동 체험을 경험할 수 있도록 하여 시스템의 보급을 목표로 것을 중시하고 있으며, 이러한 관점에서 다음의 설명에서는 모바일 형 HMD를 이용하는 예에 대해 설명한다.In the present invention, any one may be used, but in particular, the goal is to disseminate the system by allowing everyone regardless of age group to easily experience the fire extinguishing activity at low cost.From this point of view, the following description uses a mobile HMD. Explain an example.
도 1(a)는 본 발명에 따르면, VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템의 기본적인 구성 예를 나타내는 도면, 도 1(b)는 VR을 이용한 소화체험 시뮬레이션에서 소방 예를 나타내는 도면이다. 도 1(a)의 왼쪽 상단에 표시되도록 실제 공간에서 체험자(U)의 전방 방향(세로 방향)에 Y축이 설정되고 Y축에 직교하는 좌우 방향으로 X축이 설정되어 Y축에 직교하는 수직 방향으로 Z축이 설정된 각축으로 3차원 좌표 공간이 정의된다. 이 3차원 좌표 공간은 외관상 가상현실(VR) 공간에서도 마찬가지로적용될 수 있다.1(a) is a diagram showing a basic configuration example of a fire extinguishing experience simulation system using VR (virtual reality) according to the present invention, and FIG. 1(b) is a view showing a fire fighting example in a fire extinguishing experience simulation using VR. The Y-axis is set in the front direction (vertical direction) of the experienced person (U) in the real space so that it is displayed on the upper left of Fig. 1(a), and the X-axis is set in the left-right direction orthogonal to the Y-axis so that it is perpendicular to the Y-axis. A three-dimensional coordinate space is defined by each axis in which the Z axis is set in the direction. This three-dimensional coordinate space can be applied similarly to virtual reality (VR) space in appearance.
도 1(a)의 왼쪽 상단에 표시되도록 체험자(U)는 머리에 HMD(10)을 장착하고 있다. HMD(10) 고글은 스마트 폰이나 태블릿 PC 등 휴대 가능한 모바일 단말(모바일 핸드셋)16 머리 장착용 스트립의 지지부재(12)착탈 가능하게 설치하여 구성되며, 또한 불길이 타오르는 소리 등을 들을 수 있도록 헤드폰(14)도 설치되어 있다.The experienced person U is wearing the
이 구성의 경우, 스마트 폰 등의 모바일 단말기(16)갖춰 디스플레이(예를 들면 액정 표시 장치)의 표시면이 HMD(10)가 장착된 체험자(U)의 눈(1)(좌안1L, 오른쪽 눈(1R))의 눈앞에 위치한 자사 디스플레이에 가상현실 영상이 비추어지는 것으로, 체험자(U)는 VR(가상현실)을 이용한 소화활동체험을 할 수 있다. 모바일 단말기(16)에 갖춘 디스플레이는 좌우 각 눈마다 다른 영상(시차 이미지)을 표시 할 수도 있지만, 여기에서는 모바일 단말기(16)갖춰 컴퓨터의 부담을 줄이기 위해 도 1(a)의 예로 도시한 바와 같은 HMD(10) 고글을 갖는 구성이다.In this configuration, a
또한 모바일 단말기(16), 컴퓨터(CPU, MPU 등)은 예를 들어, 미리 로딩되는 프로그램(애플리케이션 프로그램)에 따라 동작하는 것으로, VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템을 구성하는 HMD(10)의 동작을 제어하는 ??제어부로서 기능 한다. 또한, 도 1(b)는 제어부는 "HMD 제어부(200) '로 표기되어 있다. 또한, 이하의 설명에서는 단순히 "제어부(200)」라고 한 경우도 있다.In addition, the
또한 HMD(10) 통신 처리(체험용 소화기(20)에서 들어오는 센서의 감지신호의 수신 처리, HMD(10) 디스플레이에 표시되는 영상 데이터의 모니터(30)로 전송 처리 등)을 할 통신부(제 1 통신부 : 도 1(a)에서는 도시하지 않음, 도 1(b)는 HMd 통신부(300)로 표기된 것과 HMD(10)을 둘러싼 실제 공간의 실경을 촬상 할 수 있는 실경 촬상 카메라(후술)과를 포함한다.In addition, a communication unit that performs the communication processing of the HMD 10 (receiving processing of the detection signal from the sensor coming from the
또한, 도 1(a) 왼쪽 하단에 나타낸 바와 같이, HMD(10)용 컨트롤러를 겸하는 체험용 소화기(20)이 미리 준비되어 있다. 이 체험용 소화기(20)은 HMD(10) 통신부(제 1 통신부) 사이에서 통신을 할 통신부(제 2 통신부 : 예를 들어 제 1, 제 2의 각 센서(S1, S2)가 통신 기능을 가지고 있는 때에는 그 통신 기능을 갖는 부분이 제 2 통신부가 된다)와 소화기 본체(22)와 HMD(10) 가상현실(VR) 디스플레이 모드인 경우, 가상현실 소화제를 분사하는 스위치 역할을 하는 조작 레버(24), 가상현실 소화제(5) 끝에서 분출하는 분출장치로 기능하는 호스(26) 체험자(U)에 따르면 조작 레버(24) 동작을 감지하는 제 1 센서(S1)과 호스(26) 끝(28)의 움직임을 감지하는 제 2 센서(S2)를 구비하고 있다.In addition, as shown in the lower left corner of Fig. 1(a), an
또한 훈련용 소화기(20) 예를 들어, 실제 소화기와 동일 예를 들어, 센서 및 통신부를 구비하는 장치를 장착하여 제공 할 수 있으나, 이에 한정되는 것이 아니라, 훈련용 소화기(20) 무게를 가볍게 하고, 소아용으로 작은 소화기로 하고, 소화기 본체(22)의 형상이나 표면에 부착되는 디자인을 약간 변경하는 등의 변형이 적절하게 이룰 수 있다.In addition, the
이 훈련용 소화기(20)은 HMD(10)용 컨트롤러로서의 기능을 가지지 만, 더욱 실제 소화기 작업을 수행 경험할 수 있는 체험 공구(체험 도구) 역할을 한다. 여기서, 종래 몰입 HMD를 이용한 대전 게임 등의 가상현실 공간에서, 예를 들면 죽도의 움직임을 제어하기 위해 사용자가 장난감 죽도형 컨트롤러를 손에 가상현실 공간의 죽도를 이동 등이 행해지고 있지만, 그 경우의 장난감 죽도는 단순히 컨트롤러 역할을하고 있는 것에 지나지 않고 실제 죽도의 사용에 익숙해 등을 목적으로 하는 체험 공구(체험 도구)으로는 작동하지 않는다. 따라서, 본 발명의 체험용 소화기는 컨트롤러의 기능과 체험 공구(체험 도구)로서의 기능을 겸비, 소화체험 시뮬레이션을 위한 신규하며 유용한 구조물이다. This
즉, 체험용 소화기(20) 실제 소화기를 본뜬 형상, 구조 등이 있고 또한 체험자의 손의 움직임을 감지하는 센서(S1, S2)등 및 센서의 검출 정보를 HMD에 전송하는 통신부 등을 구비 구성이며, 많은 일반 분들이 체험용 소화기(20)를 이용하여 실내에서 간편하게, VR을 이용한 소화활동을 체험하는 것이 가능해진다.That is, the
또한, 도 1(a)의 오른쪽에 나타낸 바와 같이, 체험자(U) 근처에는 모니터(30)가 설치되어 있다. 모니터(30)는 도 1(b)에 명시된 바와 같이, HMD(10) 통신부(제 1 통신부) 사이에서 통신을 할 통신부(제 3 통신부)(32)를 갖추고 있다. 모니터(30)는 도시되어 있지 않으나 화상 처리 장치를 탑재하고 있다.Further, as shown on the right side of Fig. 1(a), a
모니터에 구비되는 화상 처리 장치(도시하지 않음)는 HMD(10) 통신부(제 1 통신부) 및 모니터(30)통신부(제 3 통신부)(32)를 통해 입력되는(즉, 무선 통신을 통해 송수신된 모니터(30)의 내부에 입력되는) HMD(10)가 실제영상 표시모드 일 때의 실제영상의 영상 데이터 및 가상현실 영상표시모드 있을 때의 가상현실 영상의 영상 데이터에 기초하여 체험자(U)가 HMD(10)의 디스플레이를 통해 보는 것과 같은 영상을 모니터 영상으로 표시한다. 도 1(a)의 예에서는 체험자(U)가보고 있는 체험용 소화기(20) 및 체험자(U) 왼손 손목 부근의 영상, 즉, 촬상 카메라 구체적으로는, 도 5 외부 카메라103)에서 촬영한 실제 영상이 비추어지고 있다. 또한 체험자(U)가 듣고 있는 소리는 모니터(30)갖춰 스피커(도시하지 않음)에서 출력 된다.The image processing device (not shown) provided in the monitor is input through the
또한, 도 1(a)의 예에서는 소방 활동의 전문적인 조언 등을 담당하는 지도자(tc)와 체험의 순서를 기다리고 있는 체험 희망자(ad)가 관중으로 모니터(30)에 비추어 하는 모니터 이미지를 보고 있다. 모니터(30)가 설치되는 것으로, 체험자 아닌 한 사람 또는 여러 사람(관중)이 체험자(U)와 같은 영상을 통해 동일한 경험을 공유 할 수 있다. 따라서, 예를 들면, 소화활동의 지도자(tc)가 체험자(U)에게 적절하게 조언을 줄 수 있고, 또한 관중(ad)가 비명을 올리는 등, 더 현실감을 더하는 연출하는 것도 가능해진다.In addition, in the example of FIG. 1(a), a leader (tc) in charge of professional advice on firefighting activities and an experience applicant (ad) waiting for the order of experience report a monitor image projected on the
또한, 모니터(30)예를 들어, 여러 사람이 공동으로 사용하는 한 대의 대형 스크린을 갖춘 투사형 표시 장치 일 수 있고, 혹은 관중의 각자의 태블릿 디스플레이 이어도 좋다.In addition, the
도 1(a)와 같이, 소화기 본체(22)과 자신의 손(오른손(3R)) 영상(실제영상)을 체험자가 확인한 후, 도 1(b)로 이행 한다. 즉, HMD(10) 모드가 H MD 제어부(200)(구체적으로는 도 5의 실제영상/가상현실 영상 전환부(212): 후술)에 의해 실제영상 표시모드에서 가상현실모드로 전환 된다.As shown in Fig. 1(a), after the experiencer confirms the fire extinguisher
도 1(b)는 VR을 이용한 소화체험 시뮬레이션이 개시된다. HMD 제어부(200)(구체적으로는, 도 5의 가상현실 영상생성부(210))은 HMD(10)가 실제영상 표시모드에서 가상현실 영상표시모드로 전환되면, 이미지 합성(이미지 렌더링)에 의해 체험자(U)의 손에 쥐어 진 호스(26) 끝(28)을 포함한 영상 VR(1)와 호스(26) 끝(28)에서 가상현실 소화제(5) 분사되는 영상 VR(2)과 가상현실의 불꽃(7)이 진정되는 영상 VR(3)를 배경 대상물(9), 도 1(b)에 도시된 바와 같이, 여기에서는 화기 로는 문어발 식 배선용 멀티 탭을 포함한 배경을 도 VR(4)에 중첩시켜 가상현실 전시를 위한 프레임 영상 VR(4)를 생성하고 생성된 프레임 영상 VR(4)를 포함한 영상을 시뮬레이션 영상으로 HMD(10)의 디스플레이에 표시하며, 또한 이와 병행하여 프레임 영상 VR(4)의 데이터를 모니터(30)로 전송 한다. 모니터(30)은 체험자(U)가 보고 있는 영상과 같은 영상이 모니터에 이미지 영상이 보여진다.1(b) shows a fire extinguishing experience simulation using VR. When the HMD control unit 200 (specifically, the virtual reality
프레임 영상 VR(4)의 생성은 도 5에 표시된 가상현실 영상생성부(210)가 담당 한다. 또한, 가상현실 영상생성부(210)은 체험용 소화기(20)에서 무선 통신을 통해 전송되는(즉, 체험용 소화기(20) 제 2 통신부 및 HMD(10) 제 1 통신부를 통해 HMD 제어부(200)에 입력되는) 체험용 소화기(201) 센서(S1) 및 제 2 센서(S2)의 각 검출 정보 및 경과 시간 정보 등을 바탕으로 호스(26) 끝(28)에서 가상현실 소화제(5)가 분사되는 영상 VR(2) 가상현실의 불꽃(7)이 진정되는 영상 VR(3)을 생성한다(상세내용은 후술함).The generation of the
도 1(a), (b)에 도시된 바와 같이, 본 실시 형태의 VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템은 실제로 사용되는 소화기를 본뜬 체험용 소화기(20)(HMD(10)의 컨트롤러를 겸함)를 이용하여 실제 소화활동과 같은 레버(24) 작업이나 호스(26) 끝(28) 방향을 바꾸는 동작을 체험자(U) 자신의 손3(왼손3L 오른손(3R))를 사용하여 수행 할 수 있다. 따라서 체험자(U)는 실제 소화기에 익숙해 질 수 있다.As shown in Figs. 1(a) and (b), the fire extinguishing experience simulation system using VR (virtual reality) of the present embodiment is an experience fire extinguisher 20 (controller of the HMD 10) imitating a fire extinguisher that is actually used. Use the user's hand 3 (
또한 바로 가상현실 공간에 들어가는 것이 아니라, 도 1(a)에 도시된 바와 같이, 먼저 실제영상(예를 들어, HMD(10)을 구성하는 스마트 폰 등의 모바일 단말기(16) 카메라로 촬상 한 훈련용 소화기를 포함 실상)를 디스플레이에 표시하고 체험자(U)는 훈련용 소화기(20)와 자기의 손(오른손(3R))의 위치 등을 확인 한 후 그 확인된 실상태에서 가상현실(VR) 공간에서의 소방 활동 시뮬레이션을 시작하는 것이 가능하다.In addition, not immediately entering the virtual reality space, as shown in Fig.1 (a), training first taken with a camera of a real image (for example, a
따라서 현실의 감각을 공유하면서 실제 소화활동 단계와 같은 방법으로 화염 소화 작업을 할 수 있다. 따라서 체험자(U)는 현실감을 공유하면서 실제 소화활동 단계를 현장감을 가지고 체험 할 수 있다.Therefore, it is possible to extinguish the flame in the same way as the actual extinguishing activity step while sharing the sense of reality. Therefore, the experienced person (U) can experience the actual stage of digestion activity with a sense of reality while sharing a sense of reality.
또한, 도 1(a), (b)에 나타나는 소화체험 시뮬레이션 시스템의 주요 구성 요소는 체험용 소화기(20)과 HMD(10)이며(또한, 필요에 따라 모니터(30)가 마련 된다) 구성이 단순화되어 있다. 따라서 이동성(휴대성 설영 성)이 우수하며 간편성(예를 들어, 직원의 개별 지원없이 실내에서 간편하게 실시 할 수 있는 점)을 갖춘 시뮬레이터를 쉽게 구현할 수 있다.In addition, the main components of the fire extinguishing experience simulation system shown in Figs. 1 (a) and (b) are the
본 실시 형태의 VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템은 기존의 몰입 형 게임 장비 등 달리 체험용 소화기(20) 현실의 도구를 조작하여 그 촉감이나 질감 등 현실적으로 느끼면서 현실의 손의 움직임과 연동하여 변화되는 가상현실 공간에서의 VR 영상에 의한 시각에 의해 현장감 있는 소화활동을 경험할 수 있는 것이며, 리얼한 현실을 수반하는 가상 소방 체험 시뮬레이터라고 할 수 있다.The fire extinguishing experience simulation system using VR (virtual reality) of the present embodiment operates the actual tools of the
다음으로, 도 2를 참조하면, 도 2(a) 내지 도 2(d)는 각각 체험자가호스의 끝을 잡는 손의 손목 받침을 고정하고 지점을 중심으로 손목을 회전시키는 것으로, 호스의 끝에서 분사 하는 소화제의 방향을 변화시키는 예를 나타내는 도면이다.Next, referring to FIG. 2, FIGS. 2(a) to 2(d) show that each experiencer fixes the wrist rest of the hand holding the end of the hose and rotates the wrist around the point, at the end of the hose. It is a diagram showing an example of changing the direction of an injecting extinguishing agent.
도 1(b)에서 설명한 바와 같이, 호스(26) 끝(28)에서 분사되는 가상현실의 소화제(5)의 분사 방향은 호스(26) 끝(28)를 쥐고 있는 체험자(U)의 손의 움직임에 따라 변화한다. 그 손의 움직임을 체험용 소화기(20) 호스(26) 끝(28)의 제 2 센서(S2)에 의해 검출한다. 예를 들어, 제 2 센서(S2)로 6축 센서(복합 형의 관성 센서이며, X, Y 및 Z축 방향의 움직임과 각 축 주위의 회전 θX, θy, θZ를 감지 물건)을 이용하면, 복잡한 손의 움직임을 상세하게 감지 할 수 있다. As described in Fig. 1(b), the spray direction of the virtual
물론, 이러한 검출 방법을 본 발명에서 사용할 수도 있지만, 이 경우는 검출 정보가 많기 때문에 시뮬레이션된 이미지를 생성하기 위한 이미지 처리가 복잡하고 H MD10을 구성하는 모바일 단말기(16)의 처리 능력을 초과하는 경우도 상정되며, 강력한 모바일 단말기를 제공하는 경우에는 고비용이되는 것은 부정 할 수 없다. 소화체험 시뮬레이션 시스템의 보급을 촉진하기 위해서는 가능한 저비용으로 많은 일반인이 쉽게 이용할 수 있는 것이 바람직하다.Of course, such a detection method may be used in the present invention, but in this case, since there is a lot of detection information, the image processing for generating a simulated image is complicated and the processing capability of the
이러한 측면에서, 도 2의 예에서는 화상 처리의부담 경감 등을 고려하여, HMD 제어부(200) 즉, 도 5의 가상현실 영상생성부(210))은 가상현실 공간에 표시되는 호스(26) 끝(28)를 쥐고 체험자(U)의 손, 예를 들어 오른손(3R)) 손목 받침(K-1)의 위치를 고정하고 제 2 센서(S2)의 검출 신호에 따라 밖으로 손목 받침(K-1)을 중심으로(구체적으로는 지점(K-1)을 중심으로 하는 손목의 회전에 의한 변이를 검출하여) 가상현실 공간에서 호스(26) 끝(28) 바꾸다 도록 한다.In this respect, in the example of FIG. 2, in consideration of the reduction of the burden of image processing, the
도 2(a)는 가상현실 공간에서 오른손(3R)과 호스(26) 끝(28)에서 분출되는 가상현실의 소화제(5)와 가상현실의 불꽃(7)를 상하 방향(수직 방향)에 대응하는 Z축을 따라 볼 때의 이미지(Z축 방향에서 본 평면에서 바라 본 VR 화상)을 나타내고 있다. 도 3(b)는 그 VR 이미지가 모니터(30)에 비추어지고 있는 모습을 보여주고 있다.Figure 2 (a) corresponds to the virtual reality
도 2(a), (b)에서 알 수 있듯이, 가상현실 공간에서 오른손(3R)의 손목 받침(K-1)의 위치가 고정되어있어 실제 공간에서 만일 오른손(3R)이 움직였다하더라도, 가상현실 공간에서의 움직임은 반영되지 않고 항상 지점(K-1) 같은 위치에 있다. 도 3(a)의 예에서는 Z축을 중심으로 한 회전(회전), 즉, 체험자(U)에서보고 좌우 방향에서 시계 방향/반 시계 방향의 회전(회전)이 체험용 소화기(20) 센서(S2)에 의해 검출된다.As can be seen from Figs. 2(a) and (b), the position of the wrist rest K-1 of the
도 2(c)는, 도 2(a)와 같은 이미지를 좌우 방향에 대응하는 X축 방향에서 본 평면에서 보아의 VR 이미지이고, 도 2(d)는 VR 이미지가 모니터(30)에 비추어지고 있는 모습을 나타내는 도면이다. 마찬가지로, 지점(K-1)은 고정이며, X축을 중심으로 한 회전(회전), 즉, 체험자(U)에서보고 상하 방향에서 시계 방향/반 시계 방향의 회전(회전)이 체험용 소화기(20) 센서(S2)에 의해 검출된다.FIG. 2(c) is a VR image viewed from a plane as seen in the X-axis direction corresponding to the left-right direction of the image as in FIG. 2(a), and FIG. 2(d) shows the VR image being projected on the
이와 같이 감지하는 움직임을 Z축, X축 각축 방향의 회전(회전)에 의한 변이 한다(물론, 다른축에 대한 움직임을 감지 할 수 있다. 이 경우 위 2축 방향의 움직임 이외의 감지 정보는 이미지 생성에 사용하지 않음)하여 HMD 제어부(200)의 처리부담 등을 경감 할 수 있다.The motion detected in this way is transformed by rotation (rotation) in the Z-axis and X-axis directions (of course, it is possible to detect the motion in the other axis. In this case, the sensing information other than the motion in the two-axis directions above is the image) It is not used for generation) to reduce the processing burden of the
즉, 가상현실 공간에 표시되는 호스(26) 끝(28)를 쥐고 체험자(U)의 손 오른손(3R)의 손목 받침(K-1)의 위치를 고정하고 그 지점(K-1)을 중심으로, 예를 들면 손목의 회전에 의한 변이 양을 각속도 센서(자이로 센서 등)에서 측정하여 호스(26) 끝(28) 방향을 특정 할 수 있는 한편, 손 깊이 방향(전후 방향인 Y축 방향)에 따라서 운동(병진) 및 상하 방향(수직 방향)에 따라서 운동(병진)을 고려할 필요가 없기 때문에 제 2의 센서(S2)의 검출 부담을 줄일 수 있으며, HMD 제어부(200)의 가상현실 영상생성부(210)(도 5 참조)의 영상 생성을 위한 이미지 처리의 부담도 경감된다.In other words, by holding the
또한 소화기를 사용할 때의 기본은 적절한 거리에서 불꽃(7), 예를 들어 중심을 향해 힘차게 소화제(5)를 분사하면서 호스(26) 끝(28)을 가진 손(오른손(3R)) 손목의 움직임에 의해 분출 방향을 조정하는 즉, 팔과 몸을 크게 움직이는 등의 불필요한 움직임없이 소화제를 불에 정확하게 맞출 수 있으며, 이 기본 동작을 확실하게 체험 할 수 있다. 따라서 체험자(U)는 실제로 유용하고 소화활동의 기본을 습득 할 수 있다.In addition, the basics when using a fire extinguisher are the movement of the hand (right hand (3R)) wrist with the end of the hose (26) while spraying the flame (7), for example, vigorously towards the center (5) at an appropriate distance. By adjusting the direction of the ejection, that is, without unnecessary movements such as large movements of the arm and body, the fire extinguishing agent can be accurately matched to the fire, and this basic movement can be experienced reliably. Therefore, the experienced person (U) is actually useful and can learn the basics of digestive activities.
다음으로, 도 3을 참조 한다. 도 3(a) 내지 도 3(d)는 각각 VR을 이용한 소화체험단계 예 및 가상현실의 불꽃이 보이는 위치 등을 설명하기 위한 도면이다. 도 3에서 위의 도면과 같은 대상에는 동일한 부호로 표기되어 있다. 또한, 이 점은 다른 도면에 있어서도 마찬가지이다.Next, refer to FIG. 3. 3(a) to 3(d) are diagrams for explaining an example of a fire extinguishing experience step using VR and a location where a flame in virtual reality is visible, respectively. In FIG. 3, objects such as those in the above drawings are indicated by the same reference numerals. In addition, this point is the same also in other drawings.
도 3(a)에서는 HMD(10)을 장착 한 체험자(U)는 먼저 체험용 소화기(20) 안전핀13를 뽑아 다음, 손(여기에서는 오른손(3R))를 레버(24)에 걸려(쥐고 있지 않기 때문에 제 1 센서(S1)의 검출 신호는 오프 상태임), 다른 손에는(여기에서는 왼손(3L)) 호스(26) 끝(28)를 쥐고 있는다.In Fig. 3(a), the experienced person (U) equipped with the
앞서 설명한 바와 같이, 도 3(a) 상태에서는 고글 역할을 하는 모바일 단말(16)은 카메라에서 촬영한 실제영상을 표시하고(예를 들어, 도 1(a)의 모니터 이미지 참조) 체험자(U)는 체험용 소화기(20)이나 자신의 손의 위치 등을 시인하여 확인할 수 있다.As described above, in the state of FIG. 3 (a), the
다음은 HMD(10)가 실제영상 표시모드에서 가상현실 영상표시모드로 전환 된다. 도 3(b)는 가상현실 공간에 화재 현상의 소화활동 이전 영상(예 불씨가 되고 있는 사무실에서 문어발식 배선 주위의 영상)이 표시된다. 체험자(U)에서 불꽃(7)까지의 거리는 L0이다. 그런 다음 영상이 체험자(U) 옆에 다가와 멈춘다.Next, the
이 경우 체험자(U)에서 불꽃(7)까지의 거리는L1(L1 < L0)가 된다.In this case, the distance from the experienced person (U) to the flame (7) is L1 (L1 <L0).
화기 영상을 체험자(U)에 접근시키는 것은 상술 한 바와 같이, 호스(26) 끝(28)을 쥔 손의 깊이 방향(전후 방향)의 움직임이 고려되지 않는 경우에는 체험자(U)에 있어서, 소화 대상인 불꽃(7)까지의 거리감을 잡기 어려운 경우가 있다.Approaching the firearm image to the experienced person (U) is, as described above, when the movement of the hand holding the end of the hose 26 (28) in the depth direction (forward and backward) is not considered, in the experienced person (U), fire fighting It may be difficult to grasp the sense of distance to the target flame (7).
이 점을 고려하여, 가상현실 공간에서의 화기 영상(배경영상에 불꽃의 영상이 중첩된 영상)를적절한 타이밍에 체험자(U)에 접근 할 수 있도록 하고 이를 통해 체험자(U)이 자신이 불꽃(7)을 향해 걸음을 전진하여(즉,적절한 거리까지 이동) 마치 감각을 얻을 수 있도록 하고 있다.Taking this into consideration, the firearm image (the image of the firework superimposed on the background image) in the virtual reality space is made accessible to the experienced person (U) at an appropriate timing. 7) by moving forward (ie, moving to an appropriate distance) so that you can get a sense of it.
예를 들어, 실제영상 표시모드에서 가상현실 영상표시모드로 전환한 때 즉시 소화활동을 시작하는 것이 아니라, 화기 영상을 체험자(U)에 접근하여 체험자(U)는 먼저 소화 대상인 불꽃(7)에 대한 소화제(5)가 도달하는 거리까지 접근하는 것이 중요하다는 소화활동의 기본 사항을 배울 수 있다.For example, when switching from the actual image display mode to the virtual reality image display mode, the fire extinguishing activity does not start immediately, but the firearm image is approached to the experienced person (U), and the experienced person (U) first reaches the flame (7) to be extinguished. You can learn the basics of fire extinguishing that it is important to approach the distance that the Korean fire extinguishing agent (5) reaches.
다음으로, 도 3(c)와 같이 소화활동의 시뮬레이션 영상이 표시되고 가상현실 공간 내에서 소화제(5) 분사(스프레이)에 의해 불꽃(7)이 시간이 지남에 따른 모습을 보여주는 그림이 도시된다.Next, a simulation image of the fire extinguishing activity is displayed as shown in FIG. 3(c), and a picture showing the appearance of the
다음으로, 도 3(d)처럼 불꽃(7)이 진정되고 소정의 정도로 작아진다(예를 들면, 불꽃의 크기가 초기 상태의 30% 정도가 된다)과 진정되고 소정 정도로 작아 진 불꽃(7)을 포함한 소화활동 후의 영상이 체험자(U)에 더욱 다가와 멈춘다. 소화활동을 진행하여 어느 정도 수준까지 불꽃(7)이 진정된 시기에 불씨를 포함한 영상을 접근하는 것으로, 불꽃(7)이 작아 졌다고 방심하지 않고 더욱 가까이서 확실히 불꽃(7)을 소화하는 것이 중요하다는 기본 사항을 배울 수 있다. 이윽고 화염 완전히 진화되고 이에 따라 체험 시뮬레이션이 종료됩니다.Next, as shown in Fig. 3(d), the
이와 같이, 깊이 방향(전후 방향)에 대한 손의 움직임은 감지하는 단순화된 구성이 채용되는 경우도 체험자(U)는 깊이 방향(전후 방향)에서 소화 작동의 주의 할 사항에 대해서도 확실하게 습득 할 수 있다. In this way, even when a simplified configuration that detects hand movement in the depth direction (forward and backward) is adopted, the experienced person (U) can reliably learn the precautions for fire extinguishing operation in the depth direction (forward and backward). have.
다음으로, 도 4를 참조 한다. 도 4(a) 내지 도 4(E)는 각각 VR을 이용한 소화 체험 중에 있어서 체험자와 관중(지도자 포함)이 시인하는 영상 예를 나타내는 도면이다. 도 4는 왼쪽에 HMD(10)(의 디스플레이)에 표시되는 이미지를 보여주고 오른쪽에 모니터(30)에 표시되는 이미지가 나타나고 있다.Next, refer to FIG. 4. 4(a) to 4(E) are diagrams each showing an example of a video visually recognized by the experiencer and the audience (including the leader) during a fire extinguishing experience using VR. FIG. 4 shows an image displayed on the HMD 10 (display of) on the left and an image displayed on the
도 4(a)에서는 시뮬레이션을 시작함에 있어서 탐색 이미지가 표시된다. 도 4(b)에서는 먼저, 도 1(a)에 나타낸 실 영상(실상)가 표시된다.In Fig. 4(a), a search image is displayed when starting the simulation. In Fig. 4(b), first, the real image (real image) shown in Fig. 1(a) is displayed.
도 4(c)에서는 실제영상(실상)에서 VR 영상(허상)로 전환 된다. HMD(10)은 불씨를 나타내는 이미지(좌안용의 불꽃(7L)을 나타내는 도 VR(2L), 우안용의 불꽃(7R)을 나타내는 도 VR(2R))가 표시된다. 모니터(30)은 불꽃(7)을 나타내는 도 VR(2)가 나타난다.In FIG. 4(c), the actual image (real image) is converted to a VR image (virtual image). The
도 4(d)는 HMD(10)은 소화활동 중의 시뮬레이션 이미지(즉, 좌안용 프레임 이미지 VR(FL), 우안 프레임 이미지 VR(FR)이 표시된다. 모니터(30)프레임 이미지 VR(F)가 표시된다.4(d) shows that the
도 4(E)는 HMD(10)에는 불꽃(7)이 진정되고 초기의30 % 정도의 크기로된 상태에서 시뮬레이션 이미지(즉, 좌안용 프레임 이미지 VR(FL), 우안 프레임 이미지 VR(FR)가 표시된다. 모니터(30)프레임 이미지 VR(F)가 표시된다.4(E) is a simulation image (ie, left-eye frame image VR (FL), right-eye frame image VR (FR)) in a state in which the
다음으로, 도 5를 참조 한다. 도 5는 VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템의 전체 구성 예를 나타내는 도면이다. 도 5의 오른쪽에는 HMD(10)의 본체(HMD 본체)101의 구성이 나타나 도 5의 왼쪽에는 HMD(10) 제어부(HMD 제어부)(200) 구성이 도시되어 있다.Next, refer to FIG. 5. 5 is a diagram showing an example of the overall configuration of a fire extinguishing experience simulation system using VR (virtual reality). The configuration of the main body (HMD main body) 101 of the
HMD 본체(101)은 이미지 처리부107과 외부를 촬상하는 외부 카메라(영상용 카메라)103 디스플레이 구동부109 디스플레이의 왼쪽 눈(1L)용 표시 영역(16L)와 디스플레이의 오른쪽 눈(1R)용의 표시 영역(16R)과 헤드폰(14)(왼쪽 귀 스피커(1L) 및 오른쪽 귀 스피커(1L) 포함) 체험자(U) 시선(시점)의 이동을 감지하는 내 카메라(눈 감지 카메라)(13) 센서부(15)가 있다. 센서부(15)는 시선 검출부(17)과 자이로 센서와 가속도 센서 등을 포함하는 관성 센서(19)의 센서 신호에 따라 손의 움직임을 감지하는 모션 감지부(2)1를 포함한다.The HMD
또한 헤드폰(14)을 통해 소화체험 시뮬레이션 동안 불길이 타오르는 소리 등이 체험자(U) 귀에 출력되고, 이를 통해 체험자(U)는 더 현장감 넘치는 소화활동을 체험 할 수 있다.In addition, the sound of burning fire during the simulation of the fire extinguishing experience through the
또한 내부 카메라(13)에 의해 촬영된 눈을 시선 검출부(17)에서 분석하여 체험자(U)의 시선 위치(시점 위치)를 검출 할 수 있다. 예를 들어, HMD(10) 디스플레이에 "시뮬레이션을 중지, 소방 활동을 하지 않고 도망" 등 대안을 제시하고 체험자(U)의 시선과 원하는 동작을 실행시키는 것이 가능하다.In addition, the eyes captured by the
제어부(HMD 제어부)(200) 가상현실 영상생성부(210)과 실제영상/가상현실 영상 전환부(212), 저장부(220) 평가부(230)과 타이머(240) 이미지 신호 생성부(250), 음향 처리부(260)와 음향 신호 생성부(270)가 있다. A control unit (HMD control unit) 200, a virtual reality
제어부(HMD 제어부)(200) 도 4(a)에 도시된 바와 같은 탐색(안내) 이미지를 생성하는 안내 이미지 생성부(21)과 파노라마 이미지 생성부(213), 호스 끝과 손목의 이미지 생성부(214), 소화제 살포(분출) 이미지 생성부((216))의 화기 이미지이다. 연소 이미지를 생성하는 연소 이미지 생성부(즉, 불꽃 시뮬레이터((216)))를 가지고 있다. 또한 파노라마 이미지에 대해서는 후술 한다.A control unit (HMD control unit) 200 A guide
여기에 실제영상/가상현실 영상 전환부(212)는 HMD(10) 있어서 실제영상 표시모드/가상현실 디스플레이 모드를 전환하며 실제영상 표시모드의 경우에는 실경 촬상 카메라(외부 카메라,103)에서 촬영한 실제영상을 HMD(10)의 디스플레이에 표시한다.Here, the real image/virtual reality
또한 가상현실 영상생성부(210)은 HMD(10)가 실제영상 표시모드에서 가상현실 영상표시모드로 전환되면, 체험용 소화기(20) 통신부(제 2 통신부) 및 HMD의 통신부(제 1 통신부)(300)를 통해 입력되는 체험용 소화기(201) 센서(S1) 및 제 2 센서(S2)의 각 검출 정보(도 5에 표시된 레버 ON/OFF 신호 X축, Z축 주위의 회전(회전)에 의한 변이를 나타내는 정보 θX, θZ)에 따라 체험자(U)의 손에 든 호스(26) 끝(28)에서 가상현실의 소화제가 분사되는 영상(도 1(b) 영상 VR(2)) 및 가상현실의 불길이 진정되는 영상(도 1(b)의 영상 VR(3))를 포함한 시뮬레이션 영상(도 1(b)의 프레임 영상 VR(F))를 표시하도록 작동 한다.In addition, when the
또한 기억부(220)은 RAM, ROM, EEP ROM 등으로 이루어지고 이미지 생성용 데이터(221)과 시스템 프로그램(222) 애플리케이션 프로그램(223)이 있다.In addition, the
애플리케이션 프로그램(223)은 VR을 이용한 소화체험 시뮬레이션 시스템의 HMD(10) 갖춰 컴퓨터(CPU, MPU)를 제어부(HMD 제어부)(200) 역할을 하는 프로그램이다. 따라서, 애플리케이션 프로그램(223), HMD(10) 컴퓨터(CPU, MPU)에 로드하여 HMD(10), VR을 이용한 소화체험 시뮬레이션 시스템의 구성 요소와 수 전용 HMD(전용 웨어러블 컴퓨터)를 준비 할 필요가 없다. 따라서, 많은 일반 사용자가 쉽게 이용할 수 있도록 한다. 이것은 VR을 이용한 소화 체험의 보급에 공헌할 수 있다.The
또한 상술 한 바와 같이, 제어부(HMD 제어부)(200) 평가부(230)를 가지고 있다. 평가부(230) 가상현실 공간에서의 소방 활동이 끝난 후 체험자(U)의 소화활동을 소정의 기준에 따라 평가하고, 평가를 나타내는 정보를 HMD(10)의 디스플레이에 표시 시킨다.In addition, as described above, it has a control unit (HMD control unit) 200 and an
예를 들어, 소화 체험 종료 후 평가부(230)에 의한 평가(예: "평가 결과"와 "장점 등을 나타내는 평가")가 HMD(10)의 디스플레이 및 모니터(30)의 표시면에 표시된다.For example, an evaluation by the evaluation unit 230 (eg, “evaluation result” and “evaluation indicating strengths”) after the fire extinguishing experience is completed is displayed on the display of the
구체적으로는, 예를 들어 소화하는데 걸린 시간 소화제의 분사 방향 등에 따라 평가가 내려지는하여 체험자(및 관중)은 게임 감각으로 심각한 영향을 미치지 않고, 정말 도움이 되는 소화 체험을 할 수 있다. 또한 평가를 줄 수는 체험자(U)에 VR을 이용한 소화활동에 적극적으로 참여하고자 하는 동기부여를 줄 수도 있고 시스템의 보급에 공헌 한다.Specifically, the evaluation is made according to, for example, the time taken for digestion, the direction of injection of the digestive agent, etc., so that the experienced person (and the spectators) can have a really helpful digestion experience without seriously affecting the game sense. In addition, it can motivate the experienced person (U) who can give evaluation to actively participate in fire extinguishing activities using VR, and contributes to the spread of the system.
다음으로, 도 6을 참조하면, 도 6(a) 및 도 6(b)는 파노라마 영상의 표시에 대해 설명하기 위한 도면, 도 6(c)는 불꽃 시뮬레이터의 기본적인 구성 예를 나타내는 도면이다. 우선, 파노라마 이미지 생성에 대해 설명한다.Next, referring to FIG. 6, FIGS. 6(a) and 6(b) are diagrams for explaining the display of a panoramic image, and FIG. 6(c) is a diagram illustrating a basic configuration example of a flame simulator. First, generation of a panoramic image will be described.
도 5에서 설명한 바와 같이, 가상현실 영상생성부(210) 파노라마 이미지 생성부(213)를 가지고 있다. 파노라마 이미지 생성부(213) 예를 들어, 화재 현상의 소화활동 이전 영상에 포함된 배경영상 및 시뮬레이션 영상에 포함된 배경영상으로 체험자(U)가 바라 볼 수 있는 파노라마 영상을 생성 밖으로 표시하는 기능이 있다.As described with reference to FIG. 5, the virtual reality
여기서, 가상현실 공간에 표시되는 영상으로 평면 영상이 아니라 체험자가 둘러 볼 수 있는 넓은 시야의 파노라마 영상(예를 들면, 360도 파노라마 영상)를 채용하여 체험자(U)에 몰입 소화활동을 체험 할 수 있다. 또한, 파노라마 영상은 전주(또는 부분 둘레)형 뿐만 아니라, 천문관 같은 돔(반구형) 스크린에서 시야의 위쪽 절반을 가리는 것과 같은 하늘 전체 둘레형 전후 좌우 머리에서 발까지 전체 시야를 가리는 것 같은 전체 천구형의 영상을 적절하게 채용 할 수 있다. Here, the image displayed in the virtual reality space is not a flat image, but a panoramic image with a wide field of view (for example, a 360-degree panoramic image) that the experiencer can look around, allowing the experiencer (U) to experience immersive digestion activities. have. In addition, the panoramic image is not only a pole (or partial circumference) type, but also a full celestial shape, such as covering the entire field of view from the left and right heads to feet, as well as a full circumference of the sky, such as covering the upper half of the field of view on a dome (hemispherical) screen such as a planetarium. You can appropriately adopt the video.
또한 체험자(U)의 좌우의 눈에 제대로 시차가있는 별도의 영상을 제공 할 수 있다면, 전체 천구 입체형의 파노라마 영상을 제공 할 수 있다. 그러나, 예를 들어, 시차 화상을 이용하여 입체 영상을 실현하려고 하면 이미지 처리의 부담이 늘어나기 때문에 제어부(HMD 제어부)(200)에 부담이되지 않는 범위 내에서 파노라마 이미지 생성처리를 할 필요가 있다.In addition, if a separate image with a proper parallax can be provided for the left and right eyes of the experienced person (U), a panoramic image of the entire celestial sphere can be provided. However, for example, when realizing a three-dimensional image using a parallax image, the burden of image processing increases, so it is necessary to perform the panoramic image generation process within a range that does not burden the control unit (HMD control unit) 200. .
도 6(a)는 반구형의 좌표 공간(MP)를 설정하고 체험자(U)의 눈(1)(우안(1R)은 좌측(1L)에서 기준 거리(L)만큼 떨어진 위치에 광 시야각을 지원하는 곡면 형상의 가상 스크린(영상 투사 영역)(SE)을 설정한다. 이 스크린(SE)를 체험자(U)의 머리의 움직임(또는 , 도 5에서 설명한 눈의 움직임)에 따라, 예를 들어 좌우 방향으로 회전(회전)시킴으로써 체험자(U)가 가로 방향으로 바라 볼 수 있는 넓은 시야의 파노라마 영상에 의한 표시를 실현할 수 있다.6(a) shows that the hemispherical coordinate space (MP) is set, and the eyes (1) of the experienced person (U) (the right eye (1R) supports a wide viewing angle at a position separated by a reference distance (L) from the left (1L)). A curved virtual screen (image projection area) SE is set, for example, in the left-right direction according to the movement of the head of the experience user U (or movement of the eyes described in Fig. 5). By rotating (rotating) it, it is possible to realize a display by a panoramic image of a wide field of view that the experienced person U can see in the horizontal direction.
또한, 도 6(b)에 기재되도록 체험자(U)의 머리(Ha)의 움직임은 예를 들어, 도 5에서 보여준 HMD(10)의 본체(101)에 탑재되는 관성 센서에 의해 측정 할 수 있다. 예를 들어, 6축 센서(복합 형의 관성 센서이며, X, Y 및 Z축 방향의 움직임과 각축 주위의 회전 θX, θy, θZ를 검출하는 것)를 이용하면 머리(Ha)의 움직임을 상세하게 검출하는 것이 가능하다.In addition, the movement of the head Ha of the experienced person U can be measured by, for example, an inertial sensor mounted on the
또한, 도 5에서 설명한 연소 이미지 생성부(불꽃 시뮬레이터)(216) 예를 들어, 도 6(c)와 같은 구성을 가진다. 즉, 연소 모델을 기반으로 만들어진 화염 파편 데이터베이스(501) 연소 이미지 데이터 생성부(503)와 타이머(505)과를 가지고 있어 연소 이미지 데이터 생성부(503)가 체험용 소화기(20)에서 들어오는 센서 정보(센서(S1, S2)의 검출 신호)와 타이머(505)가 측정하는 경시 정보와 고려하여 화염 파편 데이터베이스(501)에 액세스하고 필요한 크기의 불꽃 조각을 합성하여 시시각각 변화하는 불꽃(7)의 영상을 생성 한다.In addition, the combustion image generating unit (flame simulator) 216 described in FIG. 5 has, for example, the same configuration as in FIG. 6(c). That is, the
도 2(a)와 도 2(b)에서 설명한 바와 같이, 호스(26)의 끝(28)을 쥔 손(오른손(3R))의 손목 회전(회전)에 따라 소화제(5)의 분출 방향이 변경되지만, 분출의 확산은 미리 알고 있기 때문에 분출 방향이 정해지면, 불꽃(7) 범위에 단위 시간당 얼마나 소화제가 맞는지를 예측할 수 있다. 이 예측 결과에 따라 상기와 같은 구성을 이용하여 연소 이미지 데이터를 생성 할 수 있다.As described in FIGS. 2(a) and 2(b), the direction of ejection of the
다음으로, 도 7을 참조하면, 도 7은 VR(가상현실)을 이용한 소화체험 시뮬레이션 시스템에서, HMD의 제어부(컴퓨터)의 제어 방법의 예를 나타내는 흐름도이다. 또한, 도 7에 도시된 단계는 먼저, 도 3, 도 4에 나타낸 시뮬레이션 절차에 따라야 한다.Next, referring to FIG. 7, FIG. 7 is a flowchart illustrating an example of a control method of a controller (computer) of an HMD in a fire extinguishing experience simulation system using VR (virtual reality). In addition, the steps shown in FIG. 7 must first follow the simulation procedures shown in FIGS. 3 and 4.
HMD의 제어부(프로그램에 따라 작동하는 컴퓨터(200))는 먼저 작업 설명 등의 안내(지침) 영상을 표시하고(단계 S10), 다음으로, 도 5의 외부 카메라(103) 촬영한 이미지(예를 들어, 도 4(b)에 나타낸 바와 같은 체험용 소화기(20)과 손목부근의 촬상 화상)을 표시한다(단계 S20).The controller of the HMD (
다음은 VR을 이용한 소화 체험이 시작되면(단계 S30), VR 동영상 영상(예를 들어, 소방 이전 도 4(c)에 나타낸 바와 같은, 소화활동 전에 화재 현상을 보여주는 도)를 표시한다(단계 S40) 다음 예를 들어, 체험자(U)가 소화활동의 시작을 선택하는지 여부를 판정 한다(단계 S50) 여기에서는 예를 들어, HMD(10) 디스플레이, 예를 들어 '도망', '시작'이라는 두 가지 대안을 제시하고 체험자(U)는 둘 중 하나를 선택하는 단계가 실시된다.Next, when the fire extinguishing experience using VR starts (step S30), a VR video image (for example, a diagram showing the fire phenomena before the fire extinguishing activity, as shown in Fig. 4(c) before fire fighting) is displayed (step S40 ) Next, for example, it is determined whether the experienced person U selects the start of the digestive activity (step S50). Here, for example, the
단계 S50에서 예(YES)의 경우는 도 4(b)에서 설명한 바와 같이, 깊이를 체감 할 수 있도록 화기 이미지를 체험자(U)에 접근(접근시키는) 제어를 실시하고(단계 S60) 체험자(U)의한 레버 조작의 유무(레버(24) ON/OFF)를 검출한다(단계 S70).In the case of YES in step S50, as described in Fig. 4(b), the firearm image is controlled to approach (approach) the experienced person U so that the depth can be felt (step S60), and the experienced person U ) The presence or absence of a lever operation (lever 24 ON/OFF) is detected (step S70).
단계 S70에서 예(YES)의 경우, 도 4(c)에서 설명한 바와 같이, 호스(26) 끝(28) 소화제(5)를 방출하는 VR 영상의 표시 및 살포되는 소화제(5)에 의해 시간이 지남에 따라 진화되어가는 불꽃 VR 영상의 표시를 하고(단계 S80), 이와 병행하여 동일한 VR 영상을 모니터(30)에 전송하여 모니터(30)으로 표시한다(단계 S90). In the case of YES in step S70, as described in Fig. 4(c), time is reduced by the display of the VR image discharging the
다음으로, 도 4(d)에서 설명한 바와 같이, 불꽃(7)이 초기 상태의 약 30% 이하의 크기로까지 진화되면(단계 S100) 체험자(U)에 더 현실감을 느끼게 하기 위해,용광로의 영상을 더욱 체험자에 접근시킨다(단계 S10).Next, as described in Fig. 4 (d), when the
불길이 진화되면(단계 S120), 평가(평가 결과의 생성)를 실시하여 그 평가(평가 결과)를, HMD(10)의 디스플레이 및 모니터(30)의 표시면에 표시한다(단계 S130) 이 경우, 예를 들어 소화활동의 제한 시간을 30초로, 화재 완료까지의 시간으로 평가할 수 있다. 예를 들어, 5초 이내에 소화 할 수 있는 경우는 100점, 15 초 이상 20초 미만은 70점 등으로 평가한다.When the flame is extinguished (step S120), evaluation (generating an evaluation result) is performed, and the evaluation (evaluation result) is displayed on the display of the
이상 설명한 바와 같이, 본 발명의 VR을 이용한 소화체험 시뮬레이션 시스템, 프로그램 및 체험용 소화기에 따르면, 이동성, 편리성이 뛰어나 실제 소화활동과 같은 순서로 소방 체험을 할 수 있도록 적절히 지도자들의 지도를 받을 수 있는 신규한 소화 체험 시뮬레이터를 실현할 수 있다.As described above, according to the fire extinguishing experience simulation system, program and experience fire extinguisher using VR of the present invention, it is excellent in mobility and convenience, so that it is possible to receive appropriate guidance from leaders so that the fire fighting experience can be performed in the same order as the actual fire fighting activity. A new fire fighting experience simulator can be realized.
또한 소화 시간, 분사 방향 등에 따라 점수를부여하는 등 게임 特生을 갖게하는 것으로, 소화 체험에 대한 동기를 줄 수 있다. 또한 소화제 분사 가능 시간을 실제 소화기와 동일하지만 또한 실제 소화기의 사용감에 접근하는 것으로, 실제로 도움이 소화 훈련을 제공 할 수 있다.In addition, it is possible to motivate the experience of fire extinguishing by giving a score according to the fire extinguishing time and the direction of injection, etc. In addition, the available time of extinguishing agent injection is the same as that of a real fire extinguisher, but also by approaching the feeling of use of the actual fire extinguisher, it can actually provide helpful fire extinguishing training.
또한 고글을 사용하는 등 초등학생 이하에서도 사용 가능하며, 이를 통해 연대를 불문하고 사용할 수 있는 시뮬레이터가 된다. 또한 모니터를 이용하여 관중(관객)와 체험자와 이 같은 경험을 공유 할 수 있다.It can also be used by elementary school students or younger, such as using goggles, and through this, it becomes a simulator that can be used regardless of age. You can also share this experience with the audience (audience) and experiencers using the monitor.
또한, 예를 들어 불을 3 ~5 미터의 거리까지 접근 소화활동을 시작하고 소화활동이 진행되고 불꽃이 작아지면 더욱 불에 접근하여 완전히 소화하는 등 소화 행동을 가상현실(VR) 공간에서 체험 할 수 있다(도 4(b) 내지 도 4(d)).In addition, for example, you can experience fire extinguishing actions in a virtual reality (VR) space, such as approaching a fire up to a distance of 3 to 5 meters, starting a fire extinguishing activity, and getting closer to the fire and extinguishing it completely as the fire extinguishing activity progresses and the flame decreases. It can be (Fig. 4(b) to Fig. 4(d)).
또한 HMD(10)을 구성하는 모바일 단말 등을 인터넷에 연결하지 구성하여 보안 저하를 방지 할 수 있다.In addition, by configuring the mobile terminal constituting the
이상, 본 발명을 실시 예에 따라 설명하였으나, 본 발명은 상기 실시 예에 한정되는 것이 아니라, 여러 가지 변형, 응용이 가능하다. 예를 들어, 가상현실 공간에서 나타나는 배경 이미지와 불꽃의 이미지는 여러 이미지 중에서 선택할 수 있도록 예를 들어, 선택이 될 이미지를 정기적으로 업데이트함으로써 더 나은 상황을 설정 하여 실질적인 소방 활동 체험을 간편하게 수행 할 수 있게 된다.In the above, the present invention has been described according to the embodiments, but the present invention is not limited to the above embodiments, and various modifications and applications are possible. For example, the background image and the flame image appearing in the virtual reality space can be selected from multiple images, for example, by regularly updating the image to be selected, a better situation can be set and practical firefighting activities can be easily performed. There will be.
본 발명은 상술 한 예시적인 실시 예에 한정되지 않으며, 당업자는 상술 한 예시적인 실시 형태를 특허 청구 범위에 포함되는 범위까지 쉽게 변경할 수 있는 것이다 .The present invention is not limited to the above-described exemplary embodiments, and those skilled in the art can easily change the above-described exemplary embodiments to the scope included in the claims.
Claims (4)
상기 HMD의 상기 제 1 통신부 간의 통신을 할 제 2 통신부와 소화기 본체와, 상기 HMD 가상현실(VR) 모드인 경우, 가상현실 소화제를 분사하는 스위치 역할을 하는 조작 레버와 상기 가상현실의 소화제를 끝에서 분출하는 분출장치로 기능하는 호스와, 상기 체험자에 의한 상기 조작 레버의 조작을 검출하는 제 1 센서와 상기 호스 끝의 움직임을 감지하는 제 2 센서를 구비 상기 HMD 컨트롤러로서의 기능을 겸하는 체험용 소화기와 있고, 상기 HMD의 상기 컴퓨터는 상기 HMD의 동작을 제어하는 제어부로 구성되되.
상기 제어부는, 실제영상 표시모드/가상현실 디스플레이 모드를 전환하며 상기 실제영상 표시모드의 경우에는 상기 실경 영상용 카메라로 촬영한 실제영상을 상기 디스플레이에 표시하는 실제영상/가상현실 영상 전환부와,
상기 HMD가 상기 실제영상 표시모드에서 상기 가상현실 영상표시모드로 전환되면, 상기 제 2 , 제 1 통신부를 통해 입력되는 상기 체험용 소화기의 상기 제 1 센서 및 상기 제 2 센서의 각 검출 정보에 기초하여 상기 체험자의 손에 보유된 상기 호스의 끝에서 상기 가상현실의 소화제가 분사되는 영상 및 가상현실의 불길이 진정되고 하는 영상을 포함한 시뮬레이션 영상을 표시하는 가상현실 영상생성부를 포함하는 것을 특징으로 하는 VR을 이용한 소화체험 시뮬레이션 시스템.A head-mounted display (HMD) mounted on an experienced person with a display for displaying an image, a computer, and a camera for real-view images that perform communication processing with a first communication unit, and
The second communication unit and the fire extinguisher body to communicate between the first communication unit of the HMD, and in the HMD virtual reality (VR) mode, an operation lever serving as a switch to inject a virtual reality fire extinguishing agent and the virtual reality fire extinguishing agent are terminated. An experiential fire extinguisher serving as the HMD controller with a hose functioning as an ejection device ejecting from, a first sensor detecting operation of the operation lever by the experienced person, and a second sensor detecting movement of the end of the hose. And, the computer of the HMD is configured with a control unit that controls the operation of the HMD.
The control unit includes a real image/virtual reality image conversion unit that switches a real image display mode/virtual reality display mode and, in the case of the real image display mode, displays a real image captured by the real-view image camera on the display,
When the HMD is switched from the real image display mode to the virtual reality image display mode, based on each detection information of the first sensor and the second sensor of the experience fire extinguisher input through the second and first communication units And a virtual reality image generator for displaying a simulation image including an image in which the fire extinguishing agent of the virtual reality is sprayed from the end of the hose held in the hand of the experiencer and an image in which the flame of the virtual reality is calmed down. Fire extinguishing experience simulation system using VR.
상기 HMD의 상기 제 1 통신부 간의 통신을 할 제 3의 통신부를 구비하며, 상기 제 1, 제 3의 통신부를 통해 입력되는 상기 실제영상 표시모드의 실제영상의 영상 데이터 및 상기 가상현실 영상표시모드에서 가상현실 영상의 영상 데이터에 따라 상기 체험자가 상기 HMD의 상기 디스플레이를 통해 보는 것과 같은 영상을 모니터 영상으로 표시하는 모니터를 더 포함하는 것을 특징으로 하는 VR을 이용한 소화체험 시뮬레이션 시스템The method of claim 1,
And a third communication unit for communicating between the first communication unit of the HMD, and image data of the real image in the real image display mode input through the first and third communication units, and in the virtual reality image display mode A fire extinguishing experience simulation system using VR, characterized in that it further comprises a monitor that displays an image as a monitor image as the user sees through the display of the HMD according to image data of a virtual reality image.
상기 가상현실 영상생성부는 상기 가상현실 공간에 표시되는 상기 호스의 상기 끝을 쥐고 상기 체험자의 상기 손의 손목 받침의 위치를 고정하고, 상기 제 2 센서의 감지신호에 따라 상기 손목 상기 지점을 중심으로 상기 가상현실 공간에서의 상기 호스 상기 선단의 방향을 바꾸는 것을 특징으로 하는 VR을 이용한 소화체험 시뮬레이션 시스템.The method according to claim 1 or 2,
The virtual reality image generation unit holds the end of the hose displayed in the virtual reality space and fixes the position of the wrist rest of the hand of the experiencer, and centers on the point of the wrist according to the detection signal of the second sensor. Fire extinguishing experience simulation system using VR, characterized in that changing the direction of the tip of the hose in the virtual reality space.
상기 가상현실 영상생성부는 상기 실제영상 표시모드에서 상기 가상현실 영상표시모드로 전환되면, 가상현실 공간에 화재 현상의 소화활동 이전 영상을 표시시킨 후, 상기 소화활동 이전의 영상이 상기 체험자에게 다가와 멈추도록 제어 한 후, 상기 시뮬레이션 영상을 표시하고, 상기 불꽃이 진정되고 소정의 정도로 작아지면 상기 진정되고 소정의 정도로 작아 진 불꽃 포함 소화활동 후의 영상이 상기 체험자에게 더욱 다가오고 멈추도록 제어하는 것을 특징으로 하는 VR을 이용한 소화체험 시뮬레이션 시스템.The method of claim 3,
When the virtual reality image generator is switched from the real image display mode to the virtual reality image display mode, after displaying the image before the fire extinguishing activity in the virtual reality space, the image before the fire extinguishing activity approaches and stops. After the control is performed, the simulation image is displayed, and when the flame calms down and decreases to a predetermined degree, the image after the fire extinguishing activity including the flame that is calmed down and reduced to a predetermined degree is controlled to come closer to and stop the user. Fire extinguishing experience simulation system using VR.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190091665A KR20210013900A (en) | 2019-07-29 | 2019-07-29 | Simulation system of digestion experience using VR |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190091665A KR20210013900A (en) | 2019-07-29 | 2019-07-29 | Simulation system of digestion experience using VR |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210013900A true KR20210013900A (en) | 2021-02-08 |
Family
ID=74560276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190091665A KR20210013900A (en) | 2019-07-29 | 2019-07-29 | Simulation system of digestion experience using VR |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210013900A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220125483A (en) * | 2021-03-05 | 2022-09-14 | 주식회사 네비웍스 | Apparatus for fire fighting practice, and control method thereof |
-
2019
- 2019-07-29 KR KR1020190091665A patent/KR20210013900A/en unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220125483A (en) * | 2021-03-05 | 2022-09-14 | 주식회사 네비웍스 | Apparatus for fire fighting practice, and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6410378B1 (en) | Fire extinguishing experience simulation system using VR, fire extinguisher for experience, and program | |
| US9599821B2 (en) | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space | |
| CN109643161A (en) | Dynamic enters and leaves the reality environment browsed by different HMD users | |
| KR20130098770A (en) | Expanded 3d space based virtual sports simulation system | |
| JP6290467B1 (en) | Information processing method, apparatus, and program causing computer to execute information processing method | |
| WO2017104320A1 (en) | Image display device | |
| JP6298130B2 (en) | Simulation system and program | |
| US20180348987A1 (en) | Method executed on computer for providing virtual space, program and information processing apparatus therefor | |
| WO2021106803A1 (en) | Class system, viewing terminal, information processing method, and program | |
| JP6470859B1 (en) | Program for reflecting user movement on avatar, information processing apparatus for executing the program, and method for distributing video including avatar | |
| JP2019175323A (en) | Simulation system and program | |
| US20180247454A1 (en) | Unknown | |
| JPH11309269A (en) | Game device, simulation apparatus and game imade display method | |
| KR102212241B1 (en) | Fire fighting experience system based on mixed reality | |
| JP2018125003A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
| JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
| KR101824083B1 (en) | Fire extinguisher for training of virtual reality | |
| JP2018147465A (en) | Information processing method, device, and program for causing computer to execute the method | |
| JP6794390B2 (en) | Simulation system and program | |
| US20190114841A1 (en) | Method, program and apparatus for providing virtual experience | |
| KR20210013900A (en) | Simulation system of digestion experience using VR | |
| US20180280748A1 (en) | Training system | |
| JP6820299B2 (en) | Programs, information processing equipment, and methods | |
| WO2022091832A1 (en) | Information processing device, information processing system, information processing method, and information processing terminal | |
| JP6382928B2 (en) | Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus |