KR20150009229A - Appartus and system for interactive cpr simulator based on augmented reality - Google Patents

Appartus and system for interactive cpr simulator based on augmented reality Download PDF

Info

Publication number
KR20150009229A
KR20150009229A KR1020130083419A KR20130083419A KR20150009229A KR 20150009229 A KR20150009229 A KR 20150009229A KR 1020130083419 A KR1020130083419 A KR 1020130083419A KR 20130083419 A KR20130083419 A KR 20130083419A KR 20150009229 A KR20150009229 A KR 20150009229A
Authority
KR
South Korea
Prior art keywords
sensor
dummy
pressure sensor
depth
cpr
Prior art date
Application number
KR1020130083419A
Other languages
Korean (ko)
Other versions
KR101504633B1 (en
Inventor
우운택
박노영
이성원
권예람
정지훈
Original Assignee
주식회사 아이엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이엠랩 filed Critical 주식회사 아이엠랩
Priority to KR1020130083419A priority Critical patent/KR101504633B1/en
Priority to PCT/KR2014/005122 priority patent/WO2015008935A1/en
Priority to US14/650,568 priority patent/US20150325148A1/en
Publication of KR20150009229A publication Critical patent/KR20150009229A/en
Application granted granted Critical
Publication of KR101504633B1 publication Critical patent/KR101504633B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/288—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Cardiology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Percussion Or Vibration Massage (AREA)

Abstract

Provided is an AR-based bidirectional CPR simulator device comprising the steps of: receiving supply data for supply contents from at least one supplier terminal; registering and classifying supply contents using metadata included in the supply data; receiving retrieval events for the supply data from a user terminal; retrieving and arranging the supply data based on matching algorithm to correspond to the retrieval events and transmitting the same to the user terminal; and connecting the user terminal and a selected supplier terminal when a selection event selecting supply data from the user terminal occurs.

Description

ＡＲ 기반 양방향 ＣＰＲ 시뮬레이터 장치 및 시스템{APPARTUS AND SYSTEM FOR INTERACTIVE CPR SIMULATOR BASED ON AUGMENTED REALITY}[0001] AR-BASED Bidirectional CPR Simulator [0002] APPARATUS AND SYSTEM [

본 발명은 AR 기반 양방향 CPR 시뮬레이터 장치 및 시스템에 관한 것이다.The present invention relates to an AR based bi-directional CPR simulator device and system.

최근, 심정지 환자는 연간 만 명을 넘어서고 있으며, 목격자에 의한 심폐 소생술을 시행한 경우, 심정지 환자의 생존율은 1% 정도로 외국과 비교할 때 극히 낮은 수준이다. 즉, 국내의 경우 목격자 중 약 1% 만이 심폐 소생술이 가능하다는 의미가 될 수 있다.Recently, the number of cardiac arrest patients is exceeding 10,000 per year, and the survival rate of cardiac arrest patients is about 1% when the cardiopulmonary resuscitation is carried out by witnesses, which is extremely low compared to foreign countries. In other words, only about 1% of witnesses in Korea can be considered to be capable of CPR.

CPR 교육 방식은 이론 위주의 교육으로 인하여 환자의 반응이나 시술의 정확도를 판단하기가 어려우며, 교육자의 1:1 피드백이 어려운 상황이다. 이때, CPR을 정확하게 할 수 있는 방법은 흉부 압박 지점을 정확하게 알려주는 방법으로 이루어지고 있다. 이와 관련하여 선행기술인 한국공개특허 제2012-0053728호(2012.05.29 공개)에는 흉부 압박을 실시할 때, 훈련자가 흉부의 어느 부위를 어느 방향으로 압박하는지를 검출하여 표시하는 방법을 개시한다.It is difficult to judge the accuracy of the patient 's reaction or procedure due to theory - oriented education, and 1: 1 feedback of the educator is difficult. At this time, the correct way to achieve CPR is by accurately telling the chest compression point. A related art Korean Unexamined Patent Publication No. 2012-0053728 (published May 29, 2012) discloses a method of detecting which part of a chest is pressed in which direction by a trainee when a chest compress is performed.

다만, 심폐 소생술은 정확한 압박 지점, 세기 및 주기가 요구되는데, 일반적인 더미(Dummy)를 이용하여 심폐 소생술을 실습하는 경우, 이를 습득하는 것은 용이하지 않다. 그리고, 실제 응급 상황이 발생한 경우 사용자는 당황하여 제대로 심폐 소생술을 습득했다고 하더라도 이를 정확히 실시하지 못하는 경우가 대부분이다.However, cardiopulmonary resuscitation requires precise compression points, strengths, and cycles. It is not easy to learn CPR when practicing CPR using a common dummy. And, in case of an actual emergency situation, the user is confused and most of the time, even if they have acquired CPR properly, they can not do it correctly.

본 발명의 일 실시예는, 정확한 압박 지점, 세기 및 주기를 실시간으로 증강 현실을 통하여 사용자에게 피드백하고, 사용자의 자세를 깊이 영상으로 촬영함으로써 정확한 자세를 직관적으로 표시할 수 있고, 실제 응급 상황이 발생한 것과 같은 증강 현실을 제공함으로써 사용자가 실제 응급 상황에서도 당황하지 않고 심폐 소생술을 실시할 수 있는 AR 기반 양방향 CPR 시뮬레이터 장치 및 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.In one embodiment of the present invention, the correct posture can be intuitively displayed by feeding back the accurate press point, intensity, and period to the user through the augmented reality in real time and photographing the posture of the user with the depth image, It is possible to provide an AR-based bidirectional CPR simulator device and system capable of performing CPR without being confused even in a real emergency situation by providing the same augmented reality as that occurred. It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 적어도 하나의 압력 센서로부터 적어도 하나의 압력 센서로 입력되는 압박 세기 및 압박 주기를 수신하는 압박 정보 수신부, 온/오프(On/Off) 스위치 회로로부터 더미(Dummy)의 기도가 확장되었는지의 여부를 수신하는 기도 정보 수신부, 굽힘 센서로부터 수신된 굽힘 정도 데이터를 수신하고, 기도로 유입된 유량 데이터를 산출하는 유량 정보 산출부 및 제 1 프로젝터를 통하여 수신된 적어도 하나의 정보를 적어도 하나의 기준 정보와 비교하여 출력하는 AR 출력부를 포함한다.According to an aspect of the present invention, there is provided a pressure sensor comprising: a pressure information receiving unit for receiving a pressure intensity and a pressure cycle input from at least one pressure sensor to at least one pressure sensor; An airway information receiving unit for receiving whether or not the airway of the dummy is extended from the On / Off switch circuit, a flow rate information calculation unit for receiving the bending degree data received from the bending sensor, And an AR output unit for comparing at least one information received through the first projector with at least one reference information and outputting the at least one information.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 정확한 압박 지점, 세기 및 주기를 실시간으로 증강 현실을 통하여 사용자에게 피드백하고, 사용자의 자세를 깊이 영상으로 촬영함으로써 정확한 자세를 직관적으로 표시할 수 있고, 실제 응급 상황이 발생한 것과 같은 증강 현실을 제공함으로써 사용자가 실제 응급 상황에서도 당황하지 않고 심폐 소생술을 실시할 수 있도록 한다.According to any one of the above-mentioned tasks, the accurate posture, intensities and cycles can be fed back to the user through the augmented reality in real time, and the accurate posture can be intuitively displayed By providing an augmented reality such as a real emergency situation, the user can perform cardiopulmonary resuscitation without being confused in a real emergency situation.

도 1은 본 발명의 일 실시예에 따른 AR 기반 양방향 CPR 시뮬레이션 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 AR 기반 양방향 CPR 시뮬레이터 장치를 설명하기 위한 도면이다.
도 3은 도 1에 도시된 압력 센서, 온/오프 스위치 회로, 굽힘 센서가 더미에 장착된 일 실시예를 도시한 도면이다.
도 4는 도 1에 도시된 적어도 하나의 깊이 RGB 센서가 사용자에게 장착된 일 실시예와 이를 촬영한 깊이 RGB 영상을 도시한 도면이다.
도 5는 도 1에 도시된 제 1 프로젝트로 투사된 증강 현실 가시화 결과의 일 실시예를 도시한 도면이다.
도 6은 도 1에 도시된 더미에 사용자가 인공 호흡을 실시하는 일 실시예를 도시한 도면이다.
도 7은 도 1에 도시된 더미에 사용자가 심폐 소생술을 실시하는 일 실시예를 도시한 도면이다.
도 8은 도 1에 도시된 압력 센서, 온/오프 스위치 회로, 굽힘 센서가 더미에 장착된 구현예를 도시한 도면이다.1 is a block diagram for explaining an AR-based bidirectional CPR simulation system according to an embodiment of the present invention.
FIG. 2 is a view for explaining the AR-based bidirectional CPR simulator device shown in FIG. 1. FIG.
Fig. 3 is a view showing an embodiment in which the pressure sensor, the on / off switch circuit, and the bending sensor shown in Fig. 1 are mounted on the dummy.
FIG. 4 is a diagram illustrating an embodiment in which at least one depth RGB sensor shown in FIG. 1 is mounted on a user and a depth RGB image captured by the user.
FIG. 5 is a diagram illustrating an embodiment of the augmented reality visualization result projected on the first project shown in FIG.
FIG. 6 is a view showing an embodiment in which a user performs artificial respiration in the dummy shown in FIG. 1; FIG.
FIG. 7 is a view showing an embodiment in which a user performs CPR on the dummy shown in FIG. 1. FIG.
Fig. 8 is a view showing an embodiment in which the pressure sensor, the on / off switch circuit, and the bending sensor shown in Fig. 1 are mounted on the dummy.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 AR 기반 양방향 CPR 시뮬레이션 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, AR 기반 양방향 CPR 시뮬레이션 시스템(1)은 적어도 하나의 압력 센서(100), 온/오프 스위치(200), 굽힘 센서(300), 적어도 하나의 깊이 RGB 센서(400), 깊이 RGB 카메라(RGB-Depth Camera, 500), 제 1 프로젝터(600), 제 2 프로젝터(700), AR 기반 양방향 CPR 시뮬레이터 장치(800)를 포함할 수 있다. 다만, 이러한 도 1의 AR 기반 양방향 CPR 시뮬레이션 시스템(1)은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.1 is a block diagram for explaining an AR-based bidirectional CPR simulation system according to an embodiment of the present invention. Referring to FIG. 1, an AR based bi-directional CPR simulation system 1 includes at least one pressure sensor 100, an on / off switch 200, a bending sensor 300, at least one depth RGB sensor 400, An RGB camera (RGB-Depth Camera) 500, a first projector 600, a second projector 700, and an AR-based bidirectional CPR simulator device 800. However, since the AR-based bidirectional CPR simulation system 1 of FIG. 1 is only one embodiment of the present invention, the present invention is not limited to FIG.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 900)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 네트워크(900)를 통하여 적어도 하나의 압력 센서(100), 온/오프 스위치(200), 굽힘 센서(300)와 AR 기반 양방향 CPR 시뮬레이터 장치(800)가 연결될 수 있다. 또한, 적어도 하나의 깊이 RGB 센서(400) 및 깊이 RGB 카메라(500)는 네트워크(900)를 통하여 AR 기반 양방향 CPR 시뮬레이터 장치(800)가 연결될 수 있다. 그리고, 제 1 프로젝터(600) 및 제 2 프로젝터(700)는 네트워크(900)를 통하여 AR 기반 양방향 CPR 시뮬레이터 장치(800)와 연결될 수 있다.In this case, the respective components of FIG. 1 are generally connected through a network 900. For example, as shown in FIG. 1, at least one pressure sensor 100, an on / off switch 200, a bending sensor 300 and an AR-based bidirectional CPR simulator device 800 are connected via a network 900, Lt; / RTI > In addition, at least one depth RGB sensor 400 and depth RGB camera 500 may be connected to the AR based bi-directional CPR simulator device 800 through a network 900. The first projector 600 and the second projector 700 may be connected to the AR-based bidirectional CPR simulator device 800 through the network 900.

여기서, 네트워크(900)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(900)의 일 예는, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE, Wi-Fi 등이 포함되나 이에 한정되지는 않는다. 도 1에 도시된 적어도 하나의 압력 센서(100), 온/오프 스위치(200), 굽힘 센서(300), 적어도 하나의 깊이 RGB 센서(400), 깊이 RGB 카메라(RGB-Depth Camera, 500), 제 1 프로젝터(600), 제 2 프로젝터(700), AR 기반 양방향 CPR 시뮬레이터 장치(800)는 도 1에 도시된 것들로 한정 해석되는 것은 아니다.The network 900 refers to a connection structure capable of exchanging information between nodes such as terminals and servers. An example of such a network 900 is Bluetooth, Internet, But are not limited to, LAN (Local Area Network), Wireless LAN (Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), 3G, 4G, LTE and Wi-Fi. At least one pressure sensor 100, an on / off switch 200, a bending sensor 300, at least one depth RGB sensor 400, an RGB-Depth Camera 500, The first projector 600, the second projector 700, and the AR-based bidirectional CPR simulator device 800 are not limited to those shown in FIG.

적어도 하나의 압력 센서(100)는 더미(Dummy)의 가슴 부분에 위치할 수 있다. 적어도 하나의 압력 센서(100)는 적어도 하나의 압력 센서(100)로 입력되는 압박 세기, 압박 주기를 감지할 수 있다. 이때, 적어도 하나의 압력 센서(100)는 예를 들어, X 좌표를 따라 적어도 2 개, Y 좌표를 따라 적어도 2 개 위치할 수 있다. 또한, 더미의 가슴 후면에 적어도 하나의 압력 센서(100)가 위치하고, 적어도 하나의 압력 센서(100)와 더미의 가슴 전면 사이에는 적어도 하나의 스프링이 위치할 수 있다. 이에 따라, 사용자는 더미를 이용하여 심폐 소생술을 실시할 때 스프링이 상하로 움직이며 탄성력을 제공하므로 사람과 같은 느낌을 가질 수 있다. 또한, 스프링의 위치에 대응되도록 적어도 하나의 압력 센서(100)가 위치함으로써 스프링을 통하여 가해지는 압력을 적어도 하나의 압력 센서(100)가 받을 수 있다.At least one pressure sensor 100 may be located in the chest of the dummy. The at least one pressure sensor 100 may sense the pressure intensity, the pressure period, which is input to the at least one pressure sensor 100. At this time, the at least one pressure sensor 100 may be positioned at least two along the X coordinate and at least two along the Y coordinate, for example. Also, at least one pressure sensor 100 may be located on the back of the chest of the dummy, and at least one spring may be located between the at least one pressure sensor 100 and the front of the dummy. Accordingly, when the user performs CPR using the dummy, the spring moves upward and downward to provide an elastic force, so that the user can feel like a person. Also, since at least one pressure sensor 100 is positioned to correspond to the position of the spring, at least one pressure sensor 100 can receive the pressure applied through the spring.

온/오프 스위치 회로(200)는 더미의 기도가 열렸는지 또는 닫혔는지의 여부를 확인할 수 있다. 즉, 더미의 목젖 부분에 온/오프 스위치 회로(200)가 위치하고, 더미의 목이 뒤로 젖혀지면 기도가 열리게 되므로 온/오프 스위치 회로(200)는 오프되고, 더미의 목이 앞으로 젖혀져서 기도가 닫히게 되면 온/오프 스위치 회로(200)는 온될 수 있다. 이에 따라, 온/오프 스위치 회로(200)는 더미의 기도가 닫히거나 열리는 것을 알 수 감지할 수 있게 된다.The on / off switch circuit 200 can confirm whether or not the air in the dummy is open or closed. That is, when the on / off switch circuit 200 is located in the neck of the dummy and the neck of the dummy is tilted back, the airway is opened, so that the on / off switch circuit 200 is turned off and the neck of the dummy is turned forward to close the airway The on / off switch circuit 200 can be turned on. Thus, the on / off switch circuit 200 can detect that the air in the dummy is closed or opened.

굽힘 센서(300)는 더미의 폐 또는 배 부분에 위치할 수 있다. 굽힘 센서(300)는 굽혀진 정도를 데이터로 출력할 수 있다. 이때, 사용자가 더미의 입을 통하여 인공 호흡을 실시하는 경우, 굽힘 센서(300)의 하부에 위치한 공기 주머니가 부풀게 된다. 이에 따라, 공기 주머니에 공기가 유입될수록 공기 주머니가 부풀게 되므로 굽힘 센서(300)는 점점 일정 경사를 가질 수 있게 된다. 따라서, 굽힘 센서(300)를 통하여 사용자가 충분한 숨을 불어넣었는지의 여부를 측정할 수 있다.The bending sensor 300 may be located in the lung or abdomen portion of the dummy. The bending sensor 300 can output the bent degree as data. At this time, when the user performs artificial respiration through the mouth of the dummy, the air bag located at the lower portion of the bending sensor 300 is inflated. Accordingly, as the air is introduced into the air bag, the air bag is inflated, so that the bending sensor 300 can be gradually inclined. Therefore, it is possible to measure whether or not the user has sufficiently breathed through the bending sensor 300.

적어도 하나의 깊이 RGB 센서(RGB-Depth Sensor, 400)는 사용자의 손목, 팔꿈치, 어깨, 허리 등에 부착될 수 있고, 깊이 RGB 카메라(500)에 의해 촬영될 수 있다. 이때, 적어도 하나의 깊이 RGB 센서(400)는 깊이 RGB 카메라(500)에 의해 촬영되는 경우, 3D 이미지가 생성될 수 있다. 또한, 적어도 하나의 깊이 RGB 센서(400)를 촬영하는 경우, 팔목, 팔꿈치, 어깨, 허리 등의 각도를 알 수 있기 때문에, 잘못된 자세를 취하고 있거나 하는 경우 이를 실시간으로 사용자에게 알려줄 수 있는 입력값을 제공할 수 있다. 이때, 적어도 하나의 깊이 RGB 센서(400)는 색상을 다르게 가질 수도 있다.At least one depth sensor (RGB-Depth Sensor) 400 may be attached to the user's wrist, elbow, shoulder, waist, etc., and may be imaged by the depth RGB camera 500. At this time, when at least one depth RGB sensor 400 is photographed by the deep RGB camera 500, a 3D image may be generated. When at least one depth RGB sensor 400 is photographed, since the angle of the cuff, elbow, shoulder, waist, etc. can be known, an input value that can inform the user in real time . At this time, the at least one depth RGB sensor 400 may have a different color.

제 1 프로젝터(600)는 적어도 하나의 압력 센서(100), 온/오프 스위치 회로(200), 굽힘 센서(300), 적어도 하나의 깊이 RGB 센서(400)로부터 수신된 적어도 하나의 정보 데이터에 기초하여 사용자에게 실시간으로 피드백을 주도록 증강 현실 화면을 출력할 수 있다. 이때, 제 1 프로젝터(600)는 AR 기반 양방향 CPR 시뮬레이터 장치(800)로부터 출력된 증강 현실 화면을 투사(Projecting)할 수 있고, 해당 화면은 더미가 위치한 영역일 수 있다.The first projector 600 is based on at least one information data received from the at least one pressure sensor 100, the on / off switch circuit 200, the bending sensor 300, the at least one depth RGB sensor 400, And output the augmented reality screen so as to give feedback to the user in real time. At this time, the first projector 600 can project the augmented reality screen output from the AR based bidirectional CPR simulator device 800, and the corresponding screen can be an area where the dummy is located.

제 2 프로젝터(700)는 응급 상황을 증강 현실로 재현하기 위하여, AR 기반 양방향 CPR 시뮬레이터 장치(800)로부터 출력된 증강 현실 화면을 투사할 수 있고, 해당 화면은 더미가 위치한 영역과 직각을 이루는 영역일 수 있다. 이때, 증강 현실 화면은 응급 상황을 재현한 적어도 하나의 영상일 수 있고, 이를 통해 사용자가 실제 상황에서도 심폐 소생술과 인공 호흡을 침착하게 실시할 수 있도록 한다.The second projector 700 can project the augmented reality image output from the AR based bidirectional CPR simulator apparatus 800 to reproduce the emergency situation as an augmented reality, Lt; / RTI > At this time, the augmented reality screen may be at least one image reproducing the emergency situation, so that the user can calmly perform cardiopulmonary resuscitation and artificial respiration even in an actual situation.

AR 기반 양방향 CPR 시뮬레이터 장치(800)는 적어도 하나의 압력 센서(100), 온/오프 스위치 회로(200), 굽힘 센서(300), 적어도 하나의 깊이 RGB 센서(400), 깊이 RGB 카메라(500)로부터 수신된 데이터와 영상을 수집하고 해석하여 사용자에게 실시간으로 인공 호흡과 심폐 소생술에 대한 피드백을 주는 장치일 수 있다. 여기서, AR 기반 양방향 CPR 시뮬레이터 장치(800)는 제 1 프로젝터(600)를 통하여 사용자에게 피드백을 주도록 데이터를 출력하고, 제 2 프로젝터(700)를 통하여 사용자에게 증강 현실 영상을 제공하기 위하여 데이터를 출력한다.The AR based bidirectional CPR simulator device 800 includes at least one pressure sensor 100, an on / off switch circuit 200, a bending sensor 300, at least one depth RGB sensor 400, a depth RGB camera 500, And provides the user with feedback on artificial respiration and cardiopulmonary resuscitation in real time. Here, the AR-based bidirectional CPR simulator apparatus 800 outputs data to give feedback to the user through the first projector 600, and outputs data to the user through the second projector 700 to provide the augmented reality image do.

이때, AR 기반 양방향 CPR 시뮬레이터 장치(800)는 네트워크(900)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 또한, AR 기반 양방향 CPR 시뮬레이터 장치(800)는 네트워크(900)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 사용자 단말(100)은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.At this time, the AR-based bidirectional CPR simulator device 800 may be implemented as a computer capable of connecting to a remote server or terminal through the network 900. [ Here, the computer may include, for example, a notebook, a desktop, a laptop, and the like on which a WEB browser is installed. In addition, the AR-based bidirectional CPR simulator device 800 may be implemented as a terminal capable of connecting to a remote server or terminal through the network 900. [ The user terminal 100 may be a personal communication system (PCS), a global system for mobile communications (GSM), a personal digital cellular (PDC), a personal handyphone system (PHS) , PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication) -2000, CDMA (Code Division Multiple Access) -2000, W-CDMA (W-CDMA), Wibro (Wireless Broadband Internet) a smartphone, a smartpad, a smart tablet, a Tablet PC, and the like.

상술한 본 발명의 일 실시예에 따른 AR 기반 양방향 시뮬레이션 시스템을 예로 들어 설명하면 아래와 같다.An AR-based bidirectional simulation system according to an embodiment of the present invention will be described below.

최근, 심정지 환자는 연간 만 명을 넘어서고 있으며, 목격자에 의한 심폐 소생술을 시행한 경우, 심정지 환자의 생존율은 1% 정도로 외국과 비교할 때 극히 낮은 수준이다. 즉, 국내의 경우 목격자 중 약 1% 만이 심폐 소생술이 가능하다는 의미가 된다.Recently, the number of cardiac arrest patients is exceeding 10,000 per year, and the survival rate of cardiac arrest patients is about 1% when the cardiopulmonary resuscitation is carried out by witnesses, which is extremely low compared to foreign countries. In other words, only about 1% of witnesses in Korea are able to perform CPR.

이때, CPR 교육 방식은 이론 위주의 교육으로 인하여 환자의 반응이나 시술의 정확도를 판단하기가 어려우며, 교육자의 1:1 피드백이 어려운 상황이다. 또한, 심폐 소생술은 정확한 압박 지점, 세기 및 주기가 요구되는데, 일반적인 더미(Dummy)를 이용하여 심폐 소생술을 실습하는 경우, 이를 습득하는 것은 용이하지 않다. 그리고, 실제 응급 상황이 발생한 경우 사용자는 당황하여 제대로 심폐 소생술을 습득했다고 하더라도 이를 정확히 실시하지 못하는 경우가 대부분이다.At this time, it is difficult to judge the accuracy of patient response or procedure due to theory-oriented education, and 1: 1 feedback of educator is difficult. In addition, cardiopulmonary resuscitation requires precise compression points, strengths and cycles. It is not easy to learn CPR when practicing CPR using a common dummy. And, in case of an actual emergency situation, the user is confused and most of the time, even if they have acquired CPR properly, they can not do it correctly.

따라서, 본 발명의 일 실시예에 따른 AR 기반 양방향 CPR 시뮬레이션 시스템은, 정확한 압박 지점, 세기 및 주기를 실시간으로 증강 현실을 통하여 사용자에게 피드백하고, 사용자의 자세를 깊이 영상으로 촬영함으로써 정확한 자세를 직관적으로 표시할 수 있다. 또한, 본 발명의 일 실시예에 따른 AR 기반 양방향 CPR 시뮬레이션 시스템은, 실제 응급 상황이 발생한 것과 같은 증강 현실을 제공함으로써 사용자가 실제 응급 상황에서도 당황하지 않고 심폐 소생술을 실시할 수 있도록 한다.Therefore, the AR-based bidirectional CPR simulation system according to an embodiment of the present invention feeds back an accurate compression point, intensity, and period to a user through augmented reality in real time, As shown in FIG. In addition, the AR-based bidirectional CPR simulation system according to an embodiment of the present invention provides an augmented reality in which an actual emergency situation occurs, thereby enabling a user to perform CPR without being confused in an actual emergency situation.

도 2는 도 1에 도시된 AR 기반 양방향 CPR 시뮬레이터 장치를 설명하기 위한 도면이다. 도 2를 참조하면, AR 기반 양방향 CPR 시뮬레이터 장치(800)는 압박 정보 수신부(810), 기도 정보 수신부(820), 유량 정보 산출부(830), AR 출력부(840) 및 자세 정보 수신부(850)를 포함할 수 있다.FIG. 2 is a view for explaining the AR-based bidirectional CPR simulator device shown in FIG. 1. FIG. Referring to FIG. 2, the AR-based bidirectional CPR simulator apparatus 800 includes a compression information receiving unit 810, an airway information receiving unit 820, a flow rate information calculating unit 830, an AR output unit 840, ).

이때, 네트워크(900) 연결은 적어도 하나의 압력 센서(100), 온/오프 스위치(200), 굽힘 센서(300), 적어도 하나의 깊이 RGB 센서(400), 깊이 RGB 카메라(RGB-Depth Camera, 500), 제 1 프로젝터(600), 제 2 프로젝터(700), AR 기반 양방향 CPR 시뮬레이터 장치(800)가 네트워크(900)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. AR 기반 양방향 CPR 시뮬레이터 장치(800)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.At this time, the network 900 connection may include at least one pressure sensor 100, an on / off switch 200, a bending sensor 300, at least one depth RGB sensor 400, a deep RGB camera (RGB Depth Camera, 500 means that the first projector 600, the second projector 700 and the AR based bidirectional CPR simulator device 800 create a communication object at the communication contact for communication with the terminal connected to the network 900 do. The AR based bi-directional CPR simulator device 800 may exchange data with each other via a communication object.

이하에서는, 본 발명의 일 실시예에 따른 AR 기반 양방향 CPR 시뮬레이터 장치를 설명하기로 한다.Hereinafter, an AR-based bidirectional CPR simulator device according to an embodiment of the present invention will be described.

도 2를 참조하면, 압박 정보 수신부(810)는 적어도 하나의 압력 센서(100)로부터 적어도 하나의 압력 센서(100)로 입력되는 압박 세기 및 압박 주기를 수신한다. 이때, 압박 세기는 사용자가 적어도 하나의 압력 센서(100)를 스프링을 통하여 압박한 강도일 수 있고, 압박 주기는 사용자가 적어도 하나의 압력 센서(100)를 스프링을 통하여 압박한 속도에 기초할 수 있다. 이때, 적어도 하나의 압력 센서(100)는 더미의 흉부의 적어도 하나의 위치에 장착될 수 있고, 적어도 하나의 위치에 장착된 적어도 하나의 압력 센서(100)는 적어도 하나의 위치를 식별하도록 위치 데이터를 가질 수 있다. 예를 들어, 적어도 하나의 압력 센서(100)는 상하좌우 순으로 1, 2, 3, 4와 같은 식별자를 가질 수 있다. 또한, 적어도 하나의 압력 센서(100)는 더미의 흉부의 적어도 하나의 위치에 장착될 수 있고, 적어도 하나의 압력 센서(100)의 상부면에 적어도 하나의 스프링(미도시)이 장착될 수 있다.Referring to FIG. 2, the compression information receiving unit 810 receives the pressing intensity and the pressing period inputted from the at least one pressure sensor 100 to the at least one pressure sensor 100. At this time, the pressing intensity may be the strength that the user pressed the at least one pressure sensor 100 through the spring, and the pressing period may be based on the speed at which the user pressed the at least one pressure sensor 100 through the spring have. At least one pressure sensor 100 may be mounted on at least one position of the chest of the dummy, and at least one pressure sensor 100 mounted in at least one position may be positioned to identify at least one position, Lt; / RTI > For example, at least one pressure sensor 100 may have identifiers such as 1, 2, 3, 4 in the order of up, down, left, and right. Also, at least one pressure sensor 100 may be mounted in at least one location on the chest of the dummy, and at least one spring (not shown) may be mounted on the upper surface of the at least one pressure sensor 100 .

또한, AR 출력부(840)는 적어도 하나의 압력 센서(100)로 압박 세기와 기준 압박 세기 정보를 비교하여 출력하고, 적어도 하나의 압력 센서(100)로 입력되는 압박 주기로부터 압박 속도(Pressure Rate)를 산출하고, 압박 속도를 기준 압박 속도 정보를 비교하여 출력하고, 적어도 하나의 압력 센서(100)로 입력되는 압박 세기에 기초하여 기준 압박 위치를 출력할 수 있다. 이때, 압박 정보 수신부(810) 또는 AR 출력부(840)는 아날로그 데이터를 디지털 데이터로 변환하는 ADC(Analog to Digital Converter)를 포함할 수 있다.The AR output unit 840 compares the pressure intensity and the reference pressure intensity information with at least one pressure sensor 100 and outputs the comparison result from the pressure cycle inputted from the at least one pressure sensor 100 to the pressure rate ), Compares the pressing speed with the reference pressing speed information, and outputs the reference pressing position based on the pressing intensity input to the at least one pressure sensor (100). At this time, the compression information receiving unit 810 or the AR output unit 840 may include an ADC (Analog to Digital Converter) for converting analog data into digital data.

기도 정보 수신부(820)는 온/오프(On/Off) 스위치 회로(200)로부터 더미(Dummy)의 기도가 확장되었는지의 여부를 수신한다. 이때, 온/오프 스위치 회로(200)는 더미의 기도가 확장된 경우, 즉 기도에 홀이 발생한 경우 오프되고, 기도에 홀이 폐쇄된 경우 온이 되는 회로일 수 있다. 따라서, AR 출력부(840)는 더미의 기도가 확장되어 온/오프 스위치 회로(200)가 오프 상태를 출력하는 경우 기도가 확장되었다는 데이터를 출력하고, 더미의 기도가 폐쇄되어 온/오프 스위치 회로(200)가 온 상태를 출력하는 경우 기도가 폐쇄되었다는 데이터를 출력할 수 있다.The airway information receiving unit 820 receives from the on / off switch circuit 200 whether or not the airway of the dummy is expanded. At this time, the on / off switch circuit 200 may be a circuit which is turned on when the airway of the dummy is expanded, that is, when the hole is generated in the airway, and is turned on when the airway is closed. Accordingly, the AR output unit 840 outputs data indicating that the airway has been expanded when the airway of the dummy is extended and the on / off switch circuit 200 outputs the off state, and the air in the airway is closed, When the air conditioner 200 outputs the ON state, it can output the data indicating that the airway is closed.

유량 정보 산출부(830)는 굽힘 센서(300)로부터 수신된 굽힘 정도 데이터를 수신하고, 더미의 기도로 유입된 유량 데이터를 산출한다. 즉, 산출된 유량 데이터는, 굽힘 센서(300)의 굽힘 정도 데이터인 굽힘 센서(300)의 기울기(Tilt)에 기초할 수 있고, AR 출력부(840)는, 산출된 유량 데이터와 인공 호흡시 필요한 기준 유량 데이터를 비교하여 출력할 수 있다.The flow rate information calculation unit 830 receives the bending degree data received from the bending sensor 300, and calculates the flow rate data flowing into the air in the dummy. That is, the calculated flow rate data may be based on the tilt of the bending sensor 300, which is the bending accuracy data of the bending sensor 300, and the AR output unit 840 outputs the flow rate data, The required reference flow data can be compared and output.

자세 정보 수신부(850)는 깊이 RGB(RGB-Depth) 카메라(500)로부터 적어도 하나의 깊이 RGB 센서(RGB-Depth Sensor, 400)를 촬영한 영상을 수신할 수 있다. 이때, AR 출력부(840)는 적어도 하나의 깊이 RGB 센서(400)의 위치 및 각도와 기준 위치 및 기준 각도를 비교하여 출력할 수 있다. 또한, 적어도 하나의 깊이 RGB 센서(400)는, 사용자의 적어도 하나의 위치에 부착될 수 있고, 적어도 하나의 위치는, 사용자의 허리, 어깨, 팔꿈치, 손목일 수 있다.The attitude information receiving unit 850 can receive an image of at least one depth RGB sensor (RGB depth sensor) 400 from a depth RGB (RGB-Depth) camera 500. At this time, the AR output unit 840 can compare and output the position and angle of at least one depth RGB sensor 400 with the reference position and the reference angle. Also, at least one depth RGB sensor 400 may be attached to at least one location of the user, and at least one location may be the user's waist, shoulder, elbow, and wrist.

AR 출력부(840)는 제 1 프로젝터(600)를 통하여 수신된 적어도 하나의 정보를 적어도 하나의 기준 정보와 비교하여 출력한다. 여기서, AR 출력부(840)는 응급 상황을 재현하기 위한 증강 현실 기반 응급 상황 영상을 제 2 프로젝터(700)를 통하여 투사하도록 할 수 있다. 이때, 제 2 프로젝터(700)가 투사하는 영역과 제 1 프로젝터(600)가 투사하는 영역은 직각을 이룰 수 있다.The AR output unit 840 compares at least one information received through the first projector 600 with at least one reference information and outputs the at least one reference information. Here, the AR output unit 840 can project an augmented reality-based emergency situation image for reproducing an emergency situation through the second projector 700. [ At this time, the area projected by the second projector 700 and the area projected by the first projector 600 may be at right angles.

이와 같은 도 2의 AR 기반 양방향 시뮬레이션 장치에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 AR 기반 양방향 시뮬레이션 시스템에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The AR-based bidirectional simulation apparatus of FIG. 2 can be easily derived from the same or described contents of the AR-based bidirectional simulation system described above with reference to FIG. 1, .

도 3은 도 1에 도시된 압력 센서, 온/오프 스위치 회로, 굽힘 센서가 더미에 장착된 일 실시예를 도시한 도면이고, 도 4는 도 1에 도시된 적어도 하나의 깊이 RGB 센서가 사용자에게 장착된 일 실시예와 이를 촬영한 깊이 RGB 영상을 도시한 도면이고, 도 5는 도 1에 도시된 제 1 프로젝트로 투사된 증강 현실 가시화 결과의 일 실시예를 도시한 도면이다.FIG. 3 is a view showing an embodiment in which the pressure sensor, the on / off switch circuit, and the bending sensor shown in FIG. 1 are mounted on the dummy, and FIG. 4 is a view showing an example in which at least one depth RGB sensor shown in FIG. FIG. 5 is a view showing an embodiment of a result of visualization of augmented reality projected onto the first project shown in FIG. 1. FIG.

도 3의 좌측을 참조하면, 적어도 하나의 압력 센서(100)가 더미에 장착된 위치를 도시한다. 이때, 사용자가 더미의 가슴 부분을 압박하는 경우, 스프링을 통하여 압박 세기 및 압박 주기가 전달되고, 압력 센서(100)는 이를 감지할 수 있다.Referring to the left side of FIG. 3, there is shown a position where at least one pressure sensor 100 is mounted on the dummy. At this time, when the user presses the chest part of the dummy, the pressure intensity and the pressing period are transmitted through the spring, and the pressure sensor 100 can sense the pressure.

도 3의 중간을 참조하면, 온/오프 스위치 회로(200)가 더미에 장착된 위치를 도시한다. 이때, 사용자가 더미의 목을 뒤로 젖히거나 앞으로 숙이는 경우 기도는 개방되거나 폐쇄된다. 이에 따라, 온/오프 스위치 회로(200)의 기도가 개방되는 경우 오프 신호를 출력할 수 있고, 기도가 폐쇄되는 경우 온 신호를 출력할 수 있다.Referring to the middle of FIG. 3, the position where the on / off switch circuit 200 is mounted on the dummy is shown. At this time, the airway is opened or closed when the user pivots back or leans forward. Thus, the on / off switch circuit 200 can output the off signal when the airway is opened, and can output the on signal when the airway is closed.

도 3의 우측을 참조하면, 굽힘 센서(300)가 더미에 장착된 위치를 도시한다. 이때, 사용자가 입을 통하여 호흡을 불어넣게 되면, 굽힘 센서(300)가 장착된 밑 부분의 공기 주머니가 부풀게 된다. 이에 따라, 굽힘 센서(300)는 굽혀지게 되고(Bending), 굽혀진 정도를 출력할 수 있으므로, 어느 정도의 유량이 유입되었는지의 여부를 판단할 수 있는 입력값이 될 수 있다.Referring to the right side of FIG. 3, the position where the bending sensor 300 is mounted on the dummy is shown. At this time, if the user blows breath through the mouth, the air bag at the bottom where the bending sensor 300 is mounted is inflated. Accordingly, the bending sensor 300 can be an input value that can determine whether a certain amount of flow has been introduced since the bending sensor 300 can bend and output the degree of bending.

도 4의 (a)를 참조하면, 적어도 하나의 깊이 RGB 센서(400)가 사용자에게 부착된 실시예를 도시하고, (b)를 참조하면, 적어도 하나의 깊이 RGB 센서(400)가 깊이 RGB 카메라(500)에 의해 촬영된 RGB 깊이 영상을 도시한다. RGB 깊이 영상은 깊이를 표현할 수 있기 때문에, 3D와 같은 효과를 낼 수 있고, 이에 따라 사용자가 정확한 자세를 취했는지의 여부를 2D에서 뿐만 아니라, 3D적으로도 확인할 수 있다. 또한, 적어도 하나의 깊이 RGB 센서(400) 간의 각도를 측정함으로써 사용자가 정확한 자세를 취하고 있는지의 여부를 확인할 수 있는 입력값으로 작용할 수 있다.Referring to FIG. 4 (a), at least one depth RGB sensor 400 is shown attached to a user, and with reference to FIG. 4 (b) And an RGB depth image photographed by the image processing unit 500. Since the RGB depth image can represent the depth, it can produce the same effect as 3D, and thus it can be confirmed not only in 2D but also in 3D as to whether or not the user has taken the correct attitude. Further, by measuring the angle between the at least one depth RGB sensor 400, it can act as an input value that can confirm whether or not the user is taking the correct attitude.

도 5의 (a) 및 (b)를 참조하면, 더미가 실제 길거리에 누워있는 것과 같은 상황을 증강 현실로 디스플레이한다. 이때, 제 1 프로젝터(600)는 심폐 소생술의 압박 세기가 기준 압박 세기와 비교하여 어느 정도인지, 압박 속도가 기준 압박 속도와 비교하여 어느 정도인지의 여부를 실시간으로 출력하여 사용자가 실시간으로 심폐 소생술의 자세를 고칠 수 있도록 피드백할 수 있다. 또한, 제 1 프로젝터(600)는 압박 위치가 정확한지, 어느 방향으로 압박을 해야 하는지, 압박 자세는 바른지의 여부도 함께 표시할 수 있고, 압박 시작 시간으로부터 어느 정도의 시간이 경과했는지의 여부도 표시할 수 있다.5 (a) and 5 (b), a situation such as a dummy lying on an actual street is displayed as an augmented reality. At this time, the first projector 600 outputs, in real time, how much the pressure intensity of the CPR is compared with the reference pressure intensity and how much the pressing speed is compared with the reference pressing speed, The posture can be corrected so that the posture of the user can be corrected. The first projector 600 can also indicate whether the pressing position is correct, in which direction it should be pressed, whether the pressing posture is correct, and whether or not a certain amount of time has elapsed from the pressing start time is displayed can do.

이와 같은 도 3 내지 도 5의 AR 기반 양방향 시뮬레이션 장치에 대해서 설명되지 아니한 사항은 앞서 도 1 및 도 2를 통해 AR 기반 양방향 시뮬레이션 시스템에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The AR-based bidirectional simulation apparatus shown in FIGS. 3 to 5 can be easily derived from the same or described contents of the AR-based bidirectional simulation system described above with reference to FIGS. 1 and 2 The description will be omitted.

도 6은 도 1에 도시된 더미에 사용자가 인공 호흡을 실시하는 일 실시예를 도시한 도면이고, 도 7은 도 1에 도시된 더미에 사용자가 심폐 소생술을 실시하는 일 실시예를 도시한 도면이고, 도 8은 도 1에 도시된 압력 센서, 온/오프 스위치 회로, 굽힘 센서가 더미에 장착된 구현예를 도시한 도면이다.FIG. 6 is a view showing an embodiment in which a user performs artificial respiration in the dummy shown in FIG. 1, FIG. 7 is a view showing an embodiment in which a user performs CPR in the dummy shown in FIG. 1 And Fig. 8 is a view showing an embodiment in which the pressure sensor, the on / off switch circuit, and the bending sensor shown in Fig. 1 are mounted on the dummy.

도 6의 (a) 및 (b)를 참조하면, 제 2 프로젝터(700)를 통하여 실제 사고가 난 것과 같은 상황을 투사할 수 있다. 이때, 제 2 프로젝터(700)는 영상 뿐만 아니라 소음과 같은 사운드도 함께 출력할 수 있다. 그리고, 제 1 프로젝터(600)는 사용자가 정확한 시점에 숨을 불어넣고 있는지, 불어넣은 공기의 양은 기준 양과 비교하여 충분한지의 여부도 출력할 수 있다.6 (a) and 6 (b), it is possible to project a situation such as an actual accident through the second projector 700. [ At this time, the second projector 700 can output sounds as well as images. The first projector 600 can also output whether the user is breathing at the correct time and whether the amount of blown air is sufficient compared with the reference amount.

도 7의 (a) 및 (b)를 참조하면, 사용자가 심폐 소생술을 실시할 때, 즉 가슴 압박을 실시할 때, 제 1 프로젝터(600)는 각종 기준 정보와 비교한 피드백을 사용자에게 출력할 수 있다.Referring to FIGS. 7A and 7B, when the user performs CPR, that is, when chest compression is performed, the first projector 600 outputs feedback to the user in comparison with various reference information .

도 8의 (a)를 참조하면, 적어도 하나의 압력 센서(100)가 장착된 위치와, 그 상부에 스프링이 부착된 실시예와, 더미가 조립되는 과정을 도시한다. 이때, 적어도 하나의 압력 센서(100)는 상하좌우 직각을 이루면서 크로스로 배치될 수 있다. (b)를 참조하면, 온/오프 스위치 회로(200)가 장착되는 위치를 도시한다. (c)를 참조하면, 굽힘 센서(300)가 장착되는 위치를 도시한다. 이때, 적어도 하나의 압력 센서(100), 온/오프 스위치 회로(200) 및 굽힘 센서(300)는 더미에 임베디드 하드웨어(Embedded Hardware)로 장착될 수 있다.Referring to FIG. 8 (a), a process of assembling a position where at least one pressure sensor 100 is mounted, an embodiment having a spring on the pressure sensor 100, and a dummy are assembled. At this time, the at least one pressure sensor 100 may be arranged in a cross shape at right angles. (b), the position where the on / off switch circuit 200 is mounted is shown. (c), the position where the bending sensor 300 is mounted is shown. At this time, the at least one pressure sensor 100, the on / off switch circuit 200, and the bending sensor 300 may be mounted on the dummy as embedded hardware.

이와 같은 도 6 내지 도 8의 AR 기반 양방향 시뮬레이션 장치에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 5를 통해 AR 기반 양방향 시뮬레이션 시스템에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The matters not described for the AR-based bidirectional simulation apparatus of FIGS. 6 to 8 can be easily inferred from the same or described contents of the AR-based bidirectional simulation system through FIGS. 1 to 5 The description will be omitted.

도 1 및 도 2를 통해 설명된 일 실시예에 따른 AR 기반 양방향 시뮬레이션 시스템 및 장치는, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The AR based interactive simulation system and apparatus according to the embodiment described with reference to FIGS. 1 and 2 can also be implemented in the form of a recording medium including instructions executable by a computer, such as an application or program module executed by a computer . Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

Claims (13)

AR(Augmented Reality) 기반 양방향 CPR 시뮬레이터 장치에 있어서,
적어도 하나의 압력 센서로부터 상기 적어도 하나의 압력 센서로 입력되는 압박 세기 및 압박 주기를 수신하는 압박 정보 수신부;
온/오프(On/Off) 스위치 회로로부터 더미(Dummy)의 기도가 확장되었는지의 여부를 수신하는 기도 정보 수신부;
굽힘 센서로부터 수신된 굽힘 정도 데이터를 수신하고, 상기 기도로 유입된 유량 데이터를 산출하는 유량 정보 산출부; 및
제 1 프로젝터를 통하여 상기 수신된 적어도 하나의 정보를 적어도 하나의 기준 정보와 비교하여 출력하는 AR 출력부
를 포함하는, AR 기반 양방향 CPR 시뮬레이터 장치.
A bidirectional CPR simulator device based on an Augmented Reality (AR)
A pressing information receiving unit for receiving the pressing intensity and the pressing period inputted from the at least one pressure sensor to the at least one pressure sensor;
An airway information receiving unit that receives whether or not the airway of the dummy is extended from the on / off switch circuit;
A flow rate information calculation unit for receiving bending degree data received from the bending sensor and calculating flow rate data flowing into the airway; And
An AR output unit for comparing the received at least one information with at least one reference information through a first projector and outputting the compared information,
Based bidirectional CPR simulator device.
제 1 항에 있어서,
깊이 RGB(RGB-Depth) 카메라로부터 적어도 하나의 깊이 RGB 센서(RGB-Depth Sensor)를 촬영한 영상을 수신하는 자세 정보 수신부;
를 더 포함하고,
상기 AR 출력부는 상기 적어도 하나의 깊이 RGB 센서의 위치 및 각도와 기준 위치 및 기준 각도를 비교하여 출력하는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
The method according to claim 1,
An attitude information receiving unit for receiving an image of at least one depth sensor (RGB-Depth Sensor) taken from a deep RGB (RGB-Depth) camera;
Further comprising:
Wherein the AR output compares the position and angle of the at least one depth RGB sensor with a reference position and a reference angle and outputs the comparison.
제 2 항에 있어서,
상기 적어도 하나의 깊이 RGB 센서는, 사용자의 적어도 하나의 위치에 부착되고,
상기 적어도 하나의 위치는, 상기 사용자의 허리, 어깨, 팔꿈치, 손목인 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
3. The method of claim 2,
Wherein the at least one depth RGB sensor is attached to at least one location of the user,
Wherein the at least one position is the waist, shoulder, elbow, wrist of the user.
제 1 항에 있어서,
상기 적어도 하나의 압력 센서는 상기 더미의 흉부의 적어도 하나의 위치에 장착되고,
상기 적어도 하나의 압력 센서의 상부면에 적어도 하나의 스프링이 장착되는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
The method according to claim 1,
Wherein the at least one pressure sensor is mounted in at least one position of the chest of the dummy,
Wherein at least one spring is mounted on the upper surface of the at least one pressure sensor.
제 1 항에 있어서,
상기 적어도 하나의 압력 센서는 상기 더미의 흉부의 적어도 하나의 위치에 장착되고,
상기 적어도 하나의 위치에 장착된 적어도 하나의 압력 센서는 각각 상기 적어도 하나의 위치를 식별하도록 위치 데이터를 가지는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
The method according to claim 1,
Wherein the at least one pressure sensor is mounted in at least one position of the chest of the dummy,
Wherein the at least one pressure sensor mounted at the at least one position each have position data to identify the at least one position.
제 1 항에 있어서,
상기 AR 출력부는,
상기 적어도 하나의 압력 센서로 입력되는 압박 세기와 기준 압박 세기 정보를 비교하여 출력하고,
상기 적어도 하나의 압력 센서로 입력되는 압박 주기로부터 압박 속도(Pressure Rate)를 산출하고, 상기 압박 속도를 기준 압박 속도 정보를 비교하여 출력하고,
상기 적어도 하나의 압력 센서로 입력되는 압박 세기에 기초하여 기준 압박 위치를 출력하는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
The method according to claim 1,
Wherein the AR output unit comprises:
Comparing the pressure intensity inputted to the at least one pressure sensor with the reference pressure intensity information,
Calculating a pressure rate from a pressing cycle input to the at least one pressure sensor, comparing the pressing speed with a reference pressing speed information,
And outputs a reference pressure position based on the pressure intensity input to the at least one pressure sensor.
제 1 항에 있어서,
상기 산출된 유량 데이터는, 상기 굽힘 센서의 굽힘 정도 데이터인 상기 굽힘 센서의 기울기에 기초하고,
상기 AR 출력부는,
상기 산출된 유량 데이터와 인공 호흡시 필요한 기준 유량 데이터를 비교하여 출력하는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
The method according to claim 1,
Wherein the calculated flow rate data is based on a slope of the bending sensor which is bending accuracy data of the bending sensor,
Wherein the AR output unit comprises:
And compares the calculated flow rate data with reference flow rate data required for artificial respiration and outputs the comparison result.
제 1 항에 있어서,
상기 AR 출력부는,
상기 더미의 기도가 확장되어 상기 온/오프 스위치 회로가 오프 상태를 출력하는 경우 기도가 확장되었다는 데이터를 출력하고,
상기 더미의 기도가 폐쇄되어 상기 온/오프 스위치 회로가 온 상태를 출력하는 경우 기도가 폐쇄되었다는 데이터를 출력하는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
The method according to claim 1,
Wherein the AR output unit comprises:
The dummy airway is expanded to output data indicating that the airway has been expanded when the on / off switch circuit outputs an off state,
Wherein the dummy airway is closed so that when the on / off switch circuit outputs an ON state, the airway is closed.
제 1 항에 있어서,
상기 AR 출력부는,
응급 상황을 재현하기 위한 증강 현실 기반 응급 상황 영상을 제 2 프로젝터를 통하여 투사하도록 하는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
The method according to claim 1,
Wherein the AR output unit comprises:
Wherein the augmented reality-based emergency situation image for reproducing an emergency situation is projected through a second projector.
제 9 항에 있어서,
상기 제 2 프로젝터가 투사하는 영역과 상기 제 1 프로젝터가 투사하는 영역은 직각을 이루는 것인, AR 기반 양방향 CPR 시뮬레이터 장치.
10. The method of claim 9,
Wherein the area projected by the second projector and the area projected by the first projector are at right angles to each other.
AR 기반 양방향 CPR 시뮬레이션 시스템에 있어서,
더미에 설치되어 입력되는 압박 세기 및 압박 주기를 감지하는 적어도 하나의 압력 센서;
상기 더미의 기도가 확장되었는지의 여부를 측정하는 온/오프(On/Off) 스위치 회로;
상기 더미의 기도로 유입된 유량 데이터를 측정하도록 굽힘 정도 데이터를 출력하는 굽힘 센서;
상기 압력 센서, 온/오프 스위치 회로 및 굽힘 센서로부터 수신된 적어도 하나의 정보를 기준 정보와 비교하여 출력하는 AR 기반 양방향 CPR 시뮬레이터 장치; 및
상기 AR 기반 양방향 CPR 시뮬레이터 장치로부터 수신된 비교 데이터를 출력하는 제 1 프로젝터
를 포함하는, AR 기반 양방향 CPR 시뮬레이션 시스템.
In an AR based bi-directional CPR simulation system,
At least one pressure sensor for sensing a pressure intensity and a pressure cycle which are installed in the dummy;
An on / off switch circuit for measuring whether or not the airway of the dummy is expanded;
A bending sensor for outputting bending degree data for measuring flow rate data introduced into the air in the dummy;
An AR based bidirectional CPR simulator device for comparing at least one information received from the pressure sensor, the on / off switch circuit, and the bending sensor with reference information; And
A first projector for outputting comparison data received from the AR based bidirectional CPR simulator device;
Based bidirectional CPR simulation system.
제 11 항에 있어서,
적어도 하나의 깊이 RGB 센서;
상기 적어도 하나의 깊이 RGB 센서를 촬영하여 깊이 영상을 출력하는 깊이 RGB 카메라;
를 더 포함하고,
상기 AR 기반 양방향 CPR 시뮬레이터 장치는 상기 적어도 하나의 깊이 RGB 센서의 위치 및 각도와 기준 위치 및 기준 각도를 비교하여 출력하는 것인, AR 기반 양방향 CPR 시뮬레이션 시스템.
12. The method of claim 11,
At least one depth RGB sensor;
A depth RGB camera for photographing the at least one depth RGB sensor and outputting a depth image;
Further comprising:
Wherein the AR based bidirectional CPR simulator device compares the position and angle of the at least one depth RGB sensor with a reference position and a reference angle and outputs the comparison.
제 11 항에 있어서,
상기 AR 기반 양방향 CPR 시뮬레이터 장치로부터 수신된 증강 현실 영상을 출력하는 제 2 프로젝터;
를 더 포함하고,
상기 증강 현실 영상은 응급 상황을 포함한 영상인 것인, AR 기반 양방향 CPR 시뮬레이션 시스템.12. The method of claim 11,
A second projector for outputting the augmented reality image received from the AR based bidirectional CPR simulator device;
Further comprising:
Wherein the augmented reality image is a video including an emergency situation.
KR1020130083419A 2013-07-16 2013-07-16 Appartus and system for interactive cpr simulator based on augmented reality KR101504633B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130083419A KR101504633B1 (en) 2013-07-16 2013-07-16 Appartus and system for interactive cpr simulator based on augmented reality
PCT/KR2014/005122 WO2015008935A1 (en) 2013-07-16 2014-06-11 Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same
US14/650,568 US20150325148A1 (en) 2013-07-16 2014-06-11 Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130083419A KR101504633B1 (en) 2013-07-16 2013-07-16 Appartus and system for interactive cpr simulator based on augmented reality

Publications (2)

Publication Number Publication Date
KR20150009229A true KR20150009229A (en) 2015-01-26
KR101504633B1 KR101504633B1 (en) 2015-03-23

Family

ID=52572518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130083419A KR101504633B1 (en) 2013-07-16 2013-07-16 Appartus and system for interactive cpr simulator based on augmented reality

Country Status (1)

Country Link
KR (1) KR101504633B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180035520A (en) * 2016-09-29 2018-04-06 주식회사 아이엠랩 Basic life support training simulation system
KR102045272B1 (en) * 2018-10-22 2019-11-18 대구보건대학교산학협력단 Cpr trading chest compression device with multiple access based on augmented reality and virtual reality
KR20210044570A (en) * 2019-10-15 2021-04-23 정성호 Apparatus and method for cardiopulmonary resuscitation training simulation
CN114627736A (en) * 2022-03-11 2022-06-14 苏州尚领医疗科技有限公司 Training method and system with revival function
WO2023069021A3 (en) * 2021-10-22 2023-07-13 National University Of Singapore Augmented reality system and method for cardiopulmonary resuscitation training

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805623B1 (en) 2016-04-08 2017-10-31 I.M.Lab Inc. CPR training system and method
KR102045260B1 (en) 2018-01-17 2019-12-02 대구보건대학교산학협력단 Simulation method for training first aid treatment using augmented reality and virtual reality
KR102192102B1 (en) 2019-03-27 2020-12-16 이병배 Crosswalk pedestrian detecting system
KR102312298B1 (en) 2019-12-17 2021-10-12 동서대학교 산학협력단 System for Providing AR Education of CPR and AED by Using Smart Glasses and Method Thereof
KR102338435B1 (en) 2020-10-30 2021-12-13 (주)이상기술 Smart information provision system of crossroad and apparatus
KR20230054546A (en) 2021-10-15 2023-04-25 충남대학교병원 Breast cancer self diagnosis and breast massaging method and breast cancer self diagnosis and breast massaging device using augmented reality

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896309B1 (en) 2009-02-23 2009-05-11 주식회사 화경텍 A mannequin for training of cardio pulmonary resuscitation
KR20120053727A (en) * 2010-11-18 2012-05-29 경도메디칼시뮬레이션 주식회사 Detecting and indicating apparatus for artificial breathings in cpr(cardiopulmonary resuscitation) training using cpr manikin
KR101054722B1 (en) 2011-01-25 2011-08-05 건국대학교 산학협력단 Method for cardiopulmonary resuscitation providing using mobile terminal
KR20110115994A (en) * 2011-10-06 2011-10-24 한상현 Emergency rescue assisting devices and the method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180035520A (en) * 2016-09-29 2018-04-06 주식회사 아이엠랩 Basic life support training simulation system
WO2018062679A3 (en) * 2016-09-29 2018-08-23 주식회사 아이엠랩 Basic emergency rescue training simulation system
KR102045272B1 (en) * 2018-10-22 2019-11-18 대구보건대학교산학협력단 Cpr trading chest compression device with multiple access based on augmented reality and virtual reality
KR20210044570A (en) * 2019-10-15 2021-04-23 정성호 Apparatus and method for cardiopulmonary resuscitation training simulation
WO2023069021A3 (en) * 2021-10-22 2023-07-13 National University Of Singapore Augmented reality system and method for cardiopulmonary resuscitation training
CN114627736A (en) * 2022-03-11 2022-06-14 苏州尚领医疗科技有限公司 Training method and system with revival function

Also Published As

Publication number Publication date
KR101504633B1 (en) 2015-03-23

Similar Documents

Publication Publication Date Title
KR101504633B1 (en) Appartus and system for interactive cpr simulator based on augmented reality
US20230338778A1 (en) Method and system for monitoring and feed-backing on execution of physical exercise routines
US20150325148A1 (en) Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same
US20170136296A1 (en) System and method for physical rehabilitation and motion training
WO2014042121A1 (en) Movement evaluation device and program therefor
US20180085045A1 (en) Method and system for determining postural balance of a person
KR101620992B1 (en) Respiration training system and method for providing respiration training contents
Anilkumar et al. Pose estimated yoga monitoring system
KR101985438B1 (en) Smart Apparatus for Measuring And Improving Physical Ability
KR20220028654A (en) Apparatus and method for providing taekwondo movement coaching service using mirror dispaly
KR20180058139A (en) Smart health service system and smart health service method
JP2015186531A (en) Action information processing device and program
Huang et al. Smartglove for upper extremities rehabilitative gaming assessment
KR20210043174A (en) Method for providing exercise coaching function and electronic device performing thereof
US20190318645A1 (en) Measurement device
KR101636171B1 (en) Skeleton tracking method and keleton tracking system using the method
JP2017120366A (en) Picture display device and picture display method
CN113856186A (en) Pull-up action judging and counting method, system and device
KR20190036929A (en) System for managing posture in real time
Hwang et al. Motion data acquisition method for motion analysis in golf
CN113033526A (en) Computer-implemented method, electronic device and computer program product
US20230306636A1 (en) Object three-dimensional localizations in images or videos
KR20220049271A (en) Rehabilitaiton Guide System using Artificial Intelligence
KR102187238B1 (en) Device and method for user-participated human 3D modeling
JP2005230068A (en) Method and device for supporting exercise

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 5