KR20190063000A - AR-Based Disater Injuries Position Display System and Method thereof - Google Patents

AR-Based Disater Injuries Position Display System and Method thereof Download PDF

Info

Publication number
KR20190063000A
KR20190063000A KR1020170161733A KR20170161733A KR20190063000A KR 20190063000 A KR20190063000 A KR 20190063000A KR 1020170161733 A KR1020170161733 A KR 1020170161733A KR 20170161733 A KR20170161733 A KR 20170161733A KR 20190063000 A KR20190063000 A KR 20190063000A
Authority
KR
South Korea
Prior art keywords
location
information
recognition server
display device
disaster
Prior art date
Application number
KR1020170161733A
Other languages
Korean (ko)
Other versions
KR101999249B1 (en
Inventor
현종민
안희덕
Original Assignee
주식회사 오경컴텍
(주)엠라인스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오경컴텍, (주)엠라인스튜디오 filed Critical 주식회사 오경컴텍
Priority to KR1020170161733A priority Critical patent/KR101999249B1/en
Publication of KR20190063000A publication Critical patent/KR20190063000A/en
Application granted granted Critical
Publication of KR101999249B1 publication Critical patent/KR101999249B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0269—System arrangements wherein the object is to detect the exact location of child or item using a navigation satellite system, e.g. GPS
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to a system for displaying a location of a disaster victim based on AR, including: a location information display apparatus for displaying a screen of a specific location to a worker using augmented reality (AR) and displaying location information and personal information of the worker located on the specific location; a location recognition server gateway installed in one or more locations and TCP/IP communicating with a location recognition server; a location recognition tag transmitting location information thereof by wirelessly communicating with the location recognition server gateway; and the location recognition server TCP/IP communicating with the location information display apparatus and transmitting location information received from the location recognition server gateway to the location information display apparatus to control to display the location information corresponding to the location recognition tag. Accordingly, it is possible to identify dangerous material information in a disaster area in advance to rescue a disaster victim by safely responding to danger in the disaster area.

Description

에이알기반 재해자 위치표시시스템 및 방법{AR-Based Disater Injuries Position Display System and Method thereof}[0001] AR-Based Disaster Injury Position Display System and Method [

본 발명은 에이알기반 재해자 위치표시시스템에 관한 것으로, 에이알 즉 증강현실(AR:Augmented Reality)을 기반으로 하여 재해 발생 시 재해 현장에 투입되는 사람 즉, 재해자(혹은 작업자)의 위치를 에이알(AR)기능이 구현될 수 있는 장치에 표시하여 안전관리자(혹은 관리자)가 재해자의 대피여부를 판단하고, 안전하게 구출할 수 있도록 하는 에이알기반 재해자 위치표시시스템에 관한 것이다.[0002] The present invention relates to an AAL-based disaster location marking system, and more particularly, to an ARR-based disaster location marking system, in which the location of a disaster (or worker) (AR) function to a device capable of realizing the function of the safety manager (or manager) to determine whether or not the evacuation of the victim can be rescued safely.

이 분야의 종래 기술에(대한민국특허 등록번호 제10-1181294호(등록일자 2012년09월04일) 의하면, 촬영지점에서 정확한 촬영대상지점을 찾는 방법에 있어서, GPS수신기와 지자기센서가 내장된 촬영수단을 이용하여 문제 발생지점을 촬영하는 단계, 촬영된 이미지를 신고유형, 촬영자정보, GPS정보 및 지자기정보와 함께 이동통신망을 이용하여 신고처리 서버로 전송하는 단계, 신고처리 서버는 사건을 접수하고 신고유형에 따라 분류하는 단계, 신고처리 서버가 분류한 신고유형에 따라 촬영자의 GPS 위치로부터 소정거리 내의 이미지를 GIS서버에서 검색하는 단계, 신고처리 서버가 신고된 이미지와 GIS 서버에서 검색된 이미지를 비교하여 일치된 검색 이미지의 위치정보를 추출하는 단계 및 추출된 위치정보와 신고된 이미지를 담당 처리단말로 송신하는 단계를 포함하여 촬영지점으로부터 대상지점의 위치를 알아내는 방법을 나타내고 있다. 이 방법은 촬영지점으로부터 대상지점의 위치를 알아내는 방법을 활용한 문제 신고처리 시스템을 지원하여 원활한 처리를 할 수 있도록 제공한다.According to the prior art in this field (Korean Patent Registration No. 10-1181294 (registered on September 04, 2012)), in order to find a precise shooting target point at a shooting point, a GPS receiver and a geomagnetic sensor Photographing the trouble occurrence point by using the means, transmitting the photographed image to the report processing server using the mobile communication network together with the report type, the photographer information, the GPS information and the geomagnetism information, and the report processing server receives the incident Searching the GIS server for an image within a predetermined distance from the GPS position of the photographer according to the report type classified by the report processing server; comparing the reported image with the image retrieved from the GIS server; Extracting location information of the matched search image, and transmitting the extracted location information and the reported image to the processing terminal in charge It shows you how to find out the location of the target point from the shooting point to include this approach is to support the Report a problem processing system utilizing a method to find out the location of the target point from the shooting point to provide to the smooth handling.

그러나, 이러한 종래기술에 따르면, 사고나 재해발생시, 해당위치의 정보는 알 수 있지만, 해당 위치에 외부에서 투입되는 작업자의 해당 위치에 대한 위치 정보를 얻고자 하는 경우에는 별다른 장치가 없어서 사고나 재해발생에 대비하여 구출활동을 하기가 어렵고, 위치를 파악하지 못하여 생명을 구조할 수 있는 골든타임을 놓칠 수 있는 등 여러가지 측면에서 구조활동을 원활하게 할 수 없는 문제점이 있었다.However, according to this conventional technique, when the accident or disaster occurs, the information of the corresponding position can be known. However, in the case where the operator wants to obtain the position information on the corresponding position of the operator input from the outside, There is a problem that it is difficult to rescue activities in preparation for the occurrence, and the rescue activities can not be smoothly performed in various aspects such as failing to grasp the position and missing the golden time to rescue the life.

[선행기술문헌][Prior Art Literature]

특허문헌 대한민국등록특허 제10-1152239호(2012년 05월 25일)Patent Literature Korea Patent No. 10-1152239 (May 25, 2012)

본 발명의 목적은 상기한 바와 같은 종래 기술에서의 문제점을 개선하기 위하여 제안된 것으로서, 에이알 즉 증강현실(AR:Augmented Reality)을 기반으로 한 장치를 작업자가 구비하고 재해 발생 시 재해자는 위치정보태그를 통해 위치를 외부에서 파악할 수 있으며, 재해자의 위치를 에이알(AR) 장치에 표시하여 안전관리자가 재해자의 대피여부를 판단하도록 하며, 재해 또는 재난 지역의 위험물 정보를 미리 파악하여 안전하게 재해지역의 위험에 대응하면서 재해자를 구출할 수 있도록 하는 에이알기반 재해자 위치표시시스템을 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems in the prior art, and it is an object of the present invention to provide an apparatus based on augmented reality (AR) Tag, and the position of the disaster is displayed on the AR device so that the safety manager can judge the evacuation of the disaster, and it is possible to grasp the dangerous material information in the disaster or the disaster area in advance, Based disaster location marking system that enables a rescuer to rescue a victim while responding to the risk of the accident.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따르면,According to a preferred embodiment of the present invention,

에이알기반 재해자 위치표시시스템에 있어서,An alal-based disaster location indication system,

증강현실로 작업자가 특정위치의 화면을 볼 수 있고, 특정위치에 위치한 작업자의 위치정보 및 개인정보를 표시하는 위치정보표시장치,A position information display device which can display a screen of a specific position by an operator in an augmented reality and display position information and personal information of an operator located at a specific position,

하나이상의 위치에 설치되며 상기 위치인식서버와 TCP/IP 통신하는 위치인식서버 게이트웨이,A location recognition server gateway installed at one or more locations and performing TCP / IP communication with the location recognition server,

상기 위치인식 서버게이트웨이와 무선통신을 하며 자신의 위치정보를 전송하는 위치인식태그,A location recognition tag for wirelessly communicating with the location recognition server gateway and transmitting location information thereof,

상기 위치정보표시장치와 TCP/IP통신하며, 상기 위치인식서버 게이트웨이로부터 전송된 위치정보를 상기 위치정보표시장치에 전송하여 해당 위치인식태그에 대응하는 위치정보를 표시하도록 제어하는 위치인식서버를 포함하는 에이알기반 재해자 위치표시시스템이 제공된다.And a location recognition server that performs TCP / IP communication with the location information display device and transmits location information transmitted from the location recognition server gateway to the location information display device to display location information corresponding to the location identification tag An AAL-based disaster location system is provided.

바람직하게는,Preferably,

상기 위치정보표시장치는 사용자 착용형 헤드업 디스플레이장치로서, 주변의 이미지에 재해정보가 추가되어 표시되는 증강현실 기능을 가지는 것을 특징으로 한다.The position information display apparatus is a user-wearable head-up display apparatus, and has an augmented reality function in which disaster information is added to peripheral images to be displayed.

또한, 바람직하게는,Further, preferably,

상기 위치정보표시장치는 위험물 정보를 색깔로 표시하는 것을 특징으로 한다.The location information display device displays dangerous goods information in color.

본 발명의 다른 측면에 있어서, 위치인식 게이트웨이(20)가 위치인식 태그(30)의 위치를 주기적으로 추적하고 위치를 확인하는 제1 단계,In another aspect of the present invention, the location-aware gateway 20 periodically tracks and confirms the location of the location-aware tag 30,

재해 발생시, 위치인식서버(10)에서 위치인식 태그(30)를 착용한 작업자의 잔류여부를 확인하는 제2 단계,A second step of confirming whether an operator wearing the position recognition tag 30 is left in the position recognition server 10 when a disaster occurs,

위치인식서버(10)에서 해당 상황을 기록하고 데이터베이스에 저장하며, 구조팀 현장투입 및 작업자구조를 지시하고 해당 기록을 저장하는 제3 단계를 포함하는 에이알기반 재해자 위치표시방법이 제공된다.A third step of recording the situation in the location recognition server 10 and storing it in a database, indicating a structure team site input and operator structure, and storing the record, is provided.

바람직하게는,Preferably,

상기 제1 단계후에,After the first step,

위치인식서버(10)에서 재해구역의 작업자 위치를 확인하고 위치정보표시장치에서 작업자 위치까지 경로를 계산하는 제4 단계,A fourth step of confirming the position of the worker in the disaster area in the position recognition server 10 and calculating the path from the position information display device to the worker position,

위치인식서버(10)에서 상기 위치정보표시장치에 이동경로를 표시하는 제5 단계를 포함한다.And a fifth step of the location recognition server 10 displaying the route to the location information display device.

또한, 바람직하게는,Further, preferably,

상기 제1 단계후에,After the first step,

위치인식서버(10)에서 상기 위치정보표시장치 외부카메라로 주변정보를 인식하는 제 6단계,A sixth step of recognizing peripheral information from the position information display apparatus external camera at the position recognition server 10,

위치인식서버(10)에서 주변 사물을 인식하고 정보를 확인하여 위험물 데이터베이스의 위험물 정보와 비교하는 제7 단계,A seventh step of recognizing nearby objects in the location recognition server 10, verifying the information, and comparing the information with dangerous material information of the dangerous goods database,

위치인식서버(10)에서 위치정보표시장치에 위험물 등급에 따라 사물에 색깔로 위험도를 표시하도록 제어하는 제8단계를 포함한다.And an eighth step of controlling the position recognition server 10 to display a risk on the object according to the dangerous goods rating on the location information display device.

상기 설명한 바와 같이, 본 발명에 따른 에이알기반 재해자 위치표시시스템에 의하면, 에이알 즉 증강현실(AR:Augmented Reality)을 기반으로 한 장치를 작업자가 구비하고 재해 발생 시 재해자는 위치정보태그를 통해 위치를 외부에서 파악할 수 있으며, 재해자의 위치를 에이알(AR) 장치에 표시하여 안전관리자가 재해자의 대피여부를 판단하도록 하며, 재해 또는 재난 지역의 위험물 정보를 미리 파악하여 안전하게 재해지역의 위험에 대응하면서 재해자를 구출할 수 있는 효과가 있다.As described above, according to the AAL-based disaster location displaying system according to the present invention, an operator is provided with an apparatus based on ARAL (augmented reality), and in the event of a disaster, The location of the disaster can be identified from the outside and the location of the disaster can be displayed on the AR device so that the safety manager can judge the evacuation of the disaster, There is an effect that the disaster can be rescued while responding.

도 1은 본 발명에 따른 에이알기반 재해자 위치표시시스템의 개략적인 시스템 구성도이다.
도 2는 도 1의 각각의 구체적인 블록구성도이다.
도 3은 도 1의 위치정보표시장치에 표시되는 화면의 일예를 나타낸 도면이다.
도 4는 도 1의 위치정보표시장치에 표시되는 화면의 다른 예를 나타낸 도면들이다.
도 5 및 도 6은 본 발명에 따른 에이알기반 재해자 위치표시시스템의 동작흐름도들이다.1 is a schematic system configuration diagram of an AAL-based disaster location system according to the present invention.
2 is a specific block diagram of each of Fig.
FIG. 3 is a view showing an example of a screen displayed on the position information display apparatus of FIG. 1. FIG.
4 is a view showing another example of a screen displayed on the position information display apparatus of FIG.
Figures 5 and 6 are operational flow diagrams of an AAL-based disaster location system in accordance with the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

이하 본 발명에 따른 에이알기반 재해자 위치표시시스템에 대하여 첨부도면을 참조로 상세히 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an AAL-based disaster location system according to the present invention will be described in detail with reference to the accompanying drawings.

도 1 내지 도 5를 참조하면, 에이알기반 재해자 위치표시시스템에서, Referring to Figures 1-5, in an AAL-based disaster location system,

위치정보 표시장치(40)는 사용자 착용형 헤드업 디스플레이 장치로서, 주변의 이미지에 재해정보(재해자 위치 정보, 주변 위험물 정보)가 추가되어 표시되도록 할 수 있는 기능, 즉 증강현실 기능을 수행한다.The position information display device 40 is a user-wearable head-up display device, and performs a function of adding disaster information (accident location information and surrounding dangerous goods information) to an image of the surroundings, that is, augmented reality function.

또한, 외부인식 카메라모듈(46)은 카메라(미도시)를 사용하여 주변 사물을 인식하고, 위치인식 게이트웨이(20)와 위치인식 무선통신을 통해 위치추적이 가능한 장치이다.Also, the external recognition camera module 46 is a device that recognizes nearby objects using a camera (not shown) and can perform position tracking with the position recognition gateway 20 through position recognition wireless communication.

또한, TCP/IP 통신모듈(44)을 통해 위치인식 서버(10)와 TCP/IP로 연결되는 장치이다.It is also connected to the location recognition server 10 through the TCP / IP communication module 44 via TCP / IP.

또한, 위치인식통신모듈(42)을 통해 위치인식 서버(10)에서 대피하지 못한 작업자(혹은 재해자) 정보를 수신한다.Also, information on an operator (or disaster) which can not be evacuated from the position recognition server 10 through the position recognition communication module 42 is received.

또한, 위치인식통신모듈(42)을 통해 위치인식 게이트웨이(20) 및 주변 영상 정보를 통해 현재 위치를 인식한다.In addition, the current position is recognized through the position recognition gateway 20 and the surrounding image information through the position recognition communication module 42.

또한, 위치인식통신모듈(42)을 통해 위치인식 서버(10)로 현재 위치를 전송한다.In addition, the current location is transmitted to the location recognition server 10 through the location recognition communication module 42.

또한, 위치인식통신모듈(42)을 통해 위치인식 서버(10)에서 재해자의 위치까지의 이동경로 정보를 수신한다.In addition, the location recognition server 10 receives movement route information from the location recognition communication module 42 to the location of the disaster.

또한, 위치인식통신모듈(42)을 통해 재해자 위치까지 이동경로 정보를 표시한다.In addition, movement path information is displayed through the location recognition communication module 42 to the disaster location.

또한, 위치인식통신모듈(42)을 통해 위치인식 서버(10)에서 전송받은 재해자 위치 정보를 표시한다.Also, the disaster information transmitted from the location recognition server 10 through the location recognition communication module 42 is displayed.

또한, 위치인식통신모듈(42) 및 외부인식카메라모듈(46)을 통해 현재 위치 및 주변 사물 영상 정보를 인식하고, 위치인식통신모듈(42)을 통해 위치인식 서버(10)의 위험물 정보와 대조하여 위험한 시설 정보를 인식한다.Also, it recognizes the current position and surrounding object image information through the position recognition communication module 42 and the external recognition camera module 46, and compares the current position and the surrounding object image information with the dangerous goods information of the position recognition server 10 through the position recognition communication module 42 To recognize hazardous facility information.

또한, 영상표시모듈(48)을 통해 이동 경로 및 주변의 위험물 정보를 표시한다.Also, dangerous goods information on the route and the surrounding area is displayed through the video display module 48.

또한, 영상표시모듈(48)을 통해 위험물 정보를 색깔로 표시하여 재해 상황에서 상황판단을 빠르게 할 수 있도록 한다.In addition, dangerous goods information is displayed in color through the video display module 48 so that a situation can be quickly determined in a disaster situation.

위치인식 서버(10)는The location recognition server 10

위치인식 게이트웨이(20), 위치정보표시장치(40)와 TCP/IP로 연결되어 통신하는 서버이다. TCP/IP 통신모듈(11)과, 위치측위모듈(12)과, 영상분석모듈(13)과, 재해분석모듈(14)과, 이동경로계산모듈(15)과, 위험물데이터베이스(16)을 포함한다.And a server communicating with the location-aware gateway 20 and the location information display device 40 via TCP / IP. And includes a TCP / IP communication module 11, a location positioning module 12, an image analysis module 13, a disaster analysis module 14, a travel path calculation module 15 and a dangerous goods database 16 do.

또한, 위치측위모듈(12)은 위치인식 게이트웨이(20)를 통해 위치인식 태그(30)의 거리정보를 수신한다.Further, the position measurement module 12 receives the distance information of the position recognition tag 30 through the position recognition gateway 20.

또한, 위치인식 게이트웨이(20)를 통해 위치정보 표시장치(40)의 거리정보와 주변 영상정보를 수신한다.The distance information and the surrounding image information of the position information display device 40 are received through the position recognition gateway 20.

또한, 재해분석모듈(14)은 재해시 위치인식 태그(30)를 착용한 작업자가 대피했는지 판단한다.Also, the disaster analysis module 14 determines whether a worker wearing the position recognition tag 30 at the time of a disaster has evacuated.

또한, 위치측위모듈(12)은 1개 이상의 위치인식 게이트웨이(20)와 한 개의 위치인식 태그(30)의 거리 정보를 비교하여 재해시 대피하지 못한 작업자의 현재 위치를 판단한다.In addition, the position measurement module 12 compares the distance information between one or more position recognition gateways 20 and one position recognition tag 30 to determine the current position of the operator who can not escape during a disaster.

또한, 이동경로계산모듈(15)은 재해시 위치정보 표시장치(40)에서 대피하지 못한 작업자까지의 이동경로 계산한다.In addition, the movement path calculation module 15 calculates the movement path from the position information display device 40 at the time of the disaster to the worker who can not evacuate.

또한, 이동경로계산모듈(15)은 위치정보 표시장치(40)로 최적 이동경로 정보를 전송한다.In addition, the movement path calculation module 15 transmits the optimal movement path information to the position information display device 40.

영상분석모듈(13)은 위치정보표시장치(40)로부터 전송된 영상을 분석하여 처리한다.The image analysis module 13 analyzes the image transmitted from the position information display device 40 and processes the image.

위험물데이터베이스(16)는 위치정보표시장치(40)로부터 전송된 위치정보를 통해 미리 저장된 위험물데이터베이스와 비교하여 처리한다. 즉, 위험물정보가 있는 경우 해당 건물 등에 표시한다.The dangerous goods database 16 compares the dangerous goods database with a previously stored dangerous goods database through the location information transmitted from the location information display device 40. [ That is, if there is dangerous material information, it is displayed in the building.

위치인식 게이트웨이(20)는 위치인식 정보를 수집하는 고정형 통신장치로서, 무선통신을 사용하여 위치인식 태그(30), 위치정보 표시장치(40)의 거리정보를 수신한다.The location-aware gateway 20 is a fixed-type communication device for collecting location-aware information, And receives the distance information of the position recognition tag 30 and the position information display device 40 using wireless communication.

또한, TCI/IP 통신모듈(22)는 TCP/IP를 사용하여 위치인식 서버(10)와 통신한다. 위치통신모듈(24)는 현재 위치에 대한 정보를 송수신한다.Also, the TCI / IP communication module 22 communicates with the location recognition server 10 using TCP / IP. The position communication module 24 transmits / receives information on the current position.

위치인식 태그(30)는 작업자가 착용하는 이동형 통신장치로서, 무선통신을 사용하여 위치인식 게이트웨이(20)로 거리정보를 발신한다. 위치인식통신모듈(32)은 현재 위치에 대한 정보를 송수신한다.The position recognition tag 30 is a mobile communication device to be worn by an operator, And transmits distance information to the location-aware gateway 20 using wireless communication. The position recognition communication module 32 transmits and receives information on the current position.

위치인식 무선통신은 무선통신을 사용하여 위치인식 태그(30)의 거리정보를 위치인식 게이트웨이(20)로 전송한다.The location-aware wireless communication transmits distance information of the location-aware tag 30 to the location-aware gateway 20 using wireless communication.

무선통신 방식은 사용환경, 거리, 및 목적에 따라 다르게 사용될 수 있다. 주로 IEEE 802.15.4또는 IEEE 802.15.1 이 사용되며 필요에 따라 다른 방식의 무선통신이나 알고리즘이 사용될 수 있다.The wireless communication system can be used differently depending on the usage environment, distance, and purpose. IEEE 802.15.4 or IEEE 802.15.1 is mainly used, and other types of wireless communication or algorithms may be used as needed.

도 4를 참조하여 본 발명에 따른 시스템의 동작을 개략적으로 설명한다.The operation of the system according to the present invention will be schematically described with reference to Fig.

먼저, 작업자는 위치인식 태그(30)를 착용하고(S2) 작업장에 입장하게 된다(S4).First, the operator wears the position recognition tag 30 (S2) and enters the work place (S4).

작업장 내에서는 위치인식 게이트웨이(20)가 위치인식 태그(30)의 위치를 주기적으로 추적한다. 위치인식 게이트웨이(20)에서 위치인식 태그(30)의 위치를 확인한다(S6).Inside the workplace, the location-aware gateway 20 periodically tracks the location of the location-aware tag 30. The position recognition gateway 20 confirms the position of the position recognition tag 30 (S6).

재해 발생시(S8) 현장을 통제하고(S10), 작업자 잔류여부를 확인하고(S12) 현장통제를 하거나(S13) DB에 기록한다(S14). 이후 구조팀 현장투입과정(S16)과 작업자 구조과정(S18)이 수행된다.In the event of a disaster (S8), the site is controlled (S10), the worker is left (S12), and the site is controlled (S13). Thereafter, the process of inputting the rescue team (S16) and the process of constructing the operator (S18) are performed.

도 5를 참조하여, 위치정보표시장치(40)의 동작흐름도를 설명한다.The operation flow chart of the position information display device 40 will be described with reference to Fig.

위치정보표시장치(40)가 위치인식 무선통신 신호를 발신한다(S22).The position information display device 40 transmits a position recognition wireless communication signal (S22).

이후, N개의 위치인식 게이트웨이(20)에서 위치인식 무선통신 신호를 수신한다(S24).Thereafter, the position recognition wireless communication signals are received from the N position recognition gateways 20 (S24).

위치인식서버(10)에서 위치인식 무선통신 신호를 비교한다(S26). 이때 비교하는 대상은 상기 위치인식 게이트웨이(20)에서 수신한 위치인식 무선통신 신호들이다.The position recognition server 10 compares the position recognition wireless communication signals (S26). At this time, the objects to be compared are the position recognition wireless communication signals received by the position recognition gateway 20.

위치인식서버(10)에서 위치정보표시장치(40)의 위치를 결정한다(S28).The location recognition server 10 determines the location of the location information display device 40 (S28).

이후 위치정보표시장치(40)의 위치를 확인한다(S30).Then, the position of the position information display device 40 is confirmed (S30).

이후, 위치인식서버(10)는 재해구역의 작업자 위치를 확인한다(S32).Thereafter, the location recognition server 10 confirms the location of the worker in the disaster area (S32).

이후, 위치인식서버(10)는 위치정보표시장치에서 재해구역의 작업자 위치까지 경로를 계산한다(S34).Thereafter, the location recognition server 10 calculates the route from the location information display device to the worker's location in the disaster area (S34).

이후, 위치정보표시장치(40)에 이동경로를 표시한다(S36).Thereafter, the movement path is displayed on the position information display device 40 (S36).

한편, 위치정보표시장치(40)에서 외부카메라로 주변정보를 인식한다(S42).On the other hand, the peripheral information is recognized by the external camera in the position information display device 40 (S42).

이후, 위치인식서버(10)와 통신하여 주변 사물을 인식하고 정보를 확인한다(S44).Then, it communicates with the location recognition server 10 to recognize nearby objects and confirm the information (S44).

이후, 위험물 데이터베이스의 위험물 정보와 비교한다(S46).Thereafter, it is compared with the dangerous goods information of the dangerous goods database (S46).

이후, 위치정보표시장치(40)에서 위험물 등급에 따라 사물에 색깔로 위험도를 표시한다(S48).Thereafter, the location information display device 40 displays the risk in terms of the color according to the dangerous goods grade (S48).

상기에서 위치정보표시장치는 재해 지역에 대피하지 못한 작업자의 위치를 모니터링한다.In the above, the position information display device monitors the position of the worker who can not escape to the disaster area.

또한, 구조팀이 착용한 위치정보표시장치(40)에 대피하지 못한 작업자 정보, 작업자 위치, 및 작업자 위치까지 접근할 수 있는 경로가 표시된다.In addition, the operator information, the worker position, and the path to the worker position that can not be evacuated to the position information display device 40 worn by the rescue team are displayed.

또한, 구조팀에서 위험한 시설(폭발,가스 누출 등)의 정보를 제공하여 작업장 상황을 잘 모르는 구조자에게 안전정보를 제공한다.In addition, the rescue team provides safety information to rescuers who are unfamiliar with the workplace situation by providing information on hazardous facilities (explosions, gas leaks, etc.).

본 발명에서 구조팀, 구조자는 재해 또는 재난사고 현장에 투입되는 인원으로서, 해당장비를 착용하거나 또는 위치인식태그가 장착된 장치를 착용하였다.In the present invention, the rescue team or rescuer wears the equipment or the apparatus equipped with the position recognition tag as a person to be put into a disaster or a disaster accident site.

위치정보 표시장치(40) 구성의 일예를 설명한다.An example of the configuration of the position information display device 40 will be described.

안전팀에서 착용하여 구출이 필요한 재해자의 위치를 컨셉1, 2, 및 3 과 같은 이미지로 화면(S-1)에 재해자 정보(위치,이름,연락처 및 소속)화면(S-2)에 위치정보 표시장치(40)에 표시한다.(Location, name, contact and affiliation) screen (S-2) on the screen (S-1) with images such as concept 1, 2 and 3, And displays it on the display device 40.

실제예로서, 재해자 정보(위치, 이름, 연락처, 및 소속)를 컨셉 1로 표시된 바와 같이 화면(S-3)에 표시할 수 있다. 화면(S-3)에는 특정 위치의 건물을 표시하면서 구체적인 정보를 지시선과 함께 표시하고 있다.As a practical example, the disaster information (location, name, contact, and affiliation) can be displayed on the screen S-3 as indicated by concept 1. On the screen S-3, concrete information is displayed together with a leader line while a building at a specific position is displayed.

또한, 주변 위험물 정보(가연성 가스 등)를 컨셉 2로 표시된 바와 같이 화면(S-4)에 색깔로 표시할 수 있다. 화면(S-4)에는 특정 건물에 특정 기호를 가진 일종의 아이콘모양이 표시되어있다. 각각 위험물 데이터베이스를 통한 위험물데이터를 표시한다.In addition, the surrounding dangerous goods information (combustible gas, etc.) can be displayed in color on the screen S-4 as indicated by the concept 2. On the screen S-4, a kind of icon shape having a specific symbol is displayed in a specific building. Each displays dangerous material data through the Dangerous Goods Database.

또한, 재해자 위치까지의 경로를 컨셉 3으로 표시된 바와 같이 화면(S-5)에 표시할 수 있다. 화살표방향이 이동방향이며 목표위치까지의 방향이 구체적으로 원형 팝업창에 표시될 수 있고, 해당위치까지의 거리도 표시되어 일종의 네비게이션 기능을 표시하고 있다.In addition, the route to the disaster location can be displayed on the screen S-5 as indicated by concept 3. The arrow direction is the moving direction, the direction to the target position can be specifically displayed in the circular pop-up window, and the distance to the corresponding position is also displayed, thereby displaying a kind of navigation function.

상기 도 3에 표시된 화면(S-3)(S-4) 및 (S-5)의 컬러 표시된 모양과 형상 그 자체는 본 발명의 권리범위에 포함시키지 않으며, 인터넷에서 검색된 사진 자료를 통해 본 발명의 화면의 예들을 예시적이고 개념적으로 설명하기 위하여 적용한 것이다. 따라서, 본 발명의 발명자(들)은 도 3에 표시된 화면(S-3)(S-4) 및 (S-5)외에 다른 색깔로 표시할 수 있고, 다른 아이콘 모양으로 특정 건물에 표시할 수 있으며, 다른 형태로 일종의 네비게이션과 유사한 화면을 변형하여 다르게 표현할 수도 있다.The color indicated shapes and shapes themselves of the screens (S-3), (S-4) and (S-5) shown in FIG. 3 are not included in the scope of right of the present invention, In order to illustrate and conceptually illustrate examples of screens of FIG. Therefore, the inventor (s) of the present invention can display different colors besides the screens S-3, S-4, and S-5 shown in FIG. 3, And can be displayed differently by modifying a screen similar to a kind of navigation in another form.

따라서, 본 발명에 따른 에이알기반 재해자 위치표시시스템에 의하면, 에이알 즉 증강현실(AR:Augmented Reality)을 기반으로 한 장치를 작업자가 구비하고 재해 발생 시 재해자는 위치정보태그를 통해 위치를 외부에서 파악할 수 있으며, 재해자의 위치를 에이알(AR) 장치에 표시하여 안전관리자가 재해자의 대피여부를 판단하도록 하며, 재해 또는 재난 지역의 위험물 정보를 미리 파악하여 안전하게 재해지역의 위험에 대응하면서 재해자를 구출할 수 있다. 또한, 재난이 발생한 지역에 투입되는 작업자의 안전을 확보할 수 있다.Therefore, according to the AWR-based disaster locator system according to the present invention, an operator is provided with an apparatus based on ARR (Augmented Reality), and in the event of a disaster, And the location of the disaster is displayed on the AR device so that the safety manager can judge the evacuation of the disaster. Also, it is possible to identify the dangerous material information in the disaster or the disaster area in advance, Can be rescued. In addition, it is possible to secure the safety of the workers put in the area where the disaster occurred.

또한, 재난이 발생한 지역에 있는 피해를 입은 사람도 위치인식태그를 가진 경우(혹은 착용한 경우), 본 발명의 시스템을 통해 정보를 송수신하면서 외부로부터 구조를 받을 수도 있는 것이다.Also, a person who has suffered a disaster in a disaster area may receive the structure from the outside while transmitting / receiving information through the system of the present invention when the location recognition tag has (or wears) the location recognition tag.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. While specific terms have been employed herein, they are used for the purpose of describing the invention only and are not used to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10: 위치인식서버
20: 위치인식서버 게이트웨이
30: 위치인식태그
40: 위치정보 표시장치10: Location aware server
20: Location-aware server gateway
30: Location-aware tags
40: Position information display device

Claims (6)

에이알기반 재해자 위치표시시스템에 있어서,
증강현실로 작업자가 특정위치의 화면을 볼 수 있고, 특정위치에 위치한 작업자의 위치정보 및 개인정보를 표시하는 위치정보표시장치,
하나이상의 위치에 설치되며 상기 위치인식서버와 TCP/IP 통신하는 위치인식서버 게이트웨이,
상기 위치인식 서버게이트웨이와 무선통신을 하며 자신의 위치정보를 전송하는 위치인식태그,
상기 위치정보표시장치와 TCP/IP통신하며, 상기 위치인식서버 게이트웨이로부터 전송된 위치정보를 상기 위치정보표시장치에 전송하여 해당 위치인식태그에 대응하는 위치정보를 표시하도록 제어하는 위치인식서버를 포함하는 에이알기반 재해자 위치표시시스템.An alal-based disaster location indication system,
A position information display device which can display a screen of a specific position by an operator in an augmented reality and display position information and personal information of an operator located at a specific position,
A location recognition server gateway installed at one or more locations and performing TCP / IP communication with the location recognition server,
A location recognition tag for wirelessly communicating with the location recognition server gateway and transmitting location information thereof,
And a location recognition server that performs TCP / IP communication with the location information display device and transmits location information transmitted from the location recognition server gateway to the location information display device to display location information corresponding to the location identification tag Al-based disaster location system. 제 1 항에 있어서,
상기 위치정보표시장치는 사용자 착용형 헤드업 디스플레이장치로서, 주변의 이미지에 재해정보가 추가되어 표시되는 증강현실 기능을 가지는 것을 특징으로 하는 에이알기반 재해자 위치표시시스템.The method according to claim 1,
Wherein the position information display device is a user-wearable head-up display device having an augmented reality function in which disaster information is added to an image of a surrounding area to display the augmented reality feature. 제 1 항에 있어서,
상기 위치정보표시장치는 위험물 정보를 색깔로 표시하는 것을 특징으로 하는 에이알기반 재해자 위치표시시스템.The method according to claim 1,
Wherein the location information display device displays dangerous goods information in color. 위치인식 게이트웨이(20)가 위치인식 태그(30)의 위치를 주기적으로 추적하고 위치를 확인하는 제1 단계,
재해 발생시, 위치인식서버(10)에서 위치인식 태그(30)를 착용한 작업자의 잔류여부를 확인하는 제2 단계,
위치인식서버(10)에서 해당 상황을 기록하고 데이터베이스에 저장하며, 구조팀 현장투입 및 작업자구조를 지시하고 해당 기록을 저장하는 제3 단계를 포함하는 에이알기반 재해자 위치표시방법.A first step in which the location-aware gateway 20 periodically tracks and confirms the location of the location-aware tag 30,
A second step of confirming whether an operator wearing the position recognition tag 30 is left in the position recognition server 10 when a disaster occurs,
A third step of recording the situation in the location recognition server (10) and storing it in a database, indicating a structure team site input and operator structure, and storing the record. 제 4 항에 있어서,
상기 제1 단계후에,
위치인식서버(10)에서 재해구역의 작업자 위치를 확인하고 위치정보표시장치에서 작업자 위치까지 경로를 계산하는 제4 단계,
위치인식서버(10)에서 상기 위치정보표시장치에 이동경로를 표시하는 제5 단계를 포함하는 에이알기반 재해자 위치표시방법.5. The method of claim 4,
After the first step,
A fourth step of confirming the position of the worker in the disaster area in the position recognition server 10 and calculating the path from the position information display device to the worker position,
And displaying the movement route on the location information display device at the location recognition server (10). 제 4 항에 있어서,
상기 제1 단계후에,
위치인식서버(10)에서 상기 위치정보표시장치 외부카메라로 주변정보를 인식하는 제 6단계,
위치인식서버(10)에서 주변 사물을 인식하고 정보를 확인하여 위험물 데이터베이스의 위험물 정보와 비교하는 제7 단계,
위치인식서버(10)에서 위치정보표시장치에 위험물 등급에 따라 사물에 색깔로 위험도를 표시하도록 제어하는 제8단계,를 포함하는 에이알기반 재해자 위치표시방법.5. The method of claim 4,
After the first step,
A sixth step of recognizing peripheral information from the position information display apparatus external camera at the position recognition server 10,
A seventh step of recognizing nearby objects in the location recognition server 10, verifying the information, and comparing the information with dangerous material information of the dangerous goods database,
And an eighth step of controlling the positional recognition server (10) to display a risk on the object according to the dangerous grade on the positional information display device.
KR1020170161733A 2017-11-29 2017-11-29 AR-Based Disater Injuries Position Display System and Method thereof KR101999249B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170161733A KR101999249B1 (en) 2017-11-29 2017-11-29 AR-Based Disater Injuries Position Display System and Method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170161733A KR101999249B1 (en) 2017-11-29 2017-11-29 AR-Based Disater Injuries Position Display System and Method thereof

Publications (2)

Publication Number Publication Date
KR20190063000A true KR20190063000A (en) 2019-06-07
KR101999249B1 KR101999249B1 (en) 2019-10-01

Family

ID=66849586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170161733A KR101999249B1 (en) 2017-11-29 2017-11-29 AR-Based Disater Injuries Position Display System and Method thereof

Country Status (1)

Country Link
KR (1) KR101999249B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321897B1 (en) * 2021-05-18 2021-11-08 주식회사 플럭시티 Method and computer program product for representing the degree of risk in a 3d modeling space of a construction site
WO2022065722A1 (en) * 2020-09-24 2022-03-31 삼성전자 주식회사 Electronic device and method for displaying notification about external object
WO2022245091A1 (en) * 2021-05-18 2022-11-24 주식회사 플럭시티 Method and computer program product for indicating risk degree in three-dimensional modeling space of construction site
WO2024010247A1 (en) * 2022-07-07 2024-01-11 주식회사 플럭시티 Location-based hazard calculation method and device
KR102634060B1 (en) 2023-06-09 2024-02-07 주식회사 차후 System for informing risk information in disaster areas using augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101087486B1 (en) * 2004-12-16 2011-11-28 엘지전자 주식회사 Method and apparatus for displaying dangerous area in navigation system
KR20130071119A (en) * 2011-12-20 2013-06-28 현대중공업 주식회사 A system and method for display dangerous area using impleminting augminted reality by safety glasses
KR20140032205A (en) * 2012-09-06 2014-03-14 대한민국(안전행정부 국립재난안전연구원장) System and method for disaster damage investigation based on mobile
KR101575983B1 (en) * 2014-10-15 2015-12-09 주식회사 세중아이에스 Safety management intellectual and integral control system, server and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101087486B1 (en) * 2004-12-16 2011-11-28 엘지전자 주식회사 Method and apparatus for displaying dangerous area in navigation system
KR20130071119A (en) * 2011-12-20 2013-06-28 현대중공업 주식회사 A system and method for display dangerous area using impleminting augminted reality by safety glasses
KR20140032205A (en) * 2012-09-06 2014-03-14 대한민국(안전행정부 국립재난안전연구원장) System and method for disaster damage investigation based on mobile
KR101575983B1 (en) * 2014-10-15 2015-12-09 주식회사 세중아이에스 Safety management intellectual and integral control system, server and method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065722A1 (en) * 2020-09-24 2022-03-31 삼성전자 주식회사 Electronic device and method for displaying notification about external object
KR102321897B1 (en) * 2021-05-18 2021-11-08 주식회사 플럭시티 Method and computer program product for representing the degree of risk in a 3d modeling space of a construction site
WO2022245091A1 (en) * 2021-05-18 2022-11-24 주식회사 플럭시티 Method and computer program product for indicating risk degree in three-dimensional modeling space of construction site
KR20220156415A (en) * 2021-05-18 2022-11-25 주식회사 플럭시티 Method and computer program product for representing the degree of risk in a 3d modeling space of a construction site
WO2024010247A1 (en) * 2022-07-07 2024-01-11 주식회사 플럭시티 Location-based hazard calculation method and device
KR102634060B1 (en) 2023-06-09 2024-02-07 주식회사 차후 System for informing risk information in disaster areas using augmented reality

Also Published As

Publication number Publication date
KR101999249B1 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
KR20190063000A (en) AR-Based Disater Injuries Position Display System and Method thereof
JP5003731B2 (en) Patrol security support system, method and program
JP5260955B2 (en) Anomaly detection support system
JP7040580B2 (en) Video collection system, video collection method and program
JP6244120B2 (en) Video display system and video display program
JP2013131159A (en) Area monitoring system
KR102674832B1 (en) Tracking of maintenance trajectory in elevator system
KR20220007460A (en) Method for determining whether to wear personal protective equipment and server for performing the same
JP2015102880A (en) Work support system
JP4958600B2 (en) Watch system and masking method
KR20170070713A (en) Monitoring system using a drone
JP2014150483A (en) Imaging system
JP2016066312A (en) Security system and security method
JP2008257385A (en) Monitoring support system and portable terminal for monitoring
KR20210086790A (en) Risk notification system and the method thereof using virtual proxy sensor and virtual space-based danger zone setting with rtls sensor
KR101473984B1 (en) System for collecting field information using mobile device
KR20190097804A (en) Drone for Detecting Danger in Construction Site
JP2018056908A (en) Information processing device, and information processing method and program
KR101700933B1 (en) Providing location information system in video display using rfid system
WO2020003644A1 (en) Gas leak detection device and gas leak detection method
KR20230121229A (en) Occupational safety and health education system through artificial intelligence video control and method thereof
KR101496341B1 (en) Lost child prevention system using wi-fi
JP6690839B2 (en) Monitoring device, monitoring system, monitoring method, and program
JP2006155512A (en) Information terminal device
JP6877176B2 (en) Monitoring system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right