KR102203173B1 - Method, apparatus and computer-readable medium for inspection of fire fighting facility based on augmented reality - Google Patents
Method, apparatus and computer-readable medium for inspection of fire fighting facility based on augmented reality Download PDFInfo
- Publication number
- KR102203173B1 KR102203173B1 KR1020190151470A KR20190151470A KR102203173B1 KR 102203173 B1 KR102203173 B1 KR 102203173B1 KR 1020190151470 A KR1020190151470 A KR 1020190151470A KR 20190151470 A KR20190151470 A KR 20190151470A KR 102203173 B1 KR102203173 B1 KR 102203173B1
- Authority
- KR
- South Korea
- Prior art keywords
- firefighting
- inspection
- firefighting facility
- information
- user terminal
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 181
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000009434 installation Methods 0.000 claims abstract description 50
- 230000002950 deficient Effects 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 206010065954 Stubbornness Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C37/00—Control of fire-fighting equipment
- A62C37/50—Testing or indicating devices for determining the state of readiness of the equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Emergency Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
본 발명은 증강현실 기반의 소방시설 점검 방법에 관련된 것으로서, 구체적으로는, 소방시설의 점검 항목별 점검 시나리오를 유저 단말에 증강현실의 형태로 구현하여 제공하는 기술과 관련된 것이다.The present invention relates to an augmented reality-based firefighting facility inspection method, and specifically, relates to a technology for implementing and providing an inspection scenario for each inspection item of a firefighting facility in a user terminal in the form of augmented reality.
소방시설 설치 유지 및 안전관리법에 따르면, 특정 소방대상물의 관계인은 그 대상물에 설치되어 있는 소방시설물 등에 대하여 정기적으로 자체점검을 실시하거나 관리업자 또는 행정자치부령이 정하는 기술자격자로 하여금 정기적으로 점검수행이 이루어져야 함을 규정하고 있다.According to the Firefighting Facility Installation and Maintenance and Safety Management Act, a person concerned with a specific firefighting object must periodically perform self-inspection on the firefighting facilities installed in the object, or have a manager or a technician prescribed by Ordinance of the Ministry of Government Administration and Home Affairs perform regular inspections. It stipulates that it must be done.
한편 종래의 소방시설 점검 방법은, 점검 대상 건축물에 소방 공무원이 직접 내방하여, 설치된 소방시설물의 작동 여부를 소방 점검 매뉴얼에 따라 일일이 확인하는 작업이 요구되었으며, 이러한 종래 방식은 소방 점검 인력 및 점검에 요구되는 작업 시간의 낭비가 초래되는 문제가 있었다.Meanwhile, in the conventional firefighting facility inspection method, a firefighting official visits the building to be inspected directly, and it is required to check the operation of the installed firefighting facility according to the firefighting inspection manual. There was a problem that the required work time was wasted.
이러한 문제를 해결하기 위하여, 한국등록특허 제10-1709157호(소방 관리 시스템 및 소방 시설의 관리를 위한 방법)에서는 소방시설마다 무선 통신 장비 및 센서 네트워크를 구축하고, 소방시설들로부터 센싱 데이터를 수신한 원격의 관리 서버에서 해당 소방시설물들의 관리를 수행하여 점검 인력 및 점검에 요구되는 작업 시간 낭비에 대한 문제를 해결하고자 하는 기술이 개시되어 있다.In order to solve this problem, Korean Patent Registration No. 10-1709157 (Fire Fighting Management System and Firefighting Facility Management Method) establishes wireless communication equipment and sensor networks for each firefighting facility, and receives sensing data from firefighting facilities. A technology for solving the problem of wasting work time required for inspection and inspection by performing management of corresponding firefighting facilities in a remote management server is disclosed.
그러나, 상술한 선행기술에 개시된 소방시설의 관리 기술을 적용하기 위해서는, 건축물의 건축 시 해당 소방시설에 대한 네트워크 연결 장비를 설치하거나, 건축물에 대한 대규모 보수 시공을 통하여 네트워크 시스템을 구축하여야 했기 때문에, 스마트 점검 시스템 구축에 소요되는 초기 비용이 크게 발생하고, 기존의 건축물의 소방시설에 대한 소방 점검에 적용하기에는 매우 어려운 점이 문제로 지적되고 있다.However, in order to apply the management technology of firefighting facilities disclosed in the above-described prior art, it is necessary to install a network connection equipment for the firefighting facility when building a building, or to construct a network system through large-scale repair and construction of the building. It is pointed out that the initial cost required to build the smart inspection system is large, and it is very difficult to apply it to the firefighting inspection of the firefighting facilities of the existing building.
이에 본 발명은 소방시설의 점검 항목별 점검 시나리오를 유저 단말에 증강현실의 형태로 구현하여, 점검자의 개입을 최소화함에 따라서 점검 인력 및 점검 소요 시간의 절감을 도모할 수 있는 증강현실 기반의 소방시설 점검 방법을 제공하는 것에 그 목적이 있다.Accordingly, the present invention implements an inspection scenario for each inspection item of a firefighting facility in the form of augmented reality in the user terminal, thereby minimizing the intervention of the inspector, thereby reducing the inspection manpower and the time required for inspection. Its purpose is to provide an inspection method.
상기 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 하나 이상의 프로세서 및 상술한 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 유저 단말에서 구현되는 증강현실 기반의 소방시설 점검 방법은, 하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 유저 단말에, 수신된 소방시설 도면을 디스플레이함으로써, 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 소방시설물 설치 정보 제공 단계; 유저 단말로부터 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체 인식이 수행되도록 하여, 유저 단말에 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 점검 안내 정보 제공 단계; 및 점검 항목별 안내 정보에 기초하여 소방시설물에 대한 소방 점검 수행 결과, 소방시설물의 상태가 불량한 것으로 판단될 시, 유저 단말에, 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 불량 소방시설물 정보 수집 단계;를 포함하는 것을 특징으로 한다. In order to achieve the above object, an augmented reality-based firefighting facility inspection method implemented in a user terminal including at least one processor according to an embodiment of the present invention and at least one memory storing commands executable by the above-described processor, Provides installation information of firefighting facilities installed in the building to be inspected by receiving firefighting facility drawings for the building to be inspected from the database in which firefighting facility drawings for one or more buildings are stored, and displaying the received firefighting facility drawings on the user terminal. Providing information on installation of firefighting facilities; When a selection command for at least one firefighting facility included in the firefighting facility drawing is received from the user terminal, object recognition for the selected firefighting facility is performed, and guide information for each inspection item of the firefighting facility is displayed in the user terminal. Providing inspection guide information provided in the form of content; And when the firefighting facility is judged to be in poor condition as a result of performing firefighting inspection on the firefighting facility based on the guide information for each inspection item, the user terminal is provided with an interface that enables the input of status information on the defective firefighting facility. It characterized in that it comprises a; defective firefighting facility information collecting step of collecting firefighting facility information.
상술한 점검 안내 정보 제공 단계는, 증강현실 콘텐츠로서, 유저 단말의 카메라 모듈로부터 촬영되는 소방시설물의 현실 객체 영상에, 소방시설물의 점검 항목별 점검 시나리오 정보를 포함하는 가상 객체 영상이 중첩된 증강현실 콘텐츠를 제공하는 것이 바람직하다.The above-described inspection guide information providing step, as augmented reality content, is an augmented reality in which a virtual object image including inspection scenario information for each inspection item of a firefighting facility is superimposed on a real object image of a firefighting facility photographed from a camera module of a user terminal. It is desirable to provide content.
상술한 점검 안내 정보 제공 단계는, 유저 단말에 구비된 GPS 모듈 및 지자기 센서 모듈을 이용하여, 소방시설 도면에 대응되는 유저 단말의 실시간 위치 정보 및 모션 정보를 파악하고, 파악된 실시간 위치 및 모션 정보에 대응되는 소방시설물에 대한 가상 객체 영상을 매핑하여, 유저 단말의 카메라 모듈에서 촬영되는 현실 객체 영상과 매핑된 가상 객체 영상을 중첩한 증강현실 콘텐츠를 유저 단말에 제공하는 것이 바람직하다.In the step of providing the above-described inspection guide information, by using a GPS module and a geomagnetic sensor module provided in the user terminal, real-time location information and motion information of the user terminal corresponding to the firefighting facility drawing are identified, and the identified real-time location and motion information It is desirable to provide augmented reality content in which the virtual object image captured by the camera module of the user terminal and the mapped virtual object image are superimposed to the user terminal by mapping a virtual object image corresponding to the firefighting facility.
상술한 증강현실 기반의 소방시설 점검 방법은, ICP(Iterative Closest Point) 알고리즘을 이용하여 현실 객체 영상을 구성하는 프레임에서 추출되는 특징점들 간의 연관성을 분석함으로써 유저 단말의 이동 거리를 획득하고, 카메라 모듈로서, RGBD(RGB-Depth) 카메라 모듈이 더 포함되도록 하여, RGBD 카메라를 통해 촬영된 RGBD 영상으로부터 상대 거리 정보를 획득함으로써, 획득된 유저 단말의 이동 거리 및 상대 거리 정보로부터 소방시설물의 실내 위치 추정 결과를 제공하는 것이 바람직하다.The above-described augmented reality-based firefighting facility inspection method uses an ICP (Iterative Closest Point) algorithm to obtain a moving distance of a user terminal by analyzing the correlation between feature points extracted from a frame constituting a real object image, and a camera module. As a result, an RGBD (RGB-Depth) camera module is further included to obtain the relative distance information from the RGBD image captured through the RGBD camera, thereby estimating the indoor location of the firefighting facility from the obtained moving distance and relative distance information of the user terminal. It is desirable to provide results.
상술한 소방시설 설치 정보 제공 단계는, 소방시설 도면을 수신하기 위하여, 유저 단말의 GPS모듈로부터 현재 유저 단말의 위치 정보를 파악하여, 파악된 위치 정보에 대응되는 점검 대상 건축물에 대한 소방시설 도면이 유저 단말의 출력 수단에 디스플레이되도록 하는 것이 바람직하다.In the above-described step of providing firefighting facility installation information, in order to receive a firefighting facility drawing, by grasping the location information of the current user terminal from the GPS module of the user terminal, a firefighting facility drawing for the inspection target building corresponding to the identified location information is It is desirable to display it on the output means of the user terminal.
서버는, 각각의 소방시설물에 설정된 점검 주기에 따라, 마지막 점검 수행일로부터 다음 점검 수행일의 도래 시기를 카운트하여, 유저 단말에 제공되는 소방시설 도면에 반영되도록 하고, 카운트 결과에 따라, 점검 수행일의 도래가 임박한 것으로 판단되는 소방시설물의 표시 형식을 차별화하는 것이 바람직하다.The server counts the time of arrival of the next inspection execution date from the last inspection execution date according to the inspection period set for each firefighting facility, so that it is reflected in the firefighting facility drawing provided to the user terminal, and performs the inspection according to the count result It is desirable to differentiate the display format of firefighting facilities that are judged to be imminent.
상술한 소방시설 도면에는, 점검 대상 건축물에 설치된 소방시설물의 점검 항목별 정보가 매핑되어 있는 것이 바람직하다.In the above-described firefighting facility drawing, it is preferable that information for each inspection item of firefighting facilities installed in a building to be inspected is mapped.
상술한 소방시설 도면에는, 설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시되어 있는 것이 바람직하다.It is preferable that information on installed firefighting facilities is displayed as an identifiable city symbol in the above-described firefighting facility drawing.
한편, 하나 이상의 프로세서 및 상술한 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 유저 단말로 구현되는 증강현실 기반의 소방시설 점검 장치는, 하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 유저 단말에, 수신된 소방시설 도면을 디스플레이함으로써, 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 소방시설물 설치 정보 제공부; 유저 단말로부터 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체 인식이 수행되도록 하여, 유저 단말에 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 점검 안내 정보 제공부; 및 점검 항목별 안내 정보에 기초하여 소방시설물에 대한 소방 점검 수행 결과, 소방시설물의 상태가 불량한 것으로 판단될 시, 유저 단말에, 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 불량 소방시설물 정보 수집부;를 포함하는 것을 특징으로 한다.On the other hand, the augmented reality-based firefighting facility inspection device implemented as a user terminal including one or more processors and one or more memories that stores instructions executable by the above-described processor, checks from a database in which firefighting facility drawings for one or more buildings are stored. A firefighting facility installation information providing unit that receives a firefighting facility drawing for a target building and displays the received firefighting facility drawing on a user terminal, thereby providing installation information of a firefighting facility installed in the building to be inspected; When a selection command for at least one firefighting facility included in the firefighting facility drawing is received from the user terminal, object recognition for the selected firefighting facility is performed, and guide information for each inspection item of the firefighting facility is displayed in the user terminal. Inspection guide information providing unit provided in the form of content; And when the firefighting facility is judged to be in poor condition as a result of performing firefighting inspection on the firefighting facility based on the guide information for each inspection item, the user terminal is provided with an interface that enables the input of status information on the defective firefighting facility. It characterized in that it comprises a; defective firefighting facility information collection unit for collecting firefighting facility information.
또 다른 한편, 컴퓨터-판독가능 기록매체로서, 상술한 컴퓨터-판독가능 기록매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은: 하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 유저 단말에, 수신된 소방시설 도면을 디스플레이함으로써, 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 소방시설물 설치 정보 제공 단계; 유저 단말로부터 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체 인식이 수행되도록 하여, 유저 단말에 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 점검 안내 정보 제공 단계; 및 점검 항목별 안내 정보에 기초하여 소방시설물에 대한 소방 점검 수행 결과, 소방시설물의 상태가 불량한 것으로 판단될 시, 유저 단말에, 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 불량 소방시설물 정보 수집 단계;를 포함하는 것을 특징으로 한다.On the other hand, as a computer-readable recording medium, the above-described computer-readable recording medium stores instructions for causing a computing device to perform the following steps, the steps comprising: a firefighting facility drawing for one or more buildings A firefighting facility installation information providing step of receiving a firefighting facility drawing for a building to be inspected from the stored database, and displaying the received firefighting facility drawing on a user terminal, thereby providing installation information of the firefighting facility installed in the building to be inspected; When a selection command for at least one firefighting facility included in the firefighting facility drawing is received from the user terminal, object recognition for the selected firefighting facility is performed, and guide information for each inspection item of the firefighting facility is displayed in the user terminal. Providing inspection guide information provided in the form of content; And when the firefighting facility is judged to be in poor condition as a result of performing firefighting inspection on the firefighting facility based on the guide information for each inspection item, the user terminal is provided with an interface that enables the input of status information on the defective firefighting facility. It characterized in that it comprises a; defective firefighting facility information collecting step of collecting firefighting facility information.
본 발명의 일 실시 예에 따르면, 소방시설의 점검 항목별 점검 시나리오를 유저 단말에 증강현실의 형태로 구현하여, 점검자의 개입을 최소화함에 따라서 점검 인력 및 점검 소요 시간의 절감을 도모할 수 있는 효과가 있다.According to an embodiment of the present invention, an inspection scenario for each inspection item of a firefighting facility is implemented in a user terminal in the form of augmented reality, thereby minimizing the intervention of the inspector, thereby reducing the inspection manpower and the time required for inspection. There is.
또한, 본 발명의 일 실시 예에 따르면, 소방시설 도면에 대응되는 유저 단말의 실시간 위치 정보 및 모션 정보를 파악하여, 이에 대응되는 소방시설물에 대한 가상객체 영상을 매핑하여 소방 점검에 대한 증강현실 콘텐츠를 제공함으로써, 소방시설물의 점검 편의성 및 점검 효율이 극대화되는 효과가 있다.In addition, according to an embodiment of the present invention, augmented reality content for firefighting inspection by identifying real-time location information and motion information of a user terminal corresponding to a drawing of a firefighting facility, and mapping a virtual object image for a corresponding firefighting facility. By providing, there is an effect of maximizing inspection convenience and inspection efficiency of firefighting facilities.
또한, 본 발명의 일 실시 예에 따르면, ICP 알고리즘 및 RGBD 영상으로부터 유저 단말의 이동 거리 및 상대 거리 정보를 획득하여 소방시설물의 실내 위치 추정 결과를 제공할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, it is possible to provide a result of estimating an indoor location of a firefighting facility by acquiring information on a moving distance and a relative distance of a user terminal from an ICP algorithm and an RGBD image.
또한, 본 발명의 일 실시 예에 따르면, 소방시설 도면에 설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시됨에 따라서, 소방시설 도면으로부터 점검 대상 건축물에 설치된 소방시설물에 대한 전반적인 정보를 용이하게 파악할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, as the information on the firefighting facilities installed on the firefighting facility drawing is displayed as an identifiable city symbol, it is possible to easily grasp the overall information on the firefighting facilities installed on the building to be inspected from the firefighting facility drawing. It can have an effect.
도 1은 본 발명의 일 실시 예에 따른 증강현실 기반의 소방시설 점검 방법의 흐름도.
도 2는 본 발명의 일 실시 예에 따라 소방시설의 점검 점검 항목별 안내가 유저 단말에서 증강현실로 구현되는 일 예.
도 3은 본 발명의 일 실시 예에 따라 유저 단말에 수신된 소방시설 도면의 일 예.
도 4는 본 발명의 일 실시 예에 따라 불량 소방시설 정보에 대한 상태 입력이 가능한 인터페이스가 제공되는 일 예.
도 5는 본 발명의 일 실시 예에 따라 소방시설 도면에 표시되는 소방시설 도시 기호의 일 예.
도 6은 본 발명의 일 실시 예에 따른 증강현실 기반의 소방시설 점검 장치의 구성도.
도 7은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예.1 is a flowchart of a method of inspecting a firefighting facility based on an augmented reality according to an embodiment of the present invention.
2 is an example in which guidance for each inspection item of a firefighting facility is implemented in augmented reality in a user terminal according to an embodiment of the present invention.
3 is an example of a diagram of a firefighting facility received by a user terminal according to an embodiment of the present invention.
4 is an example in which an interface capable of inputting a status for information on a defective firefighting facility is provided according to an embodiment of the present invention.
5 is an example of a firefighting facility city symbol displayed on a firefighting facility drawing according to an embodiment of the present invention.
6 is a block diagram of an augmented reality-based firefighting facility inspection apparatus according to an embodiment of the present invention.
7 is an example of an internal configuration of a computing device according to an embodiment of the present invention.
이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.In the following, various embodiments and/or aspects are now disclosed with reference to the drawings. In the following description, for purposes of explanation, a number of specific details are disclosed to aid in an overall understanding of one or more aspects. However, it will also be appreciated by those of ordinary skill in the art that this aspect(s) may be practiced without these specific details. The following description and the annexed drawings set forth in detail certain illustrative aspects of one or more aspects. However, these aspects are exemplary and some of the various methods in the principles of the various aspects may be used, and the descriptions described are intended to include all such aspects and their equivalents.
본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.As used herein, "an embodiment", "example", "aspect", "example", etc. may not be construed as having any aspect or design described as being better or advantageous than other aspects or designs. .
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.In addition, the terms "comprising" and/or "comprising" mean that the corresponding feature and/or element is present, but excludes the presence or addition of one or more other features, elements, and/or groups thereof. It should be understood as not.
또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.In addition, terms including ordinal numbers such as first and second may be used to describe various elements, but the elements are not limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, in the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are those commonly understood by those of ordinary skill in the art to which the present invention belongs. It has the same meaning. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the embodiments of the present invention, an ideal or excessively formal meaning Is not interpreted as.
본 발명은, 증강현실 기반의 소방시설 점검 방법에 관련된 것으로서, 소방시설의 점검 항목별 점검 시나리오를 유저 단말에 증강현실의 형태로 구현하여, 점검자의 개입을 최소화함에 따라서 점검 인력 및 점검 소요 시간의 절감을 도모할 수 있는 증강현실 기반의 소방시설 점검 방법을 제공하는 것에 그 목적이 있다.The present invention relates to an augmented reality-based firefighting facility inspection method, by implementing an inspection scenario for each inspection item of a firefighting facility in the form of augmented reality in a user terminal, minimizing the intervention of the inspector, thus reducing the number of personnel and inspection time required. Its purpose is to provide an augmented reality-based firefighting facility inspection method that can achieve savings.
이하에서는 첨부된 도면을 참조하여, 상술한 목적을 갖는 증강현실 기반의 소방시설 점검 방법에 대한 더욱 구체적인 설명을 실시하기로 한다.Hereinafter, with reference to the accompanying drawings, a more detailed description of a method of inspecting a firefighting facility based on an augmented reality having the above-described object will be described.
이에 도 1을 참조하면, 도 1에서는 본 발명의 일 실시 예에 따른 증강현실 점검 방법에 대한 흐름도를 도시하였다.Accordingly, referring to FIG. 1, FIG. 1 is a flowchart illustrating a method of checking an augmented reality according to an exemplary embodiment of the present invention.
도 1에 도시된 바와 같이, 하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 유저 단말에 수신된 소방시설 도면을 디스플레이함으로써 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 소방시설물 설치 정보 제공 단계(S10)가 수행될 수 있다.1, firefighting facilities installed in the building to be inspected by receiving a firefighting facility drawing for a building to be inspected from a database in which firefighting facility drawings for one or more buildings are stored, and displaying the received firefighting facility drawing on a user terminal Firefighting facility installation information providing step (S10) to provide the installation information of may be performed.
이때, 본 발명의 더욱 바람직한 실시 예로써, 상술한 S10 단계에서는, 상술한 소방시설 도면을 수신하기 위하여, 유저 단말의 GPS모듈로부터 현재 유저 단말의 위치 정보를 파악하여, 파악된 위치 정보에 대응되는 점검 대상 건축물에 대한 소방시설 도면을 유저 단말의 출력 수단에 디스플레이할 수 있다.At this time, as a more preferred embodiment of the present invention, in step S10 described above, in order to receive the above-described firefighting facility drawing, by grasping the location information of the current user terminal from the GPS module of the user terminal, Firefighting facility drawings for the building to be inspected can be displayed on the output means of the user terminal.
즉, 상술한 데이터베이스에는, 상세 주소별로 점검 대상 건축물에 대한 소방시설이 저장 및 관리되고 있는 것으로서, 유저 단말에서 소방시설의 요청 정보와 함께 유저의 현재 위치 정보가 수신되면, 수신된 현재 위치 정보에 따른 점검 대상 건축물의 소방시설 도면을 제공할 수 있는 것이다.That is, in the above-described database, firefighting facilities for the inspection target building are stored and managed for each detailed address. When the user's current location information is received together with the request information of the firefighting facility from the user terminal, the received current location information is It is possible to provide a drawing of the firefighting facility of the building to be inspected accordingly.
또한, 상술한 유저 단말의 현재 위치 정보는 GPS 모듈에 의하여 자동 입력될 수도 있으나, 유저 단말의 입력 수단을 통하여 직접 입력될 수도 있으며 본 발명은 이에 제한하지 않는다.In addition, the above-described current location information of the user terminal may be automatically input by the GPS module, but may be directly input through an input means of the user terminal, and the present invention is not limited thereto.
한편, 상술한 실시 예들에 의하여 상술한 데이터베이스에서, 유저 단말로 수신된 소방시설 도면에는, 점검 대상 건축물에 설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시되어 있을 수 있다.On the other hand, in the database described above according to the above-described embodiments, information on the firefighting facility installed in the building to be inspected may be displayed as an identifiable city symbol in the firefighting facility drawing received by the user terminal.
이때, 상술한 소방시설 도시 기호는 소방시설물의 항목별(소화설비/경보설비/소화용수설비/소화활동설비)로 분류되어, 설치된 소방시설물에 대한 정보가 소방시설 도면에 표시되어 있는 것으로 이해될 수 있다.At this time, the above-described firefighting facility city symbol is classified by category of firefighting facilities (firefighting facility/alarm facility/fire-fighting water facility/fire-fighting facility), and it will be understood that information on the installed firefighting facility is displayed on the firefighting facility drawing. I can.
즉, 이에 따라서, 점검을 수행하는 유저는, 소방시설 도면에 표시된 소방시설물에 대한 도시기호로부터 소방시설물의 설치 현황을 용이하게 파악할 수 있는 효과가 있다.That is, accordingly, the user performing the inspection has the effect of being able to easily grasp the installation status of the firefighting facility from the city symbol for the firefighting facility displayed on the firefighting facility drawing.
한편 상술한 S10단계의 더욱 바람직한 실시 예로써, 상술한 점검 대상 건축물에 설치된 소방시설 도면에는, 소방시설물의 설치 정보와 함께, 소방시설물의 점검 항목별 정보가 매핑되어 있을 수 있다.Meanwhile, as a more preferred embodiment of the above-described step S10, information for each inspection item of firefighting facilities may be mapped together with installation information of firefighting facilities in the drawing of a firefighting facility installed in a building to be inspected.
구체적으로 소방시설물에 대한 점검 항목별 정보는 하기와 같은 점검 사항에 대한 내용을 포함할 수 있다.Specifically, information for each inspection item on fire fighting facilities may include the following inspection items.
1) 옥내 소화전1) Indoor fire hydrant
-가압 송수 장치: 기동 장치 압력 셋팅, 펌프의 성능 시험, 릴리프 밸브 작동 상태, 방수 압력의 측정-Pressurized water supply device: starting device pressure setting, pump performance test, relief valve operation status, water pressure measurement
-배관 및 밸브류: 주 배관/가지 배관의 구경, 템퍼 스위치 상태, 체크 밸브의 종류/규격/설치 위치 및 상태의 확인-Pipes and valves: Check the size of the main pipe/branch pipe, the state of the temper switch, the type/standard/installation position and condition of the check valve
-송수구: 설치 장소 및 위치, 송수구 규격 및 접결구 나사의 보호 상태, 자동배수/체크 밸브의 상태의 확인-Water supply port: Confirmation of installation location and location, water supply port standard and protection status of joint screw, automatic drainage/check valve status
-소화전 함: 장애물 설치 여부 등 사용상의 편의 상태, 적절한 감압 조치, 호스와 관창의 접결구 상태 확인-Fire hydrant box: Convenience in use, such as whether obstacles are installed, appropriate pressure reduction measures, and check the condition of the joints of hoses and pipe windows
2) 스프링클러 설비2) Sprinkler equipment
-가압 송수 장치: 기동 장치 압력 셋팅, 펌프의 성능 시험, 릴리프 밸브 작동 상태, 헤드의 최저/최고 방수 압력의 적정 여부 확인-Pressurized water supply system: starting device pressure setting, pump performance test, relief valve operation status, check whether the minimum/maximum waterproof pressure of the head is appropriate
-방호 구역: 방호 구역의 면적, 밸브실의 적정 위치/장애물 설치 여부, 헤드의 설치 개수 적정 여부 확인-Protection area: Check whether the area of the protected area, the proper location of the valve chamber/blocks are installed, and whether the number of heads is appropriate
-배관 및 밸브류: 주 배관/가지 배관의 구경, 템퍼 스위치 상태, 체크밸브의 종류/규격/설치위치 및 상태 확인-Pipes and valves: Check the main pipe/branch pipe diameter, temper switch status, check valve type/standard/installation location and status
-음향 장치: 유수검지 장치와의 연동 여부, 화재 감지기 동작 시 연동 여부 확인-Acoustic device: Check whether it is interlocked with the water flow detection device, and whether it is interlocked with the fire detector
-헤드: 헤드의 누락 여부, 헤드의 배치 거리, 헤드 표시 온도 적정 여부, 헤드 살수 장애 여부 확인-Head: Check for missing heads, head placement distance, proper head display temperature, and head sprinkling problems
-송수구: 설치 장소 및 위치, 송수구 규격 및 접결구 나사의 보호 상태, 자동배수/체크밸브의 상태 확인-Water supply port: Confirmation of installation location and location, water supply port standard and protection status of joint screw, automatic drainage/check valve status
3) 물 분무 등 소화설비3) Fire extinguishing equipment such as water spray
-저장 용기/약제: 적정 약제량의 저장 상태, 방호 구역별 약제량 산출, 개방 밸브의 안전 장치 여부 확인-Storage container/pharmaceutical: Storage status of the appropriate amount of drugs, calculation of the amount of drugs for each protected area, confirmation of the safety device of the open valve
-기동 장치: 기동 장치의 설치 위치/동작 상태, 화재 감지기에 의한 자동 연동 상태를 확인-Starting device: Check the installation location/operation status of the starting device, and the automatic linkage status by the fire detector
-제어반 및 화재표시등: 수신기, 음향경보, 약제 방출시간 지연등 상태, 약제 방출표시등의 점등 상태를 확인-Control panel and fire indicator: Check the status of receiver, sound alarm, drug release time delay light, and drug release indicator
-배관/헤드: 배관의 전용 여부, 선택밸브의 배치/표시 상태, 헤드 배치/설치위치 적합 여부 등을 확인 -Piping/head: Check whether the piping is dedicated, the arrangement/display status of the selection valve, and whether the head arrangement/installation position is appropriate.
- 개구부의 자동폐쇄 장치: 환기장치의 자동 정지 여부, 개구부/통기구의 자동 폐쇄장치 설치/기능 적합 여부 등을 확인 -Automatic closing device for openings: Check whether the ventilation system is automatically stopped, and whether the automatic closing device for openings/vents is installed/functions are appropriate.
4) 자동화재탐지설비4) Automatic fire detection facility
-화재수신기: 발신기/감지기 작동의 구분 및 경계구역 표시, 경계구역의 적합여부 확인 -Fire receiver: Classification of transmitter/detector operation and indication of alert area, confirmation of conformity of alert area
-감지기: 감지기 종류/동작 여부, 감지 면적 및 배치거리 등을 확인-Detector: Check the type/operation of the detector, detection area and placement distance, etc.
-음향장치/시각경보 장치: 주 음향장치의 설치위치, 지구음향장치의 배치거리/동작상태, 감지기와 연동 상태 등을 확인 -Acoustic device/visual alarm device: Check the installation location of the main sound device, the arrangement distance/operation status of the earth sound device, and the linkage status with the sensor.
-발신기: 설치위치 및 설치 높이, 감지회로상의 설치 위치, 위치 표시등 상태 등을 확인 -Transmitter: Check the installation location and installation height, installation location on the sensing circuit, and the status of the location indicator.
5) 비상방송설비5) Emergency broadcasting equipment
-증폭기 및 조작부 설치위치의 여부, 조작부의 작동층/표시 여부, 다른 설비와 겸용인 경우 다른 방송 차단 여부, 음향장치의 경보 및 음량의 적부, 자동화재탐지설비 작동과 연동 상태, 상용전원 및 예비전원의 상태 등을 확인 -Amplifier and operation unit installation location, operation level/indication of operation unit, other broadcast blocking in case of combined use with other facilities, sound device alarm and sound volume, automatic fire detection facility operation and linkage status, commercial power supply and spare Check the power status, etc.
6) 피난설비6) Evacuation facilities
-피난기구: 완강기의 경우 로프 손상/길이, 피난기구의 표지 및 사용방법 표지, 기구의 부착방법 적부 등을 확인 -Evacuation device: In case of stubbornness, check the rope damage/length, signs of evacuation devices and how to use them, and whether or not the device is attached properly.
-유도등: 점검 스위치/퓨즈류/결선 접속 상태, 정상 점등 여부, 비상 전원 상태, 관리 상태 등을 확인.-Induction light: Check switch/fuse/wiring connection status, normal lighting status, emergency power status, management status, etc.
-인명구조기구: 설치수의 적부, 기구 보관 장소의 적부, 표지설치 여부 등을 확인-Lifesaving equipment: Check the suitability of the number of installations, the suitability of the equipment storage area, and whether or not a sign is installed
7) 소화활동설비7) Fire extinguishing facility
-제연설비: 제연구역 차압의 적부, 기동장치의 설치위치 적부, 댐퍼의 동작 상태, 출입문의 개폐 상태 등을 확인 -Ventilation equipment: Check the suitability of the differential pressure in the ventilation area, the installation location of the starting device, the operation status of the damper, the opening and closing status of the door, etc.
-비상조명등: 설치위치 적정 여부, 관리 상태, 휴대용 비상조명등의 설치 위치/수량/설치 거리 적정 여부 등을 확인 -Emergency lighting: Check whether the installation location is appropriate, management status, installation location/quantity/installation distance of portable emergency lighting, etc.
-연결 송수관 설비: 자동배수밸브/체크밸브의 적부, 접결 나사의 보호상태, 방수구의 설치층/설치수의 적합여부 확인-Connecting water supply pipe facility: Check whether the automatic drainage valve/check valve is suitable, the connection screw is protected, and the installation layer/installation water of the waterproof port is appropriate.
-비상콘센트설비: 보호함의 상태/충전부의 노출 방지 여부, 플러그의 종류/수량/위치의 여부, 위치 표시등 적부 등을 확인-Emergency outlet facility: Check the condition of the protection box/prevent exposure of the charging part, the type/quantity/location of the plug, and the appropriateness of the location indicator
-무선통신보조설비: 보호함의 상태/충전부의 노출 방지 여부, 플러그의 종류/수량/위치의 여부, 위치 표시등 적부 등을 확인-Wireless communication auxiliary equipment: Check the status of the protection box/prevent exposure of the charging part, the type/quantity/location of the plug, the appropriateness of the location indicator, etc.
-방화셔터기: 방화셔터 동작 상태, 위험물/가스/화기취급 상태, 기타 화재 위험 요소의 방치 여부 등을 확인-Fire shutter: Check the operation of the fire shutter, handling of dangerous substances/gas/fires, and other fire hazards.
즉, 본 발명의 S10 단계에서는 수신된 소방시설 도면에 상술한 바와 같은 소방시설물의 점검 항목별 정보가 매핑됨에 따라서, 유저 측에 점검 수행 항목에 대한 상세 정보를 용이하게 제공할 수 있게 되는 효과가 있다.That is, in step S10 of the present invention, as the information for each inspection item of the firefighting facility as described above is mapped to the received firefighting facility drawing, it is possible to easily provide detailed information on the inspection execution item to the user side. have.
한편, 본 발명의 S10 단계의 또 다른 실시 예로서, 서버는, 소방시설 도면을 유저 단말로 제공함에 있어서, 각각의 소방시설물에 설정된 점검 주기에 따라, 마지막 점검 수행일로부터 다음 점검 수행일의 도래 시기를 카운트하여, 유저 단말에 제공되는 소방시설 도면에 반영되도록 할 수 있다.On the other hand, as another embodiment of step S10 of the present invention, the server, in providing a firefighting facility drawing to the user terminal, the arrival of the next inspection execution date from the last inspection execution date according to the inspection period set for each firefighting facility. By counting the timing, it can be reflected in the drawing of the firefighting facility provided to the user terminal.
구체적으로, 점검 수행일 카운트 결과에 따라 점검 수행일의 도래가 임박한 것(예를 들어 수행 점검일 도달 일주일 이내)으로 판단되는 소방 시설물의 표시 형식을 소방시설 도면에 차별화되게 표시되도록 할 수 있다.Specifically, the display format of firefighting facilities determined to be imminent (for example, within a week of reaching the performance inspection date) according to the inspection performance day count result may be differentiated to be displayed on the firefighting facility drawing.
일 예로서, 도 3을 참조하면, 도 3의 화면 200에서는, 본 발명의 일 실시 예에 따라 유저 단말에 점검 대상 건축물에 대한 소방시설 도면이 수신된 예가 도시되어 있다.As an example, referring to FIG. 3, on
앞서 언급한 바와 같이 200에는 소방시설물의 설치 정보가 도시기호로 표시되어 있음을 알 수 있음과 동시에, 210과 같이 하이라이트 처리된 소방시설물이 표시되어 있음을 알 수 있다.As mentioned above, it can be seen that the installation information of the firefighting facility is indicated by the city symbol at 200, and at the same time, it can be seen that the highlighted firefighting facility, such as 210, is indicated.
이때, 하이라이트 처리된 소방시설물은, 점검 수행일의 도래가 임박한 소방시설물인 것으로 이해될 수 있을 것이다.At this time, it may be understood that the highlighted firefighting facility is a firefighting facility with an imminent arrival of the inspection performance date.
즉, 본 발명의 일 실시 예에 따르면, 수신된 소방시설 도면을 통하여, 점검을 수행되어야 할 소방시설물의 항목 정보, 설치 위치 정보를 용이하게 파악할 수 있게 됨에 따라 소방 점검 효율이 극대화되는 효과가 있다.That is, according to an embodiment of the present invention, it is possible to easily identify item information and installation location information of firefighting facilities to be inspected through the received firefighting facility drawing, thereby maximizing firefighting inspection efficiency. .
다시 도 1로 돌아와서, 상술한 S10 단계의 수행 후에는, 유저 단말로부터 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체인식이 수행되도록 하여, 유저 단말에 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 점검 안내 정보 제공 단계(S20)가 수행될 수 있다.Returning to FIG. 1 again, after performing the above-described step S10, when a selection command for at least one firefighting facility included in the firefighting facility drawing is received from the user terminal, object recognition for the selected firefighting facility is performed. , The inspection guide information providing step (S20) of providing guide information for each inspection item of firefighting facilities to the user terminal in the form of augmented reality content may be performed.
구체적으로, 상술한 S20 단계는, 상술한 증강현실 콘텐츠로서, 유저 단말에 구비된 카메라 모듈로부터 촬영되는 소방시설물의 현실 객체 영상에 소방시설물의 점검 항목별 점검 시나리오 정보를 포함하는 가상 객체 영상이 중첩된 증강현실 콘텐츠를 제공하는 것으로 이해될 수 있다.Specifically, the above-described step S20 is the above-described augmented reality content, in which a virtual object image including inspection scenario information for each inspection item of the firefighting facility is superimposed on the real object image of the firefighting facility photographed from the camera module provided in the user terminal. It can be understood as providing augmented reality content.
이에 대한 더욱 구체적인 설명을 위하여 도 2를 참조하면, 도 2에서는 본 발명의 일 실시 예에 따른 소방시설의 점검 점검 항목별 안내가 유저 단말의 출력 수단에 증강현실로 구현되는 실시 예가 도시되어 있다.Referring to FIG. 2 for a more detailed description of this, FIG. 2 shows an embodiment in which guidance for each inspection item of a firefighting facility according to an embodiment of the present invention is implemented as augmented reality in an output means of a user terminal.
도 2의 화면 100을 참조하면, 현실 객체 영상(110)으로서 옥내 소화전에 대한 객체 인식이 수행되어, 옥내 소화전에 대한 가상 객체 영상(111)으로서, 옥내 소화전의 점검 항목인 가압 송수 장치, 배관 및 밸브류, 소화전함 등이 증강현실 콘텐츠로서 구현됨이 도시되어 있다.Referring to the
이때, 유저 단말로부터, 상술한 점검 항목 중 적어도 어느 하나에 대한 점검 항목이 선택 입력될 경우, 유저 단말에는, 선택된 점검 항목에 대한 일련의 점검 프로세스를 포함하는 점검 시나리오가 증강현실 콘텐츠로서 구현될 수 있다.At this time, when an inspection item for at least one of the above-described inspection items is selected and input from the user terminal, an inspection scenario including a series of inspection processes for the selected inspection item may be implemented as augmented reality content in the user terminal. have.
즉 이러한 일련의 과정을 수행하게 됨에 따라서, 소방시설물의 소방 점검을 수행하는 주체인 유저 측에, 소방 점검 프로세스에 대한 안내 정보가 증강현실로 구현되어 제공됨에 따라서, 소방 점검의 편의성 및 작업 효율이 증대되는 효과가 있다.That is, as such a series of processes are performed, information on the firefighting inspection process is implemented and provided in augmented reality to the user, who is the subject of the firefighting inspection of firefighting facilities, so that the convenience and work efficiency of the firefighting inspection are improved. There is an increasing effect.
상술한 S20 단계의 더욱 바람직한 실시 예로서, 본 발명에서는, 유저 단말에 수신된, 소방시설 도면에 대한 인터랙션 이벤트 발생 시에 소방시설물의 점검 안내 정보를 제공할 수도 있으나, 유저 단말에 구비된 GPS 모듈 및 지자기 센서 모듈을 통한 소방시설물의 객체 인식이 수행될 수도 있다.As a more preferred embodiment of the above-described step S20, in the present invention, it is possible to provide inspection guide information of firefighting facilities when an interaction event with respect to a firefighting facility drawing received by the user terminal occurs, but a GPS module provided in the user terminal And object recognition of a firefighting facility through a geomagnetic sensor module may be performed.
구체적으로, 유저 단말에 구비된 GPS 모듈 및 지자기 센서 모듈을 이용하여, 소방시설 도면에 대응되는 유저 단말의 실시간 위치 정보 및 모션 정보를 파악하고, 파악된 실시간 위치 및 모션 정보에 대응되는 소방시설물에 대한 가상 객체 영상을 매핑하여 유저 단말의 카메라 모듈에서 촬영되는 현실 객체 영상과 매핑된 가상 객체 영상을 중첩한 증강현실 콘텐츠를 유저 단말에 제공할 수 있는 것이다.Specifically, by using the GPS module and the geomagnetic sensor module provided in the user terminal, real-time location information and motion information of the user terminal corresponding to the firefighting facility drawing is identified, and the firefighting facility corresponding to the identified real-time location and motion information is identified. The augmented reality content in which the mapped virtual object image and the real object image captured by the camera module of the user terminal can be provided to the user terminal by mapping the virtual object image of the user terminal.
즉 상술한 실시 예는, 유저 단말의 실시간 위치 정보 및 모션 정보가 네트워크 통신을 통하여 위치별 가상 객체 영상을 저장 및 관리하고 있는 위치 정보 시스템에 전송되고, 상술한 위치 정보 시스템에서 설치 단말의 실시간 위치 정보 및 모션 정보에 대응되는 가상 객체 영상을 유저 단말에 전송함에 따라 소방시설물 점검에 대한 증강현실 콘텐츠가 유저 단말에서 구현되는 것으로 이해될 수 있다.That is, in the above-described embodiment, real-time location information and motion information of the user terminal are transmitted to a location information system that stores and manages virtual object images for each location through network communication, and the real-time location of the installation terminal in the above-described location information system. As the virtual object image corresponding to the information and motion information is transmitted to the user terminal, it may be understood that the augmented reality content for the inspection of firefighting facilities is implemented in the user terminal.
한편 본 발명의 다른 실시 예로서, 유저 단말이 네트워크 통신이 원활하지 못한 환경에 존재할 경우, 본 발명에서는 ICP(Iterative Closest Point) 알고리즘을 이용하여 소방시설 도면 상의 소방시설물의 설치 위치를 추정하여 제공함으로써, 소방시설물에 대한 점검 안내 정보를 제공할 수 있다.Meanwhile, as another embodiment of the present invention, when the user terminal exists in an environment where network communication is not smooth, the present invention estimates and provides the installation location of the firefighting facility on the firefighting facility drawing using an ICP (Iterative Closest Point) algorithm. In addition, it can provide inspection guide information for fire fighting facilities.
이때, 상술한 ICP 알고리즘은, 서로 다른 시점들로부터 획득되는 3D 포인트 클라우드를 정렬하기 위한 알고리즘인 것으로 이해될 수 있으며, 이러한 ICP는 완전히 오버랩되는 컴퓨터 생성 데이터의 처리를 위한 것이지만, 부분적으로 오버랩되는 깊이 데이터의 상관관계 분석 등 다른 변형에도 적용될 수 있다.At this time, the above-described ICP algorithm can be understood as an algorithm for aligning 3D point clouds obtained from different viewpoints, and such ICP is for processing completely overlapping computer-generated data, but partially overlapping depth It can also be applied to other transformations such as data correlation analysis.
구체적으로, 본 발명에서는 ICP 알고리즘을 이용하여 현실 객체 영상을 구성하는 프레임에서 추출되는 특징점들 간의 연관성을 분석함으로써, 유저 단말의 이동 거리를 획득하도록 하고, 카메라 모듈로서, RGBD(RGB-Depth) 카메라 모듈을 더 포함하도록 하여 RGBD 카메라를 통해 촬영된 RGBD 영상으로부터 상대 거리를 획득하여, 획득된 유저 단말의 이동 거리 및 상대 거리로부터 소방시설 도면을 기초로, 소방시설물의 실내 위치를 추정하여, 소방시설물에 대한 점검 안내 정보를 제공할 수 있게 된다.Specifically, in the present invention, by analyzing the correlation between the feature points extracted from the frame constituting the real object image using the ICP algorithm, the moving distance of the user terminal is obtained, and as a camera module, an RGBD (RGB-Depth) camera By further including a module, the relative distance is obtained from the RGBD image captured through the RGBD camera, and the indoor location of the firefighting facility is estimated based on the drawing of the firefighting facility from the obtained moving distance and the relative distance of the user terminal. It is possible to provide information about the inspection guide.
즉, 이에 따라서, 본 발명의 S20 단계에서는, 네트워크 통신 여부와 무관하게, 점검 대상 건축물에 설치된 소방시설물의 점검 안내 정보가 증강현실의 형태로 용이하게 제공될 수 있는 것으로 이해될 것이다.That is, accordingly, in step S20 of the present invention, it will be understood that the inspection guide information of the firefighting facility installed in the inspection target building can be easily provided in the form of augmented reality, regardless of whether or not network communication is present.
다시 도 2로 돌아와서, 상술한 S20 단계의 수행 후, 점검 항목별 안내 정보에 기초하여 소방시설물에 대한 소방 점검 수행 결과, 소방시설물의 상태가 불량한 것으로 판단될 시, 유저 단말에 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 불량 소방시설물 정보 수집 단계(S30)가 수행될 수 있다.Returning to FIG. 2 again, after performing the above-described step S20, when the result of performing the firefighting inspection on the firefighting facility based on the guide information for each inspection item, when it is determined that the condition of the firefighting facility is bad, the user terminal By providing an interface through which state information can be input, a bad firefighting facility information collection step (S30) of collecting bad firefighting facility information may be performed.
상술한 불량 소방시설물 정보 수집에 대한 더욱 구체적인 실시 예로서 도 4를 참조하면, 도 4에서는, 본 발명의 일 실시 예에 따라 불량 소방시설 정보에 대한 상태 입력이 가능한 인터페이스에 실시 예가 도시되어 있다.Referring to FIG. 4 as a more specific embodiment of collecting information on defective firefighting facilities described above, in FIG. 4, an embodiment is shown in an interface capable of inputting a state for information on defective firefighting facilities according to an embodiment of the present invention.
도 4의 300의 실시 화면에 도시된 바와 같이, 유저 단말에서는 소방시설물에 대한 소방 점검 수행 결과를 기초로, 불량 소방시설물이 존재할 경우, 상술한 인터페이스를 통해, 불량 소방시설물에 대한 구체적인 불량 정보를 입력할 수 있다.As shown in the execution screen of 300 of FIG. 4, the user terminal provides detailed information on the defective firefighting facility through the above-described interface, if there is a defective firefighting facility based on the result of performing the firefighting inspection on the firefighting facility. You can enter.
이때, 상술한 인터페이스는, 유저 단말로부터 불량 소방시설물에 대한 항목 정보가 선택 입력될 시, 하위 메뉴로서, 선택된 소방시설물에 대한 점검 항목 리스트를 선택 입력 가능하도록 출력함으로써, 불량 소방시설물에 대한 구체적인 불량 정보를 수집할 수 있다.At this time, the above-described interface is a sub-menu, when item information on defective firefighting facilities is selected and input from the user terminal, and outputs a list of inspection items for the selected firefighting facility to be selectively input. Information can be collected.
즉, 도 4의 300의 실시 예를 참조하여 보면, 불량 소방시설물로서 옥내 소화전이 선택입력 될 경우, 불량 항목에 대한 체크리스트로서, 가압 송수 장치, 배관 및 밸브류, 송수구 및 소화전 함에 대한 선택 입력창을 출력하여, 상세 불량 정보를 수집하도록 할 수 있다.That is, referring to the embodiment of 300 of FIG. 4, when an indoor fire hydrant is selectively input as a defective firefighting facility, as a checklist for defective items, select input for pressurized water supply device, piping and valves, water inlet and fire hydrant box By outputting a window, detailed defect information can be collected.
이때, 상술한 인터페이스를 통해 수집된 불량 소방시설물에 대한 정보는, 실시간으로 보고 주체 및 점검 대상 건축물의 관리 주체 측으로 보고 및 전달되도록 하여, 신속한 유지 보수 작업이 수행되도록 할 수도 있으며, 이에 따라, 소방시설물에 대한 체계적인 소방 점검 및 관리가 수행될 수 있는 효과가 있다.At this time, the information on the defective firefighting facilities collected through the above-described interface may be reported and transmitted to the reporting subject and the management subject of the building to be inspected in real time, so that rapid maintenance work may be performed. There is an effect that a systematic fire fighting inspection and management of facilities can be performed.
종합적으로 본 발명의 일 실시 예에 따르면, 소방시설의 점검 항목별 점검 시나리오를 유저 단말에 증강현실의 형태로 구현하여, 점검자의 개입을 최소화함에 따라서 점검 인력 및 점검 소요 시간의 절감을 도모할 수 있는 효과가 있다.Comprehensively, according to an embodiment of the present invention, by implementing an inspection scenario for each inspection item of a firefighting facility in the form of augmented reality in the user terminal, it is possible to reduce the inspection manpower and inspection time by minimizing the intervention of the inspector. There is an effect.
또한, 본 발명의 일 실시 예에 따르면, 소방시설 도면에 대응되는 유저 단말의 실시간 위치 정보 및 모션 정보를 파악하여, 이에 대응되는 소방시설물에 대한 가상객체 영상을 매핑하여 소방 점검에 대한 증강현실 콘텐츠를 제공함으로써, 소방시설물의 점검 편의성 및 점검 효율이 극대화되는 효과가 있다.In addition, according to an embodiment of the present invention, augmented reality content for firefighting inspection by identifying real-time location information and motion information of a user terminal corresponding to a drawing of a firefighting facility, and mapping a virtual object image for a corresponding firefighting facility. By providing, there is an effect of maximizing inspection convenience and inspection efficiency of firefighting facilities.
또한, 본 발명의 일 실시 예에 따르면, ICP 알고리즘 및 RGBD 영상으로부터 유저 단말의 이동 거리 및 상대 거리 정보를 획득하여 소방시설물의 실내 위치 추정 결과를 제공할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, it is possible to provide a result of estimating an indoor location of a firefighting facility by acquiring information on a moving distance and a relative distance of a user terminal from an ICP algorithm and an RGBD image.
또한, 본 발명의 일 실시 예에 따르면, 소방시설 도면에 설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시됨에 따라서, 소방시설 도면으로부터 점검 대상 건축물에 설치된 소방시설물에 대한 전반적인 정보를 용이하게 파악할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, as the information on the firefighting facilities installed on the firefighting facility drawing is displayed as an identifiable city symbol, it is possible to easily grasp the overall information on the firefighting facilities installed on the building to be inspected from the firefighting facility drawing. It can have an effect.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the embodiments have been described with reference to limited embodiments and drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art.
한편 도 6에서는 본 발명의 일 실시 예에 따른 증강현실 기반의 소방시설 점검 장치의 구성도를 도시하였으며, 이하의 설명에 있어서, 도 1 내지 5에 대한 설명과 중복되는 불필요한 설명은 생략하기로 한다.Meanwhile, in FIG. 6, a configuration diagram of an augmented reality-based firefighting facility inspection apparatus according to an embodiment of the present invention is shown, and in the following description, unnecessary descriptions overlapping with those of FIGS. 1 to 5 will be omitted. .
도 6에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 증강현실 기반의 소방시설 점검 장치는, 소방시설물 설치 정보 제공부(11), 점검 안내 정보 제공부(12) 및 불량 소방시설물 정보 수집부(13)를 포함할 수 있다.6, the augmented reality-based firefighting facility inspection apparatus according to an embodiment of the present invention includes a firefighting facility installation
이때, 상술한 소방시설물 설치 정보 제공부(11)는, 하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스(30)로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 유저 단말(20)에 수신된 소방시설 도면을 디스플레이함으로써 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 기능을 수행하고, 이는 곧 도 1의 S10 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있다.At this time, the above-described firefighting facility installation
즉, 본 발명에서는 상술한 소방시설물 설치 정보 제공부(11)에 의하여, 점검 대상 건축물에 기 설치된 소방시설에 대한 정보를 용이하게 파악할 수 있게 되는 효과가 있다.That is, in the present invention, by the above-described firefighting facility installation
한편 상술한 점검 안내 정보 제공부(12)는, 유저 단말(20)로부터 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체인식이 수행되도록 하여, 유저 단말(20)에 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 기능을 수행한다.On the other hand, when the above-described inspection guide
즉, 상술한 점검 안내 정보 제공부(12)는, 앞서 도 1의 S20 단계가 수행하는 모든 기능을 수행 가능한 것으로 이해될 수 있으며, 상술한 점검 안내 정보 제공부(12)에 의하여, 소방시설물에 대한 소방 점검 방법을 증강현실 콘텐츠로 제공하게 됨에 따라, 소방 점검의 편의성 및 효율성이 극대화되는 효과가 있다.That is, the above-described inspection guide
또 다른 한편, 상술한 불량 소방시설물 정보 수집부(13)는, 점검 항목별 안내 정보에 기초하여 소방시설물에 대한 소방 점검 수행 결과, 소방시설물의 상태가 불량한 것으로 판단될 시, 유저 단말(20)에 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 기능을 수행한다.On the other hand, when it is determined that the state of the firefighting facility is bad as a result of performing the firefighting inspection on the firefighting facility based on the guide information for each inspection item, the
즉, 상술한 불량 소방시설물 정보 수집부(13)는, 앞서 도 1의 S30 단계가 수행하는 기능을 모두 수행 가능한 것으로 이해될 수 있으며, 상술한 불량 소방시설물 정보 수집부(13)에 의하여, 점검 대상 건축물에 설치된 소방시설물 중 보수가 필요한 소방시설물에 대한 정보를 용이하게 파악 가능함은 물론이고, 소방시설 점검에 대한 보고서 작성 시의 편의성 또한 증대되는 효과가 있다.That is, the above-described defective firefighting facility
즉, 본 발명의 일 실시 예에 따르면, 소방시설의 점검 항목별 점검 시나리오를 유저 단말(20)에 증강현실의 형태로 구현하여, 점검자의 개입을 최소화함에 따라서 점검 인력 및 점검 소요 시간의 절감을 도모할 수 있는 효과가 있다.That is, according to an embodiment of the present invention, by implementing an inspection scenario for each inspection item of a firefighting facility in the form of augmented reality in the
또한, 본 발명의 일 실시 예에 따르면, 소방시설 도면에 대응되는 유저 단말(20)의 실시간 위치 정보 및 모션 정보를 파악하여, 이에 대응되는 소방시설물에 대한 가상객체 영상을 매핑하여 소방 점검에 대한 증강현실 콘텐츠를 제공함으로써, 소방시설물의 점검 편의성 및 점검 효율이 극대화되는 효과가 있다.In addition, according to an embodiment of the present invention, real-time location information and motion information of the
또한, 본 발명의 일 실시 예에 따르면, ICP 알고리즘 및 RGBD 영상으로부터 유저 단말(20)의 이동 거리 및 상대 거리 정보를 획득하여 소방시설물의 실내 위치 추정 결과를 제공할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, it is possible to provide a result of estimating an indoor location of a firefighting facility by acquiring information on a moving distance and a relative distance of the
또한, 본 발명의 일 실시 예에 따르면, 소방시설 도면에 설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시됨에 따라서, 소방시설 도면으로부터 점검 대상 건축물에 설치된 소방시설물에 대한 전반적인 정보를 용이하게 파악할 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, as the information on the firefighting facilities installed on the firefighting facility drawing is displayed as an identifiable city symbol, it is possible to easily grasp the overall information on the firefighting facilities installed on the building to be inspected from the firefighting facility drawing. It can have an effect.
한편, 본 발명에서 언급되는 유저 단말(20)은, 유/무선 전화기(wire/wireless telephone), 태블릿 PC(Tablet PC), 랩톱(Laptop), 스마트폰(Smartphone), 개인 휴대용 정보 단말기(Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 중 어느 하나가 이용될 수 있는 것으로 이해됨이 바람직할 것이다.On the other hand, the
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.As described above, although the embodiments have been described with reference to limited embodiments and drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art.
또 다른 한편 도 7에서는 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하였으며, 이하의 설명에 있어서, 상술한 도 1 내지 6에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.On the other hand, FIG. 7 shows an example of an internal configuration of a computing device according to an embodiment of the present invention. In the following description, a description of unnecessary embodiments overlapping with the description of FIGS. 1 to 6 described above. Is omitted.
도 7에 도시한 바와 같이, 컴퓨팅 장치(10000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(10000)은 촉각 인터페이스 장치에 연결된 유저 단말이기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.As shown in FIG. 7, the
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(10000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.The
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.In this case, accessing the
주변장치 인터페이스(11300)는 컴퓨팅 장치(10000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(10000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.The
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.The
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.The
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, the
이러한 도 7의 실시 예는, 컴퓨팅 장치(10000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 7에 도시된 일부 컴포넌트가 생략되거나, 도 7에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 7에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(10000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.The embodiment of FIG. 7 is only an example of the
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 특히, 본 실시 예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in a computer-readable recording medium. In particular, the program according to the present embodiment may be composed of a PC-based program or an application dedicated to a mobile terminal. An application to which the present invention is applied may be installed on a user terminal through a file provided by the file distribution system. For example, the file distribution system may include a file transmission unit (not shown) that transmits the file according to the request of the user terminal.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), It may be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. May be permanently or temporarily embody. The software may be distributed over networked computing devices and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the embodiment, or may be known to and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described with reference to limited embodiments and drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved. Therefore, other implementations, other embodiments, and claims and equivalents fall within the scope of the claims to be described later.
Claims (10)
하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 상기 유저 단말에, 수신된 상기 소방시설 도면을 디스플레이함으로써, 상기 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 소방시설물 설치 정보 제공 단계;
상기 유저 단말로부터 상기 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체 인식이 수행되도록 하여, 상기 유저 단말에 상기 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 점검 안내 정보 제공 단계; 및
상기 점검 항목별 안내 정보에 기초하여 상기 소방시설물에 대한 소방 점검 수행 결과, 상기 소방시설물의 상태가 불량한 것으로 판단될 시, 상기 유저 단말에, 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 불량 소방시설물 정보 수집 단계;를 포함하고,
상기 소방시설 도면에는,
상기 점검 대상 건축물에 설치된 소방시설물의 점검 항목별 정보가 매핑되어 있고,
설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시되고,
상기 점검 안내 정보 제공 단계는,
상기 증강현실 콘텐츠로서, 상기 유저 단말의 카메라 모듈로부터 촬영되는 상기 소방시설물의 현실 객체 영상에, 상기 소방시설물의 점검 항목별 점검 시나리오 정보를 포함하는 가상 객체 영상이 중첩된 증강현실 콘텐츠를 제공하되,
상기 유저 단말로부터 상기 증강현실 콘텐츠에 포함된 일 점검 항목에 대한 선택 입력이 있을 경우, 상기 유저 단말에는 선택 입력된 점검 항목에 대한 일련의 점검 프로세스를 포함하는 점검 시나리오가 증강현실 콘텐츠로 구현되고,
상기 점검 안내 정보 제공 단계는,
상기 유저 단말이 네트워크 통신이 원활하지 못한 환경에 존재할 경우를 대비하여, 상기 유저 단말의 입력 수단으로부터 현재 위치 정보를 직접 입력 받아 상기 데이터베이스로부터 소방시설 도면을 수신한 후, ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 현실 객체 영상을 구성하는 프레임에서 추출되는 특징점들 간의 연관성을 분석하고,
상기 유저 단말의 이동 거리를 획득하고, 상기 카메라 모듈로서, RGBD(RGB-Depth) 카메라 모듈이 더 포함되도록 하여, 상기 RGBD 카메라 모듈을 통해 촬영된 RGBD 영상으로부터 상대 거리 정보를 획득함으로써, 획득된 상기 유저 단말의 이동 거리 및 상기 상대 거리 정보로부터 상기 소방시설물의 실내 위치 추정하여 상기 소방시설물에 대한 상기 점검 안내 정보를 제공하고,
서버는,
각각의 소방시설물에 설정된 점검 주기에 따라, 마지막 점검 수행일로부터 다음 점검 수행일의 도래 시기를 카운트하여, 상기 유저 단말에 제공되는 소방시설 도면에 반영되도록 하되,
카운트 결과에 따라, 점검 수행일의 도래가 임박한 것으로 판단되는 소방시설물의 표시 형식을 상기 소방시설 도면 상에 차별화되게 표시되도록 함으로써, 상기 소방시설 도면으로부터 점검이 수행되어야 할 소방시설물의 항목 정보 및 설치 위치 정보가 파악될 수 있도록 하어 있는 것을 특징으로 하는 증강현실 기반의 소방시설 점검 방법.
In the augmented reality-based firefighting facility inspection method implemented in a user terminal including at least one processor and at least one memory storing instructions executable by the processor,
Installation information of firefighting facilities installed in the inspection target building by receiving a firefighting facility drawing for a building to be inspected from a database in which firefighting facility drawings for one or more buildings are stored, and displaying the received firefighting facility drawing on the user terminal Firefighting facility installation information providing step to provide a;
When a selection command for at least one firefighting facility included in the firefighting facility drawing is received from the user terminal, object recognition for the selected firefighting facility is performed, and the user terminal is guided by inspection items of the firefighting facility Providing inspection guide information providing information in the form of augmented reality content; And
Provides an interface for inputting status information on the defective firefighting facility to the user terminal when it is determined that the firefighting facility is in poor condition as a result of performing a firefighting inspection on the firefighting facility based on the guide information for each inspection item. By doing so, the step of collecting information on defective firefighting facilities for collecting information on defective firefighting facilities; including,
In the firefighting facility drawing,
Information for each inspection item of firefighting facilities installed in the above inspection target building is mapped,
Information on installed firefighting facilities is displayed as an identifiable city symbol,
The step of providing the inspection guide information,
As the augmented reality content, providing an augmented reality content in which a virtual object image including inspection scenario information for each inspection item of the firefighting facility is superimposed on a real object image of the firefighting facility photographed from the camera module of the user terminal,
When there is a selection input for a check item included in the augmented reality content from the user terminal, a check scenario including a series of check processes for the selected check item is implemented as augmented reality content in the user terminal,
The step of providing the inspection guide information,
In case the user terminal exists in an environment where network communication is not smooth, after receiving the current location information directly from the input means of the user terminal and receiving a firefighting facility drawing from the database, an ICP (Iterative Closest Point) algorithm Analyzing the correlation between the feature points extracted from the frame constituting the real object image,
By acquiring the moving distance of the user terminal and further including an RGB-Depth (RGBD) camera module as the camera module to obtain relative distance information from the RGBD image captured through the RGBD camera module, the obtained Estimating the indoor location of the firefighting facility from the moving distance and the relative distance information of the user terminal to provide the inspection guide information for the firefighting facility,
The server,
According to the inspection period set for each firefighting facility, the time of arrival from the last inspection execution date to the next inspection execution day is counted and reflected in the firefighting facility drawing provided to the user terminal,
According to the count result, item information and installation of firefighting facilities to be inspected from the firefighting facility drawing by making the display format of firefighting facilities judged to be imminent on the firefighting facility drawing differentiated Augmented reality-based firefighting facility inspection method, characterized in that the location information is to be identified.
상기 점검 안내 정보 제공 단계는,
상기 유저 단말에 구비된 GPS 모듈 및 지자기 센서 모듈을 이용하여, 상기 소방시설 도면에 대응되는 상기 유저 단말의 실시간 위치 정보 및 모션 정보를 파악하고,
파악된 실시간 위치 및 모션 정보에 대응되는 소방시설물에 대한 가상 객체 영상을 매핑하여, 상기 유저 단말의 카메라 모듈에서 촬영되는 현실 객체 영상과 매핑된 가상 객체 영상을 중첩한 증강현실 콘텐츠를 상기 유저 단말에 제공하는 것을 특징으로 하는 증강현실 기반의 소방 시설 점검 방법.
The method of claim 1,
The step of providing the inspection guide information,
By using a GPS module and a geomagnetic sensor module provided in the user terminal, real-time location information and motion information of the user terminal corresponding to the firefighting facility drawing are identified,
By mapping a virtual object image for a firefighting facility corresponding to the identified real-time location and motion information, an augmented reality content that overlaps the mapped virtual object image with the real object image captured by the camera module of the user terminal is provided to the user terminal. Augmented reality-based firefighting facility inspection method, characterized in that to provide.
상기 소방시설물 설치 정보 제공 단계는,
상기 소방시설 도면을 수신하기 위하여, 상기 유저 단말의 GPS모듈로부터 현재 유저 단말의 위치 정보를 파악하여, 파악된 위치 정보에 대응되는 점검 대상 건축물에 대한 소방시설 도면이 상기 유저 단말의 출력 수단에 디스플레이되도록 하는 것을 특징으로 하는 증강현실 기반의 소방시설 점검 방법.
The method of claim 1,
The step of providing the firefighting facility installation information,
In order to receive the firefighting facility drawing, the location information of the current user terminal is grasped from the GPS module of the user terminal, and a firefighting facility drawing of the inspection target building corresponding to the determined location information is displayed on the output means of the user terminal. Augmented reality-based firefighting facility inspection method, characterized in that to be.
하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 상기 유저 단말에, 수신된 상기 소방시설 도면을 디스플레이함으로써, 상기 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 소방시설물 설치 정보 제공부;
상기 유저 단말로부터 상기 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체 인식이 수행되도록 하여, 상기 유저 단말에 상기 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 점검 안내 정보 제공부; 및
상기 점검 항목별 안내 정보에 기초하여 상기 소방시설물에 대한 소방 점검 수행 결과, 상기 소방시설물의 상태가 불량한 것으로 판단될 시, 상기 유저 단말에, 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 불량 소방시설물 정보 수집부;를 포함하고,
상기 소방시설 도면에는,
상기 점검 대상 건축물에 설치된 소방시설물의 점검 항목별 정보가 매핑되어 있고,
설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시되고,
상기 점검 안내 정보 제공부는,
상기 증강현실 콘텐츠로서, 상기 유저 단말의 카메라 모듈로부터 촬영되는 상기 소방시설물의 현실 객체 영상에, 상기 소방시설물의 점검 항목별 점검 시나리오 정보를 포함하는 가상 객체 영상이 중첩된 증강현실 콘텐츠를 제공하되,
상기 유저 단말로부터 상기 증강현실 콘텐츠에 포함된 일 점검 항목에 대한 선택 입력이 있을 경우, 상기 유저 단말에는 선택 입력된 점검 항목에 대한 일련의 점검 프로세스를 포함하는 점검 시나리오가 증강현실 콘텐츠로 구현되고,
상기 점검 안내 정보 제공부는,
상기 유저 단말이 네트워크 통신이 원활하지 못한 환경에 존재할 경우를 대비하여, 상기 유저 단말의 입력 수단으로부터 현재 위치 정보를 직접 입력 받아 상기 데이터베이스로부터 소방시설 도면을 수신한 후, ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 현실 객체 영상을 구성하는 프레임에서 추출되는 특징점들 간의 연관성을 분석하고,
상기 유저 단말의 이동 거리를 획득하고, 상기 카메라 모듈로서, RGBD(RGB-Depth) 카메라 모듈이 더 포함되도록 하여, 상기 RGBD 카메라 모듈을 통해 촬영된 RGBD 영상으로부터 상대 거리 정보를 획득함으로써, 획득된 상기 유저 단말의 이동 거리 및 상기 상대 거리 정보로부터 상기 소방시설물의 실내 위치 추정하여 상기 소방시설물에 대한 상기 점검 안내 정보를 제공하고,
서버는,
각각의 소방시설물에 설정된 점검 주기에 따라, 마지막 점검 수행일로부터 다음 점검 수행일의 도래 시기를 카운트하여, 상기 유저 단말에 제공되는 소방시설 도면에 반영되도록 하되,
카운트 결과에 따라, 점검 수행일의 도래가 임박한 것으로 판단되는 소방시설물의 표시 형식을 상기 소방시설 도면 상에 차별화되게 표시되도록 함으로써, 상기 소방시설 도면으로부터 점검이 수행되어야 할 소방시설물의 항목 정보 및 설치 위치 정보가 파악될 수 있도록 하어 있는 것을 특징으로 하는 증강현실 기반의 소방시설 점검 장치.
In the augmented reality-based firefighting facility inspection apparatus implemented as a user terminal comprising at least one processor and at least one memory storing instructions executable by the processor,
Installation information of firefighting facilities installed in the inspection target building by receiving a firefighting facility drawing for a building to be inspected from a database in which firefighting facility drawings for one or more buildings are stored, and displaying the received firefighting facility drawing on the user terminal Firefighting facility installation information providing unit that provides a;
When a selection command for at least one firefighting facility included in the firefighting facility drawing is received from the user terminal, object recognition for the selected firefighting facility is performed, and the user terminal is guided by inspection items of the firefighting facility An inspection guide information providing unit that provides information in the form of augmented reality content; And
Provides an interface for inputting status information on the defective firefighting facility to the user terminal when it is determined that the firefighting facility is in poor condition as a result of performing a firefighting inspection on the firefighting facility based on the guide information for each inspection item. By doing so, a defective firefighting facility information collection unit for collecting information on defective firefighting facilities; including,
In the firefighting facility drawing,
Information for each inspection item of firefighting facilities installed in the above inspection target building is mapped,
Information on installed firefighting facilities is displayed as an identifiable city symbol,
The inspection guide information providing unit,
As the augmented reality content, providing an augmented reality content in which a virtual object image including inspection scenario information for each inspection item of the firefighting facility is superimposed on a real object image of the firefighting facility photographed from the camera module of the user terminal,
When there is a selection input for a check item included in the augmented reality content from the user terminal, a check scenario including a series of check processes for the selected check item is implemented as augmented reality content in the user terminal,
The inspection guide information providing unit,
In case the user terminal exists in an environment where network communication is not smooth, after receiving the current location information directly from the input means of the user terminal and receiving a firefighting facility drawing from the database, an ICP (Iterative Closest Point) algorithm Analyzing the correlation between the feature points extracted from the frame constituting the real object image,
By acquiring the moving distance of the user terminal and further including an RGB-Depth (RGBD) camera module as the camera module to obtain relative distance information from the RGBD image captured through the RGBD camera module, the obtained Estimating the indoor location of the firefighting facility from the moving distance and the relative distance information of the user terminal to provide the inspection guide information for the firefighting facility,
The server,
According to the inspection period set for each firefighting facility, the time of arrival from the last inspection execution date to the next inspection execution day is counted and reflected in the firefighting facility drawing provided to the user terminal,
According to the count result, item information and installation of firefighting facilities to be inspected from the firefighting facility drawing by making the display format of firefighting facilities judged to be imminent on the firefighting facility drawing differentiated Augmented reality-based firefighting facility inspection device, characterized in that the location information can be grasped.
상기 컴퓨터-판독가능 기록매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
하나 이상의 건축물에 대한 소방시설 도면이 저장된 데이터베이스로부터 점검 대상 건축물에 대한 소방시설 도면을 수신하고, 유저 단말에, 수신된 상기 소방시설 도면을 디스플레이함으로써, 상기 점검 대상 건축물에 설치된 소방시설물의 설치 정보를 제공하는 소방시설물 설치 정보 제공 단계;
상기 유저 단말로부터 상기 소방시설 도면에 포함되는 적어도 어느 하나의 소방시설물에 대한 선택 명령이 수신될 시, 선택된 소방시설물에 대한 객체 인식이 수행되도록 하여, 상기 유저 단말에 상기 소방시설물의 점검 항목별 안내 정보를 증강현실 콘텐츠의 형태로 제공하는 점검 안내 정보 제공 단계; 및
상기 점검 항목별 안내 정보에 기초하여 상기 소방시설물에 대한 소방 점검 수행 결과, 상기 소방시설물의 상태가 불량한 것으로 판단될 시, 상기 유저 단말에, 불량 소방시설물에 대한 상태 정보의 입력이 가능한 인터페이스를 제공함으로써, 불량 소방시설물 정보를 수집하는 불량 소방시설물 정보 수집 단계;를 포함하고,
상기 소방시설 도면에는,
상기 점검 대상 건축물에 설치된 소방시설물의 점검 항목별 정보가 매핑되어 있고,
설치된 소방시설물에 대한 정보가 식별 가능한 도시 기호로서 표시되고,
상기 점검 안내 정보 제공 단계는,
상기 증강현실 콘텐츠로서, 상기 유저 단말의 카메라 모듈로부터 촬영되는 상기 소방시설물의 현실 객체 영상에, 상기 소방시설물의 점검 항목별 점검 시나리오 정보를 포함하는 가상 객체 영상이 중첩된 증강현실 콘텐츠를 제공하되,
상기 유저 단말로부터 상기 증강현실 콘텐츠에 포함된 일 점검 항목에 대한 선택 입력이 있을 경우, 상기 유저 단말에는 선택 입력된 점검 항목에 대한 일련의 점검 프로세스를 포함하는 점검 시나리오가 증강현실 콘텐츠로 구현되고,
상기 점검 안내 정보 제공 단계는,
상기 유저 단말이 네트워크 통신이 원활하지 못한 환경에 존재할 경우를 대비하여, 상기 유저 단말의 입력 수단으로부터 현재 위치 정보를 직접 입력 받아 상기 데이터베이스로부터 소방시설 도면을 수신한 후, ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 현실 객체 영상을 구성하는 프레임에서 추출되는 특징점들 간의 연관성을 분석하고,
상기 유저 단말의 이동 거리를 획득하고, 상기 카메라 모듈로서, RGBD(RGB-Depth) 카메라 모듈이 더 포함되도록 하여, 상기 RGBD 카메라 모듈을 통해 촬영된 RGBD 영상으로부터 상대 거리 정보를 획득함으로써, 획득된 상기 유저 단말의 이동 거리 및 상기 상대 거리 정보로부터 상기 소방시설물의 실내 위치 추정하여 상기 소방시설물에 대한 상기 점검 안내 정보를 제공하고,
서버는,
각각의 소방시설물에 설정된 점검 주기에 따라, 마지막 점검 수행일로부터 다음 점검 수행일의 도래 시기를 카운트하여, 상기 유저 단말에 제공되는 소방시설 도면에 반영되도록 하되,
카운트 결과에 따라, 점검 수행일의 도래가 임박한 것으로 판단되는 소방시설물의 표시 형식을 상기 소방시설 도면 상에 차별화되게 표시되도록 함으로써, 상기 소방시설 도면으로부터 점검이 수행되어야 할 소방시설물의 항목 정보 및 설치 위치 정보가 파악될 수 있도록 하어 있는 것을 특징으로 하는 컴퓨터-판독가능 기록매체.As a computer-readable recording medium,
The computer-readable recording medium stores instructions that cause a computing device to perform the following steps, the steps being:
By receiving a firefighting facility drawing for a building to be inspected from a database in which firefighting facility drawings for one or more buildings are stored, and displaying the received firefighting facility drawing on a user terminal, installation information of the firefighting facility installed in the building to be inspected Providing firefighting facility installation information providing step;
When a selection command for at least one firefighting facility included in the firefighting facility drawing is received from the user terminal, object recognition for the selected firefighting facility is performed, and the user terminal is guided by inspection items of the firefighting facility Providing inspection guide information providing information in the form of augmented reality content; And
Provides an interface for inputting status information on the defective firefighting facility to the user terminal when it is determined that the firefighting facility is in poor condition as a result of performing a firefighting inspection on the firefighting facility based on the guide information for each inspection item. By doing so, the step of collecting information on defective firefighting facilities for collecting information on defective firefighting facilities; including,
In the firefighting facility drawing,
Information for each inspection item of firefighting facilities installed in the above inspection target building is mapped,
Information on installed firefighting facilities is displayed as an identifiable city symbol,
The step of providing the inspection guide information,
As the augmented reality content, providing an augmented reality content in which a virtual object image including inspection scenario information for each inspection item of the firefighting facility is superimposed on a real object image of the firefighting facility photographed from the camera module of the user terminal,
When there is a selection input for a check item included in the augmented reality content from the user terminal, a check scenario including a series of check processes for the selected check item is implemented as augmented reality content in the user terminal,
The step of providing the inspection guide information,
In case the user terminal exists in an environment where network communication is not smooth, after receiving the current location information directly from the input means of the user terminal and receiving a firefighting facility drawing from the database, an ICP (Iterative Closest Point) algorithm Analyzing the correlation between the feature points extracted from the frame constituting the real object image,
By acquiring the moving distance of the user terminal and further including an RGB-Depth (RGBD) camera module as the camera module to obtain relative distance information from the RGBD image captured through the RGBD camera module, the obtained Estimating the indoor location of the firefighting facility from the moving distance and the relative distance information of the user terminal to provide the inspection guide information for the firefighting facility,
The server,
According to the inspection period set for each firefighting facility, the time of arrival from the last inspection execution date to the next inspection execution day is counted and reflected in the firefighting facility drawing provided to the user terminal,
According to the count result, item information and installation of firefighting facilities to be inspected from the firefighting facility drawing by making the display format of firefighting facilities judged to be imminent on the firefighting facility drawing differentiated Computer-readable recording medium, characterized in that the location information can be grasped.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151470A KR102203173B1 (en) | 2019-11-22 | 2019-11-22 | Method, apparatus and computer-readable medium for inspection of fire fighting facility based on augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151470A KR102203173B1 (en) | 2019-11-22 | 2019-11-22 | Method, apparatus and computer-readable medium for inspection of fire fighting facility based on augmented reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102203173B1 true KR102203173B1 (en) | 2021-01-15 |
Family
ID=74127157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190151470A KR102203173B1 (en) | 2019-11-22 | 2019-11-22 | Method, apparatus and computer-readable medium for inspection of fire fighting facility based on augmented reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102203173B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220130489A (en) * | 2021-03-18 | 2022-09-27 | 한방유비스 주식회사 | Firefighting facility management and inspection apparatus based on augmented reality and building property information |
| KR102539543B1 (en) * | 2022-09-27 | 2023-06-02 | 유세영 | Defect management system for school facility |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130133478A (en) * | 2012-05-29 | 2013-12-09 | 에이알비전 (주) | Mobile augmented reality system and method for fire extinguish equipment inspection |
| KR20150111999A (en) * | 2013-01-30 | 2015-10-06 | 퀄컴 인코포레이티드 | Real-time 3d reconstruction with power efficient depth sensor usage |
| KR20150119700A (en) * | 2014-04-16 | 2015-10-26 | 주식회사알에프윈도우 | System and Method for Management of Public Facilities using NFC |
| KR101567540B1 (en) * | 2015-03-17 | 2015-11-10 | (주)승화기술정책연구소 | Failure probability adjustment type gis-aided sewerage asset management method |
| KR20160080357A (en) * | 2014-12-29 | 2016-07-08 | (주)프라디지컴 | Indoor positioning method and user terminal |
-
2019
- 2019-11-22 KR KR1020190151470A patent/KR102203173B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130133478A (en) * | 2012-05-29 | 2013-12-09 | 에이알비전 (주) | Mobile augmented reality system and method for fire extinguish equipment inspection |
| KR20150111999A (en) * | 2013-01-30 | 2015-10-06 | 퀄컴 인코포레이티드 | Real-time 3d reconstruction with power efficient depth sensor usage |
| KR20150119700A (en) * | 2014-04-16 | 2015-10-26 | 주식회사알에프윈도우 | System and Method for Management of Public Facilities using NFC |
| KR20160080357A (en) * | 2014-12-29 | 2016-07-08 | (주)프라디지컴 | Indoor positioning method and user terminal |
| KR101567540B1 (en) * | 2015-03-17 | 2015-11-10 | (주)승화기술정책연구소 | Failure probability adjustment type gis-aided sewerage asset management method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220130489A (en) * | 2021-03-18 | 2022-09-27 | 한방유비스 주식회사 | Firefighting facility management and inspection apparatus based on augmented reality and building property information |
| KR102584863B1 (en) | 2021-03-18 | 2023-10-05 | 한방유비스 주식회사 | Firefighting facility management and inspection apparatus based on augmented reality and building property information |
| KR102539543B1 (en) * | 2022-09-27 | 2023-06-02 | 유세영 | Defect management system for school facility |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cheng et al. | BIM integrated smart monitoring technique for building fire prevention and disaster relief | |
| KR101409964B1 (en) | Mobile augmented reality system and method for fire extinguish equipment inspection | |
| KR102011342B1 (en) | Fire Safety Inspecting Method and System | |
| US11238711B2 (en) | Fire detection system-fire smart signalling for fire equipment | |
| KR102203173B1 (en) | Method, apparatus and computer-readable medium for inspection of fire fighting facility based on augmented reality | |
| US11729597B2 (en) | Digital twin disaster management system customized for underground public areas | |
| KR20160149406A (en) | Apparatus for managing a disastear and method thereof | |
| KR101444395B1 (en) | Method and system of automatic intelligent control that can cope with emergency | |
| KR102030509B1 (en) | Safety management method, apparatus and computer-readable medium for old building using fire risk assessment result | |
| US11511142B2 (en) | Fire detection system—end-to-end solution for fire detection design framework | |
| KR102319083B1 (en) | Artificial intelligence based fire prevention device and method | |
| CN108765872B (en) | Method and system for inferring environmental parameters of trapped object and intelligent wearable equipment | |
| US20210248282A1 (en) | Fire detection system - method for auto placement of fire equipment | |
| CN105194829A (en) | Box door opening detection system, method thereof, and control apparatus | |
| KR102584863B1 (en) | Firefighting facility management and inspection apparatus based on augmented reality and building property information | |
| US20210200910A1 (en) | Fire detection system tool for constraint compliant placement of fire equipment | |
| US20210248281A1 (en) | Floorplan based fire threat-modeling system | |
| KR102350729B1 (en) | A method and apparatus for determining fire-prone areas based on road traffic and congested sections and predicting fires using convolutional neural networks for firefighting facilities | |
| KR102231648B1 (en) | Method, apparatus and computer-readable medium for managing inspection history information of fire fighting facility | |
| KR101360897B1 (en) | Fire fight safety system for architecture | |
| Safayet et al. | Development of building information modeling (BIM)-based real-time fire alert system to reduce fire impact in Bangladesh | |
| CN216927797U (en) | Emergency disaster prevention management system | |
| CN117037321A (en) | Fire-fighting inspection system based on mobile terminal and linkage method | |
| CN112990660B (en) | Petrochemical fire-extinguishing rescue auxiliary control method, petrochemical fire-extinguishing rescue auxiliary control system, storage medium and terminal | |
| KR102046072B1 (en) | Method, apparatus and computer-readable medium for diagonostic assessment of old building |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| G170 | Publication of correction |