KR20200050573A - Method for large sructures safety diagnosis using drone, device and computer readable medium for performing the method - Google Patents

Method for large sructures safety diagnosis using drone, device and computer readable medium for performing the method Download PDF

Info

Publication number
KR20200050573A
KR20200050573A KR1020180133324A KR20180133324A KR20200050573A KR 20200050573 A KR20200050573 A KR 20200050573A KR 1020180133324 A KR1020180133324 A KR 1020180133324A KR 20180133324 A KR20180133324 A KR 20180133324A KR 20200050573 A KR20200050573 A KR 20200050573A
Authority
KR
South Korea
Prior art keywords
information
bridge
building
image
unit
Prior art date
Application number
KR1020180133324A
Other languages
Korean (ko)
Other versions
KR102114683B1 (en
Inventor
이지수
이상복
류정림
김지우
Original Assignee
주식회사 에프엠웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프엠웍스 filed Critical 주식회사 에프엠웍스
Priority to KR1020180133324A priority Critical patent/KR102114683B1/en
Publication of KR20200050573A publication Critical patent/KR20200050573A/en
Application granted granted Critical
Publication of KR102114683B1 publication Critical patent/KR102114683B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Geology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

A safety diagnosis method of large structures using an unmanned flying device includes the steps of: photographing a city using an unmanned flying device wherein a bridge or a building exists in the city; indexing information of bridge structures that match the information collected on buildings and the information on large structures extracted from images of cities where the bridge or the building exists; evaluating an abnormal movement and residual deformation of bridges or structures to perform a disaster damage simulation for disasters; and deriving a response scenario and mission procedures in case of the disaster for the bridge or building based on simulation results. Accordingly, by overcoming the limit of damage assessment of disasters of large structures by using an unmanned flying device, it is possible to quickly predict secondary accidents such as collapse due to disasters such as earthquakes by securing mastery and golden time of the disaster situation.

Description

무인비행장치를 이용한 거대구조물 안전진단 방법, 이를 수행하기 위한 장치 및 기록매체{METHOD FOR LARGE SRUCTURES SAFETY DIAGNOSIS USING DRONE, DEVICE AND COMPUTER READABLE MEDIUM FOR PERFORMING THE METHOD}Method for safe diagnosis of large structures using an unmanned flying device, a device and a recording medium for performing the same {METHOD FOR LARGE SRUCTURES SAFETY DIAGNOSIS USING DRONE, DEVICE AND COMPUTER READABLE MEDIUM FOR PERFORMING THE METHOD}

본 발명은 무인비행장치를 이용한 거대구조물 안전진단 방법 및 이를 수행하기 위한 장치에 관한 것으로서, 더욱 상세하게는 거대구조물 지진 등의 재난에 대한 피해의 신속대응을 위해 무인비행장치를 이용한 거대구조물 안전진단 방법 및 이를 수행하기 위한 장치에 관한 것이다.The present invention relates to a method for safety diagnosis of a large structure using an unmanned flying device and a device for performing the same, and more specifically, a safety diagnosis of a large structure using an unmanned flying device for quick response to disaster damage such as a large structure earthquake It relates to a method and an apparatus for performing the same.

최근 지진 등의 잦은 자연재해로 인해 구조물의 지진 위험성을 고려해 저층 건물과 교량의 내진 설계 기준을 강화하는 등 지진피해에 대한 관심이 고조되고 있으며, 한반도가 지진 안전지대가 아닌 것을 보여준다.Recently, due to frequent natural disasters such as earthquakes, interest in earthquake damage has been heightened by strengthening the seismic design standards of low-rise buildings and bridges considering the risk of earthquakes in structures, and it shows that the Korean Peninsula is not an earthquake safety zone.

이에 따라 우리나라 전부 또한 교량, 터널, 고속철도, 댐 및 고층의 건축물과 같은 대형 구조물에는 언제 발생할지 모르는 이상 유무를 판단하기 위해 여러 가지 계측기기 등을 사용하고 있다.Accordingly, all of Korea also uses a variety of measuring devices to determine whether there is an unforeseen occurrence in large structures such as bridges, tunnels, high-speed railways, dams, and high-rise buildings.

각각의 계측기기로부터 계측된 데이터를 데이터베이스화시켜서 각종 구조물의 이상 유무를 판단하는 기초 자료로 사용하고 있으나 강풍, 지진, 또는 강설과 같은 재난이 임할 경우, 재난을 겪는 상황에서는 해당 구조물이 겪게 되는 재난의 정도를 정확히 파악하기 어려운 경우가 발생한다.The data measured from each measuring device is databased and used as basic data to judge the presence or absence of anomalies in various structures, but when disasters such as strong winds, earthquakes, or snowfall occur, disasters experienced by the structure in the event of a disaster There are cases where it is difficult to accurately grasp the degree of.

또한, 거대구조물의 견고함을 막연히 신뢰하고 평소처럼 이용하던 시민들이 뜻밖의 피해를 입게 되는 경우가 빈번히 발생됨에 따라, 이러한 구조물 특히 교량의 경우 해당 구조물이 겪게 되는 재난의 정도를 신속하게 판단할 수 있는 신속한 재난상황의 판단이 무엇보다 중요하다.In addition, since the frequent occurrence of unexpected damage to citizens who used to trust the ruggedness of large structures and usual use, such structures, especially for bridges, can quickly determine the degree of disaster experienced by the structure. The quick judgment of the disaster situation is the most important.

그러나, 종래의 재난 발생 시 대응 체제에 의한 사고 및 재난 정보 파악은 지상관측의 비효율적인 '현장파악 소요시간의 과다', '구두보고에 의한 정보왜곡의 우려', '소수의 전문가에 의한 판단으로 인한 객관성의 부재'로 인해 재난 상황의 장악력이 결여될 수 있다.However, in the case of a conventional disaster, grasping the accident and disaster information by the response system is determined by the inefficient 'excess on time of on-site grasp', 'worries about information distortion due to shoes reporting', and 'determination by a small number of experts' Due to the absence of objectivity due to this, it may lack the control of the disaster situation.

한국등록특허 제10-1248936호Korean Registered Patent No. 10-1248936

본 발명의 일측면은 딥러닝 기술과 이미지 인덱싱 기술을 융합하여 거대구조물의 안전도를 전문가의 주관적인 판단이 아닌 객관적으로 정량화할 수 있는 무인비행장치를 이용한 거대구조물 안전진단 방법 및 이를 수행하기 위한 장치를 제공한다. One aspect of the present invention is a method for diagnosing a safety structure of a large structure using an unmanned flying device capable of objectively quantifying the safety of a large structure by subjecting a deep learning technology and an image indexing technology to an objective, rather than subjective, expert judgment. to provide.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to the technical problem mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 방법은, 무인비행장치를 이용하여 교량 또는 건축물이 존재하는 도시를 촬영하고, 상기 교량 또는 건축물이 존재하는 도시를 촬영한 이미지로부터 적어도 하나의 교량 또는 건축물의 구조에 대한 정보를 추출하고, 상기 구조에 대한 정보가 추출된 해당 교량 또는 건축물에 대한 정보를 수집하고, 상기 이미지로부터 추출한 구조물에 대한 정보와 건축물에 대해 수집한 정보를 일치하는 교량구조물의 정보와 인덱싱하고, 상기 인덱싱된 정보를 중심으로 상기 교량 또는 건축물의 이상거동과 잔류변형을 평가하여 구축한 데이터베이스를 이용하여 상기 이미지에 존재하는 교량 또는 건축물의 재난에 대한 피해 시뮬레이션을 실시하고, 상기 시뮬레이션 결과를 기초로 하여 해당 교량 또는 건축물에 대한 안전도를 정량화하여 평가한 뒤 재난 발생 시 대응 시나리오 및 임무절차를 도출한다.The method for safe diagnosis of a large structure using an unmanned flying device according to an embodiment of the present invention uses an unmanned flying device to photograph a city in which a bridge or a building exists, and from an image of a city in which the bridge or building exists Extracts information about the structure of at least one bridge or building, collects information about the bridge or building from which the information on the structure was extracted, and collects information about the structure and the structure extracted from the image. Using the database constructed by evaluating the matching bridge structure information and the abnormal behavior and residual deformation of the bridge or structure based on the indexed information, simulation of damage to the disaster of the bridge or building existing in the image And based on the simulation result. And derives the corresponding scenario and assignment process when a rear disaster evaluated by quantifying the safety of the quantity or structure.

상기 수집한 정보를 일치하는 교량구조물의 정보와 인덱싱하는 것은, 상기 이미지로부터 추출한 구조에 대한 정보 및 상기 이미지로부터 구조에 대한 정보를 추출한 교량 또는 건축물에 대해 수집한 정보를 분석하고, 상기 추출한 정보 및 수집한 정보에 대해 분석한 결과를 해당하는 교량 또는 건축물 별로 정보 집합을 형성하고, 상기 정보 집합을 이미지의 해당 교량 또는 건축물에 인덱싱할 수 있다.Indexing the collected information with the matching bridge structure information includes analyzing the information on the structure extracted from the image and the information collected on the bridge or building from which information on the structure is extracted from the image, and extracting the information and The result of the analysis of the collected information may be formed for each bridge or building corresponding to the result, and the information set may be indexed to the corresponding bridge or building of the image.

상기 건축물에 대해 수집한 정보는, 상기 이미지로부터 추출된 데이터를 제외하여 해당 교량 또는 건축물에 대한 정보를 의미할 수 있다.The information collected about the building may mean information about the bridge or building except for data extracted from the image.

상기 대응 시나리오 및 임무절차를 도출하는 것은, 상기 교량 또는 건축물에 이상거동과 잔류변형이 발생하지 않더라도 실험을 통해 해당 교량 또는 건축물에 대한 대응 시나리오 및 임무절차를 도출할 수 있다.Derivation of the response scenario and mission procedure, even if abnormal behavior and residual deformation does not occur in the bridge or structure, can derive a response scenario and mission procedure for the corresponding bridge or structure through experiments.

상기 대응 시나리오 및 임무절차를 도출하는 것은, 상기 이상거동과 잔류변형이 발생하여 안전도에 대한 평가 결과가 일정 기준 이상인 교량 또는 건축물이 재난 발생에 대비한 대피시설인 경우, 해당 대피시설의 관리자에게 경고신호를 송출하여 상기 교량 또는 건축물의 내부 이미지를 요청할 수 있다.Derivation of the response scenario and mission procedure is to warn the manager of the evacuation facility when a bridge or building with an evaluation result for safety due to the abnormal behavior and residual deformation is a standard or more prepared for disaster. Signals can be sent to request the interior image of the bridge or building.

상기 재난에 대한 피해 시뮬레이션을 실시하는 것은, 상기 교량 또는 건축물의 내부 이미지가 제공되는 경우, 상기 내부 이미지 및 인덱싱된 정보를 중심으로 상기 대피시설의 이상거동과 잔류변형을 재평가할 수 있다.Performing damage simulation for the disaster may reevaluate the abnormal behavior and residual deformation of the evacuation facility based on the internal image and indexed information when the internal image of the bridge or building is provided.

상기 대응 시나리오 및 임무절차를 도출하는 것은, 상기 재평가된 대피시설에 대한 대응 시나리오 및 임무절차를 재도출할 수 있다.Deriving the response scenario and mission procedure may re-derive the response scenario and mission procedure for the reevaluated evacuation facility.

상기 교량 또는 건축물에 대한 정보를 추출하는 것은, 지리정보시스템을 활용하여 상기 무인비행장치의 위치정보를 수신하여 촬영한 이미지에 존재하는 교량 또는 건축물의 정확한 위치를 파악하여 상기 교량 또는 건축물의 정보를 추출할 수 있다.Extracting the information about the bridge or building, the geographic information system is used to receive the location information of the unmanned flying device and grasp the exact location of the bridge or building existing in the captured image to obtain the information of the bridge or building. Can be extracted.

상기 교량 또는 건축물에 대한 정보를 추출하는 것은, 상기 무인비행장치의 위치정보를 수신하여 좌표를 포함한 3D 모델로 생성하여 저장하고, 상기 무인비행장치의 위치정보, 상기 이미지를 촬영한 각도 및 상기 좌표를 포함한 3D 모델을 연산하여 상기 무인비행장치가 촬영한 영상의 좌표를 확인할 수 있다.Extracting information about the bridge or building, receives the location information of the unmanned aerial vehicle, generates and stores it in a 3D model including coordinates, location information of the unmanned aerial vehicle, the angle at which the image was taken, and the coordinates By calculating a 3D model including a can check the coordinates of the image taken by the unmanned aerial vehicle.

본 발명의 다른 실시예에 따른 컴퓨터로 판독 가능한 기록매체에는 무인비행장치를 이용한 거대구조물 안전진단 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.In a computer-readable recording medium according to another embodiment of the present invention, a computer program for performing a safety diagnosis method for a large structure using an unmanned flying device is recorded.

본 발명의 또 다른 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 장치는, 무인비행장치를 이용하여 교량 또는 건축물이 존재하는 도시를 촬영하는 촬영부; 상기 촬영부에서 교량 또는 건축물이 존재하는 도시를 촬영한 이미지로부터 교량 또는 건축물의 구조에 대한 정보를 추출하고, 상기 구조에 대한 정보에 추출된 해당 교량 또는 건축물에 대한 정보를 수집하는 이미지 분석부; 상기 촬영부에서 촬영한 이미지로부터 추출한 교량 또는 건축물의 구조에 대한 정보와 상기 교량 또는 건축물에 대해 수집한 정보를 일치하는 교량 또는 건축물의 정보와 인덱싱하는 인덱싱부; 상기 인덱싱된 정보를 중심으로 상기 교량 또는 건축물의 이상거동과 잔류변형을 평가하여 구축한 데이터베이스를 이용하여 상기 이미지에 존재하는 교량 또는 건축물의 재난에 대한 피해 시뮬레이션을 실시하는 시뮬레이션부; 상기 시뮬레이션 결과를 기초로 하여 해당 교량 또는 건축물에 대한 안전도를 정량화하여 평가한 뒤 재난 발생 시 대응 시나리오 및 임무절차를 도출하는 시나리오부;를 포함한다.A safety diagnosis device for a large structure using an unmanned flying device according to another embodiment of the present invention includes: a photographing unit for photographing a city where a bridge or a building exists using an unmanned flying device; An image analysis unit for extracting information on the structure of the bridge or building from the image of the city where the bridge or building is located, and collecting information on the bridge or building extracted in the information on the structure; An indexing unit that indexes information on the structure of the bridge or building extracted from the image taken by the shooting unit with information on the bridge or building that matches the information collected on the bridge or building; A simulation unit for performing simulation of damage to disasters of bridges or structures existing in the image using a database constructed by evaluating abnormal behavior and residual deformation of the bridges or structures based on the indexed information; And a scenario unit that quantifies and evaluates the safety level of the corresponding bridge or building based on the simulation result, and derives a response scenario and a mission procedure when a disaster occurs.

상기 인덱싱부는, 상기 촬영부에서 촬영한 이미지로부터 추출한 구조물에 대한 정보를 분석하는 제1 정보분석부; 상기 이미지로부터 구조에 대한 정보를 추출한 교량 또는 건축물에 대해 수집한 정보를 분석하는 제2 정보분석부; 상기 제1 정보분석부 및 제2 정보분석부에서 분석한 정보를 해당하는 교량 또는 건축물 별로 정보 집합을 형성하는 집합생성부; 상기 정보 집합을 이미지의 해당 교량 또는 건축물에 인덱싱하는 색인부;를 포함할 수 있다.The indexing unit may include: a first information analysis unit analyzing information on structures extracted from the image taken by the imaging unit; A second information analysis unit that analyzes the collected information about the bridge or building that extracted the structure information from the image; A set generation unit for forming information sets for each bridge or building corresponding to the information analyzed by the first information analysis unit and the second information analysis unit; And an indexing unit that indexes the information set to a corresponding bridge or building of the image.

상기 건축물에 대해 수집한 정보는, 상기 이미지로부터 추출된 데이터를 제외하여 해당 교량 또는 건축물에 대한 정보를 수집할 수 있다.The information collected about the building may collect information about the bridge or building by excluding data extracted from the image.

상기 시나리오부는, 상기 교량 또는 건축물에 이상거동과 잔류변형이 발생하지 않더라도 실험을 통해 해당 교량 또는 건축물에 대한 대응 시나리오 및 임무절차를 도출할 수 있다.The scenario unit may derive a corresponding scenario and mission procedure for the corresponding bridge or building through experiments even if abnormal behavior and residual deformation do not occur in the bridge or building.

상기 시나리오부는, 상기 이상거동과 잔류변형이 발생하여 안전도에 대한 평가 결과가 일정 기준 이상인 교량 또는 건축물이 재난 발생에 대비한 대피시설인 경우, 해당 대피시설의 관리자에게 경고신호를 송출하여 상기 교량 또는 건축물의 내부 이미지를 요청할 수 있다.In the scenario section, when the abnormal behavior and residual deformation occur and the evaluation result for safety is a certain standard or a bridge or a structure is an evacuation facility prepared for a disaster, the warning signal is sent to the manager of the evacuation facility, or You can request the interior image of the building.

상기 시뮬레이션부는, 상기 교량 또는 건축물의 내부 이미지가 제공되는 경우, 상기 내부 이미지 및 인덱싱된 정보를 중심으로 상기 대피시설의 이상거동과 잔류변형을 재평가할 수 있다.When the interior image of the bridge or building is provided, the simulation unit may re-evaluate abnormal behavior and residual deformation of the evacuation facility based on the internal image and indexed information.

상기 시나리오부는, 상기 시뮬레이션부에 의해 재평가된 대피시설에 대한 대응 시나리오 및 임무절차를 재도출할 수 있다.The scenario unit may re-derive the response scenario and mission procedure for the evacuation facility reevaluated by the simulation unit.

상기 이미지 분석부는, 지리정보시스템을 활용하여 상기 무인비행장치의 위치정보를 수신하여 촬영한 이미지에 존재하는 교량 또는 건축물의 정확한 위치를 파악하여 상기 교량 또는 건축물의 정보를 추출할 수 있다.The image analysis unit may extract the information of the bridge or the building by using the geographic information system to receive the location information of the unmanned aerial vehicle and grasp the exact location of the bridge or the building existing in the captured image.

상기 이미지 분석부는, 상기 무인비행장치의 위치정보를 수신하여 좌표를 포함한 3D 모델로 생성하여 저장하고, 상기 무인비행장치의 위치정보, 상기 이미지를 촬영한 각도 및 상기 좌표를 포함한 3D 모델을 연산하여 상기 무인비행장치가 촬영한 영상의 좌표를 확인할 수 있다.The image analysis unit receives the location information of the unmanned aerial vehicle, generates and stores it as a 3D model including coordinates, and calculates a 3D model including the location information of the unmanned aerial vehicle, the angle at which the image was taken, and the coordinates Coordinates of an image photographed by the unmanned aerial vehicle may be confirmed.

상술한 본 발명의 일측면에 따르면, BIM(Building Information Modeling), 사물 인터넷 또는 빅데이터 등과 연계하여 다각적으로 활용할 수 있으며, 전문가의 육안과 판단에 의존하는 주관적인 교량안전평가를 이미지 인덱싱 기술을 통해 오차를 정량화할 수 있다.According to one aspect of the present invention described above, BIM (Building Information Modeling), can be used in multiple ways in connection with the Internet of Things or big data, and subjective bridge safety assessment relying on the expert's naked eye and judgment errors through image indexing technology Can be quantified.

또한, 거대구조물의 지진 등의 재난에 대한 피해 평가한계를 무인비행장치를 활용하여 극복함으로써 지진 등의 재난에 대한 피해 상황의 장악력 및 골든타임 확보를 통해 지진 등의 재난에 의한 붕괴 등 2차 사고를 신속하게 예측할 수 있다.In addition, by overcoming damage assessment limits for disasters such as earthquakes of large structures by using unmanned flying devices, secondary accidents such as collapses caused by disasters such as earthquakes by securing control and golden time of disaster situations such as earthquakes Can be predicted quickly.

또한, 딥러닝 기술에 적용하여 실제 지진 등의 재난이 일어나지 않아 거대구조물의 이상거동이 발생하지 않더라도 딥러닝 학습모형 실험을 통해 기계학습이 가능하여 거대구조물에 의한 도시의 고립 또는 인명피해 등의 사고를 예방할 수 있다.In addition, by applying to deep learning technology, machine learning is possible through deep learning learning model experiments even if there is no real disaster such as an earthquake, so even if an abnormal behavior of a large structure does not occur, accidents such as city isolation or human damage caused by large structures Can be prevented.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those skilled in the art from the following description. .

도 1은 본 발명의 일 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 장치를 도시한 블록도이다.
도 3은 도 2의 인덱싱부를 자세히 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 방법을 개략적으로 도시한 흐름도이다.
도 5는 도 4의 정보를 이미지에 인덱싱하는 과정을 구체적으로 도시한 흐름도이다.
도 6은 도 4의 대응 시나리오 및 임무절차를 도출하는 과정을 구체적으로 도시한 흐름도이다.
도 7은 안전도 평가 결과 일정 기준 이상인 거대구조물이 대피시설인 경우 대응 방안에 대한 과정을 구체적으로 도시한 흐름도이다.
도 8은 본 발명이 제안하는 무인비행장치가 촬영한 이미지가 수직 평면뷰가 아닌 경우 좌표를 확인하는 방법을 개략적으로 도시한 도면이다.1 is a view illustrating a safety diagnosis system for a large structure using an unmanned flying device according to an embodiment of the present invention.
2 is a block diagram illustrating a safety diagnosis device for a large structure using an unmanned flying device according to an embodiment of the present invention.
FIG. 3 is a block diagram showing the indexing unit of FIG. 2 in detail.
4 is a flowchart schematically illustrating a method for safely diagnosing a large structure using an unmanned flying device according to an embodiment of the present invention.
5 is a flowchart specifically illustrating a process of indexing the information of FIG. 4 into an image.
6 is a flowchart specifically illustrating a process of deriving the corresponding scenario and mission procedure of FIG. 4.
7 is a flowchart specifically illustrating a process for a countermeasure in the case where a large structure having a predetermined level or more as a result of safety evaluation is an evacuation facility.
8 is a view schematically showing a method of checking coordinates when an image photographed by an unmanned aerial vehicle proposed by the present invention is not a vertical plan view.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.For a detailed description of the present invention, which will be described later, reference is made to the accompanying drawings that illustrate, by way of example, specific embodiments in which the invention may be practiced. These examples are described in detail enough to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, the specific shapes, structures, and properties described herein can be implemented in other embodiments without departing from the spirit and scope of the invention in connection with one embodiment. In addition, it should be understood that the location or placement of individual components within each disclosed embodiment can be changed without departing from the spirit and scope of the invention. Therefore, the following detailed description is not intended to be taken in a limiting sense, and the scope of the present invention, if appropriately described, is limited only by the appended claims, along with all ranges equivalent to those claimed. In the drawings, similar reference numerals refer to the same or similar functions throughout several aspects.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.

본 발명은 딥러닝 기술과 이미지 인덱싱 기술을 융합하여 거대구조물의 오차를 객관적으로 정량화할 수 있는 무인비행장치를 이용한 거대구조물 안전진단 방법 및 이를 수행하기 위한 장치이다.The present invention is a method for safely diagnosing a large structure using an unmanned flying device capable of objectively quantifying errors in a large structure by integrating deep learning technology and image indexing technology, and an apparatus for performing the same.

도 1은 본 발명의 일 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 시스템을 도시한 도면이다.1 is a view illustrating a safety diagnosis system for a large structure using an unmanned flying device according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 시스템(10)은 무인비행장치(300) 및 거대구조물 안전진단 장치(100)를 포함한다.Referring to FIG. 1, the large structure safety diagnosis system 10 using the unmanned flying device according to the present embodiment includes an unmanned flying device 300 and a large structure safety diagnosis device 100.

본 발명에 따른 교량 또는 건축물이 존재하는 도시를 촬영하는 무인비행장치(300)는 IP카메라 등의 네트워크에 접속하여 다른 장치들과 통신이 가능한 장치일 수 있다.The unmanned aerial vehicle 300 photographing a city in which a bridge or a building according to the present invention is present may be a device capable of communicating with other devices by connecting to a network such as an IP camera.

무인비행장치(300)는 거대구조물 안전진단 장치(100)에 의해 조종되어 특정한 위치를 촬영할 수도 있고, 저장되어 있는 좌표를 이용하여 지정된 위치에서만 촬영할 수도 있고, 교량 또는 건축물 등의 거대구조물을 판별하여 거대구조물이 존재하는 위치에서 촬영할 수도 있다.The unmanned aerial vehicle 300 may be photographed at a specific location by being controlled by the large structure safety diagnosis apparatus 100, or may be photographed only at a designated location using stored coordinates, and determines a large structure such as a bridge or a building You can also shoot from the location of the giant structure.

무인비행장치(300)에는 위치추적기(GPS) 등의 무인비행장치(300)가 비행중인 위치를 추적할 수 있는 장치가 설치되어 있을 수 있고, 거대구조물 안전진단 장치(100)는 위치 정보를 이용하여 촬영하는 이미지에 존재하는 교량 또는 건축물 등의 거대구조물에 대한 정보를 수집할 수 있다.The unmanned aerial vehicle 300 may be equipped with a device capable of tracking the location where the unmanned aerial vehicle 300, such as a location tracker (GPS), is in flight, and the large structure safety diagnosis device 100 uses location information In this way, information on large structures such as bridges or buildings existing in the photographed image may be collected.

본 발명에 따른 무인비행장치를 이용한 거대구조물 안전진단 장치(100)는 무인비행장치(300)가 촬영한 이미지를 제공받을 수 있고, 제공된 이미지를 이용하여 도시의 거대구조물에 대한 안전도를 정량화하여 평가할 수 있다.The safety diagnosis device 100 for a large structure using an unmanned flying device according to the present invention can be provided with an image taken by the unmanned flying device 300, and can be evaluated by quantifying the safety level for a large structure in a city using the provided image Can be.

본 발명에 따른 무인비행장치를 이용한 거대구조물 안전진단 장치(100)는 거대구조물의 주요 표적을 도출하여 지진 등의 재난에 대한 피해 거대구조물 안전 평가 표준 지표인 데이터베이스를 구축할 수 있고, 이를 재난에 대한 피해 딥러닝 학습모형에 적용할 수 있다.The safety diagnosis device 100 for a large structure using an unmanned flying device according to the present invention can derive a main target of a large structure and build a database, which is a standard index for safety evaluation of a damaged large structure against disasters, such as earthquakes. It can be applied to the deep learning learning model of damage.

본 발명에 따른 무인비행장치를 이용한 거대구조물 안전진단 장치(100)는 사용자가 소지하는 장치로써 이동성을 갖거나 고정될 수 있고, 스마트폰, 모바일 장치, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.The large structure safety diagnosis device 100 using an unmanned flying device according to the present invention is a device possessed by a user and may have mobility or be fixed, and a smart phone, a mobile device, a device, an apparatus, and a terminal (terminal), UE (user equipment), MS (mobile station), a wireless device (wireless device), may be called in other terms, such as handheld device (handheld device).

또한, 무인비행장치를 이용한 거대구조물 안전진단 장치(100)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다.In addition, the large structure safety diagnosis apparatus 100 using an unmanned flying device may execute or manufacture various softwares based on an operating system (OS), that is, a system.

여기서, 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제를 모두 포함할 수 있다.Here, the operating system is a system program for enabling the software to use the hardware of the device, and may include all mobile computer operating systems such as Android OS, iOS, Windows Mobile OS, Sea OS, Symbian OS, and BlackBerry OS.

또한, 무인비행장치를 이용한 거대구조물 안전진단 장치(100)는 모바일 컴퓨터 운영체제뿐만 아니라, 장치 또는 서버의 형태를 가지며 모바일 장치 등의 정보를 수집할 수 있는 장치로부터 정보를 수집할 수 있고, 수집된 정보를 이용하여 거대구조물의 안전을 진단할 수 있는 장치를 모두 포함할 수 있다.In addition, the large structure safety diagnosis device 100 using an unmanned flying device is not only a mobile computer operating system, but also a device or a server, and can collect information from a device that can collect information such as a mobile device. It is possible to include all devices capable of diagnosing the safety of large structures using information.

거대구조물 안전진단 장치(100)가 컴퓨터 장치인 경우, 각각의 구성요소는 물리적인 모듈로 구현될 수 있다. 반면, 거대구조물 안전진단 장치(100)가 달빅 가상 머신의 형태로 구현되는 경우, 각각의 구성요소는 후술하는 기능들을 수행할 수 있도록 소프트웨어적으로 구현될 수 있다.When the large structure safety diagnosis device 100 is a computer device, each component may be implemented as a physical module. On the other hand, when the large structure safety diagnosis device 100 is implemented in the form of a Dalvik virtual machine, each component may be implemented in software to perform functions described below.

이하, 각각의 구성요소에 대하여 상세히 설명하기로 한다.Hereinafter, each component will be described in detail.

도 2는 본 발명의 일 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 장치를 도시한 블록도이다.2 is a block diagram illustrating a safety diagnosis device for a large structure using an unmanned flying device according to an embodiment of the present invention.

도 2를 참조하여, 도 1의 거대구조물 안전진단 장치(100)를 구체적으로 설명하기로 한다.Referring to FIG. 2, the large structure safety diagnosis device 100 of FIG. 1 will be described in detail.

본 발명의 일 실시예에 따른 거대구조물 안전진단 장치(100)는 촬영부(110), 이미지 분석부(130), 인덱싱부(150), 시뮬레이션부(170) 및 시나리오부(190)를 포함할 수 있다.The safety diagnosis device 100 for a large structure according to an embodiment of the present invention includes a photographing unit 110, an image analysis unit 130, an indexing unit 150, a simulation unit 170, and a scenario unit 190. Can be.

촬영부(110)는 교량 또는 건축물이 존재하는 도시를 촬영하는 무인비행장치(300)의 촬영 위치를 지정할 수 있고, 무인비행장치(300)로부터 수신되는 촬영한 이미지를 파일로 저장하여 이미지 분석부(130)로 제공할 수 있다.The photographing unit 110 may designate a photographing location of the unmanned aerial vehicle 300 that photographs a city where a bridge or a building is present, and stores the captured image received from the unmanned aerial vehicle 300 as a file to analyze the image (130).

이미지 분석부(130)는 촬영부(110)로부터 제공받은 이미지가 2차원 이미지인 경우, 교량 또는 건축물 등의 거대구조물을 2차원 x-y 좌표에 대입하여 해당 거대구조물의 구조 정보를 추출할 수 있다.When the image provided from the photographing unit 110 is a two-dimensional image, the image analysis unit 130 may extract the structure information of the corresponding large structure by substituting a large structure such as a bridge or a building into two-dimensional x-y coordinates.

한편, 이미지 분석부(130)는 촬영부(110)로부터 제공받은 이미지가 3차원 이미지인 경우, 교량 또는 건축물 등의 거대구조물을 2차원 이미지로 변형한 뒤 x-y 좌표에 대입하여 해당 거대구조물의 구조 정보를 추출할 수 있다.Meanwhile, when the image provided from the photographing unit 110 is a 3D image, the image analysis unit 130 transforms a large structure such as a bridge or a building into a 2D image and substitutes it in xy coordinates to substitute the structure of the corresponding large structure. Information can be extracted.

이로부터, 이미지 분석부(130)는 x-y 좌표에 대입된 이미지를 로케이션 인텔리전스(location intelligence) 기술(Location Intelligence Application in Digital Data Activity Dimensioning in Smart Cities, NDSL, Jensen, M., Gutierrez, J., Pedersen, J., 2014) 등의 이미지에 존재하는 지리정보에 따라 거대구조물을 분석하는 기술을 이용하여 거대구조물의 정보를 추출하거나 수집할 수 있다.From this, the image analysis unit 130 uses the location intelligence technology (Location Intelligence Application in Digital Data Activity Dimensioning in Smart Cities, NDSL, Jensen, M., Gutierrez, J., Pedersen) for the image assigned to the xy coordinates. , J., 2014) can extract or collect information on macrostructures using the technology to analyze macrostructures according to geographic information present in the image.

즉, 이미지 분석부(130)는 무인비행장치(300)로부터 위치정보를 수신할 수 있고, 지리정보시스템을 활용하여 수신된 위치정보를 확인할 수 있고, 확인된 위치정보를 이용하여 촬영한 이미지에 존재하는 거대구조물의 정확한 위치를 파악할 수 있다.That is, the image analysis unit 130 can receive the location information from the unmanned aerial vehicle 300, can check the received location information by utilizing the geographic information system, and use the confirmed location information to the captured image It is possible to determine the exact location of existing macrostructures.

이로부터, 이미지 분석부(130)는 촬영된 이미지로부터 거대구조물인 교량 또는 건축물에 대한 구조 및 상태를 추출할 수 있고, 추출한 거대구조물에 해당하는 정보를 수집할 수 있다.From this, the image analysis unit 130 may extract the structure and state of the bridge or building, which is a large structure, from the photographed image, and collect information corresponding to the extracted large structure.

또한, 이미지 분석부(130)는 이미지로부터 추출된 거대구조물에 대한 정보를 제외한 이미지로부터 추출할 수 없는 정보를 수집할 수 있고, 중복되어 수집된 정보의 경우 삭제하여 정보를 가공할 수 있다.In addition, the image analysis unit 130 may collect information that cannot be extracted from the image except for information on the macrostructure extracted from the image, and may process information by deleting the collected information in duplicate.

여기서, 이미지로부터 추출한 구조물에 대한 정보란 이미지로부터 추출될 수 있는 정보인 하중, 외벽의 상태, 기울임 등을 의미할 수 있고, 수집한 정보란 해당 거대구조물의 연식, 설계자, 건축사, 철근의 구조 또는 상태 등의 정보를 의미할 수 있다.Here, the information on the structure extracted from the image may mean load, outer wall condition, tilt, etc., which can be extracted from the image, and the collected information is the age of the large structure, the designer, the architect, the structure of the rebar, or It can mean information such as status.

인덱싱부(150)는 이미지 분석부(130)로부터 추출한 정보와 수집한 정보를 제공받아 분석할 수 있고, 분석한 결과를 이용하여 교량 또는 건축물 등의 거대구조물에 대한 새로운 정보를 생성할 수 있다.The indexing unit 150 may receive and analyze information extracted from the image analysis unit 130 and collected information, and may generate new information about a large structure such as a bridge or a building using the analyzed result.

여기서, 새로운 정보를 생성하는 것은 2D 또는 3D의 선형적인 관계들의 집합으로 직접 저장될 수 없는 많은 정보를 포함한 이미지 데이터를 이미지 프로세싱 기술과 정보 분류를 통해 생성할 수 있다.Here, generating new information may generate image data including a lot of information that cannot be directly stored as a set of 2D or 3D linear relationships through image processing technology and information classification.

인덱싱부(150)는 새롭게 생성된 정보, 추출한 정보 및 수집한 정보를 이용하여 정보 집합을 생성할 수 있고, 생성한 정보 집합을 해당되는 교량 또는 건축물 등의 거대구조물에 인덱싱할 수 있다.The indexing unit 150 may generate a set of information using newly generated information, extracted information, and collected information, and may index the generated information set to a large structure such as a bridge or a building.

여기서, 정보 집합을 해당되는 거대구조물에 인덱싱하는 것은 이미지에 해당하는 정보 또는 문서를 색인하는 이미지 인덱싱 등의 기술을 이용하여 해당 이미지에 정보 집합을 인덱싱할 수 있다.Here, indexing the information set to the corresponding macrostructure may index the information set to the corresponding image by using techniques such as image indexing to index information or documents corresponding to the image.

시뮬레이션부(170)는 이미지에 인덱싱된 정보를 중심으로 교량 또는 건축물 등 거대구조물의 이상거동과 잔류변형을 평가할 수 있고, 평가 결과를 이용하여 데이터베이스를 구축할 수 있다.The simulation unit 170 may evaluate the abnormal behavior and residual deformation of a large structure such as a bridge or a building based on the information indexed in the image, and build a database using the evaluation results.

여기서, 거대구조물의 이상거동과 잔류변형을 평가하는 것은 주요 표적의 변화를 감지할 수 있는 오차율 연산 알고리즘 등의 이미지에 존재하는 거대구조물의 변화를 감지할 수 있는 알고리즘을 이용하여 이상거동과 잔류변형을 도출하여 평가할 수 있다.Here, evaluating the abnormal behavior and residual deformation of the macrostructure is performed using an algorithm that can detect changes in the macrostructure existing in the image, such as an error rate calculation algorithm capable of detecting changes in the main target. Can be derived and evaluated.

또한, 시뮬레이션부(170)는 각 거대구조물의 평가 결과에 의해 구축된 데이터베이스를 이용하여 각 교량 또는 건축물 등 거대구조물들에 대해 지진 등의 재난에 대한 피해 시뮬레이션을 실시할 수 있다.In addition, the simulation unit 170 may perform damage simulation for disasters such as earthquakes on large structures such as bridges or structures by using a database constructed by evaluation results of each large structure.

시뮬레이션부(170)는 시나리오부(190)로부터 내부 이미지를 제공받는 경우, 제공받은 내부 이미지 및 인덱싱된 정보를 이용하여 해당 거대구조물의 이상거동과 잔류변형을 재평가할 수 있다.When an internal image is provided from the scenario unit 190, the simulation unit 170 may re-evaluate the abnormal behavior and residual deformation of the corresponding macrostructure using the received internal image and indexed information.

여기서, 시뮬레이션부(170)는 이미지에 존재하는 교량 또는 건축물 등의 거대구조물에 대한 평가 결과로 해당 거대구조물의 이상거동과 잔류변형이 발견되지 않아도 지진 등의 재난에 대한 피해 시뮬레이션을 실시할 수 있다.Here, the simulation unit 170 can perform damage simulation for disasters such as earthquakes even if abnormal behavior and residual deformation of the large structure are not found as a result of evaluating a large structure such as a bridge or a structure existing in the image. .

시나리오부(190)는 시뮬레이션부(170)의 시뮬레이션 결과를 기초로 하여 각 교량 또는 건축물 등의 거대구조물에 대한 안전도를 정량화하여 평가할 수 있고, 지진 등의 재난 발생 시 해당 거대구조물에 대한 대응 시나리오 및 임무절차를 도출할 수 있다.The scenario unit 190 can quantify and evaluate the safety level of a large structure, such as a bridge or a building, based on the simulation result of the simulation unit 170, and when a disaster such as an earthquake occurs, a response scenario for the large structure and Mission procedures can be derived.

여기서, 거대구조물에 대한 대응 시나리오는 재난 발생 시 거대구조물의 붕괴 위험에 따른 시민들의 이동 경로 등을 의미할 수 있고, 임무절차는 응급대원들의 재난 발생 시 대처해야 할 행동 강령 등을 의미할 수 있다.Here, a response scenario for a large structure may mean a route of movement of citizens according to the risk of collapse of the large structure in the event of a disaster, and a mission procedure may mean a code of conduct to be dealt with in the event of a disaster of emergency personnel. .

시나리오부(190)는, 지진 등의 재난에 대한 대피로 획득 등의 인명피해를 감소시키기 위한 대응 시나리오 및 임무절차뿐만 아니라 재난에 의한 붕괴 등의 2차 사고를 예측하여 2차 사고에 대비한 임무를 도출할 수 있다.The scenario unit 190 predicts secondary accidents, such as collapse due to disasters, as well as response scenarios and mission procedures to reduce human damage, such as acquisition of evacuation from disasters such as earthquakes, and prepares for secondary accidents. Can be derived.

또한, 시나리오부(190)는 이상거동과 잔류변형이 발생하여 안전도에 대한 평가 결과가 일정 기준 이상인 교량 또는 건축물이 재난 발생에 대비한 대피시설인 경우, 해당 대피시설의 관리자에게 경고신호를 송출하여 상기 교량 또는 건축물의 내부 이미지를 요청할 수 있다.In addition, the scenario unit 190 transmits a warning signal to the manager of the evacuation facility when an abnormal behavior and residual deformation occur and the bridge or building where the evaluation result for safety is higher than a certain standard is prepared for a disaster. You can request the internal image of the bridge or building.

여기서, 내부 이미지는 해당 대피시설의 관리자의 스마트폰, 디지털 카메라 등의 촬영할 수 있는 장치로 촬영한 영상을 의미할 수 있고, 해당 대피시설의 관리자는 균열 부분만 촬영하여 전송할 수도 있다.Here, the internal image may mean an image taken with a device capable of photographing a smartphone, a digital camera, etc. of the manager of the evacuation facility, and the manager of the evacuation facility may photograph and transmit only the crack.

시나리오부(190)는 제공받은 내부 이미지를 시뮬레이션부(170)로 제공하여 해당 거대구조물의 이상거동과 잔류변형에 대해 재평가를 요청할 수 있고, 재평가된 이상거동과 잔류변형을 이용하여 대응 시나리오를 재도출할 수 있다.The scenario unit 190 may provide the received internal image to the simulation unit 170 to request re-evaluation of the abnormal behavior and residual deformation of the corresponding large structure, and replay the corresponding scenario using the re-evaluated abnormal behavior and residual deformation. Can be derived.

한편, 시나리오부(190)는 도출된 대응 시나리오 및 임무절차를 해당 공공기관 홈페이지 또는 재난 관련 홈페이지 등의 일반 시민들도 확인하여 대처할 수 있도록 게시할 수 있다.Meanwhile, the scenario unit 190 may post the derived response scenarios and mission procedures so that ordinary citizens, such as the homepage of the corresponding public institution or the disaster-related homepage, can also check and respond.

도 3은 도 2의 인덱싱부를 자세히 도시한 블록도이다.FIG. 3 is a block diagram showing the indexing unit of FIG. 2 in detail.

도 3을 참조하면, 인덱싱부(150)는 제1 정보분석부(151), 제2 정보분석부(153), 집합생성부(155) 및 색인부(157)를 포함하는 것을 확인할 수 있다.Referring to FIG. 3, it can be seen that the indexing unit 150 includes a first information analysis unit 151, a second information analysis unit 153, an aggregate generation unit 155, and an index unit 157.

제1 정보분석부(151)는 이미지 분석부(130)에서 이미지로부터 추출한 거대구조물의 구조에 대한 정보를 분석할 수 있고, 해당 교량 또는 건축물 등의 거대구조물에 인덱싱하기 위해 분석한 결과를 저장할 수 있다.The first information analysis unit 151 may analyze information on the structure of the large structure extracted from the image from the image analysis unit 130, and may store the analyzed results for indexing the structure in a large structure such as a bridge or a building. have.

즉, 제1 정보분석부(151)는 이미지로부터 추출한 정보인 하중, 외벽의 상태 등 이미지로부터 추출되는 정보를 분석하여 해당 거대구조물의 안전진단을 위한 정보를 도출할 수 있다.That is, the first information analysis unit 151 may analyze information extracted from the image, such as the load, the state of the outer wall, which is information extracted from the image, and derive information for safety diagnosis of the corresponding large structure.

제2 정보분석부(153)는 이미지 분석부(130)에서 수집한 정보를 분석할 수 있고, 해당 교량 또는 건축물 등의 거대구조물에 인덱싱하기 위해 분석한 결과를 저장할 수 있다.The second information analysis unit 153 may analyze the information collected by the image analysis unit 130, and may store the analyzed results for indexing to a large structure such as a bridge or a building.

즉, 제2 정보분석부(153)는 추출된 정보에 해당하는 교량 또는 건축물 등의 거대구조물에 대해 수집한 정보인 해당 거대구조물의 연식, 철근의 구조 또는 상태 등의 정보를 분석하여 해당 거대구조물의 안전진단을 위한 정보를 도출할 수 있다.That is, the second information analysis unit 153 analyzes information such as the age of the structure, the structure or state of the rebar, which is information collected about the structure, such as a bridge or a structure, which corresponds to the extracted information, and analyzes the structure. Information for safety diagnosis of can be derived.

집합생성부(155)는 제1 정보분석부(151) 및 제2 정보분석부(153)에서 분석한 정보가 제공될 수 있고, 제공된 정보를 이용하여 교량 또는 건축물 등의 거대구조물에 대한 새로운 정보를 생성할 수 있다.The aggregate generation unit 155 may provide information analyzed by the first information analysis unit 151 and the second information analysis unit 153, and uses the provided information to generate new information about a large structure such as a bridge or a building. Can generate

집합생성부(155)는 생성한 새로운 정보, 제1 정보분석부(151) 및 제2 정보분석부(153)에서 분석한 정보를 교량 또는 건축물 등의 거대구조물 별로 분류하여 정보 집합을 생성할 수 있다.The set generation unit 155 may generate a set of information by classifying the generated new information, information analyzed by the first information analysis unit 151, and the second information analysis unit 153 for each large structure such as a bridge or a building. have.

색인부(157)는 집합생성부(155)에서 생성한 정보 집합을 제공받을 수 있고, 제공된 정보 집합을 촬영부(110)에서 촬영한 이미지에 해당하는 교량 또는 건축물 등의 거대구조물에 인덱싱할 수 있다.The indexing unit 157 may be provided with a set of information generated by the aggregation generating unit 155, and may index the provided information set into a large structure such as a bridge or building corresponding to the image taken by the imaging unit 110. have.

이하에서는, 도 4 내지 도 6을 참조하여 거대구조물 안전진단 방법을 구체적으로 설명하도록 한다.Hereinafter, a method for safely diagnosing a large structure will be described in detail with reference to FIGS. 4 to 6.

도 4는 본 발명의 일 실시예에 따른 무인비행장치를 이용한 거대구조물 안전진단 방법을 개략적으로 도시한 흐름도이다.4 is a flowchart schematically illustrating a method for safely diagnosing a large structure using an unmanned flying device according to an embodiment of the present invention.

IP카메라 등의 네트워크에 접속하여 다른 장치들과 통신이 가능한 무인비행장치(300)를 이용하여 교량 또는 건축물 등의 거대구조물이 존재하는 도시를 촬영할 수 있다(S1100).By connecting to a network such as an IP camera and using an unmanned flying device 300 capable of communicating with other devices, a city in which a large structure such as a bridge or a building is present may be photographed (S1100).

여기서, 무인비행장치(300)가 촬영한 영상은 2차원 영상 또는 3차원 이미지일 수 있다. 촬영한 거대구조물에 대한 영상이 2차원 이미지인 경우 2차원 x-y 좌표에 대입할 수 있고, 3차원 이미지인 경우, 2차원으로 변형하여 2차원 x-y 좌표에 대입할 수 있다.Here, the image photographed by the unmanned aerial vehicle 300 may be a 2D image or a 3D image. If the image of the photographed macrostructure is a 2D image, it can be substituted into 2D x-y coordinates, and if it is a 3D image, it can be transformed into 2D and substituted into 2D x-y coordinates.

무인비행장치(300)로부터 위치정보를 수신할 수 있고, 지리정보시스템을 활용하여 수신된 위치정보를 확인할 수 있고, 확인된 위치정보를 이용하여 촬영한 이미지에 존재하는 거대구조물의 정확한 위치를 파악할 수 있다.The location information can be received from the unmanned aerial vehicle 300, the received location information can be checked using a geographic information system, and the identified location information can be used to grasp the exact location of the large structures present in the captured image. Can be.

정확한 위치를 확인하여 지리정보에 따라 거대구조물을 분석하는 기술인 로케이션 인텔리전스(location intelligence) 등의 기술을 이용하여 x-y 좌표에 대입된 교량 또는 건축물 등 거대구조물의 구조에 대한 정보를 추출할 수 있다(S1300).Information on structures of large structures such as bridges or buildings substituted for xy coordinates can be extracted using technologies such as location intelligence, a technology that analyzes large structures according to geographic information by checking the exact location (S1300) ).

여기서, 이미지로부터 추출한 구조물에 대한 정보란 하중, 외벽의 상태, 기울임 등 거대구조물의 외적 형상만 확인할 수 있는 이미지로부터 추출될 수 있는 정보를 의미할 수 있다.Here, the information on the structure extracted from the image may mean information that can be extracted from an image that can confirm only the external shape of a large structure, such as a load, a state of an outer wall, and tilting.

한편, 촬영한 이미지로부터 정보가 추출된 거대구조물에 해당하는 정보를 미디어 장치 등의 건축물의 정보를 수집할 수 있는 서버 또는 장치를 이용하여 수집할 수 있다(S1500).Meanwhile, information corresponding to a large structure from which information is extracted from the photographed image may be collected using a server or a device capable of collecting building information such as a media device (S1500).

이미지로부터 정보를 추출하는 방법과 마찬가지로, 거대구조물의 정보를 수집하는 것은 지리정보에 따라 거대구조물을 분석하는 기술인 로케이션 인텔리전스(location intelligence) 등의 기술을 이용할 수 있다.Similar to a method of extracting information from an image, collecting information of a large structure may use technology such as location intelligence, which is a technology for analyzing a large structure according to geographic information.

여기서, 수집한 거대구조물에 대한 정보는 정보인 해당 거대구조물의 연식, 철근의 구조 또는 상태 등의 정보를 의미할 수 있고, 중복되어 수집된 정보의 경우 삭제하여 정보를 가공할 수 있다.Here, the information on the collected macrostructures may refer to information such as the age of the corresponding macrostructures, the structure or state of the reinforcing bars, and the information collected and processed in duplicate may be deleted to process the information.

추출한 정보 및 수집한 정보를 분석하여 해당 거대구조물에 대한 새로운 정보를 생성할 수 있고, 생성된 정보, 추출한 정보 및 수집한 정보를 이용하여 생성된 정보 집합을 해당되는 교량 및 건축물에 인덱싱할 수 있다(S1700).By analyzing the extracted information and the collected information, new information on the corresponding large structure can be generated, and the generated information, the extracted information, and the set of information generated using the collected information can be indexed to the corresponding bridges and structures. (S1700).

여기서, 정보 집합을 해당되는 거대구조물에 인덱싱하는 것은 이미지에 해당하는 정보 또는 문서를 색인하는 이미지 인덱싱 등의 기술을 이용하여 해당 이미지에 정보 집합을 인덱싱할 수 있다.Here, indexing the information set to the corresponding macrostructure may index the information set to the corresponding image by using techniques such as image indexing to index information or documents corresponding to the image.

이미지에 인덱싱된 정보를 중심으로 교량 또는 건축물 등의 거대구조물에 대한 지진 등의 재난에 대한 피해 시뮬레이션을 실시할 수 있고, 시뮬레이션 결과를 기초로 하여 각 교량 또는 건축물 등의 거대구조물에 대한 대응 시나리오 및 임무절차를 도출할 수 있다(S1900).Based on the information indexed in the image, simulation of damage to disasters such as earthquakes on large structures such as bridges or buildings can be performed, and based on the simulation results, scenarios for responding to large structures such as bridges or structures and Mission procedures can be derived (S1900).

여기서 시뮬레이션을 실시하는 것은, 이미지에 존재하는 교량 또는 건축물 등의 거대구조물에 대한 이상거동과 잔류변형이 발견되지 않아도 지진 등의 재난에 대한 피해 시뮬레이션을 실시할 수 있다.Here, the simulation can be performed to simulate a damage to a disaster such as an earthquake even if no abnormal behavior and residual deformation of a large structure such as a bridge or a structure existing in the image are found.

도 5는 도 4의 정보를 인덱싱하는 과정을 구체적으로 도시한 흐름도이다.5 is a flowchart specifically illustrating a process of indexing the information of FIG. 4.

도 5를 참조하여, 본 발명에 따른 무인비행장치를 이용한 거대구조물 안전진단 방법의 인덱싱하는 과정을 구체적으로 설명하기로 한다.Referring to FIG. 5, a process of indexing a method for safe diagnosis of a large structure using an unmanned flying device according to the present invention will be described in detail.

네트워크에 접속하여 다른 장치들과 통신이 가능한 무인비행장치(300)를 이용하여 촬영한 이미지로부터 추출한 거대구조물의 구조에 대한 정보를 분석할 수 있다(S1510).It is possible to analyze information on the structure of a macro structure extracted from an image taken by using an unmanned flying device 300 that can connect to a network and communicate with other devices (S1510).

이미지로부터 추출한 정보인 하중, 외벽의 상태 등 이미지로부터 추출되는 정보를 분석하여 해당 거대구조물의 안전진단을 위한 정보를 도출할 수 있고, 도출된 결과는 해당 교량 또는 건축물 등의 거대구조물에 인덱싱하기 위해 저장할 수 있다.By analyzing the information extracted from the image, such as the load, the condition of the outer wall, etc., the information extracted from the image, information for the safety diagnosis of the corresponding large structure can be derived, and the derived results are indexed to the large structure such as the bridge or building. Can be saved.

한편, 거대구조물의 구조에 대한 정보가 추출된 교량 또는 건축물에 대해 수집한 정보인 철근의 구조 또는 상태, 거대구조물의 연식 등의 정보를 분석할 수 있다(S1550).On the other hand, it is possible to analyze information such as the structure or state of the reinforcing bars, the age of the large structures, etc., which are information collected about the bridges or structures from which information on the structures of the large structures is extracted (S1550).

수집한 철근의 구조 또는 상태, 거대구조물의 연식 등의 정보를 분석하여 안전진단을 위한 정보를 도출할 수 있고, 도출된 결과는 해당 교량 또는 건축물 등의 거대구조물에 인덱싱하기 위해 저장할 수 있다.Information for safety diagnosis can be derived by analyzing information such as the structure or status of collected rebars, and the age of large structures, and the derived results can be stored for indexing into large structures such as bridges or structures.

분석하여 도출된 정보를 이용하여 교량 또는 건축물 등의 거대구조물 별로 분류하여 정보 집합을 생성할 수 있고, 생성한 정보 집합을 이미지에 해당하는 교량 또는 건축물 등의 거대구조물에 인덱싱할 수 있다(S1570).Using the information derived through analysis, information sets can be generated by categorizing them into structures such as bridges or buildings, and the generated information sets can be indexed into large structures such as bridges or structures corresponding to images (S1570). .

도 6은 도 4의 대응 시나리오 및 임무절차를 도출하는 과정을 구체적으로 도시한 흐름도이다.6 is a flowchart specifically illustrating a process of deriving the corresponding scenario and mission procedure of FIG. 4.

도 6을 참조하여, 본 발명에 따른 무인비행장치를 이용한 거대구조물 안전진단 방법의 대응 시나리오 및 임무절차를 도출하는 과정을 구체적으로 설명하기로 한다.Referring to FIG. 6, a process of deriving a corresponding scenario and a mission procedure of a safety diagnosis method for a large structure using an unmanned flying device according to the present invention will be described in detail.

네트워크에 접속하여 다른 장치들과 통신이 가능한 무인비행장치(300)를 이용하여 촬영한 이미지에 인덱싱된 정보를 중심으로 교량 또는 건축물 등 거대구조물의 이상거동과 잔류변형을 평가할 수 있다(S1710).It is possible to evaluate the abnormal behavior and residual deformation of a large structure such as a bridge or a building based on information indexed on an image captured by using an unmanned flying device 300 that can connect to a network and communicate with other devices (S1710).

여기서, 거대구조물의 이상거동과 잔류변형을 평가하는 것은 주요 표적의 변화를 감지할 수 있는 오차율 연산 알고리즘 등의 이미지에 존재하는 거대구조물의 변화를 감지할 수 있는 알고리즘을 이용하여 이상거동과 잔류변형을 도출하여 평가할 수 있다.Here, evaluating the abnormal behavior and residual deformation of the macrostructure is performed using an algorithm that can detect changes in the macrostructure existing in the image, such as an error rate calculation algorithm capable of detecting changes in the main target. Can be derived and evaluated.

해당 거대구조물의 이상거동과 잔류변형의 평가 결과를 기초로 하여 데이터베이스를 구축할 수 있고(S1730), 구축한 데이터베이스를 이용하여 이미지에 존재하는 각 교량 또는 건축물 등 거대구조물의 재난에 대한 피해 시뮬레이션을 실시할 수 있다(S1750).Based on the evaluation results of the abnormal behavior and residual deformation of the large structure, a database can be built (S1730), and the constructed database can be used to simulate the damage to disasters of large structures such as bridges or buildings in the image. It can be carried out (S1750).

여기서, 이미지에 존재하는 교량 또는 건축물 등의 거대구조물에 대한 평가 결과 해당 거대구조물의 이상거동과 잔류변형이 발견되지 않아도 지진 등의 재난에 대한 피해 시뮬레이션을 실시할 수 있다.Here, as a result of evaluating a large structure such as a bridge or a structure existing in the image, even if abnormal behavior and residual deformation of the large structure are not found, damage simulation for a disaster such as an earthquake can be performed.

시뮬레이션 결과를 기초로 하여 해당 교량 또는 건축물 등의 거대구조물에 대한 안전도를 정량화할 수 있고(S1770), 정량화된 안전도를 기 설정된 기준에 따라 평가할 수 있다(S1790).Based on the simulation results, the safety level for a large structure such as a bridge or a building can be quantified (S1770), and the quantified safety level can be evaluated according to a predetermined standard (S1790).

평가된 결과에 따라 지진 등의 재난 발생 시 해당 거대구조물에 대한 대피로 획득 등의 인명피해를 감소시키기 위한 대응 시나리오 및 임무절차를 도출할 수 있다.According to the evaluated results, it is possible to derive a response scenario and a mission procedure to reduce human damage, such as obtaining an evacuation route to a corresponding large structure in the event of a disaster such as an earthquake.

여기서, 거대구조물에 대한 대응 시나리오는 재난 발생 시 거대구조물의 붕괴 위험에 따른 시민들의 이동 경로 등을 의미할 수 있고, 임무절차는 응급대원들의 재난 발생 시 대처해야 할 행동 강령 등을 의미할 수 있다.Here, a response scenario for a large structure may mean a route of movement of citizens according to the risk of collapse of the large structure in the event of a disaster, and a mission procedure may mean a code of action to be dealt with in the event of a disaster of the emergency personnel. .

또한, 지진 등의 재난에 대한 대피로 획득 등의 1차 사고에 대비하여 인명피해를 감소시키기 위한 대응 시나리오 및 임무절차뿐만 아니라 붕괴 등의 2차 사고를 예측할 수 있고, 이로부터 2차 사고에 대비한 임무를 도출할 수 있다.In addition, it is possible to predict secondary accidents such as collapse as well as response scenarios and mission procedures to reduce human damage in preparation for primary accidents such as obtaining an evacuation route for disasters such as earthquakes, and prepare for secondary accidents. One mission can be derived.

한편, 도출된 대응 시나리오 및 임무절차를 해당 공공기관 홈페이지 또는 재난 관련 홈페이지 등의 일반 시민들도 확인하여 대처할 수 있도록 게시할 수 있다.On the other hand, the derived response scenarios and mission procedures can be posted so that even ordinary citizens, such as the homepage of the relevant public institution or disaster-related homepage, can check and respond.

도 7은 안전도 평가 결과 일정 기준 이상인 거대구조물이 대피시설인 경우 대응 방안에 대한 과정을 구체적으로 도시한 흐름도이다.7 is a flowchart specifically illustrating a process for a countermeasure in the case where a large structure having a predetermined level or more as a result of safety evaluation is an evacuation facility.

이상거동과 잔류변형이 발생하여 안전도에 대한 평가 결과가 일정 기준 이상인 교량 또는 건축물이 재난 발생에 대비한 대피시설인 경우(S1910), 해당 대피시설의 관리자에게 경고신호를 송출하여 교량 또는 건축물의 내부 이미지를 요청할 수 있다(S1930).If a bridge or structure where the evaluation result for safety is higher than a certain level due to abnormal behavior and residual deformation is an evacuation facility in preparation for a disaster (S1910), a warning signal is sent to the manager of the evacuation facility, and the interior of the bridge or building An image may be requested (S1930).

여기서, 내부 이미지는 해당 대피시설의 관리자의 스마트폰, 디지털 카메라 등의 촬영할 수 있는 장치로 촬영한 영상을 의미할 수 있고, 해당 대피시설의 관리자는 균열 부분만 촬영하여 전송할 수도 있다.Here, the internal image may mean an image taken with a device capable of photographing a smartphone, a digital camera, etc. of the manager of the evacuation facility, and the manager of the evacuation facility may photograph and transmit only the crack.

제공받은 내부 이미지 및 인덱싱된 정보를 이용하여 해당 거대구조물의 이상거동과 잔류변형을 재평가할 수 있고(S1950), 재평가된 이상거동과 잔류변형을 이용하여 대응 시나리오를 재도출할 수 있다(S1970).Using the provided internal image and indexed information, it is possible to re-evaluate the anomalous behavior and residual deformation of the corresponding macrostructure (S1950), and re-derive the corresponding scenario using the re-evaluated anomaly behavior and residual deformation (S1970). .

도 8은 본 발명이 제안하는 무인비행장치가 촬영한 이미지가 수직 평면뷰가 아닌 경우 좌표를 확인하는 방법을 개략적으로 도시한 도면이다.8 is a view schematically showing a method of checking coordinates when an image photographed by an unmanned aerial vehicle proposed by the present invention is not a vertical plan view.

본 발명이 제안하는 무인비행장치가 촬영한 이미지가 기울어져 있어 무인비행장치가 촬영한 이미지에 해당하는 정확한 위치정보를 확인할 수 없는 경우, 무인비행장치의 위치정보를 수신할 수 있고, 이를 이용하여 좌표를 포함한 3D 모델로 생성하여 저장할 수 있다.When the image photographed by the unmanned flight apparatus proposed by the present invention is tilted, and thus it is not possible to check the accurate location information corresponding to the image taken by the unmanned flight apparatus, the location information of the unmanned flight apparatus may be received and used It can be created and saved as a 3D model including coordinates.

수신된 무인비행장치의 위치정보, 이미지를 촬영한 각도 및 생성한 좌표를 포함한 3D 모델을 연산하여 무인비행장치가 촬영한 이미지의 좌표를 확인할 수 있다.By calculating the 3D model including the received location information of the unmanned aerial vehicle, the angle at which the image was taken, and the generated coordinates, the coordinates of the image captured by the unmanned aerial vehicle can be confirmed.

여기서, 좌표를 포함한 3D 모델을 연산하여 무인비행장치가 촬영한 이미지의 좌표를 확인하는 것은 좌표를 포함한 3D 모델을 촬영한 이미지에 인덱싱하고, 인덱싱 된 촬영한 이미지의 모서리인 4개의 각을 이용하여 정확한 좌표를 확인할 수 있다.Here, calculating the 3D model including the coordinates and checking the coordinates of the image photographed by the unmanned aerial vehicle indexes the 3D model including the coordinates and uses 4 angles, which are the corners of the indexed image. You can check the exact coordinates.

이로부터, 본 발명이 제안하는 무인비행장치를 이용한 거대구조물 안전진단 방법을 이용하여 무인비행장치가 촬영한 이미지가 수직 평면뷰가 아니더라도 촬영한 이미지의 실제 좌표를 정확하게 확인할 수 있다.From this, it is possible to accurately check the actual coordinates of the photographed image even if the image photographed by the unmanned aerial vehicle is not a vertical plan view by using the large structure safety diagnosis method using the unmanned aerial vehicle proposed by the present invention.

전술한 바와 같이, 본 발명의 일 실시예에 따른 거대구조물 안전진단 방법은 2D 이미지뿐만 아니라 3D 이미지에도 인덱싱이 가능하므로, 저장되어 있는 이미지 데이터를 검색하고, 도서관의 책을 찾아내는 수준을 넘어서 이미지를 좌표기준으로 중첩시키고 비교 및 분석하여 새로운 정보를 획득할 수 있다.As described above, the method for safe diagnosis of large structures according to an embodiment of the present invention is capable of indexing not only 2D images but also 3D images, so it searches for stored image data and searches for images beyond the library's books. New information can be obtained by overlapping, comparing, and analyzing based on coordinates.

이와 같은, 무인비행장치를 이용한 거대구조물 안전진단 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.Such a method for safe diagnosis of a large structure using an unmanned aerial vehicle may be implemented as an application or may be recorded in a computer-readable recording medium by being implemented in the form of program instructions that can be executed through various computer components. The computer-readable recording medium may include program instructions, data files, data structures, or the like alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments, those skilled in the art understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. Will be able to.

10: 거대구조물 안전진단 시스템
100: 거대구조물 안전진단 장치
110: 촬영부
130: 이미지 분석부
150: 인덱싱부
151: 제1 정보분석부
153: 제2 정보분석부
155: 집합생성부
157: 색인부
170: 시뮬레이션부
190: 시나리오부
300: 무인비행장치10: Large structure safety diagnosis system
100: large structure safety diagnosis device
110: filming unit
130: image analysis unit
150: indexing unit
151: first information analysis department
153: second information analysis unit
155: assembly generation unit
157: index section
170: simulation unit
190: scenario section
300: unmanned flying device

Claims (19)

무인비행장치를 이용하여 교량 또는 건축물이 존재하는 도시를 촬영하고,
상기 교량 또는 건축물이 존재하는 도시를 촬영한 이미지로부터 적어도 하나의 교량 또는 건축물의 구조에 대한 정보를 추출하고,
상기 구조에 대한 정보가 추출된 해당 교량 또는 건축물에 대한 정보를 수집하고,
상기 이미지로부터 추출한 구조물에 대한 정보와 건축물에 대해 수집한 정보를 일치하는 교량구조물의 정보와 인덱싱하고,
상기 인덱싱된 정보를 중심으로 상기 교량 또는 건축물의 이상거동과 잔류변형을 평가하여 구축한 데이터베이스를 이용하여 상기 이미지에 존재하는 교량 또는 건축물의 재난에 대한 피해 시뮬레이션을 실시하고,
상기 시뮬레이션 결과를 기초로 하여 해당 교량 또는 건축물에 대한 안전도를 정량화하여 평가한 뒤 재난 발생 시 대응 시나리오 및 임무절차를 도출하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.Taking pictures of cities with bridges or buildings using unmanned aerial vehicles,
Extracting information on the structure of at least one bridge or building from an image of the city where the bridge or building is located,
Collect information on the bridge or building where the information on the structure was extracted,
The information on the structure extracted from the image and the information collected on the building are indexed with the matching bridge structure information,
Using the database constructed by evaluating the abnormal behavior and residual deformation of the bridge or building based on the indexed information, conduct simulation of damage to the bridge or building disaster in the image,
A safety assessment method for large structures using unmanned flying devices that derives response scenarios and mission procedures in case of a disaster after quantifying and evaluating the safety of the bridge or building based on the simulation results. 제 1 항에 있어서,
상기 수집한 정보를 일치하는 교량구조물의 정보와 인덱싱하는 것은,
상기 이미지로부터 추출한 구조에 대한 정보 및 상기 이미지로부터 구조에 대한 정보를 추출한 교량 또는 건축물에 대해 수집한 정보를 분석하고,
상기 추출한 정보 및 수집한 정보에 대해 분석한 결과를 해당하는 교량 또는 건축물 별로 정보 집합을 형성하고,
상기 정보 집합을 이미지의 해당 교량 또는 건축물에 인덱싱하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.According to claim 1,
Indexing the collected information with the matching bridge structure information,
Analyze information about the structure extracted from the image and information collected about the bridge or building that extracted information about the structure from the image,
The result of the analysis of the extracted information and the collected information forms a set of information for each bridge or building,
A method for safely diagnosing large structures using an unmanned flying device that indexes the information set to a corresponding bridge or structure of an image. 제 1 항에 있어서,
상기 건축물에 대해 수집한 정보는,
상기 이미지로부터 추출된 데이터를 제외하여 해당 교량 또는 건축물에 대한 정보를 의미하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.According to claim 1,
The information collected about the building,
Safety diagnosis method for a large structure using an unmanned flying device, which means information on a corresponding bridge or building by excluding data extracted from the image. 제 1 항에 있어서,
상기 대응 시나리오 및 임무절차를 도출하는 것은,
상기 교량 또는 건축물에 이상거동과 잔류변형이 발생하지 않더라도 실험을 통해 해당 교량 또는 건축물에 대한 대응 시나리오 및 임무절차를 도출하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.According to claim 1,
Deriving the response scenario and the mission procedure,
Even if no abnormal behavior or residual deformation occurs in the bridge or structure, a method for safety diagnosis of a large structure using an unmanned flying device is derived through experiments to derive a corresponding scenario and mission procedure for the bridge or structure. 제 1 항에 있어서,
상기 대응 시나리오 및 임무절차를 도출하는 것은,
상기 이상거동과 잔류변형이 발생하여 안전도에 대한 평가 결과가 일정 기준 이상인 교량 또는 건축물이 재난 발생에 대비한 대피시설인 경우, 해당 대피시설의 관리자에게 경고신호를 송출하여 상기 교량 또는 건축물의 내부 이미지를 요청하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.According to claim 1,
Deriving the response scenario and the mission procedure,
When the abnormal behavior and residual deformation occur and the safety or evaluation of the bridge is more than a certain standard, or a building is an evacuation facility in case of a disaster, an alert signal is sent to the manager of the evacuation facility to show the internal image of the bridge or building. How to request, large structures safety diagnosis method using an unmanned aerial vehicle. 제 5 항에 있어서,
상기 재난에 대한 피해 시뮬레이션을 실시하는 것은,
상기 교량 또는 건축물의 내부 이미지가 제공되는 경우, 상기 내부 이미지 및 인덱싱된 정보를 중심으로 상기 대피시설의 이상거동과 잔류변형을 재평가하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.The method of claim 5,
Conducting the damage simulation for the disaster,
When an internal image of the bridge or building is provided, a method for safely evaluating a large structure using an unmanned flying device that reevaluates abnormal behavior and residual deformation of the evacuation facility based on the internal image and indexed information. 제 6 항에 있어서,
상기 대응 시나리오 및 임무절차를 도출하는 것은,
상기 재평가된 대피시설에 대한 대응 시나리오 및 임무절차를 재도출하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.The method of claim 6,
Deriving the response scenario and the mission procedure,
A safety diagnosis method for a large structure using an unmanned flight system, which re-derives a response scenario and a mission procedure for the reevaluated evacuation facility. 제 1 항에 있어서,
상기 교량 또는 건축물에 대한 정보를 추출하는 것은,
지리정보시스템을 활용하여 상기 무인비행장치의 위치정보를 수신하여 촬영한 이미지에 존재하는 교량 또는 건축물의 정확한 위치를 파악하여 상기 교량 또는 건축물의 정보를 추출하는, 무인비행장치를 이용한 거대구조물 안전진단 방법.According to claim 1,
Extracting information about the bridge or building,
Safe diagnosis of large structures using unmanned aerial vehicles by extracting information of the bridges or buildings by determining the exact location of the bridges or buildings existing in the captured image by receiving the location information of the unmanned aerial vehicles using a geographic information system Way. 제 1 항에 있어서,
상기 교량 또는 건축물에 대한 정보를 추출하는 것은,
상기 무인비행장치의 위치정보를 수신하여 좌표를 포함한 3D 모델로 생성하여 저장하고,
상기 무인비행장치의 위치정보, 상기 이미지를 촬영한 각도 및 상기 좌표를 포함한 3D 모델을 연산하여 상기 무인비행장치가 촬영한 영상의 좌표를 확인하는, 상기 무인비행장치를 이용한 거대구조물 안전진단 방법.According to claim 1,
Extracting information about the bridge or building,
The location information of the unmanned aerial vehicle is received, generated and stored as a 3D model including coordinates,
A method for safe diagnosis of a large structure using the unmanned aerial vehicle, by calculating a 3D model including the location information of the unmanned aerial vehicle, the angle at which the image was taken, and the coordinates, and checking the coordinates of the image photographed by the unmanned aerial vehicle. 제 1 항에 따른 무인비행장치를 이용한 거대구조물 안전진단 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium in which a computer program is recorded, for performing a method for safe diagnosis of a large structure using the unmanned aerial vehicle according to claim 1. 무인비행장치를 이용하여 교량 또는 건축물이 존재하는 도시를 촬영하는 촬영부;
상기 촬영부에서 교량 또는 건축물이 존재하는 도시를 촬영한 이미지로부터 교량 또는 건축물의 구조에 대한 정보를 추출하고, 상기 구조에 대한 정보에 추출된 해당 교량 또는 건축물에 대한 정보를 수집하는 이미지 분석부;
상기 촬영부에서 촬영한 이미지로부터 추출한 교량 또는 건축물의 구조에 대한 정보와 상기 교량 또는 건축물에 대해 수집한 정보를 일치하는 교량 또는 건축물의 정보와 인덱싱하는 인덱싱부;
상기 인덱싱된 정보를 중심으로 상기 교량 또는 건축물의 이상거동과 잔류변형을 평가하여 구축한 데이터베이스를 이용하여 상기 이미지에 존재하는 교량 또는 건축물의 재난에 대한 피해 시뮬레이션을 실시하는 시뮬레이션부;
상기 시뮬레이션 결과를 기초로 하여 해당 교량 또는 건축물에 대한 안전도를 정량화하여 평가한 뒤 재난 발생 시 대응 시나리오 및 임무절차를 도출하는 시나리오부;를 포함하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.A photographing unit for photographing a city where a bridge or a building exists using an unmanned flying device;
An image analysis unit for extracting information on the structure of the bridge or building from the image of the city where the bridge or building is located, and collecting information on the bridge or building extracted in the information on the structure;
An indexing unit that indexes information on the structure of the bridge or building extracted from the image taken by the shooting unit with information on the bridge or building that matches the information collected on the bridge or building;
A simulation unit for performing simulation of damage to disasters of bridges or structures existing in the image using a database constructed by evaluating abnormal behavior and residual deformation of the bridges or structures based on the indexed information;
Containing the scenario based on the simulation results, quantifying and evaluating the safety of the bridge or building, and a scenario unit that derives a response scenario and a mission procedure in the event of a disaster. 제 11 항에 있어서,
상기 인덱싱부는,
상기 촬영부에서 촬영한 이미지로부터 추출한 구조물에 대한 정보를 분석하는 제1 정보분석부;
상기 이미지로부터 구조에 대한 정보를 추출한 교량 또는 건축물에 대해 수집한 정보를 분석하는 제2 정보분석부;
상기 제1 정보분석부 및 제2 정보분석부에서 분석한 정보를 해당하는 교량 또는 건축물 별로 정보 집합을 형성하는 집합생성부;
상기 정보 집합을 이미지의 해당 교량 또는 건축물에 인덱싱하는 색인부;를 포함하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 11,
The indexing unit,
A first information analysis unit that analyzes information on structures extracted from the image taken by the imaging unit;
A second information analysis unit that analyzes the collected information about the bridge or building that extracted the structure information from the image;
A set generation unit for forming information sets for each bridge or building corresponding to the information analyzed by the first information analysis unit and the second information analysis unit;
Includes; indexing unit for indexing the information set to the corresponding bridge or building of the image, including, large structure safety diagnosis device using an unmanned flying device. 제 11 항에 있어서,
상기 건축물에 대해 수집한 정보는,
상기 이미지로부터 추출된 데이터를 제외하여 해당 교량 또는 건축물에 대한 정보를 수집하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 11,
The information collected about the building,
A safety diagnosis device for large structures using an unmanned flying device that collects information on a corresponding bridge or building by excluding data extracted from the image. 제 11 항에 있어서,
상기 시나리오부는,
상기 교량 또는 건축물에 이상거동과 잔류변형이 발생하지 않더라도 실험을 통해 해당 교량 또는 건축물에 대한 대응 시나리오 및 임무절차를 도출하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 11,
The scenario section,
Even if no abnormal behavior or residual deformation occurs in the bridge or building, a safety diagnosis device for a large structure using an unmanned flying device that derives a response scenario and a mission procedure for the bridge or building through experiments. 제 11 항에 있어서,
상기 시나리오부는,
상기 이상거동과 잔류변형이 발생하여 안전도에 대한 평가 결과가 일정 기준 이상인 교량 또는 건축물이 재난 발생에 대비한 대피시설인 경우, 해당 대피시설의 관리자에게 경고신호를 송출하여 상기 교량 또는 건축물의 내부 이미지를 요청하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 11,
The scenario section,
When the abnormal behavior and residual deformation occur and the safety or evaluation of the bridge is more than a certain standard, or a building is an evacuation facility in case of a disaster, an alert signal is sent to the manager of the evacuation facility to show the internal image of the bridge or building. Safety diagnosis device for large structures using an unmanned flying device. 제 15 항에 있어서,
상기 시뮬레이션부는,
상기 교량 또는 건축물의 내부 이미지가 제공되는 경우, 상기 내부 이미지 및 인덱싱된 정보를 중심으로 상기 대피시설의 이상거동과 잔류변형을 재평가하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 15,
The simulation unit,
When the internal image of the bridge or building is provided, a safety diagnosis device for a large structure using an unmanned flying device that reevaluates abnormal behavior and residual deformation of the evacuation facility based on the internal image and indexed information. 제 16 항에 있어서,
상기 시나리오부는,
상기 시뮬레이션부에 의해 재평가된 대피시설에 대한 대응 시나리오 및 임무절차를 재도출하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 16,
The scenario section,
Safety diagnosis device for large structures using unmanned flying devices, which re-derives scenarios and mission procedures for evacuation facilities reevaluated by the simulation unit. 제 11 항에 있어서,
상기 이미지 분석부는,
지리정보시스템을 활용하여 상기 무인비행장치의 위치정보를 수신하여 촬영한 이미지에 존재하는 교량 또는 건축물의 정확한 위치를 파악하여 상기 교량 또는 건축물의 정보를 추출하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 11,
The image analysis unit,
Safe diagnosis of large structures using unmanned aerial vehicles by extracting information of the bridges or buildings by determining the exact location of the bridges or buildings existing in the captured image by receiving the location information of the unmanned aerial vehicles using a geographic information system Device. 제 11 항에 있어서,
상기 이미지 분석부는,
상기 무인비행장치의 위치정보를 수신하여 좌표를 포함한 3D 모델로 생성하여 저장하고, 상기 무인비행장치의 위치정보, 상기 이미지를 촬영한 각도 및 상기 좌표를 포함한 3D 모델을 연산하여 상기 무인비행장치가 촬영한 영상의 좌표를 확인하는, 무인비행장치를 이용한 거대구조물 안전진단 장치.The method of claim 11,
The image analysis unit,
The unmanned aerial vehicle is operated by receiving the location information of the unmanned aerial vehicle, generating and storing it as a 3D model including coordinates, and calculating the 3D model including the location information of the unmanned aerial vehicle, the angle at which the image was taken, and the coordinates. Safety check device for large structures using unmanned flying devices to check the coordinates of the captured image.
KR1020180133324A 2018-11-02 2018-11-02 Method for large sructures safety diagnosis using drone, device and computer readable medium for performing the method KR102114683B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180133324A KR102114683B1 (en) 2018-11-02 2018-11-02 Method for large sructures safety diagnosis using drone, device and computer readable medium for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180133324A KR102114683B1 (en) 2018-11-02 2018-11-02 Method for large sructures safety diagnosis using drone, device and computer readable medium for performing the method

Publications (2)

Publication Number Publication Date
KR20200050573A true KR20200050573A (en) 2020-05-12
KR102114683B1 KR102114683B1 (en) 2020-06-05

Family

ID=70679229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180133324A KR102114683B1 (en) 2018-11-02 2018-11-02 Method for large sructures safety diagnosis using drone, device and computer readable medium for performing the method

Country Status (1)

Country Link
KR (1) KR102114683B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233418A (en) * 2020-09-27 2021-01-15 东南大学 Secondary traffic accident prevention control method under intelligent network-connected mixed traffic flow environment
CN112233458A (en) * 2020-09-27 2021-01-15 东南大学 Secondary accident prevention oriented dynamic lane and variable speed limit cooperative control method
KR20220107540A (en) * 2021-01-25 2022-08-02 주식회사 코매퍼 Apparatus for artificial intelligence based safety diagnosis through 3d model and method thereof
CN117421814A (en) * 2023-12-18 2024-01-19 中国铁路设计集团有限公司 Visual construction method for virtual construction of railway bridge engineering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866830B1 (en) * 2008-02-12 2008-11-04 (주) 지오씨엔아이 System and method for managing river using 3d based moving picture
KR101248936B1 (en) 2012-10-04 2013-04-02 주식회사 스펙엔지니어링와이엔피 Management system for disaster occurrence of bridge considering deterioration
KR101543558B1 (en) * 2014-09-24 2015-08-12 경북대학교 산학협력단 Method for creating of integrated-space object-data and system for providing of integrated-space information
KR101711602B1 (en) * 2016-08-01 2017-03-02 (주)우성이엔씨 Safety inspection system using unmanned aircraft and method for controlling the same
KR20180036075A (en) * 2016-09-30 2018-04-09 (주)태성에스엔아이 Method for Generating 3D Structure Model Mapped with Damage Information, and Media Being Recorded with Program Executing the Method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866830B1 (en) * 2008-02-12 2008-11-04 (주) 지오씨엔아이 System and method for managing river using 3d based moving picture
KR101248936B1 (en) 2012-10-04 2013-04-02 주식회사 스펙엔지니어링와이엔피 Management system for disaster occurrence of bridge considering deterioration
KR101543558B1 (en) * 2014-09-24 2015-08-12 경북대학교 산학협력단 Method for creating of integrated-space object-data and system for providing of integrated-space information
KR101711602B1 (en) * 2016-08-01 2017-03-02 (주)우성이엔씨 Safety inspection system using unmanned aircraft and method for controlling the same
KR20180036075A (en) * 2016-09-30 2018-04-09 (주)태성에스엔아이 Method for Generating 3D Structure Model Mapped with Damage Information, and Media Being Recorded with Program Executing the Method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233418A (en) * 2020-09-27 2021-01-15 东南大学 Secondary traffic accident prevention control method under intelligent network-connected mixed traffic flow environment
CN112233458A (en) * 2020-09-27 2021-01-15 东南大学 Secondary accident prevention oriented dynamic lane and variable speed limit cooperative control method
KR20220107540A (en) * 2021-01-25 2022-08-02 주식회사 코매퍼 Apparatus for artificial intelligence based safety diagnosis through 3d model and method thereof
CN117421814A (en) * 2023-12-18 2024-01-19 中国铁路设计集团有限公司 Visual construction method for virtual construction of railway bridge engineering
CN117421814B (en) * 2023-12-18 2024-03-15 中国铁路设计集团有限公司 Visual construction method for virtual construction of railway bridge engineering

Also Published As

Publication number Publication date
KR102114683B1 (en) 2020-06-05

Similar Documents

Publication Publication Date Title
KR102114683B1 (en) Method for large sructures safety diagnosis using drone, device and computer readable medium for performing the method
KR101926561B1 (en) Road crack detection apparatus of patch unit and method thereof, and computer program for executing the same
Torok et al. Image-based automated 3D crack detection for post-disaster building assessment
US11270426B2 (en) Computer aided inspection system and methods
US10198632B2 (en) Survey data processing device, survey data processing method, and survey data processing program
German et al. Machine vision-enhanced postearthquake inspection
KR102203135B1 (en) Method and system for detecting disaster damage information based on artificial intelligence using drone
Akula et al. Real-time drill monitoring and control using building information models augmented with 3D imaging data
US20160133008A1 (en) Crack data collection method and crack data collection program
Bloch et al. Interior models of earthquake damaged buildings for search and rescue
JP7065477B2 (en) Disaster situation judgment system and disaster judgment flight system
US20160133007A1 (en) Crack data collection apparatus and server apparatus to collect crack data
JP2017102672A (en) Geographic position information specification system and geographic position information specification method
CN105825344A (en) Nuclear power object protection effectiveness quantifying and evaluating method and device
Ji et al. Image‐based road crack risk‐informed assessment using a convolutional neural network and an unmanned aerial vehicle
CN112990659B (en) Evacuation rescue auxiliary method, evacuation rescue auxiliary system, computer equipment and processing terminal
Park et al. A framework for improving object recognition of structural components in construction site photos using deep learning approaches
Alayed et al. Real-Time Inspection of Fire Safety Equipment using Computer Vision and Deep Learning
KR102354870B1 (en) Game Engine-based Digital Construction Safty Monitoring System
Monti et al. A relative difference approach to detect potential weak layers within a snow profile
Li et al. Using Unmanned Aerial Systems (UAS) for Assessing and Monitoring Fall Hazard Prevention Systems in High-rise Building Projects
CN115249407B (en) Indicator light state identification method and device, electronic equipment, storage medium and product
CN114140707A (en) Power grid fault inspection method
JP2020112445A (en) Earthquake information processing device
Galarreta Urban Structural Damage Assessment Using Object-Oriented Analysis and Semantic Reasoning

Legal Events

Date Code Title Description
GRNT Written decision to grant