KR102514703B1 - An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting damage to a structure using the same - Google Patents
An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting damage to a structure using the same Download PDFInfo
- Publication number
- KR102514703B1 KR102514703B1 KR1020220094437A KR20220094437A KR102514703B1 KR 102514703 B1 KR102514703 B1 KR 102514703B1 KR 1020220094437 A KR1020220094437 A KR 1020220094437A KR 20220094437 A KR20220094437 A KR 20220094437A KR 102514703 B1 KR102514703 B1 KR 102514703B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- cameras
- unit
- damage
- artificial neural
- Prior art date
Links
- 230000006378 damage Effects 0.000 title claims description 73
- 238000002604 ultrasonography Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 78
- 238000007689 inspection Methods 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 150000002894 organic compounds Chemical class 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
본 발명은 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치 및 이를 이용한 구조물 손상 검사 장치에 관한 발명으로서, 보다 상세하게는 어레이 형태로 배치된 복수 개의 카메라를 이용하여 구조물의 손상 영역을 보다 정확하게 촬영하고, 촬영된 영상을 기초로 인공신경망을 이용하여 구조물의 손상을 검출하고 분류하는 기술에 관한 발명이다. The present invention relates to an unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting structure damage using the same, and more particularly, to a damaged area of a structure using a plurality of cameras arranged in an array form. The invention relates to a technique for more accurately photographing and detecting and classifying damage to a structure using an artificial neural network based on the photographed image.
산업사회로 발전하는 과정에서 건설된 대형 구조물과 시설물들은 설계 및 시공 과정에서의 결함 또는 설계 당시에 고려하지 못하였던 각종 요인으로 인하여 구조 손상이 발생되며, 이러한 구조물들의 사용 기간이 경과함에 따라 점차 노후화됨으로써 그 안전성이 크게 위협을 받고 있다. 예를 들면, 심각한 정도의 구조 손상이 발생한 구조물의 경우, 설계 당시에 계획되었던 설계 사용연한에 크게 못 미칠 정도로 사용연한의 단축을 초래하는 경우도 빈번히 발생하고 있다.Large structures and facilities constructed in the process of developing into an industrial society are subject to structural damage due to defects in the design and construction process or various factors that were not considered at the time of design. Its safety is greatly threatened. For example, in the case of a structure in which a serious degree of structural damage occurs, it frequently occurs that the service life is shortened to an extent that is far short of the designed service life planned at the time of design.
이에 따라 건축 구조물의 장기적인 안전성 및 작동성을 확보하기 위한 노력이 절실히 요구되고 있다. 특히, 건물, 교량, 댐 등과 같은 대형 구조물은 각종 운영 하중, 외부 물체에 의한 충격, 지진, 풍하중, 파랑 하중, 부식 등에 지속적으로 노출되어 있기 때문에 이들로부터 구조물의 안전을 확보하는 문제는 경제, 사회적으로 지대한 관심의 현안이 되고 있다. 이러한 대형 구조물들의 정확한 안전 진단을 위해서는 적절한 실험 계측을 통한 구조물 거동의 모니터링, 구조물 손상을 역학적으로 분석하는 기술 및 구조물 손상을 모델화하는 해석 기술을 통한 진단 기술이 요구된다.Accordingly, efforts to secure long-term safety and operability of building structures are urgently required. In particular, since large structures such as buildings, bridges, and dams are continuously exposed to various operational loads, impacts by external objects, earthquakes, wind loads, wave loads, and corrosion, the problem of securing the safety of structures from them is an economic and social problem. has become a subject of great interest. In order to accurately diagnose the safety of these large structures, diagnosis technology is required through monitoring of structure behavior through appropriate experimental measurement, technology for mechanically analyzing structural damage, and analysis technology for modeling structural damage.
이러한 대형 구조물의 손상을 효과적으로 발견하기 위해 사용되고 있는 기술은 재료적인 비파괴 검사법과 더불어 정변위 측정법 및 진동 특성 측정법 등이 사용되고 있다. 예를 들면, 이들 중에서 정변위 측정 및 진동 특성치를 이용한 구조물의 손상 추정 방법은 통상적으로 구조식별 기법(System Identification: SID)이라 호칭된다. 이러한 구조식별 기법(SID)은 구조계의 거동을 실측하고, 이를 구조 해석적으로 모델화하여 구조물 특성치를 추정하는 방법으로 진행된다. Techniques used to effectively detect damage to large structures include material non-destructive testing, positive displacement measurement, and vibration characteristic measurement. For example, among them, a method for estimating damage to a structure using positive displacement measurement and vibration characteristic values is commonly referred to as a system identification (SID) technique. This structural identification technique (SID) proceeds by measuring the behavior of the structural system and estimating the characteristic values of the structure by modeling it structurally analytically.
전술한 바와 같이, 구조물의 비정상 거동 평가를 위한 비파괴 검사 기술은 기계, 항공, 조선, 건설 등의 산업 전반에 걸쳐 활용도가 매우 높은 첨단 기술에 해당한다. 특히, 초장대 교량, 초고층 빌딩, 댐 등과 같은 대형 사회기반시설물의 경우, 비정상 거동은 손상을 유발하고, 이것은 곧 막대한 경제적 피해 및 심각한 인명 피해를 유발하므로, 무결점 거동 평가의 운용이 필수적이다.As described above, the non-destructive inspection technology for evaluating the abnormal behavior of a structure corresponds to a state-of-the-art technology that is highly utilized throughout industries such as machinery, aviation, shipbuilding, and construction. In particular, in the case of large social infrastructures such as super-span bridges, skyscrapers, and dams, abnormal behavior causes damage, which in turn causes enormous economic damage and serious human damage, so the operation of fault-free behavior evaluation is essential.
이에 따라 주요 사회기반시설물에 대한 주기적인 안전점검이 이루어지고 있으나, 주로 점검자에 의해 접근 가능한 지점에 대한 육안검사 수준에 머무르고 있으며, 또한, 점검에 필요한 인력과 자원의 부족 및 접근이 불가능한 시설물에 대한 점검의 어려움 등으로 인하여 점검 주기가 제한되고 있으며 그 정확성 또한 높지 않은 것이 현실이다.As a result, periodic safety inspections are being conducted on major social infrastructure facilities, but they remain at the level of visual inspections mainly on points accessible by inspectors, and also on facilities that are inaccessible due to lack of manpower and resources required for inspections. In reality, the inspection cycle is limited due to difficulties in inspection, and the accuracy is not high.
따라서 이에 대한 보완 방법으로, 영상 처리 방법이 제한되고 있는데, 영상 처리를 이용한 기존의 시설물 점검 방법들은 카메라를 통해 입력 받은 영상을 이용하여 손상 요소를 추출하는 방식으로 이루어진다. 그러나 이러한 방법 또한 대부분의 경우 사람의 접근이 불가하거나 시설물 주변에서의 설치가 불가한 경우, 즉 원거리에서의 시설물 점검은 어려운 문제가 있었다.Therefore, as a supplementary method for this, image processing methods are limited. Existing facility inspection methods using image processing are performed by extracting damaged elements using images received through cameras. However, this method also has a difficult problem in most cases when it is impossible to access by people or to install near the facility, that is, to inspect the facility from a distance.
따라서, 원거리에서의 시설물 점검을 위한 영상 촬영이 가능하고, 현장 상황에 따라 시설물 점검 시스템의높이, 카메라의 위치, 촬영 각도 등을 용이하게 제어 가능한 시설물 점검 시스템이 요구되고 있는 실정이다. 또한, 시설물의 손상의 감지는 시설물의 촬영 후 획득된 무인 비행 장치로부터 손상 부분의 감지에 대한 정확성을 증대시킬 필요가 있는데, 현재까지 제안된 기술은 이를 효율적으로 해결하지 못하는 문제점이 존재한다. Accordingly, there is a demand for a facility inspection system capable of capturing images for facility inspection from a distance and easily controlling the height of the facility inspection system, the location of a camera, and a photographing angle according to on-site conditions. In addition, in order to detect damage to a facility, it is necessary to increase the accuracy of detection of the damaged part from an unmanned aerial vehicle obtained after photographing the facility.
따라서, 일 실시예에 따른 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치는 상기 설명한 문제점을 보완하기 위해 고안된 발명으로서, 검사 대상이 되는 구조물의 형태에 따라 카메라의 위치 및 각도롤 조절하여 보다 정확하게 구조물의 손상 영역에 대한 이미지를 획득할 수 있는 기술을 제공하는데 목적이 있다.Therefore, an unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras according to an embodiment is an invention devised to supplement the above-described problems, and the camera's position and angle roll according to the shape of the structure to be inspected. It is an object of the present invention to provide a technique capable of obtaining an image of a damaged area of a structure more accurately by controlling the structure.
또한, 더 나아가 일 실시예에 따른 구조물 손상 검사 장치는, 무인 비행 장치가 획득한 구조물에 대한 이미지를 기초로 인공신경망을 이용하여 보다 정확하게 다양한 종류에 대한 손상 여부를 판단하고 분류할 수 있는 기술을 제공하는데 그 목적이 존재한다.In addition, a structure damage inspection apparatus according to an embodiment furthermore uses an artificial neural network based on an image of a structure obtained by an unmanned flying device to more accurately determine and classify damage to various types. Its purpose is to provide.
일 실시예에 따른 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치는 검사 대상이 되는 구조물을 촬영하며, 수평 방향과 평행하게 배열된 복수 개의 카메라를 포함하는 카메라부, 초음파 센서를 이용하여 상기 구조물과의 거리 정보 및 각도 정보를 산출하는 초음파부, 상기 카메라부가 촬영하는 영역에 대한 조도를 감지하는 조도 센서를 포함하는 센서부 및 상기 초음파부가 획득한 정보를 기초로 상기 복수 개의 카메라의 위치 및 각도를 조절하는 제어부를 포함할 수 있다.An unmanned flying device for photographing a damaged area of a structure using a plurality of cameras according to an embodiment photographs a structure to be inspected, and includes a camera unit including a plurality of cameras arranged in parallel with a horizontal direction and an ultrasonic sensor. A sensor unit including an ultrasound unit that calculates distance information and angle information with respect to the structure using the sensor unit, and an illuminance sensor that detects the illuminance of an area captured by the camera unit, and the plurality of cameras based on the information acquired by the ultrasound unit. It may include a control unit for adjusting the position and angle of.
상기 초음파부는, 상기 거리 정보 및 상기 각도 정보를 이용하여 상기 구조물의 검사 영역에 대한 곡률 정보를 산출하고, 상기 제어부는, 산출된 곡률 정보에 기초하여 상기 복수 개의 카메라의 위치 및 각도를 조절할 수 있다.The ultrasound unit may calculate curvature information for an inspection area of the structure using the distance information and the angle information, and the control unit may adjust the positions and angles of the plurality of cameras based on the calculated curvature information. .
상기 제어부는, 산출된 상기 검사 영역에 대한 곡률 값이 미리 설정된 값 이상인 경우, 상기 복수 개의 카메라 중 적어도 일부의 카메라의 위치 및 각도를 조절할 수 있다.The controller may adjust positions and angles of at least some cameras among the plurality of cameras when the calculated curvature value of the inspection area is equal to or greater than a preset value.
상기 제어부는, 산출된 상기 검사 영역에 대한 곡률 값이 미리 설정된 값 이상인 경우, 상기 복수 개의 카메라의 중심을 잇는 곡선의 곡률 값이 상기 검사 영역에 대한 곡률 값과 동일한 값을 가지도록, 상기 복수 개의 카메라의 위치를 이동시킬 수 있다. The control unit, when the calculated curvature value of the inspection area is equal to or greater than a preset value, sets the curvature value of a curve connecting the centers of the plurality of cameras to have the same value as the curvature value of the inspection area. The position of the camera can be moved.
상기 초음파 센서는, 상기 복수 개의 카메라에 각각 구비되어 배치될 수 있다. The ultrasonic sensor may be provided and disposed in each of the plurality of cameras.
일 실시예에 따른 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 손상 영역을 이용한 구조물 손상 검사 장치는 검사 대상이 되는 구조물을 촬영하며, 수평 방향과 평행하게 배열된 복수 개의 카메라를 포함하는 카메라부, 초음파 센서를 이용하여 상기 구조물과의 거리 정보 및 각도 정보를 산출하는 초음파부, 상기 카메라부가 촬영하는 영역에 대한 조도를 감지하는 조도 센서를 포함하는 센서부 및 상기 초음파부가 획득한 정보를 기초로 상기 복수 개의 카메라의 위치 및 각도를 조절하는 제어부를 포함하는 무인 비행 장치와 상기 무인 비행 장치가 촬영한 손상 영역을 수신하고, 상기 무인 비행 장치에 대해 복수 개의 인공신경망을 이용하여 손상 감지 여부를 판단하는 손상 감지 인공신경망 모듈을 포함하는 서버를 포함할 수 있다. According to an embodiment, an apparatus for inspecting structure damage using a damaged area for photographing a damaged area of a structure using a plurality of cameras photographs a structure to be inspected and includes a plurality of cameras arranged in parallel with a horizontal direction. A sensor unit including an ultrasound unit that calculates distance information and angle information with respect to the structure using an ultrasound sensor, and an illuminance sensor that detects the illuminance of an area captured by the camera unit and based on the information acquired by the ultrasound unit Receives an unmanned flying device including a control unit for adjusting the positions and angles of the plurality of cameras and a damaged area photographed by the unmanned flying device, and determines whether or not damage is detected using a plurality of artificial neural networks for the unmanned flying device It may include a server including a damage detection artificial neural network module that determines.
일 실시예에 따른 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치는 검사 대상이 되는 구조물의 곡률을 계산한 후, 계산된 곡률을 고려하여 카메라의 위치 및 각도를 조절하여 구조물을 촬영을 하므로, 종래 기술보다 보다 정확하게 각도에 따른 왜곡이 발생하지 없는 손상 영역을 획득할 수 있는 장점이 존재한다. An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras according to an embodiment calculates the curvature of a structure to be inspected, and then adjusts the position and angle of the camera in consideration of the calculated curvature to inspect the structure. Since the photographing is performed, there is an advantage in obtaining a damaged area in which distortion according to an angle does not occur more accurately than in the prior art.
또한, 일 실시예에 따른 구조물 손상 검사 장치는, 무인 비행 장치가 획득한 이미지에 대해 복수 개의 인공신경망을 이용하여 손상 감지 여부를 판단하므로 종래 기술보다 보다 정확하게 다양한 종류에 대한 손상 여부를 판단할 수 있는 장점이 존재한다. In addition, since the structure damage inspection apparatus according to an embodiment determines whether damage is detected using a plurality of artificial neural networks for an image acquired by an unmanned flying device, it is possible to more accurately determine whether or not damage to various types is present than in the prior art. There are advantages to
본 발명의 효과들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the technical problems mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다
도 1은 본 발명의 일 실시예에 따른 무인 비행 장치의 외관을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 손상 감지 시스템에서 구성 요소와의 관계를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 무인 비행 장치와 사용자 단말 장치와의 관계 및 구성 요소를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 무인 비행 장치가 감지 대상 구조물을 스캐닝하는 일 모습을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 무인 비행 장치의 경로를 설정하는 방법을 설명한 도면이다.
도 6은 본 발명의 일 실시예에 따른 카메라부의 카메라 배열을 도시한 도면이다.
도 7은 검사 영역의 곡률에 따라 본 발명에 따른 카메라들의 위치 변화를 도시한 도면이다.
도 8은 본 발명에 따른 카메라부의 카메라들의 각도가 변형된 모습을 도시한 도면이다
도 9와 도 10은 본 발명의 일 실시예에 따른 손상 감지 인공신경망 모듈의 입력 정보 및 출력 정보를 도시한 도면이다.
도 11과 도 12는 본 발명의 일 실시예에 따른 손상 감지 인공신경망 모듈의 구체적인 구성 요소들을 도시한 도면이다.In order to more fully understand the drawings cited in the detailed description of the present invention, a brief description of each drawing is provided.
1 is a view showing the appearance of an unmanned flying device according to an embodiment of the present invention.
Figure 2 is a diagram showing the relationship between the components in the damage detection system according to an embodiment of the present invention.
3 is a diagram illustrating the relationship between an unmanned flying device and a user terminal device and components according to an embodiment of the present invention.
4 is a diagram illustrating a state in which an unmanned flying device according to an embodiment of the present invention scans a structure to be sensed.
5 is a diagram illustrating a method of setting a path of an unmanned flying device according to an embodiment of the present invention.
6 is a diagram illustrating a camera arrangement of a camera unit according to an embodiment of the present invention.
7 is a diagram illustrating position changes of cameras according to the present invention according to the curvature of the inspection area.
8 is a view showing a state in which the angles of the cameras of the camera unit are deformed according to the present invention.
9 and 10 are diagrams illustrating input information and output information of the damage detection artificial neural network module according to an embodiment of the present invention.
11 and 12 are diagrams illustrating specific components of a damage detection artificial neural network module according to an embodiment of the present invention.
이하, 본 발명에 따른 실시 예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시 예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.Hereinafter, embodiments according to the present invention will be described with reference to the accompanying drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components have the same numerals as much as possible even if they are displayed on different drawings. In addition, in describing an embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function hinders understanding of the embodiment of the present invention, the detailed description thereof will be omitted. In addition, embodiments of the present invention will be described below, but the technical idea of the present invention is not limited or limited thereto and can be modified and implemented in various ways by those skilled in the art.
또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. In addition, terms used in this specification are used to describe embodiments, and are not intended to limit and/or limit the disclosed invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.In this specification, terms such as "include", "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or the existence or addition of more other features, numbers, steps, operations, components, parts, or combinations thereof is not excluded in advance.
또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함하며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다. In addition, throughout the specification, when a part is said to be “connected” to another part, this is not only the case where it is “directly connected”, but also the case where it is “indirectly connected” with another element in the middle. Terms including ordinal numbers, such as "first" and "second" used herein, may be used to describe various components, but the components are not limited by the terms.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다. Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted.
한편 본 발명의 명칭은 '복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치'로 기재하였으나, 이하 설명의 편의를 위해 '복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치'는 '무인 비행 장치'로 축약하여 설명하도록 한다. Meanwhile, the title of the present invention is described as 'an unmanned flight device for photographing a damaged area of a structure using a plurality of cameras', but for convenience of description below, 'an unmanned flight device for photographing a damaged area of a structure using a plurality of cameras' Device' is abbreviated as 'unmanned flying device'.
도 1은 본 발명의 일 실시예에 따른 무인 비행 장치의 외관을 도시한 도면이다.1 is a view showing the appearance of an unmanned flying device according to an embodiment of the present invention.
본 발명의 바람직한 실시예에 따른 드론용 카메라짐벌 연결 장치는 카메라부(110)가 장착된 카메라짐벌(G)을 무인 비행 장치(100)가 호버링(hovering) 하는 중에 간편하게 연결하고 분리할 수 있도록 하는 장치로서, 도 1에 도시된 바와 같이 연결 브래킷(30)과 연결봉(40)을 포함하여 구성될 수 있다.A camera gimbal connection device for drones according to a preferred embodiment of the present invention enables the camera gimbal (G) equipped with the
먼저, 상기 연결 브래킷(30)은 무인 비행 장치(100)에 구비된 고정 브래킷(미도시)에 고정 설치되고 연결봉(40)이 탈착 가능하게 연결될 수 있다.First, the
여기서 연결 브래킷(30)은 고정 브래킷에 분리 가능하도록 볼트와 너트 등을 포함하는 체결 수단에 의해 고정 설치될 수 있다. 그리고 연결 브래킷(30)은 무인 비행 장치(100)의 균형을 위해 그 중심이 무인 비행 장치(100)의 무게 중심선 상에 위치되게 고정브래킷에 고정 설치될 수 있다. Here, the
도 2는 본 발명의 일 실시예에 따른 구조물 손상 검사 시스템에서 구성 요소와의 관계를 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 무인 비행 장치와 사용자 단말 장치와의 관계 및 구성 요소를 도시한 도면이다.2 is a diagram showing the relationship between components in a structure damage inspection system according to an embodiment of the present invention, and FIG. 3 is a relationship and configuration between an unmanned flying device and a user terminal device according to an embodiment of the present invention. A diagram showing the elements.
도 2를 살펴보면, 본 발명에 따른 구조물 검사 시스템은 무인 비행 장치(100), 서버(200) 및 사용자 단말 장치(300)를 포함할 수 있다.Referring to FIG. 2 , the structure inspection system according to the present invention may include an unmanned
구조물 손상 검사 장치(100, Unmanned aerial vehicle: UAV)는 비행하면서 다양한 정보를 수집할 수 있는 장치를 의미한다. 예를 들면, 무인 비행 장치(100)는 구조물의 주변을 비행하면서 구조물에 대한 정보를 획득할 수 있다. 아울러, 무인 비행 장치(100)는 스스로 위험상황을 판별하고, 위험 상황이라고 판단되면 스스로 자율 착륙 모드로 설정하고, 자율 착륙 모드에 따라 미리 설정된 착륙 지점에 착륙할 수 있다.A structure damage inspection apparatus 100 (Unmanned aerial vehicle: UAV) refers to a device capable of collecting various information while flying. For example, the unmanned
무인 비행 장치(100)가 획득한 다양한 정보는 서버(200)로 전송될 수 있다. 서버(200)는 무인 비행 장치(100)로부터 수신한 정보를 분석하여 구조물에 대한 정보를 획득할 수 있다.Various information obtained by the
사용자 단말 장치(300)는 무인 비행 장치(100)의 비행 방향, 비행 속도 등을 조작할 수 있다. 예를 들면, 지상에서 조종사가 사용자 단말 장치(300)를 이용하여 무인 비행 장치(100)를 조정하는 것이 가능할 수 있다. 사용자 단말 장치(300)는 스마트 폰, 이동 단말 장치, 컴퓨터, 랩 탑 등 다양한 전자 기기를 포함할 수 있다. The
한편, 도2에서는 서버(200)와 사용자 단말 장치(300)를 구분하여 도시하였지만, 본 발명의 실시예가 이로 한정되는 것은 아니고 사용자 단말 장치(300)와 서버(200)는 통합되어 구현도 가능한다. Meanwhile, although the
무인 비행 장치(100)는 사람이 탑승하지 않는 비행기를 말한다. 기체에 사람이 타지 않은 것으로 지상에는 원격 조종하는 조종사가 존재하고 있다는 점을 강조해 Uninhabited Aerial(Air) Vehicle의 약어로 지칭하는 경우도 있다. 보통 임무에 의한 분류, 비행 고도나 크기에 의한 분류가 존재하는데, 벌이 윙윙거린다는 뜻의 드론(drone)이라고도 불리기도 하며, 무인 비행 장치로 호칭되기도 한다.The
무인 비행 장치(100)는 구조물의 안전성 검사를 수행하기 위한 카메라, 센서 등을 포함할 수 있다.The
예를 들면, 도 2에 도시된 바와 같이, 무인 비행 장치(100)는 카메라부(110), 센서부(120), 조명부(130), 통신부(140), 비행부(150), 메모리부(160) 및 제어부(170)를 포함할 수 있다.For example, as shown in FIG. 2 , the unmanned
카메라부(110)는 무인 비행 장치(100)의 비행중에 구조물을 스캐닝하여 스캔 정보를 획득할 수 있다. 스캔 정보는 구조물의 영상 정보 및 구조물의 열화상 정보 중 적어도 하나를 포함할 수 있다.The
이를 위해, 카메라부(110)는 카메라(111), 열화상 카메라부(112) 및 초음파부(113)를 포함할 수 있다.To this end, the
카메라(111)는 구조물의 영상을 촬영하여 영상정보를 획득할 수 있으며, 상황에 따라 각도 및 위치 조절(앞 뒤로 이동 가능)이 가능한 복수 개의 카메라가 어레이 형태로 배열될 수 있다. 카메라의 배열 및 작동 방법에 대해서는 도 6및 도 7에서 자세히 설명하도록 한다. The camera 111 may obtain image information by capturing an image of a structure, and a plurality of cameras capable of adjusting angles and positions (movable back and forth) may be arranged in an array form according to circumstances. The arrangement and operation method of the camera will be described in detail with reference to FIGS. 6 and 7 .
열화상 카메라부(112)는 구조물의 열화상을 촬영하여 열화상 정보를 획득할 수 있다. 열화상 카메라부는 적외선 카메라로 구현될 수 있으며, 일반적으로 가시광선 영역에 대한 파장을 활용하여 영상을 촬영하는 카메라가 촬영할 수 없는 다양한 영상을 획득할 수 있어 구조물의 손상 폭과 손상의 깊이를 측정할 수 있는 장점이 존재한다. The thermal
센서부(120)는 무인 비행 장치(100)에 대한 정보 및 무인 비행 장치(100)의 주변에 대한 다양한 정보를 센싱하여 획득할 수 있다.The
이를 위해, 센서부(120)는 가속도 센서, 압력 센서, 온도 센서, 조도 센서, 연기 센서, 습도 센서, 일산화탄소 센서, 자이로스코프, GPS, CO2 센서, 오존 센서, 먼지 센서, VOC(유기화합물) 검지 센서 등 다양한 센싱 장치를 포함할 수 있다.To this end, the
구체적으로, 가속도 센서는 고도유지 기능을 하는데 사용될 수 있으며, 자이로 센서는 수평유지를 위해 사용될 수 있고, 압력 센서는 자세안정화 기능을 하는데 사용될 수 있으며, 조도 센서는 조도를 실시간으로 감지하여, 조도가 미리 설정된 크기 이하인 경우, 이에 대한 정보를 제어부(170) 및 조명부(130)로 송신할 수 있다.Specifically, the acceleration sensor may be used to maintain altitude, the gyro sensor may be used to maintain level, the pressure sensor may be used to stabilize posture, and the illuminance sensor may detect the illuminance in real time and If it is less than the preset size, information about this may be transmitted to the
또한, 센서부(120)는 초음파 센서를 포함하고 있어 무인 비행 장치(100)의 비행중에 무인 비행 장치(100)와 구조물 사이의 간격, 무인 비행 장치(100)와 지상과의 간격(무인 비행 장치(100)의 비해고도)에 대한 정보를 획득할 수 있다. 후술하겠지만, 센서부(120)가 취득한 정보는 후술할 카메라의 방향 및 위치를 제어하는 기준이 될 수 있다. In addition, since the
조명부(130)는 센서부(120)에서 감지한 조도 값이, 미리 설정된 값보다 이하인 경우, 조명을 온(On)하여, 무인 비행 장치(100)의 주변을 밝게 하여 촬영이 효율적으로 이루어지도록 할 수 있다.When the illuminance value detected by the
일반적으로, 건축 구조물의 경우 그 구조의 특성으로 인해 어두운 부분이 많으며, 저녁이나 밤에 구조물의 상태를 감지하고자 하는 경우 빛이 부족해 카메라로 촬영을 하여도 영상을 정확히 촬영할 수 없는 단점이 존재한다. 따라서, 조명부(130)는 센서부(120)에서 취득한 정보를 기초로, 단계적으로 조명부의 조명을 작동시켜 카메라에 의해 촬영한 영상이 보다 정확한 영상이 촬영되도록 할 수 있다. In general, in the case of building structures, there are many dark parts due to the characteristics of the structure, and when trying to detect the state of the structure in the evening or at night, there is a disadvantage in that an image cannot be accurately photographed even when photographed with a camera due to insufficient light. Accordingly, the
한편, 뒤에서 설명하겠지만, 복수 개의 카메라가 존재하는 경우, 각각의 카메라마다 조명부와 초음파 센서 등이 마련되어 있어, 작동되는 카메라에 대응되는 조명 장치만 작동시킬 수 있으며, 각각의 카메라가 향하는 각도에 맞추어 조명 장치 또한 동일하게 이동되도록 설정될 수 있다. On the other hand, as will be explained later, when there are a plurality of cameras, each camera has a lighting unit and an ultrasonic sensor, so that only the lighting device corresponding to the operating camera can be operated, and the lighting is adjusted according to the angle at which each camera is directed. Devices can also be set to move in the same way.
이러한 기능을 하기 위해 조명부(130)는 다양한 조명 장치를 포함할 수 있는데 일 예로, LED 장치가 포함될 수 있다. To perform this function, the
통신부(140)는 서버(200) 또는 다른 기기와 정보를 송수신할 수 있다. 예를 들면, 통신부(140)는 무인 비행 장치(100)에서 획득한 정보를 서버(200)로 전송할 수 있다.The
비행부(150)는 무인 비행 장치(100)를 비행이 가능하도록 할 수 있다. 이러한 비행부(150)는 동력부를 포함할 수 있다. 동력부는 배터리 등 동력을 생성할 수 있는 장치를 포함할 수 있으며, 이에 따라, 비행부(150)는 현재의 동력으로 무인 비행 장치(100)가 비행할 수 있는 거리에 대한 정보를 판별할 수 있다. The
메모리부(160)는 무인 비행 장치(100)의 동작에 필요한 다양한 정보를 저장할 수 있다.The
제어부(170)는 무인 비행 장치(100)의 전반적인 기능 및 동작을 제어할 수 있다.The
예를 들면, 제어부(170)는 무인 비행 장치(100)의 비행을 제어할 수 있으며, 제어부(170)는 무인 비행 장치(100)와 서버(200)의 데이터의 송수신을 제어할 수 있고, 카메라부(110) 및/또는 센서부(120)가 획득한 정보를 바탕으로 위험상황을 판별할 수 있다. 아울러, 제어부(170)는 위험 상황인 경우에 무인 비행 장치(100)를 자율 착륙 모드로 설정하여 무인 비행 장치(100)의 착륙을 제어할 수 있다.For example, the
또한, 제어부(170)는 센서부(120)가 취득한 각종 정보에 기초하여 카메라(111)의 카메라의 위치와 각도를 조절할 수 있다. In addition, the
서버(200)는 카메라부(110)가 획득한 스캔정보를 분석하여 구조물의 관심부분(Part Of Interest, POI)을 검출할 수 있고, 검출된 영역에 대해 인공신경망 모듈을 이용하여 손상 감지 여부를 판단할 수 있다. 여기서, 관심부분은 이상이 의심되는 부분이라고 할 수 있다.The
이를 위해, 서버(200)는 도3에 도시된 바와 같이, 통신부(210), 영상 분석부(220), 위치 판별부(230), 이상 종류 판별부(240), 경로 설정부(250), 입체 도면 획득부(260), 구조물 정보부(270), 메모리부(280) 및 제어부(290)를 포함할 수 있다.To this end, as shown in FIG. 3, the
통신부(210)는 무인 비행 장치(100) 및/또는 사용자 단말 장치(300)와 통신을 수행할 수 있다. 예를 들면, 통신부(210)는 무인 비행 장치(100)로부터 무인 비행 장치(100)가 획득한 정보를 수신할 수 있다.The
영상 분석부(220)는 무인 비행 장치(100)가 획득한 정보 중 영상 정보를 분석할 수 있다. 구체적으로, 무인 비행 장치(100)가 취득한 다양한 영상 정보를 기초로 손상 감지 여부를 판단할 수 있으며, 일 실시예로 손상 감지 인공신경망 모듈(500)을 이용하여 판별할 수 있다. 이에 대한 구체적인 설명은 후술하도록 한다. The
위치 판별부(230)는 관심 부분의 위치에 대한 정보를 판별할 수 있다. 이상 종류 판별부(240)는 관심 부분이 어떠한 종류의 이상을 갖는지에 대한 정보를 판별할 수 있다. 예를 들면, 관심 부분에 물리적 손상이 있는지 혹은 열적 이상이 있는지에 대한 정보를 판별할 수 있다.The
경로 설정부(250)는 구조물에 대응하여 무인 비행 장치(100)의 비행경로를 설정할 수 있다. 입체 도면 획득부(260)는 무인 비행 장치(100)가 비행 경로에 대응하여 비행하면서 촬영한 구조물에 대한 영상을 처리하여, 구조물의 입체 도면을 획득할 수 있다.The
구조물 정보부(270)는 모니터링 대상인 구조물에 대한 정보를 처리할 수 있다. 예를 들면, 구조물 정보부(270)는 구조물에 대한 정보를 처리하여 구조물에 대한 좌표 정보(2D 및/또는 3D)를 획득할 수 있다.The
메모리부(280)는 구조물의 검사에 필요한 다양한 정보를 저장할 수 있다. 예를 들면, 구조물의 구조에 대한 정보, 구조물의 형태에 대한 정보, 비행 경로에 대한 정보 및/또는 관심 부분에 대한 정보 등을 포함할 수 있다.The
출력부(310)는 다양한 정보를 사용자가 확인이 가능하도록 출력할 수 있다. 예를 들면, 출력부(310)는 구조물의 관심 부분에 대한 정보를 출력할 수 있다. 이러한 출력부(310)는 디스플레이부(Display Part)를 포함할 수 있다.The output unit 310 may output various types of information so that the user can check them. For example, the output unit 310 may output information about a part of interest of a structure. The output unit 310 may include a display part.
제어부(290)는 서버(200)의 전반적인 기능 및 동작을 제어할 수 있다. 예를 들면, 제어부(290)는 무인 비행 장치(100)로부터 수신한 스캔 정보를 분석하여 구조물의 관심 부분(Part Of Interest, POI)을 검출할 수 있다.The
도 4는 본 발명의 일 실시예에 따른 무인 비행 장치가 감지 대상 구조물을 스캐닝하는 일 모습을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따라 무인 비행 장치의 경로를 설정하는 방법을 설명한 도면이다.FIG. 4 is a diagram illustrating a state in which an unmanned flying device scans a target structure to be sensed according to an embodiment of the present invention, and FIG. 5 illustrates a method for setting a path of an unmanned flying device according to an embodiment of the present invention. This is the drawing described.
무인 비행 장치(100)가 도 4에 도시된 감지 대상 구조물(400)에 대한 손상 감지를 한다고 가정하면, 무인 비행 장치(100)는 건축 구조물(400)의 사진 등의 정보를 이용하여 감지 대상 구조물(400)에 대한 좌표 정보를 획득할 수 있다.Assuming that the unmanned
예를 들어, 감지 대상 구조물(400)의 단면에서 4개의 모서리 중 하나를 원점 좌표(0,0)로 설정하고, 나머지 3개의 모서리를 좌표 (a,b), (a1,b1), (a2,b2)로 설정할 수 있다. 이와 같은 방법으로 획득한 구조물, 예컨대 감지 대상 구조물(400)의 좌표 정보를 바탕으로 무인 비행 장치(100)의 비행 경로(FP)를 설정하는 것이 가능하다. 예를 들면, 도 4에 도시된 바와 같이, 감지 대상 구조물(400)의 주변을 도는 것으로 비행 경로(FP)를 설정하는 것이 가능할 수 있다.For example, in the cross section of the
한편, 무인 비행 장치(100)의 비행 경로(FP)는 다양하게 변경될 수 있으며, 도면에 도시된 바와 같이, 비행 경로(FP)는 나선형(Spiral)으로 설정될 수 있다. 이처럼, 비행 경로(FP)를 나선형으로 설정하면 무인 비행 장치(100)의 비행을 보다 효과적으로 제어할 수 있다. 아울러, 감지 대상 구조물(400)에 대한 정보를 보다 정밀하고 효과적으로 획득하는 것이 가능할 수 있다. Meanwhile, the flight path FP of the unmanned
무인 비행 장치(100)는 설정된 비행 경로(FP)에 따라 비행하면서 감지 대상 구조물(400)의 정보를 스캐닝(scanning)할 수 있다. 예를 들면, 도 5에 도시된 바와 같이, 나선형의 비행 경로(FP)에서 제 1 지점(P1), 제 2 지점(P2), 제 3 지점(P3) 및 제 4 지점(P4)에서 각각 감지 대상 구조물(400)의 손상 영역을 촬영하는 것이 가능하다.The
무인 비행 장치(100)가 비행하면서 제 1, 2, 3, 4 지점(P1, P2, P3, P4)에서 촬영을 하였다면, 서버(200)는 각각의 지점에서 촬영한 이미지를 연속적으로 편집할 수 있다. 이와 같은 방법으로 구조물의 입체 도면을 획득할 수 있다. 자세하게는, 서버(200)는 무인 비행 장치(100)가 비행 경로(FP)에 대응하여 비행하면서 촬영한 감지 대상 구조물(400)에 대한 영상을 처리하여, 감지 대상 구조물(400)의 입체 도면을 생성할 수 있다. If the unmanned
도 6은 본 발명에 따른 카메라부의 카메라 배열을 도시한 도면이고, 도 7은 검사 영역의 곡률에 따라 본 발명에 따른 카메라들의 위치 변화를 도시한 도면이고, 도 8은 본 발명에 따른 카메라부의 카메라들의 각도가 변형된 모습을 도시한 도면이다.6 is a view showing a camera arrangement of the camera unit according to the present invention, FIG. 7 is a view showing position changes of the cameras according to the present invention according to the curvature of the inspection area, and FIG. 8 is a view showing the camera unit camera unit according to the present invention. It is a drawing showing the shape of the angle of the deformed.
도 6을 참조하면, 일 실시예에 따른 카메라부(110)는 어레이(array) 형태로 배열된 복수 개의 카메라(111a~111f)를 포함할 수 있다. 상기 카메라는 일반적으로 가시광선 영역의 파장을 이용하여 영상을 촬영하는 카메라로 구현될 수 있으나, 앞서 설명한 바와 같이 복수 개의 카메라 중 일부는 적외선 카메라로 구현될 수 있다, 한편, 본 발명의 실시예가 도 6에 도시된 카메라들의 배열된 형태로 한정되는 것은 아니고, 카메라는 더 적게 또는 더 많게, 다양한 배열 형태로 배치될 수 있다. Referring to FIG. 6 , the
한편, 앞서 설명한 바와 같이 무인 비행 장치(100)는 초음파 센서를 포함하고 있어, 무인 비행 장치(100)는 무인 비행 장치(100)와 검사 대상이 되는 구조물과의 거리를 측정할 수 있다. 구체적으로 초음파 센서는 복수 개의 초음파 센서를 구비하고 있어, 무인 비행 장치(100)와 검사 대상이 되는 구조물과의 거리 뿐만 아니라, 검사 대상이 되는 영역이 평평한 형태인지 아니면 원 형태로 이루어져 있는지에 대해서도 정확히 알 수 있다.Meanwhile, as described above, since the unmanned
일반적으로, 건축물의 지지대는 직사각형 형태의 지지대로 구현되는 경우가 많으나, 교량 같은 구조물을 지지하는 거더는 직육면체 형상의 거더 뿐만 아니라 원통 형상의 거더로 구현되는 경우도 많다. 그런데 원통 형상으로 이루어진 거더의 경우, 원의 곡률로 인해 복수 개의 카메라가 수평하게 배치된 상태에서 촬영을 하는 경우 양 끝 부분이 무인 비행 장치의 왜곡이 일어나기 쉽니다. In general, supports of buildings are often implemented as rectangular supports, but girders supporting structures such as bridges are often implemented as cylindrical girders as well as cuboid-shaped girders. However, in the case of a girder made of a cylindrical shape, distortion of the unmanned aerial vehicle is likely to occur at both ends when shooting with multiple cameras placed horizontally due to the curvature of the circle.
따라서, 본 발명에 따른 카메라들은 초음파 센서로 취득한 거리 정보를 검사 대상이 되는 영역이 평평한 형태인지 곡선 형태인지 판단한 후, 이에 따라 카메라의 위치나 방향이 조절함으로써, 이러한 문제점을 해결할 수 있다. Accordingly, the cameras according to the present invention can solve this problem by determining whether the area to be inspected is flat or curved based on the distance information acquired by the ultrasonic sensor, and then adjusting the position or direction of the camera accordingly.
일 예로 검사 영역이 평평한 형태인 경우 도 7의 (a)에 도시된 바와 같이 카메라들(111a, 111b, 111c)들은 검사 영역과 평행하게 배열된 상태로 영상을 촬영하나, 검사 영역이 도 7의 (b)에 도시된 바와 같이 곡률 형태인 경우, 초음파 센서로부터 얻은 정보를 기초로 검사 영역의 곡률 정보를 취득한 후, 카메라들(111a, 111b, 111c)들의 위치를 앞 뒤로 이동시켜, 카메라들이 배치된 형태의 곡률이 검사 영역의 곡률과 동일한 곡률을 가지도록 할 수 있다. For example, when the inspection area is in a flat shape, as shown in (a) of FIG. As shown in (b), in the case of curvature, after acquiring curvature information of the inspection area based on the information obtained from the ultrasonic sensor, the positions of the cameras 111a, 111b, and 111c are moved back and forth to arrange the cameras The curvature of the shape may have the same curvature as the curvature of the inspection area.
구체적으로 도 7의 (b)와 같은 경우에는 제1카메라(111a)와 제3카메라(111c)가 앞으로 이동하거나, 제2카메라(111b)가 뒤로 이동하여 검사 영역의 곡률(r1)과 카메라들이 배열된 형태의 곡률(r2)이 서로 같아지도록 카메라들의 위치가 변경될 수 있다. Specifically, in the case of (b) of FIG. 7, the first camera 111a and the third camera 111c move forward or the second camera 111b moves backward so that the curvature r1 of the inspection area and the cameras The positions of the cameras may be changed so that the curvatures r2 of the arrayed shapes are equal to each other.
또한, 본 발명에 따른 카메라(111a~111f)들은 도 7에서 설명한 바와 같이 특정 카메라들이 앞으로나 뒤로 이동하는 방식으로 영상을 촬영할 수 있으나, 도 8에 도시된 바와 같이 카메라의 이동으로 곡률을 동일하게 맞출 수 없는 경우 외각에 있는 카메라들의 각도를 변경하는 방식으로 곡률을 조정하여 보다 정확하게 곡률에 따른 왜곡이 발생하지 않는 영상을 촬영할 수 있다. In addition, the cameras 111a to 111f according to the present invention can take images in a way that specific cameras move forward or backward as described in FIG. 7, but as shown in FIG. 8, the curvature is the same as the camera moves. If it is not possible to match, the curvature is adjusted by changing the angles of the cameras on the outer side, so that an image without distortion due to the curvature can be taken more accurately.
지금까지 본 발명에 따른 무인 비행 장치(100)의 영상 촬영 방법에 대해 알아보았다. 이하, 촬영된 영상을 기초로 인공신경망을 이용하여 영상을 분석하여 손상을 감지하는 방법에 대해 알아본다. 한편, 이하 설명되는 손상 감지 인공신경망 모듈(500)은 서버(200)의 영상 분석부(220)의 일 구성요소로 구현될 수 있으나, 본 발명에 따른 인공신경망 모듈의 실시예가 서버의 구성요소로 한정되는 것은 아니고, 촬영된 영상을 기초로 손상을 감지하는 독립적인 장치로 구현되거나, 무인 비행 장치(100)의 일 구성요소로도 구현될 수 있다. So far, the method for capturing an image of the
도 9와 도 10은 본 발명의 일 실시예에 따른 손상 감지 인공신경망 모듈의 입력 정보 및 출력 정보를 도시한 도면이고, 도 11과 도12는 본 발명의 일 실시예에 따른 손상 감지 인공신경망 모듈의 구체적인 구성 요소들을 도시한 도면이다. 9 and 10 are diagrams illustrating input information and output information of the damage detection artificial neural network module according to an embodiment of the present invention, and FIGS. 11 and 12 are damage detection artificial neural network modules according to an embodiment of the present invention. It is a diagram showing the specific components of.
도 9 내지 도 12를 참조하면, 본 발명에 따른 손상 감지 인공신경망 모듈(500)은 카메라(111)가 촬영한 이미지 정보(10)를 입력 정보로 하고, 입력된 이미지 정보(10)를 분석하여 손상 정보(20)를 출력 정보로 출력하는 인공신경망으로써, 입력 정보 및 레퍼런스 정보(ground truth, 30)를 기초로 인공신경망을 학습하는 학습 세션(501)과, 입력되는 이미지 정보(10)를 분석하여 손상 정보(20)를 추론하고 출력하는 추론 세션(502)을 포함할 수 있다. 본 발명에 따른 손상 감지 인공신경망 모듈(500)의 학습 세션(501)과 추론 세션(502)은 도면에 도시된 바와 같이 별도의 구성으로 구현될 수 있으나, 하나의 세션으로 구현될 수 도 있다. 9 to 12, the damage detection artificial
본 발명에 따른 레퍼런스 정보(30)는 메모리부(160)에 저장될 수 있으며, 레퍼런스 정보는 인공신경망이 출력한 정보에 대응되는 실제 학습 자료를 의미한다. 본 발명의 경우, 감지 대상이 구조물에 해당하기 때문에, 실제로 구조물 검사 장치(100)가 영상을 촬영함에 있어서, 실제 현장에서 검사 대상 물체와 유사한 물체들이 발견될 수 있다. 따라서, 추론의 정확도를 높이기 위해서는 이러한 것들을 적절하게 분류시키기 위해 이들에 대한 정보를 학습 자료에 포함시킬 필요가 있다.The
구체적으로 이러한 물체들로 분류될 수 있는 물체들은 나뭇가지, 시공이음부, 그리고 누수에 의한 얼룩 등의 무인 비행 장치 등에 해당할 수 있고, 이러한 물체 등을 손상으로 인지하지 않아야, 추론의 정확도가 높아지므로, 본 발명의 경우 손상 감지 인공신경망 모듈(500)을 학습시킴에 있어서, 이러한 자료를 학습 자료에 포함시켜 학습을 수행할 수 있다. Specifically, objects that can be classified as these objects may correspond to unmanned flying devices such as tree branches, construction joints, and stains caused by leaks. Therefore, in the case of the present invention, in learning the damage detection artificial
본 발명에 따른 손상 감지 인공신경망 모듈(500)은 총 4개의 인공 신경망을 포함할 수 있는데, 구체적으로 제1인공 신경망(510), 제2인공 신경망(520), 제3인공 신경망(530), 제4인공 신경망(540) 및 완전 연결 레이어(550)를 포함할 수 있다.The damage detection artificial
구체적으로, 손상 감지 인공신경망 모듈(500)에 입력되는 입력 정보인 이미지 정보(10)는 제1인공 신경망(510)에 입력되며, 제1인공 신경망(510)이 출력하는 제1출력 정보(11)는 제2인공 신경망(520)의 입력 정보로 입력되며, 제2인공 신경망(520)이 출력하는 출력 정보인 제2출력 정보(21)는 제3인공 신경망(530)과 제4인공 신경망(540)의 입력 정보로 각각 입력될 수 있으며, 제3인공 신경망(530)이 출력하는 제3-1출력 정보(31)와 제3-2출력 정보(32) 및 제4인공 신경망(540)이 출력하는 제4출력 정보(41)는 완전 연결 레이어(550)에서 합쳐진 후, 최종 출력 정보인 손상 정보(20)로 변환되어 출력될 수 있다.Specifically, the
제1인공 신경망(510)은 입력되는 이미지 정보(10)를 기초로, 입력된 이미지 내의 특징 맵(feature map)을 추출하여 출력하는 인공신경망으로 구현될 수 있으며, 구체적으로 제1-1인공 신경망(511)과 제1-2인공 신경망(512)으로 구현될 수 있다.The first artificial neural network 510 may be implemented as an artificial neural network that extracts and outputs a feature map in an input image based on the
제1-1인공 신경망(511) 입력되는 이미지의 특징을 추출하는 신경망으로서, CNN(Convolutional Neural Network) 신경망으로 구현될 수 있다. CNN 모델은 학습 가능한 가중치와 편향을 가진 필터의 집합체를 의미할 수 있는데, 입력되는 무인 비행 장치에서 강조하거나 무시할 특징을 결정할 수 있다 The 1-1 artificial neural network 511 is a neural network that extracts features of an input image, and may be implemented as a convolutional neural network (CNN). A CNN model can mean a set of filters with learnable weights and biases, and can determine features to be emphasized or ignored in an input unmanned aerial vehicle.
제1-1인공 신경망(511)에 특징 맵으로 출력된 출력 정보는 제1-2인공 신경망(512)의 입력 정보를 입력될 수 있다. Output information output as a feature map to the 1-1 artificial neural network 511 may be input information of the 1-2 artificial neural network 512 .
구체적으로, 제1-2인공 신경망(512)은 제1-1인공 신경망(511)에서 특징 맵이 출력되면서 발생한 이미지의 해상도 감소를 복원시킨 특징 맵을 제1출력 정보(11)로 출력하는 신경망으로 구현될 수 있다. Specifically, the 1-2 artificial neural network 512 outputs, as the first output information 11, a feature map obtained by restoring a reduction in resolution of an image generated while the feature map is output from the 1-1 artificial neural network 511. can be implemented as
일 예로, 제1-2인공 신경망(512)은 FPN(Feature Pyramid Network) 신경망으로 구현될 수 있다. 일반적으로 대부분의 CNN 모델의 경우 특징을 추출하면서 추출 중에 입력 이미지의 해상도 감소를 일으키기 때문에, 제1-2인공 신경망(512)은 입력되는 특징 맵에 대해 크기를 줄이면서 손실 될 수 있는 공간 정보를 복원시킨 특징 맵을 출력 정보롤 출력시킨다. 제1-2인공 신경망(512)에서 출력된 제1출력 정보(11)에 포함되어 있는 특징 맵은 크기가 다른 물체를 효율적으로 탐지하기 위해 복수 개의 서로 다른 해상도를 가지는 특징 맵으로 복원될 수 있다. 것을 특징으로 하고 있다.For example, the first-second artificial neural network 512 may be implemented as a Feature Pyramid Network (FPN) neural network. In general, since most CNN models reduce the resolution of an input image during extraction while extracting features, the 1st-2nd artificial neural networks 512 reduce the size of the input feature map while removing spatial information that may be lost. The restored feature map is output as output information. The feature map included in the first output information 11 output from the 1-2 artificial neural network 512 may be reconstructed into a plurality of feature maps having different resolutions in order to efficiently detect objects of different sizes. . It is characterized by
한편, 도면에서 설명의 편의를 위해 제1-1인공 신경망(511)과 제1-2인공 신경망(512)을 별도의 구성 요소로 도시하였으나, 실시예에 따라 하나의 신경망으로 구현될 수 도 있다.Meanwhile, although the 1-1 artificial neural network 511 and the 1-2 artificial neural network 512 are shown as separate components for convenience of description in the drawings, they may be implemented as one neural network according to embodiments. .
제2인공신경망(520)은 입력된 이미지 내에서 검출해야 하는 손상과 어느 정도 유사한지에 대한 손상확률분포와 경계 상자의 형태로 손상의 위치 정보를 출력하는 인공신경망으로서, 구체적으로 제1인공 신경망(510)이 출력한 제1출력 정보(11)를 입력 정보로 하고, 제1출력 정보(11)에 포함되어 있는 특징 맵을 분석하여 손상이 있는 손상 부위 영역을 설정하고, 설정된 영역에 대한 위치 정보 및 손상 분류 정보를 제2출력 정보(12)로 출력하는 신경망을 의미한다. The second artificial neural network 520 is an artificial neural network that outputs damage probability distribution and location information of damage in the form of a bounding box about how similar the damage is to be detected in the input image. Specifically, the first artificial neural network ( 510) takes the outputted first output information 11 as input information, analyzes the feature map included in the first output information 11, sets the area of the damaged area where there is damage, and sets the location information on the set area. and a neural network that outputs the damage classification information as the second output information 12 .
제2인공 신경망(520)은 제1출력 정보(11)에 포함되어 있는 특징 맵을 경계 상자(bounding box)를 이용하여 스캐닝(scanning)을 하는 방법으로 영역 정보를 생성할 수 있다. The second artificial neural network 520 may generate area information by scanning the feature map included in the first output information 11 using a bounding box.
구체적으로 제2인공 신경망(520)은 희귀분석을 수행하여 경계 상자의 크기 및 중심 위치를 보정하는 제1레그레이션 레이어(regression layer, 미도시)와 설정 영역에 손상 정보가 있는지 없는지 판단하는 제1뷴류 레이어(classification layer, 미도시)를 포함하고 있다. 따라서, 경계 상자에 의해 얻어진 각각의 영역 정보는 저차원 특징으로 변환되고, 변환된 정보는 각각 제1레그레이션 레이어와 제1분류 레이어로 입력되어, 각각의 슬라이딩 창 위치에서 손상 감지 영역을 탐지할 수 있다.Specifically, the second artificial neural network 520 performs sparsity analysis to perform a first regression layer (not shown) that corrects the size and center position of the bounding box and a first step that determines whether there is damage information in the setting area. It includes a classification layer (not shown). Therefore, each region information obtained by the bounding box is converted into a low-dimensional feature, and the converted information is input to the first legation layer and the first classification layer, respectively, to detect a damage detection region at each sliding window position. can
제2인공 신경망(520)은 각각의 슬라이딩 창 위치에서 최대 k개의 경계 영역을 제안할 수 있다. 따라서, 레그레이션 레이어는 k개의 경개 영역에서의 경계 상자의 좌표를 나타내는 4개의 출력 정보(왼쪽 위의 x좌표, y좌표, 높이, 폭)를 출력할 수 있다. k개의 영역은 앵커(anchor)로 호칭될 수 있으며, 경계상자를 중심으로 일정하게 가로 크기와 세로 크기를 변화시키면서 손상이 있는 영역을 제안한다.The second artificial neural network 520 may propose up to k boundary regions at each sliding window position. Accordingly, the legation layer may output four pieces of output information (x-coordinate, y-coordinate, height, and width of the upper left) representing the coordinates of the bounding box in the k-folding regions. The k number of regions may be referred to as anchors, and suggest regions with damage while constantly changing horizontal and vertical sizes around the bounding box.
분류 레이어는 경계 상자 내부 영역에서 손상 여부에 대한 정보를 확률 정보를 출력한다. 따라서, 분류 레이어는 2개의 클래스(손상 및 비손상)를 가지는 소프트 맥스를 포함할 수 있다. The classification layer outputs probability information about whether or not the area inside the bounding box is damaged. Thus, the classification layer may include a softmax with two classes (impaired and non-impaired).
한편, 제2인공 신경망(520)은 제2인공 신경망(520) 내부에서 추출된 확률 지도의 경우 임계값을 설정하여 미리 설정된 임계값 이상의 영역에 대해서만 손상 정보가 있는 것으로 판단할 수 있다. 일 예로, 0.7 내지 0.9의 값을 임계값을 정하여 정보를 출력하도록 할 수 있다. Meanwhile, the second artificial neural network 520 may set a threshold value in the case of a probability map extracted from the inside of the second artificial neural network 520 and determine that there is damage information only for an area equal to or greater than the preset threshold value. For example, a value of 0.7 to 0.9 may be set as a threshold to output information.
한편, 제2인공 신경망(520)은 제1레그레이션 통해서 제안된 영역 정보를 기초로, 영역 정보 내에 손상의 특징을 추출하고, 분류를 수행하는 손상 분류 레이어를 더 포함할 수 있다. Meanwhile, the second artificial neural network 520 may further include an injury classification layer that extracts characteristics of damage from the area information based on area information proposed through the first leg, and performs classification.
구체적으로, 손상 분류 레이어는, 제안된 영역 정보를 입력된 이미지와 적절하게 정렬을 하는 레이어로서, 특징 맵 내부의 인근 점으로부터 bilinear interpolation 방법을 사용하여 각 특징 추출점의 정확한 값을 계산할 수 있다. 손상 분류 레이어에 의해 추출된 특징 맵은 더 높은 정확도로 손상을 분류할 수 있을 뿐만 아니라, 손상의 형상에 대한 정보도 보다 정확히 추출할 수 있는 장점이 존재한다. Specifically, the damage classification layer is a layer that appropriately aligns the proposed region information with the input image, and can calculate an exact value of each feature extraction point using a bilinear interpolation method from nearby points inside the feature map. The feature map extracted by the damage classification layer has the advantage of not only being able to classify the damage with higher accuracy, but also more accurately extracting information about the shape of the damage.
제2인공 신경망(520)에 의해 출력된 제2출력 정보(21)는 각각 제3인공 신경망(530)과 제4인공 신경망(540)의 입력 정보로 입력될 수 있다.The second output information 21 output by the second artificial neural network 520 may be input as input information to the third artificial neural network 530 and the fourth artificial neural network 540, respectively.
제3인공 신경망(530)은 경계 상자의 위치와 크기를 세밀하게 조정하는 제2레그레이션 레이어(532)와 손상의 종류를 분류하는 제2뷴류 레이어(533)를 포함할 수 있으며, 각각의 레이어를 통과하는 제3-1출력 정보(31)와 제3-2출력 정보(32)는 완전 연결 레이어(550)로 입력될 수 있다. The third artificial neural network 530 may include a second legation layer 532 that finely adjusts the position and size of the bounding box and a second classification layer 533 that classifies the type of damage, and each layer The 3-1 output information 31 and the 3-2 output information 32 passing through may be input to the fully connected
한편, 도 12에서는 제1폴링 레이어(531), 제2레그레이션 레이어(532) 및 제2분류 레이어(533)가 하나씩 제3인공 신경망(530)에 포함되어 있는 것으로 도시하였으나, 본 발명의 실시예가 이로 한정되는 것은 아니고, 이러한 하나의 세트(폴링 레이어, 레그레이션 레이어, 분류 레이어)가 직렬적으로 복수 개 연결되어 추출 정보의 정확도를 높이는 구조로 인공신경망이 구현될 수도 있다.Meanwhile, in FIG. 12, it is shown that the
제4인공 신경망(540)은 픽셀 단위의 손상 현상을 추정하는 인공신경망으로서, 입력되는 제2출력 정보(21)를 기초로 복수 개의 컨볼루션과 디컨볼룰션을 적용하여 픽셀 단위로 이미지 내의 손상을 분할하는 신경망을 의미한다.The fourth artificial neural network 540 is an artificial neural network that estimates the damage phenomenon in pixel units, and applies a plurality of convolutions and deconvolutions based on the input second output information 21 to detect damage in the image in pixel units. denotes a neural network that divides
일 예로, 제4 인공 신경망(540)은 마스크 브랜치(Mask Branch)를 이용하여 손상의 형상을 픽셀 단위로 검출할 수 있는데, 도면에 도시된 바와 같이 4개의 연속된 3x3 컨볼루션 레이어 및 2개의 1x1 디컨볼루션 레이어로 구성될 수 있다.For example, the fourth artificial neural network 540 may detect the damage shape in units of pixels using a mask branch. As shown in the figure, four consecutive 3x3 convolutional layers and two 1x1 It may be composed of a deconvolution layer.
완전 연결 레이어(550)는 제3인공 신경망(530)과 제4인공 신경망(540)이 출력한 출력 정보들을 모두 하나의 정보로 연결 및 통합한 후, 최종적으로 이미지 형태의 손상 정보를 손상 감지 인공신경망 모듈(500)의 최종 출력 정보로 출력할 수 있다. The fully connected
지금까지 도면을 통해 본 발명의 일 실시예에 따른 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치 및 이를 이용한 구조물 손상 검사 장치에 대해 자세히 알아보았다. So far, an unmanned flying device for photographing a damaged area of a structure using a plurality of cameras according to an embodiment of the present invention and a structure damage inspection device using the same have been studied in detail through the drawings.
일 실시예에 따른 복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치는 검사 대상이 되는 구조물의 곡률을 계산한 후, 계산된 곡률을 고려하여 카메라의 위치 및 각도를 조절하여 구조물을 촬영을 하므로, 종래 기술보다 보다 정확하게 각도에 따른 왜곡이 발생하지 없는 손상 영역을 획득할 수 있는 장점이 존재한다. An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras according to an embodiment calculates the curvature of a structure to be inspected, and then adjusts the position and angle of the camera in consideration of the calculated curvature to inspect the structure. Since the photographing is performed, there is an advantage in obtaining a damaged area in which distortion according to an angle does not occur more accurately than in the prior art.
또한, 일 실시예에 따른 구조물 손상 검사 장치는, 무인 비행 장치가 획득한 무인 비행 장치에 대해 복수 개의 인공신경망을 이용하여 손상 감지 여부를 판단하므로 종래 기술보다 보다 정확하게 다양한 종류에 대한 손상 여부를 판단할 수 있는 장점이 존재한다. In addition, the apparatus for inspecting structure damage according to an embodiment determines whether or not damage is detected using a plurality of artificial neural networks for the unmanned aerial vehicle acquired by the unmanned aerial vehicle, and thus determines whether or not damage to various types is more accurately than in the prior art. There are advantages to doing so.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may run an operating system (OS) and one or more software applications running on the operating system.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다. As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved. Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
100: 무인 비행 장치
110: 카메라 부
120: 센서부
130: 조명부
140: 통신부
170: 제어부
200: 서버100: unmanned flight device
110: camera unit
120: sensor unit
130: lighting unit
140: communication department
170: control unit
200: server
Claims (6)
초음파 센서를 이용하여 상기 구조물과의 거리 정보 및 각도 정보를 산출하는 초음파부;
상기 카메라부가 촬영하는 영역에 대한 조도를 감지하는 조도 센서를 포함하는 센서부; 및
상기 초음파부가 획득한 정보를 기초로 상기 복수 개의 카메라의 위치 및 각도를 조절하는 제어부;를 포함하고
상기 초음파부는, 상기 거리 정보 및 상기 각도 정보를 이용하여 상기 구조물의 검사 영역에 대한 곡률 정보를 산출하고,
상기 제어부는, 산출된 상기 곡률 정보에 기초하여 상기 복수 개의 카메라의 위치 및 각도를 조절하는 것을 특징으로 하는,
복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치. a camera unit including a plurality of cameras arranged in parallel with a horizontal direction to photograph a structure to be inspected;
an ultrasonic unit calculating distance information and angle information with respect to the structure using an ultrasonic sensor;
a sensor unit including an illuminance sensor that senses the illuminance of the area photographed by the camera unit; and
And a control unit for adjusting the positions and angles of the plurality of cameras based on the information obtained by the ultrasonic unit.
The ultrasound unit calculates curvature information for an inspection area of the structure using the distance information and the angle information,
Characterized in that the control unit adjusts the positions and angles of the plurality of cameras based on the calculated curvature information,
An unmanned flying device that photographs the damaged area of a structure using a plurality of cameras.
상기 제어부는,
상기 구조물의 검사 영역에 대해 산출된 곡률 값이 미리 설정된 값 이상인 경우, 상기 복수 개의 카메라 중 적어도 일부의 카메라의 위치 및 각도를 조절하는 것을 특징으로 하는,
복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치. According to claim 1,
The control unit,
Characterized in that, when the curvature value calculated for the inspection area of the structure is equal to or greater than a preset value, the positions and angles of at least some of the cameras are adjusted.
An unmanned flying device that photographs the damaged area of a structure using a plurality of cameras.
상기 제어부는,
상기 구조물의 검사 영역에 대해 산출된 곡률 값이 미리 설정된 값 이상인 경우, 상기 복수 개의 카메라의 중심을 잇는 곡선의 곡률 값이 상기 구조물의 검사 영역에 대한 곡률 값과 동일한 값을 가지도록, 상기 복수 개의 카메라의 위치를 이동시키는 것을 특징으로 하는,
복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치. According to claim 3,
The control unit,
When the curvature value calculated for the inspection area of the structure is greater than or equal to a preset value, the curvature value of the curve connecting the centers of the plurality of cameras has the same value as the curvature value for the inspection area of the structure, Characterized in moving the position of the camera,
An unmanned flying device that photographs the damaged area of a structure using a plurality of cameras.
상기 초음파 센서는, 상기 복수 개의 카메라에 각각 구비되어 배치되는 것을 특징으로 하는,
복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 무인 비행 장치.According to claim 1,
Characterized in that the ultrasonic sensor is provided and disposed in each of the plurality of cameras,
An unmanned flying device that photographs the damaged area of a structure using a plurality of cameras.
초음파 센서를 이용하여 상기 구조물과의 거리 정보 및 각도 정보를 산출하는 초음파부;
상기 카메라부가 촬영하는 영역에 대한 조도를 감지하는 조도 센서를 포함하는 센서부; 및
상기 초음파부가 획득한 정보를 기초로 상기 복수 개의 카메라의 위치 및 각도를 조절하는 제어부를 포함하는 무인 비행 장치; 및
상기 무인 비행 장치가 촬영한 손상 영역을 수신하고, 상기 무인 비행 장치에 대해 복수 개의 인공신경망을 이용하여 손상 감지 여부를 판단하는 손상 감지 인공신경망 모듈을 포함하는 서버;를 포함하고
상기 초음파부는, 상기 거리 정보 및 상기 각도 정보를 이용하여 상기 구조물의 검사 영역에 대한 곡률 정보를 산출하고,
상기 제어부는, 산출된 상기 곡률 정보에 기초하여 상기 복수 개의 카메라의 위치 및 각도를 조절하는 것을 특징으로 하는,
복수 개의 카메라를 이용하여 구조물의 손상 영역을 촬영하는 손상 영역을 이용한 구조물 손상 검사 장치.a camera unit including a plurality of cameras arranged in parallel with a horizontal direction to photograph a structure to be inspected;
an ultrasonic unit calculating distance information and angle information with respect to the structure using an ultrasonic sensor;
a sensor unit including an illuminance sensor that senses the illuminance of the area photographed by the camera unit; and
An unmanned flying device including a control unit for adjusting positions and angles of the plurality of cameras based on information acquired by the ultrasound unit; and
A server including a damage detection artificial neural network module that receives the damaged area photographed by the unmanned flying device and determines whether damage is detected using a plurality of artificial neural networks for the unmanned flying device; and
The ultrasound unit calculates curvature information for an inspection area of the structure using the distance information and the angle information,
Characterized in that the control unit adjusts the positions and angles of the plurality of cameras based on the calculated curvature information,
A structure damage inspection device using a damaged area for photographing a damaged area of a structure using a plurality of cameras.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220094437A KR102514703B1 (en) | 2022-07-29 | 2022-07-29 | An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting damage to a structure using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220094437A KR102514703B1 (en) | 2022-07-29 | 2022-07-29 | An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting damage to a structure using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102514703B1 true KR102514703B1 (en) | 2023-03-29 |
Family
ID=85800126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220094437A KR102514703B1 (en) | 2022-07-29 | 2022-07-29 | An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting damage to a structure using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102514703B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102578056B1 (en) | 2023-05-25 | 2023-09-14 | 드론공간정보기술 주식회사 | Apparatus and method for photographing for aerial photogrammetry using an air vehicle |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US912361A (en) * | 1907-11-11 | 1909-02-16 | Harry F Bushong | Temporary binder or loose-sheet holder. |
| CN101258510A (en) * | 2005-08-02 | 2008-09-03 | Og技术公司 | Apparatus and method for detecting surface defects on a workpiece such as a rolled/drawn metal bar |
| US20150078620A1 (en) * | 2012-04-20 | 2015-03-19 | Eth Zurich | Aircraft, Methods for Providing Optical Information, Method for Transmission of Acoustic Information and Method for Observing or Tracking an Object |
| KR20180025413A (en) | 2016-08-30 | 2018-03-09 | 주식회사 나루이엠에스 | Structure Ultra sonic Inspection System Using Drone |
| KR20180048405A (en) * | 2016-10-31 | 2018-05-10 | 더 보잉 컴파니 | Method and system for non-destructive testing using an unmanned aerial vehicle |
| KR20200038126A (en) * | 2018-10-02 | 2020-04-10 | 주식회사 숨비 | Drone-bot apparatus for plant inspection |
| KR20200054733A (en) * | 2018-11-12 | 2020-05-20 | 송철호 | Facility monitoring system using artificial intelligence automatic flight drone and intelligence video analysis |
| KR20200102663A (en) * | 2019-02-22 | 2020-09-01 | 삼성중공업 주식회사 | Vessel inside inspection method and device using drone |
| US20200307786A1 (en) * | 2017-10-28 | 2020-10-01 | Avestec Technologies Inc. | Method and apparatus for surface attachment of modular unmanned aerial vehicle for inspection |
| KR20210110587A (en) * | 2018-11-29 | 2021-09-08 | 사우디 아라비안 오일 컴퍼니 | Inspection method using landing UAV with releasable crawler |
-
2022
- 2022-07-29 KR KR1020220094437A patent/KR102514703B1/en active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US912361A (en) * | 1907-11-11 | 1909-02-16 | Harry F Bushong | Temporary binder or loose-sheet holder. |
| CN101258510A (en) * | 2005-08-02 | 2008-09-03 | Og技术公司 | Apparatus and method for detecting surface defects on a workpiece such as a rolled/drawn metal bar |
| US20150078620A1 (en) * | 2012-04-20 | 2015-03-19 | Eth Zurich | Aircraft, Methods for Providing Optical Information, Method for Transmission of Acoustic Information and Method for Observing or Tracking an Object |
| KR20180025413A (en) | 2016-08-30 | 2018-03-09 | 주식회사 나루이엠에스 | Structure Ultra sonic Inspection System Using Drone |
| KR20180048405A (en) * | 2016-10-31 | 2018-05-10 | 더 보잉 컴파니 | Method and system for non-destructive testing using an unmanned aerial vehicle |
| US20200307786A1 (en) * | 2017-10-28 | 2020-10-01 | Avestec Technologies Inc. | Method and apparatus for surface attachment of modular unmanned aerial vehicle for inspection |
| KR20200038126A (en) * | 2018-10-02 | 2020-04-10 | 주식회사 숨비 | Drone-bot apparatus for plant inspection |
| KR20200054733A (en) * | 2018-11-12 | 2020-05-20 | 송철호 | Facility monitoring system using artificial intelligence automatic flight drone and intelligence video analysis |
| KR20210110587A (en) * | 2018-11-29 | 2021-09-08 | 사우디 아라비안 오일 컴퍼니 | Inspection method using landing UAV with releasable crawler |
| KR20200102663A (en) * | 2019-02-22 | 2020-09-01 | 삼성중공업 주식회사 | Vessel inside inspection method and device using drone |
Non-Patent Citations (1)
| Title |
|---|
| AUTOMATION FOR NONDESTRUCTIVE INSPECTION OF AIRCRAFT(2014.09.08.)* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102578056B1 (en) | 2023-05-25 | 2023-09-14 | 드론공간정보기술 주식회사 | Apparatus and method for photographing for aerial photogrammetry using an air vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | Assessment of the feasibility of detecting concrete cracks in images acquired by unmanned aerial vehicles | |
| Akbar et al. | An evaluation of image‐based structural health monitoring using integrated unmanned aerial vehicle platform | |
| CN111537515A (en) | Iron tower bolt defect display method and system based on three-dimensional live-action model | |
| CN110637264B (en) | Method for determining a path along an object, system and method for automatically inspecting an object | |
| Protopapadakis et al. | Autonomous robotic inspection in tunnels | |
| JP6802599B1 (en) | Inspection system | |
| US20160133007A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
| KR20170136133A (en) | Construction Safety Inspection Apparatus and Method using Umanned Aerial Vehicles | |
| Vijayanandh et al. | Numerical study on structural health monitoring for unmanned aerial vehicle | |
| KR102514703B1 (en) | An unmanned aerial vehicle for photographing a damaged area of a structure using a plurality of cameras and an apparatus for inspecting damage to a structure using the same | |
| KR101942182B1 (en) | Residual strength evaluation method for fire damaged structure | |
| Poorghasem et al. | Review of robot-based automated measurement of vibration for civil engineering structures | |
| Liu et al. | Framework for automated UAV-based inspection of external building façades | |
| EP4063279B1 (en) | Automated assessment of aircraft structure damage | |
| Kerle et al. | UAV-based structural damage mapping–Results from 6 years of research in two European projects | |
| US12002193B2 (en) | Inspection device for inspecting a building or structure | |
| Huang et al. | Impact of camera vibration frequencies on image noise for unmanned aerial system applications | |
| Mitra et al. | A UAV Payload for Real-time Inspection of Highway Ancillary Structures | |
| KR102210571B1 (en) | Bridge and tunnel safety diagnosis remote monitoring alarm method using GPS coordinates and mobile communication system | |
| KR20210122764A (en) | Diagnostic method for facilities of power transmission using unmaned aerial vehicle | |
| Montes et al. | Semi-autopilot UAV flight path control for bridge structural health monitoring under GNSS-denied environment | |
| Kuo et al. | Unmanned robot system for Structure health monitoring and Non-Destructive Building Inspection, current technologies overview and future improvements | |
| Bai | Deep learning with vision-based technologies for structural damage detection and health monitoring | |
| JP7502974B2 (en) | Inspection systems and analysis equipment | |
| CN115586792B (en) | Unmanned aerial vehicle power inspection system and method based on iron tower parameters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |