KR102663155B1 - Apparatus and method for providing monitoring and building structure safety inspection based on artificial intelligence using a smartphone - Google Patents
Apparatus and method for providing monitoring and building structure safety inspection based on artificial intelligence using a smartphone Download PDFInfo
- Publication number
- KR102663155B1 KR102663155B1 KR1020230138342A KR20230138342A KR102663155B1 KR 102663155 B1 KR102663155 B1 KR 102663155B1 KR 1020230138342 A KR1020230138342 A KR 1020230138342A KR 20230138342 A KR20230138342 A KR 20230138342A KR 102663155 B1 KR102663155 B1 KR 102663155B1
- Authority
- KR
- South Korea
- Prior art keywords
- crack
- image
- information
- various embodiments
- preset
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title abstract description 89
- 238000007689 inspection Methods 0.000 title abstract description 18
- 238000012544 monitoring process Methods 0.000 title description 11
- 230000015654 memory Effects 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 description 113
- 238000010586 diagram Methods 0.000 description 46
- 238000012549 training Methods 0.000 description 30
- 238000004891 communication Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 238000005259 measurement Methods 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000000306 recurrent effect Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2203/00—Investigating strength properties of solid materials by application of mechanical stress
- G01N2203/0058—Kind of property studied
- G01N2203/006—Crack, flaws, fracture or rupture
- G01N2203/0062—Crack or flaws
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Strategic Management (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 사용자단말로부터 구조물의 제1 구역을 촬영한 제1 이미지를 수신하고, 인공지능모듈을 통하여, 상기 제1 이미지에서 균열을 추출하고, 추출된 균열을 기반으로 상기 제1 구역의 제1 안전점수를 도출하고, 상기 제1 안전점수를 기반으로 상기 제1 구역에 대한 피드백정보를 생성하고, 상기 피드백정보를 상기 사용자단말에게 송신할 수 있다.The present invention relates to an artificial intelligence-based building structure safety inspection and real-time monitoring device and method using a smartphone.
An electronic device according to an embodiment of the present invention includes a memory and a processor connected to the memory, wherein the processor receives a first image of a first area of the structure from a user terminal, Through an artificial intelligence module, cracks are extracted from the first image, a first safety score of the first zone is derived based on the extracted crack, and feedback is provided to the first zone based on the first safety score. Information can be generated and the feedback information can be transmitted to the user terminal.
Description
본 발명은 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 제공 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for providing safety inspection and real-time monitoring of building structures based on artificial intelligence using a smartphone.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the material described in this section is not prior art to the claims of this application, and is not admitted to be prior art by inclusion in this section.
최근 건물의 부실공사로 인한 피해가 이슈화되고 있다. 이에 건물이나 구조물의 부실여부 즉, 균열을 측정하고 검출하는 기술에 대한 요구가 늘어나고 있다. Recently, damage caused by poor construction of buildings has become an issue. Accordingly, the demand for technology to measure and detect the deterioration of buildings or structures, that is, cracks, is increasing.
다만, 종래에는 LiDAR 장치처럼 크기가 크고 처리량이 많은 장비가 필요하여 개인이 자신의 집의 균열상태를 파악하기에는 어려움이 있었다. 이에 본 발명은 사용자의 스마트폰과 같은 모바일 단말로 균열을 측정하여, 해당 구조물의 안전성을 판단할 수 있는 기술을 제안하고자 한다.However, in the past, large-sized and high-throughput equipment such as LiDAR devices were required, making it difficult for individuals to identify cracks in their own homes. Accordingly, the present invention seeks to propose a technology that can determine the safety of the structure by measuring cracks with a mobile terminal such as the user's smartphone.
본 발명의 일 실시예는 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치 및 방법을 제공하는 것이다.One embodiment of the present invention provides an artificial intelligence-based building structure safety inspection and real-time monitoring device and method using a smartphone.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 사용자단말로부터 구조물의 제1 구역을 촬영한 제1 이미지를 수신하고, 인공지능모듈을 통하여, 상기 제1 이미지에서 균열을 추출하고, 추출된 균열을 기반으로 상기 제1 구역의 제1 안전점수를 도출하고, 상기 제1 안전점수를 기반으로 상기 제1 구역에 대한 피드백정보를 생성하고, 상기 피드백정보를 상기 사용자단말에게 송신할 수 있다.In order to achieve the above-described object, an electronic device according to an embodiment of the present invention includes a memory and a processor connected to the memory, and the processor captures a first area of the structure from a user terminal. Receiving a first image, extracting a crack from the first image through an artificial intelligence module, deriving a first safety score of the first area based on the extracted crack, and based on the first safety score It is possible to generate feedback information for the first zone and transmit the feedback information to the user terminal.
이 때, 상기 제1 구역은, 상기 구조물의 설계도 상에서 기구분된 구역 중에서 선택된 구역일 수 있다.At this time, the first zone may be a zone selected from the divided zones on the design drawing of the structure.
이 때, 상기 인공지능모듈은, CNN(Convolution neural Network) 및 YOLO(You Only Look Once) 모델을 기반으로 벽면이미지에서 균열을 추출하도록 학습된 것일 수 있다.At this time, the artificial intelligence module may be trained to extract cracks from wall images based on CNN (Convolution neural Network) and YOLO (You Only Look Once) models.
이 때, 상기 프로세서는, 상기 제1 안전점수가 기설정된 제1 임계안전점수 이하이고, 상기 제1 임계안전점수보다 낮게 기설정된 제2 임계안전점수 초과인 경우, 상기 제1 구역의 내구도가 경미하게 낮아진 것으로 판단하고, 상기 제1 구역의 보수작업이 필요한 것을 나타내는 상기 피드백정보를 생성하고, 상기 제1 안전점수가 상기 제2 임계안전점수 이하인 경우, 상기 제1 구역의 내구도가 중대하게 낮아진 것으로 판단하고, 상기 제1 구역의 보강작업이 필요한 것을 나타내는 상기 피드백정보를 생성할 수 있다.At this time, the processor determines that if the first safety score is less than or equal to a preset first critical safety score and exceeds a second critical safety score that is preset lower than the first critical safety score, the durability of the first zone is slight. It is determined that the durability of the first zone has been significantly lowered, and the feedback information indicating that repair work in the first zone is necessary is generated, and if the first safety score is less than or equal to the second critical safety score, the durability of the first zone is significantly lowered. It is possible to determine and generate the feedback information indicating that reinforcement work in the first zone is necessary.
이 때, 상기 프로세서는, 상기 구조물의 설계도에서 기구분된 복수개의 구역에 대하여 기설정된 허용하중 및 상기 제1 구역에 기설정된 제1 허용하중을 기반으로, 상기 제1 구역의 제1 중요도를 도출하고, 기설정된 제1 기초임계안전점수 및 상기 제1 기초임계안전점수보다 낮게 기설정된 제2 기초임계안전점수에 상기 제1 중요도를 반영하여 상기 제1 임계안전점수 및 상기 제2 임계안전점수를 도출할 수 있다.At this time, the processor derives the first importance of the first zone based on the allowable load preset for the plurality of zones divided in the design drawing of the structure and the first allowable load preset in the first zone. And, the first critical safety score and the second critical safety score are calculated by reflecting the first importance in the preset first basic critical safety score and the second basic critical safety score that is preset lower than the first basic critical safety score. It can be derived.
이 때, 상기 제1 중요도는, 아래 수학식에 의하여 도출되되,At this time, the first importance is derived by the equation below,
IS는 상기 제1 중요도를 의미하고, n은 상기 구조물의 설계도에 포함되는 구역의 개수를 의미하고, l1은 상기 제1 구역의 제1 허용하중을 의미하고, l2_i는 상기 구조물의 설계도에 포함되는 복수개의 구역 중 i번째 구역의 제2 허용하중을 의미할 수 있다.IS means the first importance, n means the number of zones included in the design drawing of the structure, l1 means the first allowable load of the first zone, and l2_i is included in the design drawing of the structure. It may mean the second allowable load of the ith zone among a plurality of zones.
이 때, 상기 제1 임계안전점수는, 아래 수학식에 의하여 도출되되,At this time, the first critical safety score is derived by the equation below,
CSS_1은 상기 제1 임계안전점수를 의미하고, BCSS_1은 상기 제1 기초임계안전점수를 의미하고, IS는 상기 제1 중요도를 의미할 수 있다.CSS_1 may mean the first critical safety score, BCSS_1 may mean the first basic critical safety score, and IS may mean the first importance.
이 때, 상기 제2 임계안전점수는, 아래 수학식에 의하여 도출되되,At this time, the second critical safety score is derived by the equation below,
CSS_2은 상기 제2 임계안전점수를 의미하고, BCSS_2은 상기 제2 기초임계안전점수를 의미하고, IS는 상기 제1 중요도를 의미할 수 있다.CSS_2 may mean the second critical safety score, BCSS_2 may mean the second basic critical safety score, and IS may mean the first importance.
이 때, 상기 프로세서는, 상기 제1 이미지에서 추출된 균열의 개수를 도출하고, 추출된 균열에 대하여 기설정된 크기등급 중 해당 균열의 크기에 해당하는 크기등급을 도출하고, 상기 균열의 개수, 상기 크기등급 및 상기 구조물의 연식을 기반으로 상기 제1 안전점수를 도출할 수 있다.At this time, the processor derives the number of cracks extracted from the first image, derives a size grade corresponding to the size of the crack among the size grades preset for the extracted cracks, the number of cracks, the The first safety score can be derived based on the size class and age of the structure.
이 때, 상기 크기등급은, 균열의 크기에 따라 1, 2, 3, 4 및 5로 설정되되, 균열의 크기가 클수록 상기 크기등급이 커지도록 설정될 수 있다.At this time, the size grade may be set to 1, 2, 3, 4, and 5 depending on the size of the crack, but the size grade may be set to increase as the size of the crack increases.
이 때, 상기 제1 안전점수는, 아래 수학식에 의하여 도출되되,At this time, the first safety score is derived by the equation below,
SS는 상기 제1 안전점수를 의미하고, a는 상기 구조물의 연식을 의미하고, b는 상기 제1 이미지에 포함되는 상기 균열의 개수를 의미하고, sg_j는 상기 제1 이미지에 포함되는 균열 중 j번째 균열의 상기 크기등급을 의미할 수 있다.SS means the first safety score, a means the age of the structure, b means the number of cracks included in the first image, and sg_j is j among the cracks included in the first image. It may refer to the size grade of the second crack.
이 때, 상기 프로세서는, 전체구조물에 대한 구역별 제2 이미지 및 제2 안전점수에 대한 정보를 포함하는 제1 DB 및 재건축안전진단을 받은 재건축구조물에 대한 안전진단등급, 구역별 제3 이미지 및 상기 제3 이미지를 기반으로 도출된 제3 안전점수에 대한 정보를 포함하는 제2 DB를 기반으로 상기 제1 기초임계안전점수 및 상기 제2 기초임계안전점수를 설정할 수 있다.At this time, the processor includes a first DB containing information on the second image and second safety score for each zone for the entire structure, and a safety diagnosis grade for the reconstructed structure that has undergone a reconstruction safety diagnosis, a third image for each zone, and The first basic critical safety score and the second basic critical safety score may be set based on a second DB containing information about the third safety score derived based on the third image.
이 때, 상기 프로세서는, 상기 제1 DB에서 상기 제2 안전점수의 평균으로 제1 평균안전점수를 도출하고, 상기 제2 DB에서 상기 안전진단등급이 D등급 이하로 받은 재건축구조물에 대한 제3 안전점수의 평균으로 제2 평균안전점수를 도출하고, 상기 제2 평균안전점수를 상기 제2 기초임계안전점수로 설정하고, 상기 제2 평균안전점수와 상기 제1 평균안전점수의 합을 상기 제1 기초임계안전점수로 설정할 수 있다.At this time, the processor derives a first average safety score as the average of the second safety scores in the first DB, and a third safety score for the reconstructed structure that received the safety diagnosis grade of D or lower in the second DB. A second average safety score is derived from the average of the safety scores, the second average safety score is set as the second basic critical safety score, and the sum of the second average safety score and the first average safety score is calculated as the second average safety score. 1 Can be set as the basic critical safety score.
이와 같이 본 발명의 일 실시예에 따르면, 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치 및 방법을 제공할 수 있다.As such, according to an embodiment of the present invention, an artificial intelligence-based building structure safety inspection and real-time monitoring device and method using a smartphone can be provided.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained from the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. will be.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 다양한 실시예들에 따른 균열 분석을 위한 장치의 동작 방법이 구현될 수 있는 균열 분석 시스템을 설명하기 위한 도면이다.
도 2는 다양한 실시예들에 따른 제1 디바이스 및/또는 제2 디바이스의 구성을 도시한 도면이다.
도 3은 다양한 실시예들에 따른 사용자 기기와 서버의 동작 방법의 일 예를 나타낸 도면이다.
도 4는 다양한 실시예들에 따른 서버의 동작 방법의 일 예를 나타낸 도면이다.
도 5는 다양한 실시예들에 따른 제1 이미지의 보정의 일 예를 나타낸 도면이다.
도 6은 다양한 실시예들에 따른 서브 이미지의 일 예를 나타낸 도면이다.
도 7은 다양한 실시예들에 따른 서브 이미지의 일 예를 나타낸 도면이다.
도 8은 다양한 실시예들에 따른 균열의 길이 산출 과정의 일 예를 나타낸 도면이다.
도 9은 다양한 실시예들에 따른 균열의 두께 산출 과정의 일 예를 나타낸 도면이다.
도 10은 다양한 실시예들에 따른 미리 설정된 균열 분석 모델을 획득하는 과정을 도시한 도면이다.
도 11은 다양한 실시예들에 따른 미리 설정된 균열 분석 모델을 획득하는 장치의 동작 방법을 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 모바일단말 기반의 구조물 균열 검출 시스템의 구성도이다.
도 13은 본 발명의 일 실시예에 따른 모바일단말 기반의 구조물 균열 검출 방법의 흐름도이다.
도 14는 본 발명의 일 실시예에 따라 거리값을 통하여 균열을 검출하는 개념도이다.
도 15는 본 발명의 일 실시예에 따라 거리값에 따라 군집을 형성하여 균열을 검출하는 예시를 나타내는 개념도이다.
도 16은 본 발명의 일 실시예에 따라 인공지능모듈을 통하여 이미지를 분할하여 분석하는 예시를 나타내는 개념도이다.
도 17은 본 발명의 일 실시예에 따라 제1 균열정보 및 제2 균열정보의 합집합정보에 대한 개념도이다.
도 18은 본 발명의 일 실시예에 따른 장치의 블록도이다.
도 19는 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치의 개념도이다.
도 20은 본 발명의 일 실시예에 따른 구역을 나타내는 도면이다.
도 21은 본 발명의 일 실시예에 따른 제1 임계안전점수 및 제2 임계안전점수의 조정을 나타내는 도면이다.
도 22는 본 발명의 일 실시예에 따른 균열의 크기등급을 나타내는 도면이다.
도 23은 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법의 흐름도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.The above-described and other aspects, features and benefits of certain preferred embodiments of the present invention will become more apparent from the following description taken in conjunction with the accompanying drawings.
1 is a diagram for explaining a crack analysis system in which a method of operating a device for crack analysis according to various embodiments can be implemented.
FIG. 2 is a diagram illustrating the configuration of a first device and/or a second device according to various embodiments.
FIG. 3 is a diagram illustrating an example of a method of operating a user device and a server according to various embodiments.
FIG. 4 is a diagram illustrating an example of a server operation method according to various embodiments.
FIG. 5 is a diagram illustrating an example of correction of a first image according to various embodiments.
FIG. 6 is a diagram illustrating an example of a sub-image according to various embodiments.
FIG. 7 is a diagram illustrating an example of a sub-image according to various embodiments.
Figure 8 is a diagram showing an example of a process for calculating the length of a crack according to various embodiments.
Figure 9 is a diagram showing an example of a process for calculating the thickness of a crack according to various embodiments.
Figure 10 is a diagram illustrating a process for obtaining a preset crack analysis model according to various embodiments.
FIG. 11 is a diagram illustrating a method of operating an apparatus for obtaining a preset crack analysis model according to various embodiments.
Figure 12 is a configuration diagram of a mobile terminal-based structure crack detection system according to an embodiment of the present invention.
Figure 13 is a flowchart of a mobile terminal-based structure crack detection method according to an embodiment of the present invention.
Figure 14 is a conceptual diagram of detecting a crack through a distance value according to an embodiment of the present invention.
Figure 15 is a conceptual diagram showing an example of detecting cracks by forming clusters according to distance values according to an embodiment of the present invention.
Figure 16 is a conceptual diagram showing an example of dividing and analyzing an image through an artificial intelligence module according to an embodiment of the present invention.
Figure 17 is a conceptual diagram of union information of first crack information and second crack information according to an embodiment of the present invention.
Figure 18 is a block diagram of a device according to an embodiment of the present invention.
Figure 19 is a conceptual diagram of an artificial intelligence-based building structure safety inspection and real-time monitoring device using a smartphone according to an embodiment of the present invention.
Figure 20 is a diagram showing a zone according to an embodiment of the present invention.
Figure 21 is a diagram showing adjustment of the first critical safety score and the second critical safety score according to an embodiment of the present invention.
Figure 22 is a diagram showing the size rating of cracks according to an embodiment of the present invention.
Figure 23 is a flowchart of an artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention.
It should be noted that throughout the drawings, like reference numerals are used to illustrate identical or similar elements, features and structures.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In describing the embodiments, description of technical content that is well known in the technical field to which the present invention belongs and that is not directly related to the present invention will be omitted. This is to convey the gist of the present invention more clearly without obscuring it by omitting unnecessary explanation.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.For the same reason, some components are exaggerated, omitted, or schematically shown in the accompanying drawings. Additionally, the size of each component does not entirely reflect its actual size. In each drawing, identical or corresponding components are assigned the same reference numbers.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide common knowledge in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.At this time, it will be understood that each block of the processing flow diagrams and combinations of the flow diagram diagrams can be performed by computer program instructions. These computer program instructions can be mounted on a processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, so that the instructions performed through the processor of the computer or other programmable data processing equipment are described in the flow chart block(s). It creates the means to perform functions. These computer program instructions may also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular manner, so that the computer-usable or computer-readable memory The instructions stored in may also produce manufactured items containing instruction means that perform the functions described in the flow diagram block(s). Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer, thereby generating a process that is executed by the computer or other programmable data processing equipment. Instructions that perform processing equipment may also provide steps for executing the functions described in the flow diagram block(s).
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). Additionally, it should be noted that in some alternative execution examples it is possible for the functions mentioned in the blocks to occur out of order. For example, it is possible for two blocks shown in succession to be performed substantially at the same time, or it is possible for the blocks to be performed in reverse order depending on the corresponding function.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.At this time, the term '~unit' used in this embodiment refers to software or hardware components such as FPGA (field-programmable gate array) or ASIC (Application Specific Integrated Circuit), and '~unit' refers to what role perform them. However, '~part' is not limited to software or hardware. The '~ part' may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors. Therefore, as an example, '~ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'. Additionally, components and 'parts' may be implemented to regenerate one or more CPUs within a device or a secure multimedia card.
본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.In explaining the embodiments of the present invention in detail, the main focus will be on examples of specific systems, but the main point claimed in this specification is that the scope disclosed in this specification is applicable to other communication systems and services with similar technical background. It can be applied within a range that does not significantly deviate, and this can be done at the discretion of a person with skilled technical knowledge in the relevant technical field.
1. 균열 분석 시스템 구현1. Implementation of crack analysis system
도 1은 다양한 실시예들에 따른 균열 분석을 위한 장치의 동작 방법이 구현될 수 있는 균열 분석 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a crack analysis system in which a method of operating a device for crack analysis according to various embodiments can be implemented.
도 1을 참조하면, 다양한 실시예들에 따른 균열 분석 시스템은 다양한 종류의 장치들에 구현될 수 있다. 다양한 실시예들에 대한 설명에서, 다양한 실시예들에 따른 균열 분석 시스템은 전자 장치에 의하여 구현될 수 있다. 예를 들어, 균열 분석 시스템은 제1 디바이스(100) 및/또는 제2 디바이스(200)에 구현될 수 있다. 달리 말해, 제1 디바이스(100) 및/또는 제2 디바이스(200)는 각각의 장치에 구현된 균열 분석 시스템을 기반으로, 다양한 실시예들에 따른 동작을 수행할 수 있다. 한편, 다양한 실시예들에 따른 균열 분석 시스템은, 상기 도 1에 도시된 바에 국한되지 않고, 더 다양한 장치들 및/또는 서버들에 구현될 수도 있을 것이다. Referring to FIG. 1, crack analysis systems according to various embodiments may be implemented in various types of devices. In the description of various embodiments, a crack analysis system according to various embodiments may be implemented by an electronic device. For example, the crack analysis system may be implemented in the first device 100 and/or the second device 200. In other words, the first device 100 and/or the second device 200 may perform operations according to various embodiments based on a crack analysis system implemented in each device. Meanwhile, the crack analysis system according to various embodiments is not limited to what is shown in FIG. 1, and may be implemented in a wider variety of devices and/or servers.
다양한 실시예들에 따른 제1 디바이스(100)는, 제2 디바이스(100)들과 무선 및/또는 유선 통신을 수행할 수 있다. 예를 들어, 제1 디바이스는 로봇, 차량, 휴대 기기, 드론, 스마트폰, 컴퓨터, 웨어러블 디바이스, 스마트패드, 노트북 등이 될 수 있으며, 이에 제한되지 않는다. The first device 100 according to various embodiments may perform wireless and/or wired communication with the second devices 100. For example, the first device may be a robot, vehicle, portable device, drone, smartphone, computer, wearable device, smart pad, laptop, etc., but is not limited thereto.
다양한 실시예들에 따른 제2 디바이스(200)는, 제1 디바이스(100)들과 무선 및/또는 유선 통신을 수행하며, 대단위의 저장 용량을 갖는 데이터베이스를 포함하는 장치일 수 있다. 예를 들어, 제2 디바이스(200)는 복수 개의 제1 디바이스(100)들과 연동될 수도 있다. 도시되지는 않았으나, 제2 디바이스를 제어/관리하기 위한 별도의 디바이스가 마련될 수도 있다.The second device 200 according to various embodiments may be a device that performs wireless and/or wired communication with the first devices 100 and includes a database with a large storage capacity. For example, the second device 200 may be linked with a plurality of first devices 100. Although not shown, a separate device may be provided to control/manage the second device.
다양한 실시예들에 따른 균열 분석 시스템은 동작을 위한 다양한 모듈들을 포함할 수 있다. 균열 분석 시스템에 포함된 모듈들은 균열 분석 시스템이 구현되는(또는, 물리적 장치에 포함되는) 물리적 장치(예: 제1 디바이스(100) 및/또는 제2 디바이스(200))가 지정된 동작을 수행할 수 있도록 구현된 컴퓨터 코드 내지는 하나 이상의 인스트럭션 (instruction) 일 수 있다. 다시 말해, 균열 분석 시스템이 구현되는 물리적 장치는 복수 개의 모듈들을 컴퓨터 코드 형태로 메모리에 저장하고, 메모리에 저장된 복수 개의 모듈들이 실행되는 경우 복수 개의 모듈들은 물리적 장치가 복수 개의 모듈들에 대응하는 지정된 동작들을 수행하도록 할 수 있다.Crack analysis systems according to various embodiments may include various modules for operation. Modules included in the crack analysis system allow the physical device (e.g., the first device 100 and/or the second device 200) on which the crack analysis system is implemented (or included in the physical device) to perform a specified operation. It may be computer code or one or more instructions implemented to do so. In other words, the physical device in which the crack analysis system is implemented stores a plurality of modules in the memory in the form of computer code, and when the plurality of modules stored in the memory are executed, the plurality of modules are designated by the physical device corresponding to the plurality of modules. Actions can be performed.
도 2는 다양한 실시예들에 따른 제1 디바이스 및/또는 제2 디바이스의 구성을 도시한 도면이다.FIG. 2 is a diagram illustrating the configuration of a first device and/or a second device according to various embodiments.
도 2를 참조하면, 제1 디바이스 및/또는 제2 디바이스는 입/출력부(210), 통신부(220), 데이터베이스(230) 및 프로세서(240)를 포함할 수 있다.Referring to FIG. 2, the first device and/or the second device may include an input/output unit 210, a communication unit 220, a database 230, and a processor 240.
입/출력부(210)는 사용자 입력을 받거나 또는 사용자에게 정보를 출력하는 각종 인터페이스나 연결 포트 등일 수 있다. 입/출력부(210)는 입력 모듈과 출력 모듈로 구분될 수 있는데, 입력 모듈은 사용자로부터 사용자 입력을 수신한다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 이러한 사용자 입력을 받을 수 있는 입력 모듈의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력 받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다. 여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다. 이외에도 입력 모듈은 자체적으로 사용자 입력을 감지하는 장치 대신 사용자 입력을 입력 받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다. 또 출력 모듈은 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 출력 모듈은 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다. 이외에도 출력 모듈은 상술한 개별 출력 수단을 연결시키는 포트 타입의 출력 인터페이스의 형태로 구현될 수도 있다.The input/output unit 210 may be various interfaces or connection ports that receive user input or output information to the user. The input/output unit 210 can be divided into an input module and an output module, and the input module receives user input from the user. User input can take various forms, including key input, touch input, and voice input. Examples of input modules that can receive such user input include traditional keypads, keyboards, and mice, as well as touch sensors that detect the user's touch, microphones that receive voice signals, cameras that recognize gestures through image recognition, etc. A proximity sensor consisting of an illumination sensor or an infrared sensor that detects the user's approach, a motion sensor that recognizes the user's movements through an acceleration sensor or a gyro sensor, and various other types of input means that detect or receive various types of user input. It is a comprehensive concept that includes all of the following. Here, the touch sensor may be implemented as a piezoelectric or capacitive touch sensor that detects touch through a touch panel or touch film attached to the display panel, or an optical touch sensor that detects touch by an optical method. In addition, the input module may be implemented in the form of an input interface (USB port, PS/2 port, etc.) that connects an external input device that receives user input instead of a device that detects user input itself. Additionally, the output module can output various information and provide it to the user. An output module is a comprehensive concept that includes a display that outputs images, a speaker that outputs sound, a haptic device that generates vibration, and various other types of output means. In addition, the output module may be implemented in the form of a port-type output interface that connects the individual output means described above.
일 예로, 디스플레이 형태의 출력 모듈은 텍스트, 정지 영상, 동영상을 디스플레이 할 수 있다. 디스플레이는 액정 디스플레이(LCD: Liquid Crystal Display), 발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태의 장치를 모두 포함하는 광의의 영상 표시 장치를 의미하는 개념이다. 이러한 디스플레이는 입력 모듈의 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수도 있다.As an example, a display-type output module can display text, still images, and moving images. Displays include liquid crystal display (LCD), light emitting diode (LED) display, organic light emitting diode (OLED) display, flat panel display (FPD), and transparent display. display, curved display, flexible display, 3D display, holographic display, projector, and various other types of devices that can perform image output functions. It is a concept that refers to a video display device in a broad sense that includes everything. This display may be in the form of a touch display integrated with the touch sensor of the input module.
통신부(220)는 외부 기기와 통신할 수 있다. 따라서, 제1 디바이스 및/또는 제2 디바이스는 통신부를 통해 외부 기기와 정보를 송수신할 수 있다. 예를 들어, 제1 디바이스 및/또는 제2 디바이스는 통신부를 이용해 균열 분석 시스템에 저장 및 생성된 정보들이 공유되도록 외부 기기와 통신을 수행할 수 있다.The communication unit 220 can communicate with external devices. Accordingly, the first device and/or the second device can transmit and receive information with an external device through the communication unit. For example, the first device and/or the second device may use a communication unit to communicate with an external device so that information stored and generated in the crack analysis system is shared.
여기서, 통신, 즉 데이터의 송수신은 유선 또는 무선으로 이루어질 수 있다. 이를 위해 통신부는 LAN(Local Area Network)를 통해 인터넷 등에 접속하는 유선 통신 모듈, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈, GPS(Global Positioning System)과 같은 GNSS(Global Navigation Satellite System)을 이용하는 위성 통신 모듈 또는 이들의 조합으로 구성될 수 있다. 통신에 사용되는 무선 통신 기술은 저전력 통신을 위한 NB-IoT (Narrowband Internet of Things)를 포함할 수 있다. 이때, 예를 들어 NB-IoT 기술은 LPWAN (Low Power Wide Area Network) 기술의 일례일 수 있고, LTE Cat (category) NB1 및/또는 LTE Cat NB2 등의 규격으로 구현될 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 다양한 실시예들에 따른 무선 기기에서 구현되는 무선 통신 기술은 LTE-M 기술을 기반으로 통신을 수행할 수 있다. 이때, 일 예로, LTE-M 기술은 LPWAN 기술의 일례일 수 있고, eMTC (enhanced Machine Type Communication) 등의 다양한 명칭으로 불릴 수 있다. 예를 들어, LTE-M 기술은 1) LTE CAT 0, 2) LTE Cat M1, 3) LTE Cat M2, 4) LTE non-BL(non-Bandwidth Limited), 5) LTE-MTC, 6) LTE Machine Type Communication, 및/또는 7) LTE M 등의 다양한 규격 중 적어도 어느 하나로 구현될 수 있으며 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 다양한 실시예들에 따른 무선 기기에서 구현되는 무선 통신 기술은 저전력 통신을 고려한 지그비(ZigBee), 블루투스(Bluetooth) 및 저전력 광역 통신망(Low Power Wide Area Network, LPWAN) 중 적어도 어느 하나를 포함할 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 일 예로 ZigBee 기술은 IEEE 802.15.4 등의 다양한 규격을 기반으로 소형/저-파워 디지털 통신에 관련된 PAN(personal area networks)을 생성할 수 있으며, 다양한 명칭으로 불릴 수 있다.Here, communication, that is, transmission and reception of data, can be accomplished wired or wirelessly. For this purpose, the communication department includes a wired communication module that connects to the Internet through a LAN (Local Area Network), a mobile communication module that transmits and receives data by connecting to a mobile communication network through a mobile communication base station, and a WLAN (Wireless Local Area Network) such as Wi-Fi. A short-distance communication module using Area Network-based communication methods or WPAN (Wireless Personal Area Network)-based communication methods such as Bluetooth and Zigbee, and GNSS (Global Navigation Satellite System) such as GPS (Global Positioning System) ) may be composed of a satellite communication module using a satellite communication module or a combination thereof. Wireless communication technology used for communication may include NB-IoT (Narrowband Internet of Things) for low-power communication. At this time, for example, NB-IoT technology may be an example of LPWAN (Low Power Wide Area Network) technology, and may be implemented in standards such as LTE Cat (category) NB1 and/or LTE Cat NB2, and may be referred to in the above names. It is not limited. Additionally or alternatively, wireless communication technology implemented in wireless devices according to various embodiments may perform communication based on LTE-M technology. At this time, as an example, LTE-M technology may be an example of LPWAN technology, and may be called by various names such as eMTC (enhanced Machine Type Communication). For example, LTE-M technologies include 1) LTE CAT 0, 2) LTE Cat M1, 3) LTE Cat M2, 4) LTE non-BL (non-Bandwidth Limited), 5) LTE-MTC, 6) LTE Machine. It can be implemented in at least one of various standards such as Type Communication, and/or 7) LTE M, and is not limited to the above-mentioned names. Additionally or alternatively, the wireless communication technology implemented in the wireless device according to various embodiments is at least one of ZigBee, Bluetooth, and Low Power Wide Area Network (LPWAN) considering low-power communication. may include, and is not limited to the above-mentioned names. As an example, ZigBee technology can create personal area networks (PAN) related to small/low-power digital communications based on various standards such as IEEE 802.15.4, and can be called by various names.
데이터베이스(230)는 각종 정보를 저장할 수 있다. 데이터베이스는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 데이터베이스에는 제1 디바이스 및/또는 제2 디바이스를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 점자 생성을 위한 프로그램 내지는 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등이 저장될 수 있다. 또, 데이터베이스는 상술한 바와 같이 모듈들을 컴퓨터 코드 형태로 저장할 수 있다. The database 230 can store various types of information. A database can store data temporarily or semi-permanently. For example, the database includes an operating program (OS: Operating System) for driving the first device and/or the second device, a program for generating data or Braille for hosting a website, or an application (e.g., a web application) ) data, etc. may be stored. Additionally, the database may store modules in computer code form as described above.
데이터베이스(230)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 데이터베이스는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.Examples of the database 230 include hard disk drive (HDD), solid state drive (SSD), flash memory, read-only memory (ROM), random access memory (RAM), etc. This can be. These databases can be provided as built-in or detachable types.
프로세서(240)는 제1 디바이스(100) 및/또는 제2 디바이스(200)의 전반적인 동작을 제어한다. 이를 위해 프로세서(340)는 각종 정보의 연산 및 처리를 수행하고 제1 디바이스 및/또는 제2 디바이스의 구성요소들의 동작을 제어할 수 있다. 예를 들어, 프로세서(340)는 균열 분석을 위한 프로그램 내지 어플리케이션을 실행시킬 수 있을 것이다. 프로세서(240)는 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 프로세서(240)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 프로세서(240)를 구동시키는 프로그램 형태로 제공될 수 있다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 제1 디바이스 및/또는 제2 디바이스의 동작은 프로세서(240)의 제어에 의해 수행되는 것으로 해석될 수 있다. 즉, 균열 분석 시스템에 구현되는 모듈들이 실행되는 경우, 모듈들은 프로세서(240)가 제1 디바이스 및/또는 제2 디바이스를 이하의 동작들을 수행하도록 제어하는 것으로 해석될 수 있다.The processor 240 controls the overall operation of the first device 100 and/or the second device 200. To this end, the processor 340 may perform calculations and processing of various information and control the operation of components of the first device and/or the second device. For example, the processor 340 may execute a program or application for crack analysis. The processor 240 may be implemented as a computer or similar device based on hardware, software, or a combination thereof. In hardware, the processor 240 may be provided in the form of an electronic circuit that processes electrical signals to perform a control function, and in software, it may be provided in the form of a program that drives the hardware processor 240. Meanwhile, unless otherwise specified in the following description, the operations of the first device and/or the second device may be interpreted as being performed under the control of the processor 240. That is, when modules implemented in the crack analysis system are executed, the modules may be interpreted as the processor 240 controlling the first device and/or the second device to perform the following operations.
요약하면, 다양한 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.In summary, various embodiments may be implemented through various means. For example, various embodiments may be implemented by hardware, firmware, software, or a combination thereof.
하드웨어에 의한 구현의 경우, 다양한 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, methods according to various embodiments include one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs. It can be implemented by (field programmable gate arrays), processor, controller, microcontroller, microprocessor, etc.
펌웨어나 소프트웨어에 의한 구현의 경우, 다양한 실시예들에 따른 방법은 이하에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, methods according to various embodiments may be implemented in the form of modules, procedures, or functions that perform the functions or operations described below. For example, software code can be stored in memory and run by a processor. The memory may be located inside or outside the processor, and may exchange data with the processor through various known means.
2. 다양한 실시예들에 따른 장치의 동작2. Operation of the device according to various embodiments
이하에서는, 상기와 같은 기술적 사상에 기초하여 다양한 실시예들에 대해 보다 상세히 설명한다. 이하에서 설명되는 다양한 실시예들은 상호 배척되지 않는 한 전부 또는 일부가 결합되어 또 다른 다양한 실시예들을 구성할 수도 있으며, 이는 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다. Below, various embodiments will be described in more detail based on the above technical idea. The various embodiments described below may be combined in whole or in part to form other various embodiments unless they are mutually exclusive, and this can be clearly understood by those skilled in the art.
이하에서 설명되는 다양한 실시예들에 대해서는 앞서 설명한 제 1 절의 내용들이 적용될 수 있다. 예를 들어, 이하에서 설명되는 다양한 실시예들에서 정의되지 않은 동작, 기능, 용어 등은 제 1 절의 내용들에 기초하여 수행되고 설명될 수 있다.The contents of Section 1 described above may be applied to various embodiments described below. For example, operations, functions, terms, etc. that are not defined in various embodiments described below may be performed and explained based on the contents of Section 1.
특별히 달리 언급되지 않은 한, 다양한 실시예들에 대한 설명에서 장치 및/또는 전자 장치는 제1 디바이스 및/또는 제2 디바이스일 수 있다. Unless specifically stated otherwise, in the description of various embodiments, the device and/or electronic device may be a first device and/or a second device.
이하에서는, 다양한 실시예들에 따른 제1 디바이스(100)의 일 구현 예에 따른 사용자 기기 (user equipment) 가 설명되나, 이외에도 유사한 기능을 수행하는 다른 장치들도 제1 디바이스가 될 수 있다.Below, user equipment according to an implementation example of the first device 100 according to various embodiments will be described, but other devices that perform similar functions may also be the first device.
이하에서는, 다양한 실시예들에 따른 제2 디바이스(200)의 일 구현 예에 따른 서버가 설명되나, 이외에도 유사한 기능을 수행하는 다른 장치들도 제2 디바이스가 될 수 있다.Below, a server according to an implementation example of the second device 200 according to various embodiments will be described, but other devices that perform similar functions may also be the second device.
특별히 달리 언급되지 않은 한, 다양한 실시예들에 대한 설명에서, A/B/C 는 A 및/또는 B 및/또는 C 를 의미할 수 있다.Unless specifically stated otherwise, in the description of various embodiments, A/B/C may mean A and/or B and/or C.
특별히 달리 언급되지 않은 한, 다양한 실시예들에 대한 설명에서, A 초과/이상인 것은 A 이상/초과인 것으로 대체될 수 있다. Unless specifically stated otherwise, in the description of various embodiments, greater than/above A may be replaced with greater than/above A.
특별히 달리 언급되지 않은 한, 다양한 실시예들에 대한 설명에서, B 미만/이하인 것은 B 이하/미만인 것으로 대체될 수 있다.Unless specifically stated otherwise, in the description of various embodiments, less than/less than B may be replaced with less than/less than B.
특별히 달리 언급되지 않은 한, 다양한 실시예들에 대한 설명에서 장치가 이용하는 정보/장치가 출력/표시하는 정보 등은 장치가 직접 식별/획득한 정보이거나, 장치에 포함된 데이터베이스에 저장된 정보이거나, 서버 및/또는 기타 외부 기기로부터 수신 받은 정보 중 하나 이상일 수 있다.Unless specifically stated otherwise, in the description of various embodiments, the information used by the device/information output/displayed by the device, etc. is information directly identified/obtained by the device, information stored in a database included in the device, or information stored in a database included in the device, or information stored in a database included in the device. It may be one or more of information received from and/or other external devices.
2.1. 균열 분석 동작2.1. Crack Analysis Behavior
이하의 설명에서는 사용자 기기로부터 이미지 정보를 획득한 서버가 균열 분석과 관련된 동작을 수행함을 전제로 다양한 실시예들에 대하여 설명하였으나, 다양한 실시예들에 따르면, 서버로부터 이미지 정보를 획득한 사용자 기기가 균열 분석과 관련된 동작을 수행할 수도 있다. 또는, 다양한 실시예들에 따르면, 하나의 서버 또는 하나의 사용자 기기 각각이 직접 이미지 정보를 획득(예를 들어, 사용자로부터 직접 입력)하여, 균열 분석과 관련된 동작을 수행할 수도 있다. 또는, 다양한 실시예들에 따르면, 복수의 사용자 기기들 및/또는 복수의 서버들이 마련되어, 복수의 사용자 디바이스들 및/또는 복수의 서버들 간에 이미지 정보 송수신 및 균열 분석과 관련된 동작이 각 동작 별로 분배되어, 별개로 실시될 수도 있다.In the following description, various embodiments are described on the premise that the server that acquires image information from the user device performs operations related to crack analysis. However, according to various embodiments, the user device that acquires image information from the server You can also perform operations related to crack analysis. Alternatively, according to various embodiments, each of one server or one user device may directly acquire image information (eg, input directly from the user) and perform an operation related to crack analysis. Alternatively, according to various embodiments, a plurality of user devices and/or a plurality of servers are provided, and operations related to image information transmission and reception and crack analysis are distributed for each operation among the plurality of user devices and/or the plurality of servers. and may be implemented separately.
도 3 은 다양한 실시예들에 따른 사용자 기기와 서버의 동작 방법의 일 예를 나타낸 도면이다.FIG. 3 is a diagram illustrating an example of a method of operating a user device and a server according to various embodiments.
도 4 는 다양한 실시예들에 따른 서버의 동작 방법의 일 예를 나타낸 도면이다.FIG. 4 is a diagram illustrating an example of a server operating method according to various embodiments.
도 3 및 도 4 를 참조하면, 다양한 실시예들에 따른 동작 301, 401 에서, 사용자 기기는 제1 이미지와 관련된 정보를 송신할 수 있으며, 서버는 이를 수신/획득할 수 있다.Referring to FIGS. 3 and 4 , in operations 301 and 401 according to various embodiments, the user device may transmit information related to the first image, and the server may receive/obtain it.
다양한 실시예들에 따른 동작 303, 403에서, 서버는 미리 설정된 균열 분석 모델에 제1 이미지를 포함하는 입력 정보가 입력됨에 대한 응답으로 획득되는 출력 정보에 기초하여 특정 벽면에 포함된 하나 이상의 균열에 대한 하나 이상의 분석 결과를 포함하는 분석 정보를 획득할 수 있다. In operations 303 and 403 according to various embodiments, the server detects one or more cracks included in a specific wall based on output information obtained in response to input information including the first image into a preset crack analysis model. Analysis information including one or more analysis results can be obtained.
다양한 실시예들에 따른 사용자 기기 및/또는 서버의 동작의 보다 구체적인 내용은 이하의 설명을 참조할 수 있다. For more detailed information on the operation of the user device and/or server according to various embodiments, please refer to the description below.
다양한 실시예들에 따르면, 제1 이미지는 구조물에 포함된 복수의 벽면들 중 특정 벽면에 대한 시각적 정보일 수 있다. 예를 들어, 구조물은 건축물, 건물, 빌딩, 도로, 댐, 제방 등일 수 있으며 이에 제한되지 않는다. 예를 들어, 제1 이미지 및/또는 제1 이미지와 관련된 정보는 TOF (time of flight) 정보를 포함할 수 있으며, TOF 정보는 후술되는 균열의 길이 및/또는 두께를 산출/획득하는데 후술되는 다양한 실시예들에 따른 방법과 함께 사용될 수 있다. According to various embodiments, the first image may be visual information about a specific wall among a plurality of walls included in the structure. For example, the structure may be, but is not limited to, a structure, building, building, road, dam, embankment, etc. For example, the first image and/or information related to the first image may include time of flight (TOF) information, and the TOF information may be used to calculate/obtain the length and/or thickness of the crack, which will be described later. It can be used in conjunction with the method according to the embodiments.
다양한 실시예들에 따르면, 입력 정보가 입력되면, 미리 설정된 균열 분석 모델은 균열에 대한 분석을 위하여 제1 이미지에 기초하여 복수의 서브 이미지들을 획득할 수 있다. 다양한 실시예들에 따르면, 복수의 서브 이미지들이 획득되는 방법은 제1 이미지의 형태에 따라 달라질 수 있다. 예를 들어, 제1 이미지가 벽면의 정면에 대한 이미지가 아닌 경우, 제1 이미지를 보정하는 과정이 포함될 수 있다. According to various embodiments, when input information is input, a preset crack analysis model may acquire a plurality of sub-images based on the first image to analyze the crack. According to various embodiments, a method of obtaining a plurality of sub-images may vary depending on the type of the first image. For example, if the first image is not an image of the front of the wall, a process of correcting the first image may be included.
다양한 실시예들에 따르면, 제1 이미지의 표면에 수직한 제1 법선(normal line)과 제1 이미지로부터 획득되는 특정 벽면에 수직한 제2 법선 간의 각도가 미리 설정된 임계치 이하인 경우, 제1 이미지는 특정 벽면의 정면도인 것으로 판단/식별될 수 있다. 이 경우, 다양한 실시예들에 따르면, 복수의 서브 이미지들은 제1 이미지가 미리 설정된 크기로 분할 (segmentation) 된 것일 수 있다. According to various embodiments, when the angle between a first normal line perpendicular to the surface of the first image and a second normal line perpendicular to a specific wall obtained from the first image is less than or equal to a preset threshold, the first image is It can be judged/identified as being a front view of a specific wall. In this case, according to various embodiments, the plurality of sub-images may be segmented from the first image into a preset size.
다양한 실시예들에 따르면, 제1 이미지의 표면에 수직한 제1 법선과 제1 이미지로부터 획득되는 특정 벽면에 수직한 제2 법선 간의 각도가 미리 설정된 임계치 초과인 경우, 제1 이미지는 특정 벽면의 정면도가 아닌 것으로 판단/식별될 수 있다. 이 경우, 다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델에 의하여, 제1 법선과 제2 법선 간의 각도가 미리 설정된 임계치 이하가 되도록 상기 제1 이미지가 보정될 수 있다. 다양한 실시예들에 따르면, 보정된 제1 이미지는 특정 벽면에 대한 정면도일 수 있다. 다양한 실시예들에 따르면, 복수의 서브 이미지들은, 보정된 제1 이미지가 상기 미리 설정된 크기로 분할된 것일 수 있다. According to various embodiments, when the angle between the first normal line perpendicular to the surface of the first image and the second normal line perpendicular to the specific wall surface obtained from the first image exceeds a preset threshold, the first image is It may be judged/identified as not being a front view. In this case, according to various embodiments, the first image may be corrected so that the angle between the first normal and the second normal is less than or equal to a preset threshold, based on a preset crack analysis model. According to various embodiments, the corrected first image may be a front view of a specific wall surface. According to various embodiments, the plurality of sub-images may be a corrected first image divided into the preset size.
도 5 는 다양한 실시예들에 따른 제1 이미지의 보정의 일 예를 나타낸 도면이다. FIG. 5 is a diagram illustrating an example of correction of a first image according to various embodiments.
도 5 를 참조하면, 다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 입력된 제1 이미지에 수직한 제1 법선과, 제1 이미지에 포함된 특정 벽면에 수직한 제2 법선을 획득할 수 있다. 도 5의 예시에서, 제1 법선과 제2 법선 간의 각도가 미리 설정된 임계치를 초과하므로, 미리 설정된 균열 분석 모델은 제1 이미지를 보정하여 제1 법선과 제2 법선 간의 각도가 미리 설정된 임계치 이하가 되도록 하여, 제1 이미지를 특정 벽면에 대한 정면도로 변환할 수 있다. Referring to FIG. 5, according to various embodiments, a preset crack analysis model can obtain a first normal line perpendicular to the input first image and a second normal line perpendicular to a specific wall included in the first image. there is. In the example of Figure 5, since the angle between the first normal and the second normal exceeds the preset threshold, the preset crack analysis model corrects the first image so that the angle between the first normal and the second normal is less than or equal to the preset threshold. Preferably, the first image can be converted into a front view of a specific wall surface.
도 6 및 도 7은 다양한 실시예들에 따른 서브 이미지의 일 예를 나타낸 도면이다. 6 and 7 are diagrams illustrating examples of sub-images according to various embodiments.
도 6 을 참조하면, 예를 들어, 특정 서브 이미지에 특정 균열이 '전체' 로 포함될 수 있다. 예를 들어, 미리 설정된 균열 분석 모델은 서브 이미지 단위로 균열에 대한 분석을 수행하여, 전체로 포함된 특정 균열에 대한 분석 결과를 획득할 수 있다. Referring to FIG. 6 , for example, a specific crack may be included 'entirely' in a specific sub-image. For example, a preset crack analysis model can perform analysis on cracks in sub-image units and obtain analysis results for specific cracks included as a whole.
도 7 을 참조하면, 예를 들어, 특정 균열은 두 개 이상의 서브 이미지들에 걸쳐서 포함될 수 있다. 예를 들어, 미리 설정된 균열 분석 모델은 서브 이미지 단위로 균열에 대한 분석을 수행하여, 각 서브 이미지에 포함된 특정 균열의 각 일부에 대한 분석 결과를 획득할 수 있다. 예를 들어, 미리 설정된 균열 분석 모델은 각 서브 이미지의 가장자리 (edge) 상에 위치된 균열을 나타내는 픽셀 (pixel) 들을 식별하고, 각 서브 이미지의 가장자리 상 특정 균열이 시작되는 시작 픽셀 (pixel_start) 과 종료 픽셀 (pixel_end) 을 연결함에 기초하여, 두 개 이상의 서브 이미지들에 걸친 특정 균열 전체에 대한 분석 결과를 획득할 수 있다. Referring to Figure 7, for example, a specific crack may be included across two or more sub-images. For example, a preset crack analysis model may perform analysis of cracks on a sub-image basis to obtain analysis results for each part of a specific crack included in each sub-image. For example, a preset crack analysis model identifies pixels representing cracks located on the edge of each sub-image, and a start pixel (pixel_start) where a specific crack starts on the edge of each sub-image. Based on connecting the end pixel (pixel_end), analysis results for the entire specific crack across two or more sub-images can be obtained.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 서브 이미지들 각각에 포함된 균열 이미지와 특정 벽면 이미지를 구분할 수 있다. 다양한 실시예들에 따르면, 균열 이미지는 상기 하나 이상의 균열 중 적어도 일부와 관련될 수 있다. 다양한 실시예들에 따르면, 균열 및/또는 동 균열의 적어도 일부가 균열 이미지에 포함될 수 있다. 다양한 실시예들에 따르면, 특정 벽면 이미지는 특정 벽면의 적어도 일부와 관련될 수 있다. 다양한 실시예들에 따르면, 특정 벽면 및/또는 특정 벽면의 적어도 일부가 특정 벽면 이미지에 포함될 수 있다. 다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 서브 이미지들로부터 균열과, 균열이 아닌 벽면을 구분할 수 있으며, 구분된 균열에 대한 분석을 수행할 수 있다. According to various embodiments, a preset crack analysis model may distinguish between a crack image included in each of a plurality of sub-images and a specific wall image. According to various embodiments, a crack image may be associated with at least some of the one or more cracks. According to various embodiments, the crack and/or at least a portion of the crack may be included in the crack image. According to various embodiments, a specific wall image may be associated with at least a portion of a specific wall. According to various embodiments, a specific wall surface and/or at least a portion of a specific wall surface may be included in a specific wall image. According to various embodiments, a preset crack analysis model can distinguish between cracks and non-crack wall surfaces from a plurality of sub-images, and can perform analysis on the classified cracks.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 균열 이미지로부터 하나 이상의 균열 중 적어도 일부에 대한 복수의 균열 픽셀들을 획득할 수 있다.According to various embodiments, a preset crack analysis model may obtain a plurality of crack pixels for at least some of one or more cracks from a crack image.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 균열 픽셀들 중에서 하나 이상의 균열의 적어도 일부의 길이를 획득하기 위한 복수의 서브 균열 픽셀들을 획득할 수 있다.According to various embodiments, a preset crack analysis model may acquire a plurality of sub-crack pixels to obtain the length of at least a portion of one or more cracks among the plurality of crack pixels.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 서브 균열 픽셀들 중에서, 하나 이상의 균열의 제1 시작 지점에 대응되는 제1 시작 픽셀과 하나 이상의 균열의 제1 종료 지점에 대응되는 제1 종료 픽셀을 식별할 수 있다. According to various embodiments, a preset crack analysis model may include, among a plurality of sub-crack pixels, a first start pixel corresponding to the first start point of one or more cracks and a first pixel corresponding to the first end point of one or more cracks. The end pixel can be identified.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 제1 시작 픽셀부터 제1 종료 픽셀까지 순차적으로 복수의 서브 균열 픽셀들을 추적함에 기초하여, 하나 이상의 균열 중 적어도 일부의 길이가 산출될 수 있다. According to various embodiments, a preset crack analysis model may calculate the length of at least a portion of one or more cracks based on sequentially tracking a plurality of sub-crack pixels from a first start pixel to a first end pixel.
도 8 은 다양한 실시예들에 따른 균열의 길이 산출 과정의 일 예를 나타낸 도면이다. Figure 8 is a diagram showing an example of a process for calculating the length of a crack according to various embodiments.
도 8 은, 특정 서브 이미지 상에 특정 균열이 전체로 포함된 일 예이다. 이는 예시이며, 특정 서브 이미지 상에 특정 균열의 일부가 포함된 경우에도 동일한 방법이 적용될 수 있다. Figure 8 is an example in which a specific crack is entirely included in a specific sub-image. This is an example, and the same method can be applied even when a part of a specific crack is included in a specific sub-image.
도 8 을 참조하면, 다양한 실시예들에 따르면, 특정 서브 이미지 상의 특정 균열은 복수의 균열 픽셀들로 표현될 수 있다. 다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 균열 픽셀들 중에서 특정 균열의 길이를 획득하기 위한 복수의 서브 균열 픽셀들을 획득할 수 있다. 도 8 의 점선 상에 위치된 픽셀들이 복수의 서브 균열 픽셀들일 수 있다. 예를 들어, 특정 균열의 길이 방향을 따라 등간격으로 특정 균열 이미지가 분할된 후, 각 분할된 가장자리에 포함된 픽셀들 중 가운데 픽셀들의 집합이 복수의 서브 균열 픽셀들일 수 있으나, 복수의 서브 균열 픽셀들이 획득되는 방법이 이에 제한되는 것은 아니다. Referring to FIG. 8, according to various embodiments, a specific crack on a specific sub-image may be expressed as a plurality of crack pixels. According to various embodiments, a preset crack analysis model may acquire a plurality of sub-crack pixels to obtain the length of a specific crack from among the plurality of crack pixels. Pixels located on the dotted line in FIG. 8 may be a plurality of sub-cracked pixels. For example, after a specific crack image is divided at equal intervals along the length direction of the specific crack, a set of central pixels among the pixels included in each divided edge may be a plurality of sub-crack pixels. The method by which pixels are obtained is not limited to this.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 서브 균열 픽셀들 중 시작 픽셀 (제1 시작 픽셀) (pixel_start) 과 종료 픽셀 (제1 종료 픽셀) (pixel_end) 을 식별할 수 있다. 다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 제1 시작 픽셀부터 제1 종료 픽셀까지 복수의 서브 균열 픽셀들을 추적하면서 각 픽셀 간의 거리를 산출하고, 각 픽셀 간의 거리의 총 합과 TOF 정보를 함께 적용하여 균열의 길이를 산출할 수 있다. According to various embodiments, a preset crack analysis model may identify a start pixel (first start pixel) (pixel_start) and an end pixel (first end pixel) (pixel_end) among a plurality of sub-crack pixels. According to various embodiments, a preset crack analysis model calculates the distance between each pixel while tracking a plurality of sub-crack pixels from the first start pixel to the first end pixel, and provides the total sum of distances between each pixel and TOF information. By applying them together, the length of the crack can be calculated.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은, 복수의 서브 균열 픽셀들 중 특정 서브 균열 픽셀(Pn) 을 끝점으로 하고 특정 서브 균열 픽셀(Pn) 직전의 제1 서브 균열 픽셀(Pn-1) 을 시작점으로 하는 제1 벡터와 특정 서브 균열 픽셀(Pn) 을 시작점으로 하고 특정 서브 균열 픽셀(Pn) 직후의 제2 서브 균열 픽셀 (Pn+1) 을 끝점으로 하는 제2 벡터 간의 차이인, 특정 서브 균열 픽셀(Pn) 에서의 법선 벡터를 획득할 수 있다. According to various embodiments, a preset crack analysis model has a specific sub-crack pixel (Pn) as an end point among a plurality of sub-crack pixels and a first sub-crack pixel (Pn-1) immediately before the specific sub-crack pixel (Pn). ) is the difference between the first vector as the starting point and the second vector with the specific sub-crack pixel (Pn) as the starting point and the second sub-crack pixel (Pn+1) immediately after the specific sub-crack pixel (Pn) as the end point, The normal vector at a specific sub-crack pixel (Pn) can be obtained.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은, 법선 벡터의 방향을 따라 복수의 서브 균열 픽셀들 중 적어도 일부를 추적함에 기초하여, 하나 이상의 균열의 제2 시작 지점에 대응되는 제2 시작 픽셀과 하나 이상의 균열의 제1 종료 지점에 대응되는 제2 종료 픽셀을 식별할 수 있다. According to various embodiments, the preset crack analysis model is based on tracking at least some of the plurality of sub-crack pixels along the direction of the normal vector, and selects a second start pixel corresponding to a second start point of one or more cracks. And a second end pixel corresponding to the first end point of one or more cracks may be identified.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은, 제2 시작 픽셀과 제2 종료 픽셀 가의 간격에 기초하여 특정 서브 균열 픽셀(Pn) 에 대응되는 후보 두께를 산출할 수 있다. According to various embodiments, a preset crack analysis model may calculate a candidate thickness corresponding to a specific sub-crack pixel (Pn) based on the gap between the second start pixel and the second end pixel.
다양한 실시예들에 따르면, n 은 자연수이며, 미리 설정된 균열 분석 모델은 동 과정을 복수의 서브 균열 픽셀들 상의 모든 픽셀에 대하여 수행할 수 있다.According to various embodiments, n is a natural number, and a preset crack analysis model can perform the same process on all pixels on a plurality of sub-crack pixels.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 서브 균열 픽셀들 각각에 대응되는 복수의 후보 두께들 중 최대값을 균열의 두께로 산출할 수 있다. According to various embodiments, a preset crack analysis model may calculate the maximum value among a plurality of candidate thicknesses corresponding to each of a plurality of sub-crack pixels as the thickness of the crack.
도 9 은 다양한 실시예들에 따른 균열의 두께 산출 과정의 일 예를 나타낸 도면이다. Figure 9 is a diagram showing an example of a process for calculating the thickness of a crack according to various embodiments.
도 9 은, 특정 서브 이미지 상에 특정 균열이 전체로 포함된 일 예이다. 이는 예시이며, 특정 서브 이미지 상에 특정 균열의 일부가 포함된 경우에도 동일한 방법이 적용될 수 있다. Figure 9 is an example in which a specific crack is entirely included in a specific sub-image. This is an example, and the same method can be applied even when a part of a specific crack is included in a specific sub-image.
도 9 을 참조하면, 다양한 실시예들에 따르면, 특정 서브 이미지 상의 특정 균열은 복수의 균열 픽셀들로 표현될 수 있다. 다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 균열 픽셀들 중에서 특정 균열의 길이를 획득하기 위한 복수의 서브 균열 픽셀들을 획득할 수 있다. 도 9 의 점선 상에 위치된 픽셀들이 복수의 서브 균열 픽셀들일 수 있다. 예를 들어, 특정 균열의 길이 방향을 따라 등간격으로 특정 균열 이미지가 분할된 후, 각 분할된 가장자리에 포함된 픽셀들 중 가운데 픽셀들의 집합이 복수의 서브 균열 픽셀들일 수 있으나, 복수의 서브 균열 픽셀들이 획득되는 방법이 이에 제한되는 것은 아니다. Referring to FIG. 9 , according to various embodiments, a specific crack on a specific sub-image may be expressed as a plurality of crack pixels. According to various embodiments, a preset crack analysis model may acquire a plurality of sub-crack pixels to obtain the length of a specific crack from among the plurality of crack pixels. Pixels located on the dotted line in FIG. 9 may be a plurality of sub-cracked pixels. For example, after a specific crack image is divided at equal intervals along the length direction of the specific crack, a set of central pixels among the pixels included in each divided edge may be a plurality of sub-crack pixels. The method by which pixels are obtained is not limited to this.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 서브 균열 픽셀들 중 특정 픽셀(Pn), 복수의 서브 균열 픽셀들 상의 특정 픽셀(Pn) 직전의 제1 서브 균열 픽셀(Pn-1), 복수의 서브 균열 픽셀들 상의 특정 픽셀(Pn) 직후의 제2 서브 균열 픽셀 (Pn+1) 을 식별할 수 있다. According to various embodiments, a preset crack analysis model includes a specific pixel (Pn) among a plurality of sub-crack pixels, and a first sub-crack pixel (Pn-1) immediately before the specific pixel (Pn) on the plurality of sub-crack pixels. , a second sub-cracked pixel (Pn+1) immediately after a specific pixel (Pn) on a plurality of sub-cracked pixels can be identified.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 제1 서브 균열 픽셀(Pn-1) 을 시작점으로 하고 특정 픽셀(Pn) 을 끝점으로 하는 제1 벡터 (V1) 과 특정 픽셀(Pn) 을 시적점으로 하고 제2 서브 균열 픽셀 (Pn+1) 을 끝점으로 하는 제2 벡터 (V2) 를 획득할 수 있다. According to various embodiments, a preset crack analysis model uses a first vector (V1) and a specific pixel (Pn) with the first sub-crack pixel (Pn-1) as the starting point and the specific pixel (Pn) as the end point. A second vector (V2) with the point as the end point and the second sub-crack pixel (Pn+1) can be obtained.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 제2 벡터와 제1 벡터 간의 차이인 법선 벡터 (V2-V1) 를 획득할 수 있으며, 법선 벡터의 길이 방향을 따른 연장선 상의 복수의 균열 픽셀들을 추적하여, 연장선 상의 제2 시작 픽셀 (pixel_start) 와 제2 종료 픽셀 (pixel_end) 를 식별할 수 있다. According to various embodiments, a preset crack analysis model can obtain a normal vector (V2-V1), which is the difference between the second vector and the first vector, and a plurality of crack pixels on an extension line along the longitudinal direction of the normal vector. By tracking, the second start pixel (pixel_start) and the second end pixel (pixel_end) on the extension line can be identified.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 제2 시작 픽셀부터 제2 종료 픽셀까지의 거리와 TOF 정보를 함께 적용하여 균열의 두께의 후보가 될 수 있는 후보 두께를 산출할 수 있다.According to various embodiments, a preset crack analysis model may calculate a candidate thickness that can be a candidate for the thickness of a crack by applying the distance from the second start pixel to the second end pixel and TOF information together.
다양한 실시예들에 따르면, 미리 설정된 균열 분석 모델은 복수의 서브 균열 픽셀들 상에서 후보 두께들을 산출하고, 산출된 후보 두께들 중 최대값을 특정 균열의 두께로 획득할 수 있다. According to various embodiments, a preset crack analysis model may calculate candidate thicknesses on a plurality of sub-crack pixels, and obtain the maximum value among the calculated candidate thicknesses as the thickness of a specific crack.
다양한 실시예들에 따르면, 제1 이미지와 관련된 정보는 제1 이미지가 포함된 특정 벽면의 위치에 대한 위치 정보를 포함할 수 있다.According to various embodiments, information related to the first image may include location information about the location of a specific wall surface including the first image.
다양한 실시예들에 따르면, 분석 정보는 구조물과 관련된 제2 이미지 중 하나 이상 내에서의 위치 정보에 기초하여 식별되는 특정 벽면에 대응되는 위치 좌표와 하나 이상의 분석 결과가 매핑된 정보를 포함할 수 있다. According to various embodiments, the analysis information may include location coordinates corresponding to a specific wall surface identified based on location information within one or more of the second images related to the structure and information in which one or more analysis results are mapped. .
다양한 실시예들에 따르면, 제2 이미지는 구조물에 포함된 복수의 층 (floor) 들에 대한 복수의 구조 이미지들을 포함할 수 있다. 예를 들어, 복수의 구조 이미지들은 각 층의 설계도, 건축 도면 등일 수 있으나, 이에 제한되는 것은 아니다. 다양한 실시예들에 따르면, 위치 정보는, 복수의 층들 중 특정 벽면이 포함된 층에 대한 정보를 포함할 수 있다. 다양한 실시예들에 따르면, 특정 벽면이 포함된 층에 대한 정보에 기초하여 복수의 구조 이미지들 중 특정 벽면이 포함된 층의 구조 이미지가 식별될 수 있다. 다양한 실시예들에 따르면, 특정 벽면이 포함된 층의 구조 이미지와 특정 벽면에 대응되는 위치 좌표와 하나 이상의 분석 결과가 매핑될 수 있다. 다양한 실시예들에 따르면, 위치 좌표는, 특정 벽면이 포함된 층의 구조 이미지 상의 특정 벽면의 위치에 대한 미리 설정된 기준 좌표계에 기초한 2 차원 좌표일 수 있다. According to various embodiments, the second image may include a plurality of structural images for a plurality of floors included in the structure. For example, the plurality of structural images may be blueprints for each floor, architectural drawings, etc., but are not limited thereto. According to various embodiments, the location information may include information about a floor including a specific wall surface among a plurality of floors. According to various embodiments, a structural image of a floor containing a specific wall surface may be identified among a plurality of structural images based on information about the floor containing a specific wall surface. According to various embodiments, a structural image of a floor including a specific wall surface, location coordinates corresponding to the specific wall surface, and one or more analysis results may be mapped. According to various embodiments, the position coordinates may be two-dimensional coordinates based on a preset reference coordinate system for the location of a specific wall surface on a structural image of a floor including the specific wall surface.
다양한 실시예들에 따르면, 매핑된 정보 및/또는 매핑된 것은, 특정 벽면을 포함하는 구조 이미지 상에서의 특정 벽면의 위치 상에 특정 벽면 상의 균열에 대한 분석 결과가 표시/매핑되는 것을 포함할 수 있다. According to various embodiments, the mapped information and/or the mapped may include displaying/mapping analysis results for cracks on a specific wall surface onto the location of the specific wall surface on a structural image including the specific wall surface. .
2.2. 균열 분석 모델 획득 동작2.2. Crack Analysis Model Acquisition Behavior
인공 지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.An artificial intelligence system is a computer system that implements human-level intelligence, and unlike existing rule-based smart systems, it is a system in which machines learn, make decisions, and become smarter on their own. As artificial intelligence systems are used, the recognition rate improves and users' preferences can be more accurately understood, and existing rule-based smart systems are gradually being replaced by deep learning-based artificial intelligence systems.
인공 지능 기술은 기계 학습(딥러닝) 및 기계 학습을 활용한 요소 기술들로 구성된다.Artificial intelligence technology consists of machine learning (deep learning) and element technologies using machine learning.
기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소 기술은 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.Machine learning is an algorithmic technology that classifies/learns the characteristics of input data on its own, and elemental technology is a technology that uses machine learning algorithms such as deep learning to mimic the functions of the human brain such as cognition and judgment, including linguistic understanding and visual It consists of technical areas such as understanding, reasoning/prediction, knowledge expression, and motion control.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.The various fields where artificial intelligence technology is applied are as follows. Linguistic understanding is a technology that recognizes and applies/processes human language/characters and includes natural language processing, machine translation, conversation systems, question and answer, and voice recognition/synthesis. Visual understanding is a technology that recognizes and processes objects like human vision, and includes object recognition, object tracking, image search, person recognition, scene understanding, spatial understanding, and image improvement. Inferential prediction is a technology that judges information to make logical inferences and predictions, and includes knowledge/probability-based inference, optimization prediction, preference-based planning, and recommendation. Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data creation/classification) and knowledge management (data utilization). Motion control is a technology that controls the autonomous driving of vehicles and the movement of robots, and includes motion control (navigation, collision, driving), operation control (behavior control), etc.
이하의 설명에서는 서버가 모델 획득 동작을 수행함을 전제로 다양한 실시예들에 대하여 설명하였으나, 다양한 실시예들에 따르면, 서버 외부의 다른 서버가 모델 획득 동작을 수행할 수도 있다. 또는, 다양한 실시예들에 따르면, 복수의 사용자 기기들 및/또는 복수의 서버들이 마련되어, 복수의 사용자 디바이스들 및/또는 복수의 서버들 간에 모델 획득 동작의 각 동작이 분배되어, 별개로 실시될 수도 있다.In the following description, various embodiments are described on the premise that the server performs the model acquisition operation. However, according to various embodiments, another server outside the server may perform the model acquisition operation. Alternatively, according to various embodiments, a plurality of user devices and/or a plurality of servers are provided, and each operation of the model acquisition operation is distributed among the plurality of user devices and/or the plurality of servers to be performed separately. It may be possible.
도 10 는 다양한 실시예들에 따른 미리 설정된 균열 분석 모델을 획득하는 과정을 도시한 도면이다.Figure 10 is a diagram illustrating a process for obtaining a preset crack analysis model according to various embodiments.
도 11 은 다양한 실시예들에 따른 미리 설정된 균열 분석 모델을 획득하는 장치의 동작 방법을 도시한 도면이다.FIG. 11 is a diagram illustrating a method of operating an apparatus for obtaining a preset crack analysis model according to various embodiments.
도 10 를 참조하면, 다양한 실시예들에 따르면, 서버는, 학습용 데이터를 수집할 수 있다. 다양한 실시예들에 따르면, 학습용 데이터는 복수의 벽면 정면 이미지들, 복수의 벽면 비정면 이미지들, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들을 포함할 수 있다. 예를 들어, 벽면 균열과 혼동 가능성이 있는 후보들은 벽면 상의 음각 장식 및 벽면 상의 이음부를 포함할 수 있다. Referring to FIG. 10, according to various embodiments, a server may collect training data. According to various embodiments, the training data may include a plurality of wall front images, a plurality of wall non-front images, a plurality of wall crack images for wall cracks, and images for candidates that are likely to be confused with wall cracks. You can. For example, candidates for confusion with wall cracks may include engravings on walls and joints on walls.
다양한 실시예들에 따르면, 복수의 정면 이미지들과 복수의 벽면 비정면 이미지들에 기초하여, 벽면의 정면도와 벽면의 정면도가 아닌 것이 구별되도록 학습될 수 있다. 다양한 실시예들에 따르면, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들에 기초하여, 벽면 균열이 식별되는 정확도가 높아지도록 학습될 수 있다. According to various embodiments, based on a plurality of front images and a plurality of wall non-front images, a front view of a wall surface and a non-front view of a wall surface may be learned to be distinguished. According to various embodiments, based on a plurality of wall crack images and images of candidates that are likely to be confused with wall cracks, learning can be done to increase the accuracy of identifying wall cracks.
다양한 실시예들에 따르면, 서버는, 학습용 데이터에 기초하여 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터는 학습용 데이터를 AI 엔진에 학습을 위하여 입력시킬 수 있도록 전 처리/변환된 것일 수 있다. 예를 들어, 학습 데이터는 훈련용 데이터 및 테스트용 데이터를 포함할 수 있다.According to various embodiments, the server may obtain training data based on training data. For example, the learning data may be pre-processed/converted so that the learning data can be input to the AI engine for learning. For example, learning data may include training data and testing data.
예를 들어, 서버는, 학습 데이터를 훈련용 데이터 및 테스트용 데이터로 분류할 수 있다. 예를 들어, 훈련용 데이터는 모델을 학습시키는데 활용되고, 테스트용 데이터는 학습된 AI 엔진을 검증 및 업데이트 하는데 활용될 수 있다.For example, the server may classify learning data into training data and testing data. For example, training data can be used to learn a model, and testing data can be used to verify and update the learned AI engine.
예를 들어, 서버는, 훈련용 데이터에 기초하여 AI 엔진을 학습 시킬 수 있다. 예를 들어, AI 엔진은 인공 지능 알고리즘을 기반으로 학습될 수 있는 인공 지능 엔진일 수 있다. 예를 들어, 인공 지능 엔진은 CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 이에 한정되는 것은 아니다. 예를 들어, 이러한 학습 방법으로 획득된 미리 설정된 균열 분석 모델은 균열 분석에 있어서, RES (직선 중심 객체 검색), VGG (원형 중심 객체 검색) 을 적용할 수 있으나, 이에 제한되는 것은 아니다. For example, the server can train an AI engine based on training data. For example, an AI engine may be an artificial intelligence engine that can be trained based on artificial intelligence algorithms. For example, artificial intelligence engines include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), and Bidirectional Recurrent Deep Neural Network (BRDNN). ) or Deep Q-Networks, but are not limited to these. For example, the preset crack analysis model obtained through this learning method may apply RES (line-centered object search) and VGG (circular-centered object search) in crack analysis, but is not limited thereto.
다양한 실시예들에 따르면, 서버는 학습된 모델에 기초하여 테스트용 데이터에 대한 가공 데이터를 획득할 수 있다.According to various embodiments, the server may obtain processed data for testing data based on a learned model.
다양한 실시예들에 따르면, 서버는 가공 데이터에 대한 피드백 정보를 획득할 수 있다. According to various embodiments, the server may obtain feedback information about processed data.
예를 들어, 피드백 정보는, 서버 관리자로부터 입력될 수 있다. For example, feedback information may be input from a server administrator.
또 다른 예시로, 피드백 정보는, 해당 가공 데이터에 대하여 미리 가공된 학습 데이터가 있는 경우, 서버는 해당 미리 가공된 학습 데이터와 가공 데이터를 비교하고, 그 비교 결과에 기초하여 피드백 정보를 생성할 수도 있다. 예를 들어, 학습 데이터에는 데이터의 가공 전 및 가공 후 버전이 포함될 수 있으며, 서버는 가공 전 데이터를 학습된 모델에 기초하여 가공하여 가공 데이터를 생성하고, 가공 데이터와 학습 데이터에 포함된 가공 후 버전을 비교하여 그 비교 결과에 기초하여 피드백을 획득할 수도 있다.As another example, if there is pre-processed learning data for the corresponding processed data, the server may compare the pre-processed learning data with the processed data and generate feedback information based on the comparison result. there is. For example, training data may include pre-processed and post-processed versions of the data, and the server processes the pre-processed data based on the learned model to generate processed data, and the processed data and the post-processed versions included in the learning data. You can also compare versions and obtain feedback based on the comparison results.
다양한 실시예들에 따르면, 서버는, 피드백에 기초하여 학습된 모델을 업데이트할 수 있다. According to various embodiments, the server may update the learned model based on feedback.
예를 들어, 서버는 피드백에 기초하여 학습된 모델의 특성 (예를 들어, CNN 의 특성) 을 수정하고, 수정된 모델에 기초하여 테스트용 데이터를 가공하고, 다시 피드백을 획득하여 업데이트 하는 과정을 반복할 수 있다.For example, the server modifies the characteristics of the learned model (e.g., CNN characteristics) based on feedback, processes test data based on the modified model, and obtains feedback again to update the process. It can be repeated.
다양한 실시예들에 따르면, 서버는 반복 횟수가 미리 설정된 임계값 (예를 들어, 7-9회) 에 도달하면, 동작을 종료하고 학습된 AI 엔진을 추천 모델로서 획득할 수 있다.According to various embodiments, when the number of repetitions reaches a preset threshold (eg, 7-9 times), the server may terminate the operation and obtain the learned AI engine as a recommendation model.
도 11 을 참조하면, 다양한 실시예들에 따르면, 동작 1101 에서, 서버는, 학습용 데이터를 처리함에 기초하여 획득된 훈련용 데이터 및 테스트용 데이터 중 훈련용 데이터에 기초하여 AI 엔진을 학습시킬 수 있다.Referring to FIG. 11, according to various embodiments, in operation 1101, the server may learn an AI engine based on training data among training data and test data obtained based on processing the training data. .
다양한 실시예들에 따르면, 동작 1103 에서, 서버는, 테스트용 데이터가 학습된 AI 엔진으로 입력됨에 대한 응답으로 출력되는 가공 데이터에 대한 피드백 정보를 획득할 수 있다. According to various embodiments, in operation 1103, the server may obtain feedback information about processed data output in response to test data being input into the learned AI engine.
다양한 실시예들에 따르면, 동작 1105 에서, 서버는, 피드백 정보에 기초하여 AI 엔진을 업데이트할 수 있다.According to various embodiments, in operation 1105, the server may update the AI engine based on feedback information.
다양한 실시예들에 따르면, 동작 1107 에서, 서버는, 동작 1101 내지 동작 1105 가 반복된 횟수를 미리 설정된 임계값 (N_TH) 과 비교할 수 있다. 예를 들어, 동작 1101 내지 동작 1105 의 반복 횟수에 대응되는 카운트 값이 설정될 수 있다. 예를 들어, 카운트 값의 초기값은 0 일 수 있다. 예를 들어, 동작 1101 내지 동작 1105 가 1 회 반복될 때 마다, 카운트 값이 1 증가될 수 있다. 예를 들어, 서버는, 이러한 카운트 값을 미리 설정된 임계값 (N_TH) 과 비교할 수 있다. According to various embodiments, in operation 1107, the server may compare the number of times operations 1101 to 1105 are repeated with a preset threshold (N_TH). For example, a count value corresponding to the number of repetitions of operations 1101 to 1105 may be set. For example, the initial value of the count value may be 0. For example, each time operations 1101 to 1105 are repeated once, the count value may be increased by 1. For example, the server may compare this count value to a preset threshold (N_TH).
다양한 실시예들에 따르면, 서버는, 반복된 횟수가 미리 설정된 임계값과 일치하지 않으면 (즉, 반복된 횟수가 미리 설정된 임계값 미만이면), 동작 1101 로 돌아가, 동작 1101 내지 동작 1105 을 재수행할 수 있다.According to various embodiments, if the number of repetitions does not match the preset threshold (i.e., if the number of repetitions is less than the preset threshold), the server returns to operation 1101 and re-performs operations 1101 to 1105. You can.
다양한 실시예들에 따르면, 서버는, 반복된 횟수가 미리 설정된 임계값과 일치하면, 프로세스를 종료할 수 있다.According to various embodiments, the server may terminate the process when the number of repetitions matches a preset threshold.
이하에서는 또 다른 실시예로써, 모바일 단말 기반의 구조물 균열 검출 방법, 장치 및 시스템에 대하여 설명하도록 한다.Below, as another embodiment, a method, device, and system for detecting structural cracks based on a mobile terminal will be described.
도 12는 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 시스템의 구성도이다.Figure 12 is a configuration diagram of a mobile terminal-based structure crack detection system according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 시스템은, 구조물의 이미지를 촬영하고 거리값을 측정하는 사용자단말(600); 및 상기 사용자단말(600)로부터 전달받은 이미지와 거리값을 기반으로 해당 구조물의 균열을 검출하는 장치(500); 를 포함할 수 있다.A structure crack detection system based on a mobile terminal according to an embodiment of the present invention includes a user terminal 600 that takes an image of the structure and measures a distance value; and a device 500 that detects cracks in the structure based on the image and distance value received from the user terminal 600; may include.
이 때, 장치(500)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(500)는 추론 기능을 수행하는 적어도 하나 이상의 인공지능모듈; 을 구비할 수 있다. At this time, the device 500 may be configured to perform all or part of the calculation function, storage/reference function, input/output function, and control function of a typical computer. Device 500 includes at least one artificial intelligence module that performs an inference function; can be provided.
이 때, 사용자단말(600)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.At this time, the user terminal 600 is a communication capable desktop computer, laptop computer, laptop, smart phone, tablet PC, or mobile phone. , smart watch, smart glass, e-book reader, PMP (portable multimedia player), portable game console, navigation device, digital camera, DMB (digital multimedia broadcasting) player. , may include a digital audio recorder, a digital audio player, a digital video recorder, a digital video player, a PDA (Personal Digital Assistant), etc.
또한, 상기 사용자단말(600)은, 상기 사용자단말(600)과 대상체와의 거리를 측정할 수 있는 거리측정 센서; 를 포함할 수 있다.In addition, the user terminal 600 includes a distance measurement sensor capable of measuring the distance between the user terminal 600 and an object; may include.
거리측정센서(410)는 ToF(Time of Flight) 센서일 수 있다. ToF 센서로는 적외선, 레이저, 자외선, 초음파 센서를 포함할 수 있다. 각각의 파장이 발산된 후 대상체에 반사되어 돌아오는 시간을 기반으로 거리를 측정하는 방식으로 동작한다.The distance measurement sensor 410 may be a Time of Flight (ToF) sensor. ToF sensors may include infrared, laser, ultraviolet, and ultrasonic sensors. It operates by measuring the distance based on the time it takes for each wave to reflect and return to the object after being emitted.
이 때, 장치(500)는 후술하는 모바일 단말 기반의 구조물 균열 측정 방법을 수행함으로써 본 발명의 목적을 달성할 수 있으며, 상세한 동작은 모바일 단말 기반의 구조물 균열 측정 방법을 통해 자세하게 설명하도록 한다.At this time, the device 500 can achieve the purpose of the present invention by performing the mobile terminal-based structure crack measurement method described later, and detailed operations will be described in detail through the mobile terminal-based structure crack measurement method.
도 13은 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법의 흐름도이다.Figure 13 is a flowchart of a mobile terminal-based structure crack detection method according to an embodiment of the present invention.
도 13을 참조하면, 본 발명의 일 실시예에 따라 장치(500)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 사용자단말(600)로부터 상기 구조물의 특정 벽체의 구조물이미지를 수신할 수 있다(S201).Referring to FIG. 13, the mobile terminal-based structure crack detection method performed by the device 500 according to an embodiment of the present invention can receive a structure image of a specific wall of the structure from the user terminal 600. There is (S201).
이 때, 사용자단말(600)은 상술한 바와 같이 스마트폰과 같이 카메라를 포함하는 모바일 단말일 수 있다. 상기 구조물이미지는 균열이 의심되는 위치를 카메라로 촬영한 이미지로써, 사용자가 임의의 위치 및 각도에 따라 여러장 촬영될 수도 있다.At this time, the user terminal 600 may be a mobile terminal including a camera, such as a smartphone, as described above. The structure image is an image taken with a camera at a location where a crack is suspected, and the user may take multiple images at any location and angle.
또한, 본 발명의 일 실시예에 따라 장치(500)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 사용자단말(600)로부터 상기 구조물이미지의 좌표별로 매핑된 거리값정보를 수신할 수 있다(S203).In addition, the mobile terminal-based structure crack detection method performed by the device 500 according to an embodiment of the present invention can receive distance value information mapped for each coordinate of the structure image from the user terminal 600. There is (S203).
이때, 상기 사용자단말(600)은 구조물의 특정 벽체와의 거리를 측정할 수 있는 거리측정센서(610)를 포함할 수 있다. 일 예로, 거리측정센서(610)는 ToF센서를 포함할 수 있다. 다른 예로, 거리측정센서(610)는 자외선, 적외선, 레이저, 초음파 센서, 마이크로웨이브센서, 광센서 중 적어도 어느 하나 이상을 더 포함할 수도 있다.At this time, the user terminal 600 may include a distance measurement sensor 610 that can measure the distance to a specific wall of the structure. As an example, the distance measurement sensor 610 may include a ToF sensor. As another example, the distance measuring sensor 610 may further include at least one of ultraviolet rays, infrared rays, lasers, ultrasonic sensors, microwave sensors, and optical sensors.
이 때, 구조물이미지의 촬영과 거리측정센서(610)의 측정은 동시간대에 이루어질 수 있으며, 이 때, 구조물이미지와 거리측정센서(610)에 의하여 측정된 거리값정보는 상기 구조물이미지의 좌표별로 매핑될 수 있다. 이를 통하여, 후술하는 바와 같이 거리값의 변화가 커지는 곳의 이미지를 추출할 수 있다.At this time, the shooting of the structure image and the measurement by the distance measurement sensor 610 can be done at the same time, and at this time, the distance value information measured by the structure image and the distance measurement sensor 610 is divided by the coordinates of the structure image. can be mapped. Through this, it is possible to extract an image of a place where the change in distance value increases, as will be described later.
또한, 본 발명의 일 실시예에 따라 장치(500)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 구조물이미지와 상기 거리값정보를 기반으로 제1 균열정보를 생성할 수 있다(S205). 균열이란 벽체의 갈라짐을 의미하는 것으로써, 갈라짐에 따라 벽체 외부면과 높이가 상이해진다. 이를 통해, 사용자단말(600)과 벽체 외부면과의 거리보다 더 멀어지는 경우 균열로 추정할 수 있다. 이와 관련된 보다 상세한 내용은 도 14 및 도 15를 참조하여 후술하도록 한다.In addition, the mobile terminal-based structure crack detection method performed by the device 500 according to an embodiment of the present invention can generate first crack information based on the structure image and the distance value information (S205 ). A crack refers to a split in the wall, and as the wall splits, the height becomes different from the outer surface of the wall. Through this, if the distance between the user terminal 600 and the outer surface of the wall is further away, it can be assumed to be a crack. More detailed information regarding this will be described later with reference to FIGS. 14 and 15.
또한, 본 발명의 일 실시예에 따라 장치(500)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 인공지능모듈을 통하여, 상기 구조물이미지를 기반으로 균열이미지를 추출하고, 상기 균열이미지에 상응하는 제2 균열정보를 생성할 수 있다(S207).In addition, the mobile terminal-based structure crack detection method performed by the device 500 according to an embodiment of the present invention extracts a crack image based on the structure image through an artificial intelligence module, and Corresponding second crack information can be generated (S207).
이 때, 상기 인공지능모듈은 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여, 상기 구조물이미지에서 균열로 추정되는 균열이미지를 추출할 수 있는 기계학습모델을 생성할 수 있다. At this time, the artificial intelligence module can use deep learning, a field of machine learning, to create a machine learning model that can extract a crack image presumed to be a crack from the structure image.
또한, 인공지능모듈은 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다. Additionally, the artificial intelligence module can calculate the weights of a plurality of inputs in the function through deep learning. In addition, various models such as RNN (Recurrent Neural Network), DNN (Deep Neural Network), and DRNN (Dynamic Recurrent Neural Network) can be used as artificial intelligence network models for such learning.
여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.Here, RNN is a deep learning technique that simultaneously considers current data and past data, and recurrent neural network (RNN) represents a neural network in which the connections between units that make up the artificial neural network form a directed cycle. Furthermore, various methods can be used to construct a recurrent neural network (RNN), such as Fully Recurrent Network, Hopfield Network, Elman Network, and ESN (Echo State network), LSTM (Long short term memory network), Bi-directional RNN, CTRNN (Continuous-time RNN), hierarchical RNN, quadratic RNN, etc. are representative examples. Additionally, as a method for learning a recurrent neural network (RNN), methods such as gradient descent, Hessian Free Optimization, and Global Optimization Method can be used.
또한, 인공지능망 모델 중 이미지분석에 효과적인 ResNet 및 VGGNet 중 적어도 어느 하나 이상의 알고리즘을 혼합하여 사용할 수 있다. 균열이미지분석과 관련하여 도 16을 참조하여 후술하도록 한다.In addition, among the artificial intelligence network models, at least one of ResNet and VGGNet, which are effective in image analysis, can be used in combination. Crack image analysis will be described later with reference to FIG. 16.
또한, 본 발명의 일 실시예에 따라 장치(500)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 제1 균열정보 및 상기 제2 균열정보를 기반으로 제3 균열정보를 생성할 수 있다(S209). 이는 거리측정에 따른 균열측정과 이미지분석에 따른 균열측정 결과를 취합하여 보다 정확성 높게 균열을 검출하기 위함이다. 이와 관련해서는 도 17을 참조하여 보다 상세하게 후술하도록 한다.In addition, the mobile terminal-based structure crack detection method performed by the device 500 according to an embodiment of the present invention can generate third crack information based on the first crack information and the second crack information. There is (S209). This is to detect cracks with greater accuracy by combining crack measurement results from distance measurement and crack measurement results from image analysis. This will be described in more detail later with reference to FIG. 17.
또한, 본 발명의 일 실시예에 따라 장치(500)에 의하여 수행되는, 모바일 단말 기반의 구조물 균열 검출 방법은 상기 제3 균열정보를 기반으로 균열의 좌표와 상기 구조물이미지와 매핑할 수 있다(S211).In addition, the mobile terminal-based structure crack detection method performed by the device 500 according to an embodiment of the present invention can map the coordinates of the crack and the structure image based on the third crack information (S211 ).
이는 최종적으로 사용자에게 해당 구조물이미지에서 어느 부분이 균열위치인지 시각적으로 알려주기 위함이다. Ultimately, this is to visually inform the user which part of the structure image is the location of the crack.
또한 본 발명의 일 실시예에 따른 장치(500)는 다음과 같은 특징을 더 포함할 수 있다.Additionally, the device 500 according to an embodiment of the present invention may further include the following features.
예를 들면, 장치(500)는, 학습용 데이터를 수집할 수 있다. 다양한 실시예들에 따르면, 학습용 데이터는 복수의 벽면 정면 이미지들, 복수의 벽면 비정면 이미지들, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들을 포함할 수 있다. 예를 들어, 벽면 균열과 혼동 가능성이 있는 후보들은 벽면 상의 음각 장식 및 벽면 상의 이음부를 포함할 수 있다. For example, the device 500 may collect data for learning. According to various embodiments, the training data may include a plurality of wall front images, a plurality of wall non-front images, a plurality of wall crack images for wall cracks, and images for candidates that are likely to be confused with wall cracks. You can. For example, candidates for confusion with wall cracks may include engravings on walls and joints on walls.
다양한 실시예들에 따르면, 복수의 정면 이미지들과 복수의 벽면 비정면 이미지들에 기초하여, 벽면의 정면도와 벽면의 정면도가 아닌 것이 구별되도록 학습될 수 있다. 다양한 실시예들에 따르면, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들에 기초하여, 벽면 균열이 식별되는 정확도가 높아지도록 학습될 수 있다. According to various embodiments, based on a plurality of front images and a plurality of wall non-front images, a front view of a wall surface and a non-front view of a wall surface may be learned to be distinguished. According to various embodiments, based on a plurality of wall crack images and images of candidates that are likely to be confused with wall cracks, learning can be done to increase the accuracy of identifying wall cracks.
다양한 실시예들에 따르면, 장치(500)는, 학습용 데이터에 기초하여 학습 데이터를 획득할 수 있다. 예를 들어, 학습 데이터는 학습용 데이터를 AI 엔진에 학습을 위하여 입력시킬 수 있도록 전 처리/변환된 것일 수 있다. 예를 들어, 학습 데이터는 훈련용 데이터 및 테스트용 데이터를 포함할 수 있다.According to various embodiments, the device 500 may acquire learning data based on training data. For example, the learning data may be pre-processed/converted so that the learning data can be input to the AI engine for learning. For example, learning data may include training data and testing data.
예를 들어, 장치(500)는, 학습 데이터를 훈련용 데이터 및 테스트용 데이터로 분류할 수 있다. 예를 들어, 훈련용 데이터는 모델을 학습시키는데 활용되고, 테스트용 데이터는 학습된 AI 엔진을 검증 및 업데이트 하는데 활용될 수 있다.For example, the device 500 may classify learning data into training data and test data. For example, training data can be used to learn a model, and testing data can be used to verify and update the learned AI engine.
예를 들어, 장치(500)는, 훈련용 데이터에 기초하여 AI 엔진을 학습시킬 수 있다. 예를 들어, AI 엔진은 인공 지능 알고리즘을 기반으로 학습될 수 있는 인공 지능 엔진일 수 있다. 예를 들어, 인공 지능 엔진은 CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 이에 한정되는 것은 아니다. 예를 들어, 이러한 학습 방법으로 획득된 미리 설정된 균열 분석 모델은 균열 분석에 있어서, RES(직선 중심 객체 검색), VGG(원형 중심 객체 검색)을 적용할 수 있으나, 이에 제한되는 것은 아니다. For example, the device 500 can learn an AI engine based on training data. For example, an AI engine may be an artificial intelligence engine that can be trained based on artificial intelligence algorithms. For example, artificial intelligence engines include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), and Bidirectional Recurrent Deep Neural Network (BRDNN). ) or Deep Q-Networks, but are not limited to these. For example, the preset crack analysis model obtained through this learning method may apply RES (recline-centered object search) and VGG (circular-centered object search) in crack analysis, but is not limited thereto.
다양한 실시예들에 따르면, 장치(500)는 학습된 모델에 기초하여 테스트용 데이터에 대한 가공 데이터를 획득할 수 있다.According to various embodiments, the device 500 may acquire processed data for test data based on a learned model.
다양한 실시예들에 따르면, 장치(500)는 가공 데이터에 대한 피드백 정보를 획득할 수 있다. According to various embodiments, the device 500 may obtain feedback information about processing data.
예를 들어, 피드백 정보는, 장치(500) 관리자로부터 입력될 수 있다. For example, feedback information may be input from the device 500 manager.
또 다른 예시로, 피드백 정보는, 해당 가공 데이터에 대하여 미리 가공된 학습 데이터가 있는 경우, 장치(500)는 해당 미리 가공된 학습 데이터와 가공 데이터를 비교하고, 그 비교 결과에 기초하여 피드백 정보를 생성할 수도 있다. 예를 들어, 학습 데이터에는 데이터의 가공 전 및 가공 후 버전이 포함될 수 있으며, 장치(500)는 가공 전 데이터를 학습된 모델에 기초하여 가공하여 가공 데이터를 생성하고, 가공 데이터와 학습 데이터에 포함된 가공 후 버전을 비교하여 그 비교 결과에 기초하여 피드백을 획득할 수도 있다.As another example, if there is pre-processed learning data for the corresponding processed data, the device 500 compares the pre-processed learning data with the processed data and provides feedback information based on the comparison result. You can also create For example, the learning data may include pre-processed and post-processed versions of the data, and the device 500 processes the pre-processed data based on the learned model to generate processed data, and includes the processed data and the learning data. You can also compare the processed versions and obtain feedback based on the comparison results.
다양한 실시예들에 따르면, 장치(500)는, 피드백에 기초하여 학습된 모델을 업데이트할 수 있다. According to various embodiments, the device 500 may update the learned model based on feedback.
예를 들어, 장치(500)는 피드백에 기초하여 학습된 모델의 특성 (예를 들어, CNN의 특성) 을 수정하고, 수정된 모델에 기초하여 테스트용 데이터를 가공하고, 다시 피드백을 획득하여 업데이트 하는 과정을 반복할 수 있다.For example, the device 500 modifies the characteristics of the learned model (e.g., CNN characteristics) based on feedback, processes test data based on the modified model, and obtains feedback again to update it. You can repeat the process.
다양한 실시예들에 따르면, 장치(500)는 반복 횟수가 미리 설정된 임계값 (예를 들어, 7-9회)에 도달하면, 동작을 종료하고 학습된 AI 엔진을 추천 모델로서 획득할 수 있다.According to various embodiments, when the number of repetitions reaches a preset threshold (for example, 7-9 times), the device 500 may terminate the operation and obtain the learned AI engine as a recommendation model.
제1 절차에서, 장치(500)는, 학습용 데이터를 처리함에 기초하여 획득된 훈련용 데이터 및 테스트용 데이터 중 훈련용 데이터에 기초하여 AI 엔진을 학습시킬 수 있다.In the first procedure, the device 500 may train the AI engine based on training data among training data and test data obtained based on processing the training data.
다양한 실시예들에 따르면, 제2 절차에서, 장치(500)는, 테스트용 데이터가 학습된 AI 엔진으로 입력됨에 대한 응답으로 출력되는 가공 데이터에 대한 피드백 정보를 획득할 수 있다. According to various embodiments, in the second procedure, the device 500 may obtain feedback information about processed data output in response to test data being input into the learned AI engine.
다양한 실시예들에 따르면, 제3 절차에서, 장치(500)는, 피드백 정보에 기초하여 AI 엔진을 업데이트할 수 있다.According to various embodiments, in the third procedure, the device 500 may update the AI engine based on feedback information.
다양한 실시예들에 따르면, 제4 절차에서, 장치(500)는, 상기 제1 절치 내지 상기 제4 절차가 반복된 횟수를 미리 설정된 임계값(N_TH) 과 비교할 수 있다. 예를 들어, 상기 제1 절차 내지 상기 제4 절차의 반복 횟수에 대응되는 카운트 값이 설정될 수 있다. 예를 들어, 카운트 값의 초기값은 0 일 수 있다. 예를 들어, 상기 제1 절차 내지 상기 제4 절차가 1 회 반복될 때 마다, 카운트 값이 1 증가될 수 있다. 예를 들어, 장치(500)는, 이러한 카운트 값을 미리 설정된 임계값(N_TH) 과 비교할 수 있다. According to various embodiments, in the fourth procedure, the device 500 may compare the number of times the first to fourth procedures are repeated with a preset threshold value (N_TH). For example, a count value corresponding to the number of repetitions of the first to fourth procedures may be set. For example, the initial value of the count value may be 0. For example, each time the first to fourth procedures are repeated once, the count value may be increased by one. For example, device 500 may compare this count value with a preset threshold (N_TH).
다양한 실시예들에 따르면, 장치(500)는, 반복된 횟수가 미리 설정된 임계값과 일치하지 않으면 (즉, 반복된 횟수가 미리 설정된 임계값 미만이면), 상기 제1 절차로 돌아가, 상기 제1 절차 내지 상기 제4 절차를 재수행할 수 있다.According to various embodiments, if the number of repetitions does not match the preset threshold (i.e., if the number of repetitions is less than the preset threshold), the device 500 returns to the first procedure and performs the first Procedure through procedure 4 above may be re-performed.
다양한 실시예들에 따르면, 장치(500)는, 반복된 횟수가 미리 설정된 임계값과 일치하면, 절차(프로세스)를 종료할 수 있다.According to various embodiments, the device 500 may terminate the procedure (process) when the number of repetitions matches a preset threshold.
도 14는 본 발명의 일 실시예에 따라 거리값을 통하여 균열을 검출하는 개념도이다. Figure 14 is a conceptual diagram of detecting a crack through a distance value according to an embodiment of the present invention.
도 14를 참조하면, 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법의 상기 제1 균열정보를 생성하는 단계는 상기 구조물이미지의 좌표별 거리값정보의 평균거리값을 산출하고, 상기 평균거리값에서 기설정된 제1 오차범위를 벗어나는 거리값을 가진 제1 균열좌표를 추출하여, 상기 제1 균열좌표를 기반으로 상기 제1 균열정보를 생성할 수 있다.Referring to FIG. 14, the step of generating the first crack information in the mobile terminal-based structure crack detection method according to an embodiment of the present invention calculates the average distance value of the distance value information for each coordinate of the structure image, The first crack coordinates having a distance value outside the first error range preset from the average distance value may be extracted, and the first crack information may be generated based on the first crack coordinates.
도 14에는 거리측정센서(610)가 사용자단말(600)의 전면에 위치하는 것으로 도시되었으나, 이는 먼거리에서 벽체를 촬영하는 경우, 동일선상에 있는 것으로 볼 수 있기 때문에 이해를 돕기위하여 도 3과 같이 도시하였다. In FIG. 14, the distance measurement sensor 610 is shown as being located in the front of the user terminal 600. However, when photographing a wall from a distance, it can be viewed as being on the same line, so to aid understanding, it is shown in FIG. 3. Shown.
도 14를 보면 균열로 보이는 위치는 벽체 내부로 파여있어, 사용자단말(600)과의 거리가 가장 멀다고 할 수 있다. 따라서, 거리측정센서(610)를 통해 각 위치별로 추출된(분해능) 상기 거리값정보의 평균거리값을 산출하여 기준값을 정하고, 평균거리값보다 기설정된 제1 오차범위를 벗어나는 거리값을 가진 위치를 제1 균열좌표로 추출할 수 있고, 이를 통해, 제1 균열정보를 생성할 수 있다.Looking at FIG. 14, the location where the crack appears is deep inside the wall, so it can be said that the distance from the user terminal 600 is the greatest. Therefore, a reference value is determined by calculating the average distance value of the distance value information extracted (resolution) for each location through the distance measurement sensor 610, and a location with a distance value that is outside the preset first error range than the average distance value can be extracted as the first crack coordinates, and through this, the first crack information can be generated.
이 때, 상기 제1 균열정보는 상기 제1 균열좌표와 해당 좌표에 대한 상기 구조물이미지를 포함할 수 있다.At this time, the first crack information may include the first crack coordinates and the structure image for the corresponding coordinates.
다만, 단순히 거리값이 멀다는 이유만으로 균열로 추정하는 것은 다소 부정확할 수 있다. 이는 벽체에 의도적인 홈일 수도 있기 때문이다. 따라서, 보다 정확하게 제1 균열정보를 생성할 수 있는 구성이 필요하며, 이와 관련하여 도 15를 참조하여 후술하도록 한다.However, estimating a crack simply because the distance value is far may be somewhat inaccurate. This is because it may be an intentional groove in the wall. Therefore, a configuration that can generate first crack information more accurately is needed, and this will be described later with reference to FIG. 15.
도 15는 본 발명의 일 실시예에 따라 거리값에 따라 군집을 형성하여 균열을 검출하는 예시를 나타내는 개념도이다.Figure 15 is a conceptual diagram showing an example of detecting cracks by forming clusters according to distance values according to an embodiment of the present invention.
도 15를 참조하면, 본 발명의 일 실시예에 따른 모바일 단말 기반의 구조물 균열 검출 방법의 상기 제1 균열좌표를 추출하는 단계는, 먼저 상기 평균거리값에서 기설정된 제1 오차범위를 벗어나는 복수개의 균열들에 대응하는 제1 임시좌표(701)를 추출할 수 있다. 이는 1차적으로 균열로 볼 수 없는 흠집을 노이즈로 제거하기 위함이다.Referring to FIG. 15, the step of extracting the first crack coordinates of the mobile terminal-based structure crack detection method according to an embodiment of the present invention is to first extract a plurality of crack coordinates that are outside the first error range preset in the average distance value. First temporary coordinates 701 corresponding to the cracks can be extracted. This is primarily to remove scratches that cannot be seen as cracks as noise.
또한, 상기 제1 균열좌표를 추출하는 단계는, 상기 제1 임시좌표(701)와 기설정된 제1 인접거리 내에 위치하는 제1 임시좌표(701)들을 연결하여 제2 임시좌표(703)를 생성할 수 있다. 이는 하나의 포인트로 이루어진 제1 임시좌표(701)만으로는 균열로 판단하기 어렵기 때문에, 하나의 균열로 파악할 수 있을 만큼의 인접거리를 상기 제1 인접거리로 설정하고, 상기 제1 인접거리 내에 위치하는 제1 임시좌표(701)들을 묶어 하나의 군집을 제2 임시좌표(703)로 생성하여 이를 균열인지 여부에 대하여 재확인하기 위함이다.In addition, the step of extracting the first crack coordinates generates second temporary coordinates 703 by connecting the first temporary coordinates 701 and first temporary coordinates 701 located within a preset first adjacent distance. can do. Since it is difficult to judge this as a crack using only the first temporary coordinates 701 consisting of one point, the adjacent distance sufficient to be identified as a single crack is set as the first adjacent distance, and the location within the first adjacent distance is set as the first adjacent distance. The purpose is to group the first temporary coordinates 701 to create one cluster as the second temporary coordinates 703 to re-check whether it is a crack.
또한, 상기 제1 균열좌표를 추출하는 단계는, 상기 사용자단말(600)과 상기 벽체와의 거리에 기반하여, 상기 제2 임시좌표(703)에 대응하는 균열길이(711)를 산출할 수 있다. 이 때, 상기 균열길이(711)는 상기 제2 임시좌표(703)에서 서로 방향이 다른 제1 임시좌표(701)들의 거리 중 가장 먼 길이일 수 있다.In addition, in the step of extracting the first crack coordinates, the crack length 711 corresponding to the second temporary coordinates 703 can be calculated based on the distance between the user terminal 600 and the wall. . At this time, the crack length 711 may be the longest distance among the first temporary coordinates 701 in different directions from the second temporary coordinate 703.
또한, 상기 제1 균열좌표를 추출하는 단계는, 상기 사용자단말(600)과 상기 벽체와의 거리에 기반하여, 상기 제2 임시좌표(703)에 대응하는 균열폭(713)을 산출할 수 있다. 이 때, 상기 균열폭(713)은 상기 균열길이(711)와 수직하는 제1 임시좌표(701)들의 거리 중 가장 먼 길이일 수 있다.Additionally, in the step of extracting the first crack coordinates, the crack width 713 corresponding to the second temporary coordinates 703 may be calculated based on the distance between the user terminal 600 and the wall. At this time, the crack width 713 may be the longest distance among the first temporary coordinates 701 perpendicular to the crack length 711.
이 때, 상기 균열길이(711)와 상기 균열폭(713)이 일정 기준을 벗어나는 경우 균열일 가능성이 높다는 것을 알 수 있다. 따라서, 상기 균열길이(711)와 상기 균열폭(713)을 일정 기준과 비교하여 해당 제2 임시좌표(703)가 균열인지 아닌지를 파악할 수 있다.At this time, it can be seen that if the crack length 711 and the crack width 713 exceed a certain standard, there is a high possibility that it is a crack. Therefore, it is possible to determine whether the second temporary coordinate 703 is a crack by comparing the crack length 711 and the crack width 713 with a certain standard.
보다 상세하게 살펴보면, 상기 균열길이(711)가 기설정된 임계길이를 초과하고, 상기 균열폭(713)이 기설정된 임계폭을 초과하는 경우, 상기 제2 임시좌표(703)는 균열로 판단할 수 있고, 상기 균열길이(711)가 상기 임계길이 이하이고, 상기 균열폭(713)이 상기 임계폭 이하인 경우, 상기 제2 임시좌표(703)는 균열이 아닌 것으로 판단할 수 있다.In more detail, when the crack length 711 exceeds the preset critical length and the crack width 713 exceeds the preset critical width, the second temporary coordinates 703 can be determined to be a crack. , when the crack length 711 is less than or equal to the critical length and the crack width 713 is less than or equal to the critical width, it may be determined that the second temporary coordinates 703 are not cracks.
다만, 이외에 상기 균열길이(711) 및 상기 균열폭(713) 중 어느 하나만 상기 임계길이 또는 상기 임계폭을 초과하는 경우에는 단순히 균열이 아니라고 판단할 수 없다. 그 이유는 이미 1차적으로 거리값을 통하여 제1 임시좌표(701)로 걸러냈기 때문에 단순히 무의미하다고 제거할 수는 없기 때문이다.However, if only one of the crack length 711 and the crack width 713 exceeds the critical length or the critical width, it cannot be simply determined that it is not a crack. The reason is that since the first temporary coordinates (701) have already been filtered through the distance value, they cannot be simply removed as meaningless.
따라서, 상기 균열길이(711)가 상기 임계길이를 초과하고, 상기 균열폭(713)이 상기 임계폭 이하인 경우, 또는 상기 균열길이(711)가 상기 임계길이 이하이고, 상기 균열폭(713)이 상기 임계폭을 초과하는 경우, 상기 제2 임시좌표(703)를 균열전단계로 판단할 수 있다.Therefore, if the crack length 711 exceeds the critical length and the crack width 713 is less than or equal to the critical width, or if the crack length 711 is less than or equal to the critical length and the crack width 713 is less than or equal to the critical width. If it exceeds the width, the second temporary coordinates 703 can be determined to be in the pre-crack stage.
이 때, 상기 제2 임시좌표(703)와 인접한 또다른 제2 임시좌표(703)가 다수 있는 경우에는 균열의 가능성이 매우 높은 것이므로 인접한 다른 제2 임시좌표(703)의 수도 함께 고려함이 바람직하다.At this time, if there are multiple second temporary coordinates 703 adjacent to the second temporary coordinate 703, the possibility of cracking is very high, so it is desirable to also consider the number of other adjacent second temporary coordinates 703. .
이를 위하여, 상기 제2 임시좌표(703)가 균열전단계로 판단되는 경우, 상기 제2 임시좌표(703) 인근에 기설정된 제2 인접거리(715) 내에 위치하는 다른 제2 임시좌표(703)의 수가 기설정된 임계균열수를 초과하는 경우 상기 제2 임시좌표(703)는 균열로 판단할 수 있다.For this purpose, when the second temporary coordinates 703 are determined to be in the pre-crack stage, another second temporary coordinate 703 located within a preset second adjacent distance 715 near the second temporary coordinates 703 is used. If the number exceeds the preset critical number of cracks, the second temporary coordinates 703 can be determined to be cracks.
이 때, 상기 제2 인접거리(715)는 상기 제1 인접거리보다 길게 설정될 수 있다.At this time, the second adjacent distance 715 may be set longer than the first adjacent distance.
또한, 상기 제1 균열좌표를 추출하는 단계는, 균열로 판단된 상기 제2 임시좌표(703)를 기반으로 상기 제1 균열좌표를 생성할 수 있다.Additionally, the step of extracting the first crack coordinates may generate the first crack coordinates based on the second temporary coordinates 703 that are determined to be cracks.
도 16은 본 발명의 일 실시예에 따라 인공지능모듈을 통하여 이미지를 분할하여 분석하는 예시를 나타내는 개념도이다.Figure 16 is a conceptual diagram showing an example of dividing and analyzing an image through an artificial intelligence module according to an embodiment of the present invention.
도 16을 참조하면, 상기 제2 균열정보를 생성하는 단계는, 상기 구조물이미지를 기설정된 크기로 분할하여 복수개의 분석이미지를 생성할 수 있다. 이는, 균열 여부의 검출 정확도를 향상시키기 위함이다. Referring to FIG. 16, in the step of generating the second crack information, a plurality of analysis images may be generated by dividing the structure image into preset sizes. This is to improve the detection accuracy of cracks.
또한, 상기 제2 균열정보를 생성하는 단계는, 인공지능모듈을 통하여, 상기 분석이미지에서 균열로 추정되는 위치에 상응하는 제2 균열좌표를 기반으로 상기 제2 균열정보를 생성할 수 있다.Additionally, in the step of generating the second crack information, the second crack information may be generated based on the second crack coordinates corresponding to the location estimated to be a crack in the analysis image through an artificial intelligence module.
이 때, 상기 인공지능모듈은 상술한 바와 같이 ResNET 및 VGGNet 중 적어도 어느 하나 이상을 조합하여 사용할 수 있다.At this time, the artificial intelligence module can be used in combination with at least one of ResNET and VGGNet, as described above.
도 17은 본 발명의 일 실시예에 따라 제1 균열정보 및 제2 균열정보의 합집합정보에 대한 개념도이다.Figure 17 is a conceptual diagram of union information of first crack information and second crack information according to an embodiment of the present invention.
상기 제1 균열정보는 거리센서를 통한 거리값정보를 기반으로 산출된 균열에 관한 것이고, 상기 제2 균열정보는 인공지능모듈을 통하여 이미지 분석을 통해 산출된 균열에 관한 것이다. 따라서, 두 결과가 일치하지 않을 수 있고, 두 결과를 취합한다면 균열 검출의 정확도를 보다 향상시킬 수 있을 것이다. The first crack information relates to cracks calculated based on distance value information through a distance sensor, and the second crack information relates to cracks calculated through image analysis through an artificial intelligence module. Therefore, the two results may not match, and if the two results are combined, the accuracy of crack detection can be further improved.
이를 위하여, 상기 제3 균열정보를 생성하는 단계는, 인공지능모듈을 통하여 거리값에 의한 균열 검출 정확도에 상응하는 제1 가중치를 산출할 수 있다. 상기 제1 가중치는 기존 거리값에 의해 도출된 제1 균열정보가 실제 균열인지 여부를 기반으로 생성된 가중치에 관한 것이다.To this end, in the step of generating the third crack information, a first weight corresponding to the crack detection accuracy based on the distance value may be calculated through an artificial intelligence module. The first weight relates to a weight generated based on whether the first crack information derived from the existing distance value is an actual crack.
또한, 상기 제3 균열정보를 생성하는 단계는, 인공지능모듈을 통하여 이미지분석에 의한 균열 검출 정확도에 상응하는 제2 가중치를 산출할 수 있다. 상기 제2 가중치는 기존 이미지분석에 의해 도출된 제2 균열정보가 실제 균열인지 여부를 기반으로 생성된 가중치에 관한 것이다.In addition, in the step of generating the third crack information, a second weight corresponding to the crack detection accuracy by image analysis can be calculated through an artificial intelligence module. The second weight relates to a weight generated based on whether the second crack information derived through existing image analysis is an actual crack.
또한, 상기 제3 균열정보를 생성하는 단계는, 상기 제1 균열좌표 및 상기 제2 균열좌표의 합집합정보를 도출하고, 상기 제1 가중치 및 상기 제2 가중치를 기반으로 상기 합집합정보에 포함되는 각각의 균열에 대한 균열정확도를 산출할 수 있다.In addition, the step of generating the third crack information includes deriving union information of the first crack coordinates and the second crack coordinates, and each of the union information included in the union information based on the first weight and the second weight. The crack accuracy for cracks can be calculated.
제1 균열정보 및 상기 제2 균열정보에 의하여 도출된 균열이 서로 동일하지 않을 수 있기 때문에, 각각의 균열정보를 취합하여 합집합형태의 상기 합집합정보를 생성할 수 있다.Since the cracks derived from the first crack information and the second crack information may not be the same, the union information in the form of a union can be generated by collecting each crack information.
이를 통해, 각각 도출된 균열좌표는 (1) 제1 균열정보에만 포함된 균열좌표, (2) 제2 균열정보에만 포함된 균열좌표, (3) 제1 균열정보 및 제2 균열정보에 모두 포함된 균열좌표 및 (4) 제1 균열정보 및 제2 균열정보에 모두 포함되지 않은 균열좌표 중 하나일 수 있다. Through this, the derived crack coordinates are (1) crack coordinates included only in the first crack information, (2) crack coordinates included only in the second crack information, and (3) included in both the first crack information and the second crack information. It may be one of crack coordinates (4) and (4) crack coordinates that are not included in both the first crack information and the second crack information.
이 때, (4)는 현재 균열도 검출되지 않은 상황이므로 이를 제외하고 설명한다.At this time, since (4) is a situation where no cracks are currently detected, this will be excluded.
이 때, 도 17에 도시된 바와 같이, (1) 제1 균열정보에만 포함된 균열좌표인 경우, 상기 제1 가중치를 반영하여 아래 수학식 1에 의하여 균열정확도를 산출할 수 있다.At this time, as shown in FIG. 17, (1) when the crack coordinates are included only in the first crack information, the crack accuracy can be calculated according to Equation 1 below by reflecting the first weight.
[수학식 1][Equation 1]
이 때, accuracy case1은 제1 균열정보에만 포함된 균열좌표인 경우의 균열정확도를 의미하고, w1는 상기 제1 가중치를 의미할 수 있다.At this time, accuracy case1 refers to the crack accuracy in the case of crack coordinates included only in the first crack information, and w1 may refer to the first weight.
또한, (2) 제2 균열정보에만 포함된 균열좌표인 경우, 상기 제2 가중치를 반영하여 아래 수학식 2에 의하여 균열정확도를 산출할 수 있다.Additionally, (2) in the case of crack coordinates included only in the second crack information, the crack accuracy can be calculated using Equation 2 below by reflecting the second weight.
[수학식 2][Equation 2]
이 때, accuracy case2은 제2 균열정보에만 포함된 균열좌표인 경우의 균열정확도를 의미하고, w2는 상기 제2 가중치를 의미할 수 있다.At this time, accuracy case2 refers to crack accuracy in the case of crack coordinates included only in second crack information, and w2 may refer to the second weight.
또한, (3) 제1 균열정보와 제2 균열정보에 모두 포함된 균열좌표인 경우에는 균열일 가능성이 매우 높은 것이므로 상기 제1 가중치 및 상기 제2 가중치를 모두 반영하여 아래 수학시 3에 의하여 균열정확도를 산출할 수 있다.In addition, (3) if the crack coordinates are included in both the first crack information and the second crack information, there is a very high possibility that it is a crack, so by reflecting both the first weight and the second weight, the crack is determined by mathematics 3 below. Accuracy can be calculated.
[수학식 3][Equation 3]
이 때, accuracy case3은 제1 균열정보 및 제2 균열정보에 모두 포함된 균열좌표인 경우의 균열정확도를 의미하고, w1는 상기 제1 가중치를 의미하고, w2는 상기 제2 가중치를 의미할 수 있다.At this time, accuracy case3 refers to the crack accuracy in the case of crack coordinates included in both the first crack information and the second crack information, w1 refers to the first weight, and w2 refers to the second weight. there is.
또한, 상기 제3 균열정보를 생성하는 단계는, 상기 균열정확도가 기설정된 임계정확도를 초과하는 균열을 추출하여, 해당 균열에 상응하는 제3 균열좌표를 포함하는 상기 제3 균열정보를 생성할 수 있다.In addition, the step of generating the third crack information may include extracting a crack whose crack accuracy exceeds a preset critical accuracy and generating the third crack information including third crack coordinates corresponding to the crack. there is.
이 때, 상기 임계정확도는 마지막으로 상기 균열정확도를 검증하는 과정으로써, 상기 제1 가중치 및 상기 제2 가중치를 정확성을 재검토할 수 있다. 예를 들어, 제2 균열정보에 포함되어 있다고 하더라도, 학습데이터가 부족하여 인공지능모듈이 충분히 학습되어 있지 않다면 상기 제2 가중치는 낮게 산출될 수밖에 없다. 따라서, 상기 제2 가중치가 높게 산출될 때까지는 상기 제2 균열정보에 포함되었다는 이유만으로 균열이라고 단정짓기 어려운 점을 반영한 것이다.At this time, the critical accuracy is a final process of verifying the crack accuracy, and the first weight and the second weight can be reexamined for accuracy. For example, even if it is included in the second crack information, if the artificial intelligence module is not sufficiently trained due to insufficient learning data, the second weight is inevitably calculated to be low. Therefore, this reflects the fact that it is difficult to conclude that it is a crack simply because it is included in the second crack information until the second weight is calculated to be high.
도 18은 본 발명의 일 실시예에 따른 장치(500)의 블록도이다.Figure 18 is a block diagram of a device 500 according to an embodiment of the present invention.
일 실시예에 따른 장치(500)는 프로세서(510) 및 메모리(520)를 포함한다. 프로세서는 도 12 및 도 17을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(520)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(520)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. Device 500 according to one embodiment includes a processor 510 and memory 520. The processor may perform at least one method described above through FIGS. 12 and 17. The memory 520 may store information related to the above-described method or store a program implementing the above-described method. Memory 520 may be volatile memory or non-volatile memory.
프로세서(510)는 프로그램을 실행하고, 장치(500)를 제어할 수 있다. 프로세서(510)에 의하여 실행되는 프로그램의 코드는 메모리(520)에 저장될 수 있다. 장치(500)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.The processor 510 can execute programs and control the device 500. The code of the program executed by the processor 510 may be stored in the memory 520. The device 500 is connected to an external device (eg, a personal computer or a network) through an input/output device (not shown) and can exchange data.
다양한 실시예들에 따르면, 장치(500)에 의하여 수행되는 방법이 제공될 수 있다. According to various embodiments, a method performed by the device 500 may be provided.
다양한 실시예들에 따르면, 상기 방법은: 구조물에 포함된 복수의 벽면들 중 특정 벽면에 대한 제1 이미지와 관련된 정보를 획득; 및 미리 설정된 균열 분석 모델에 상기 제1 이미지를 포함하는 입력 정보가 입력됨에 대한 응답으로 획득되는 출력 정보에 기초하여 상기 특정 벽면에 포함된 하나 이상의 균열에 대한 하나 이상의 분석 결과를 포함하는 분석 정보를 획득; 하는 것을 포함할 수 있다.According to various embodiments, the method includes: acquiring information related to a first image for a specific wall surface among a plurality of wall surfaces included in the structure; And analysis information including one or more analysis results for one or more cracks included in the specific wall surface based on output information obtained in response to input information including the first image into a preset crack analysis model. Acquisition; It may include:
다양한 실시예들에 따르면, 상기 입력 정보가 입력됨에 따라, 상기 제1 이미지에 기초하여 미리 설정된 크기를 갖는 복수의 서브 이미지들이 상기 미리 설정된 균열 분석 모델에 의하여 획득될 수 있다.According to various embodiments, as the input information is input, a plurality of sub-images having a preset size based on the first image may be acquired by the preset crack analysis model.
다양한 실시예들에 따르면, 상기 제1 이미지와 관련된 정보는 상기 특정 벽면의 위치에 대한 위치 정보를 포함할 수 있다. According to various embodiments, the information related to the first image may include location information about the location of the specific wall surface.
다양한 실시예들에 따르면, 상기 분석 정보는, 상기 구조물과 관련된 제2 이미지 중 하나 이상 내에서의 상기 위치 정보에 기초하여 식별되는 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑된 정보를 포함할 수 있다. According to various embodiments, the analysis information is mapped to location coordinates corresponding to the specific wall identified based on the location information within one or more of the second images related to the structure and the one or more analysis results. May contain information.
다양한 실시예들에 따르면, 상기 하나 이상의 분석 결과는, 상기 하나 이상의 균열 각각의 길이에 대한 정보와 상기 하나 이상의 균열 각각의 두께에 대한 정보를 포함할 수 있다. According to various embodiments, the one or more analysis results may include information about the length of each of the one or more cracks and information about the thickness of each of the one or more cracks.
다양한 실시예들에 따르면, 상기 하나 이상의 균열 각각의 길이는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 이미지들 각각에 포함된 균열 이미지와 특정 벽면 이미지가 구분됨; 상기 균열 이미지는 상기 하나 이상의 균열 중 적어도 일부와 관련됨; 상기 특정 벽면 이미지는 상기 특정 벽면의 적어도 일부와 관련됨; 상기 균열 이미지로부터 상기 하나 이상의 균열 중 적어도 일부에 대한 복수의 균열 픽셀들이 획득됨; 상기 복수의 균열 픽셀들 중에서 상기 하나 이상의 균열 중 적어도 일부의 길이를 획득하기 위한 복수의 서브 균열 픽셀들이 획득됨; 상기 복수의 서브 균열 픽셀들 중에서, 상기 하나 이상의 균열의 제1 시작 지점에 대응되는 제1 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제1 종료 픽셀이 식별됨; 및 상기 제1 시작 픽셀부터 상기 제1 종료 픽셀까지 순차적으로 상기 복수의 서브 균열 픽셀들이 추적됨에 기초하여 상기 하나 이상의 균열 중 적어도 일부의 길이가 산출됨; 에 기초하여 획득될 수 있다. According to various embodiments, the length of each of the one or more cracks is determined by the preset crack analysis model: a crack image included in each of the plurality of sub-images and a specific wall image are distinguished; the crack image is associated with at least some of the one or more cracks; the specific wall image is associated with at least a portion of the specific wall; A plurality of crack pixels for at least some of the one or more cracks are obtained from the crack image; A plurality of sub-crack pixels are obtained among the plurality of crack pixels to obtain a length of at least a portion of the one or more cracks; Among the plurality of sub-crack pixels, a first start pixel corresponding to a first start point of the one or more cracks and a first end pixel corresponding to a first end point of the one or more cracks are identified; and calculating the length of at least a portion of the one or more cracks based on sequentially tracking the plurality of sub-crack pixels from the first start pixel to the first end pixel; It can be obtained based on .
다양한 실시예들에 따르면, 상기 하나 이상의 균열 각각의 두께는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 각각에 대응되는 복수의 후보 두께들 중 최대값으로 획득될 수 있다. According to various embodiments, the thickness of each of the one or more cracks may be obtained as a maximum value among a plurality of candidate thicknesses corresponding to each of the plurality of sub-crack pixels by the preset crack analysis model.
다양한 실시예들에 따르면, 상기 복수의 후보 두께들은, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 중 특정 서브 균열 픽셀(Pn) 을 끝점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직전의 제1 서브 균열 픽셀(Pn-1) 을 시작점으로 하는 제1 벡터와 상기 특정 서브 균열 픽셀(Pn) 을 시작점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직후의 제2 서브 균열 픽셀 (Pn+1) 을 끝점으로 하는 제2 벡터 간의 차이인, 상기 특정 서브 균열 픽셀(Pn) 에서의 법선 벡터가 획득됨; 상기 법선 벡터의 방향을 따라 상기 복수의 서브 균열 픽셀들 중 적어도 일부가 추적됨에 기초하여, 상기 하나 이상의 균열의 제2 시작 지점에 대응되는 제2 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제2 종료 픽셀이 식별됨; 및 상기 제2 시작 픽셀과 상기 제2 종료 픽셀 가의 간격에 기초하여 상기 특정 서브 균열 픽셀(Pn) 에 대응되는 후보 두께가 산출됨; 에 기초하여 획득되고, n 은 자연수일 수 있다. According to various embodiments, the plurality of candidate thicknesses are based on the preset crack analysis model: a specific sub-crack pixel (Pn) among the plurality of sub-crack pixels is set as an end point, and the specific sub-crack pixel (Pn) is A first vector that uses the immediately preceding first sub-crack pixel (Pn-1) as a starting point, and a second sub-crack pixel (Pn+) that uses the specific sub-crack pixel (Pn) as a starting point and immediately after the specific sub-crack pixel (Pn). 1) a normal vector at the specific sub-crack pixel (Pn) is obtained, which is the difference between the second vectors with endpoints; Based on at least some of the plurality of sub-crack pixels being tracked along the direction of the normal vector, a second start pixel corresponding to a second start point of the one or more cracks and a first end point of the one or more cracks are located. a corresponding second end pixel is identified; and calculating a candidate thickness corresponding to the specific sub-crack pixel (Pn) based on the gap between the second start pixel and the second end pixel; It is obtained based on , and n may be a natural number.
다양한 실시예들에 따르면, 상기 미리 설정된 균열 분석 모델은, 상기 미리 설정된 균열 분석 모델의 획득을 위한 AI (artificial intelligence) 엔진에 기계 학습 (machine learning) 이 적용됨에 기초하여 미리 설정될 수 있다. According to various embodiments, the preset crack analysis model may be preset based on machine learning being applied to an artificial intelligence (AI) engine for obtaining the preset crack analysis model.
다양한 실시예들에 따르면, 상기 기계 학습은: - (a) 상기 미리 설정된 균열 분석 모델을 위한 훈련용 데이터에 기초하여 상기 AI 엔진을 학습; - (b) 학습된 AI 엔진의 검증을 위한 테스트용 데이터가 상기 AI 엔진으로 입력됨에 대한 응답으로 출력되는 가공 데이터에 대한 피드백 정보를 획득; - (c) 상기 피드백 정보에 기초하여 상기 AI 엔진을 업데이트; 및 - (d) 상기 (a) 내지 (c) 가 반복되되, 상기 (a) 내지 (c) 가 반복될 때 마다 초기값 0 인 카운트 값이 1 씩 증가되고, 상기 카운트 값이 미리 설정된 카운트 임계값과 일치됨에 기초하여 종료; 됨에 기초하여 수행될 수 있다. According to various embodiments, the machine learning: - (a) training the AI engine based on training data for the preset crack analysis model; - (b) Obtaining feedback information on processed data output in response to test data for verification of the learned AI engine being input to the AI engine; - (c) updating the AI engine based on the feedback information; and - (d) the above (a) to (c) are repeated, but each time the (a) to (c) are repeated, the count value, which has an initial value of 0, is increased by 1, and the count value is set to a preset count threshold. Terminate based on matching value; It can be performed based on
다양한 실시예들에 따르면, 상기 훈련용 데이터와 상기 테스트용 데이터는, 상기 미리 설정된 균열 분석 모델을 위한 학습용 데이터에 기초하여 획득될 수 있다. According to various embodiments, the training data and the test data may be obtained based on training data for the preset crack analysis model.
다양한 실시예들에 따르면, 상기 학습용 데이터는: 복수의 벽면 정면 이미지들, 복수의 벽면 비정면 이미지들, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 상기 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들을 포함할 수 있다. According to various embodiments, the training data includes: a plurality of wall front images, a plurality of wall non-front images, a plurality of wall crack images for wall cracks, and images for candidates that are likely to be confused with the wall crack. may include.
다양한 실시예들에 따르면, 상기 벽면 균열과 혼동 가능성이 있는 후보들은: 벽면 상의 음각 장식 및 벽면 상의 이음부를 포함할 수 있다. According to various embodiments, candidates likely to be confused with the wall crack may include: intaglio decoration on the wall and joints on the wall.
다양한 실시예들에 따르면, 상기 제2 이미지는 상기 구조물에 포함된 복수의 층 (floor) 들에 대한 복수의 구조 이미지들을 포함할 수 있다. According to various embodiments, the second image may include a plurality of structural images for a plurality of floors included in the structure.
다양한 실시예들에 따르면, 상기 위치 정보는, 상기 복수의 층들 중 상기 특정 벽면이 포함된 층에 대한 정보를 포함할 수 있다. According to various embodiments, the location information may include information about a floor including the specific wall surface among the plurality of floors.
다양한 실시예들에 따르면, 상기 특정 벽면이 포함된 층에 대한 정보에 기초하여 상기 복수의 구조 이미지들 중 상기 특정 벽면이 포함된 층의 구조 이미지가 식별될 수 있다. According to various embodiments, the structural image of the floor including the specific wall surface may be identified among the plurality of structural images based on information about the floor including the specific wall surface.
다양한 실시예들에 따르면, 상기 특정 벽면이 포함된 층의 구조 이미지와 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑될 수 있다. According to various embodiments, a structural image of a floor including the specific wall surface, location coordinates corresponding to the specific wall surface, and the one or more analysis results may be mapped.
다양한 실시예들에 따르면, 상기 위치 좌표는, 상기 특정 벽면이 포함된 층의 구조 이미지 상의 상기 특정 벽면의 위치에 대한 미리 설정된 기준 좌표계에 기초한 2 차원 좌표일 수 있다. According to various embodiments, the position coordinates may be two-dimensional coordinates based on a preset reference coordinate system for the location of the specific wall surface on the structural image of the floor including the specific wall surface.
다양한 실시예들에 따르면, 상기 제1 이미지의 표면에 수직한 제1 법선과 상기 제1 이미지로부터 획득되는 상기 특정 벽면에 수직한 제2 법선 간의 각도가 미리 설정된 임계치 이하임에 기초하여: 상기 복수의 서브 이미지들은, 상기 제1 이미지가 상기 미리 설정된 크기로 분할 (segmentation) 된 것일 수 있다. According to various embodiments, based on the angle between the first normal to the surface of the first image and the second normal to the specific wall obtained from the first image being less than or equal to a preset threshold: The sub-images may be segments of the first image into the preset size.
다양한 실시예들에 따르면, 상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 초과임에 기초하여: 상기 미리 설정된 균열 분석 모델에 의하여, 상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 이하가 되도록 상기 제1 이미지가 보정되고, 상기 복수의 서브 이미지들은, 상기 미리 설정된 균열 분석 모델에 의하여 보정된 상기 제1 이미지가 상기 미리 설정된 크기로 분할된 것일 수 있다. According to various embodiments, based on the angle between the first normal and the second normal exceeding the preset threshold: According to the preset crack analysis model, the angle between the first normal and the second normal is The first image is corrected to be below the preset threshold, and the plurality of sub-images may be the first image corrected by the preset crack analysis model divided into the preset size.
다양한 실시예들에 따르면, 장치(500)는: 메모리 (memory); 및 상기 메모리와 연결된 하나 이상의 프로세서 (processor) 를 포함할 수 있다. According to various embodiments, device 500 may include: memory; And it may include one or more processors connected to the memory.
상기 하나 이상의 프로세서는: 구조물에 포함된 복수의 벽면들 중 특정 벽면에 대한 제1 이미지와 관련된 정보를 획득; 및 미리 설정된 균열 분석 모델에 상기 제1 이미지를 포함하는 입력 정보가 입력됨에 대한 응답으로 획득되는 출력 정보에 기초하여 상기 특정 벽면에 포함된 하나 이상의 균열에 대한 하나 이상의 분석 결과를 포함하는 분석 정보를 획득; 하도록 설정될 수 있다.The one or more processors may: acquire information related to a first image for a specific wall surface among a plurality of wall surfaces included in the structure; And analysis information including one or more analysis results for one or more cracks included in the specific wall surface based on output information obtained in response to input information including the first image into a preset crack analysis model. Acquisition; It can be set to do so.
상기 입력 정보가 입력됨에 따라, 상기 제1 이미지에 기초하여 미리 설정된 크기를 갖는 복수의 서브 이미지들이 상기 미리 설정된 균열 분석 모델에 의하여 획득될 수 있다. As the input information is input, a plurality of sub-images having a preset size based on the first image may be acquired by the preset crack analysis model.
상기 제1 이미지와 관련된 정보는 상기 특정 벽면의 위치에 대한 위치 정보를 포함할 수 있다. Information related to the first image may include location information about the location of the specific wall surface.
상기 분석 정보는, 상기 구조물과 관련된 제2 이미지 중 하나 이상 내에서의 상기 위치 정보에 기초하여 식별되는 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑된 정보를 포함할 수 있다. The analysis information may include location coordinates corresponding to the specific wall identified based on the location information within one or more of the second images related to the structure and information in which the one or more analysis results are mapped.
상기 하나 이상의 분석 결과는, 상기 하나 이상의 균열 각각의 길이에 대한 정보와 상기 하나 이상의 균열 각각의 두께에 대한 정보를 포함할 수 있다. The one or more analysis results may include information about the length of each of the one or more cracks and information about the thickness of each of the one or more cracks.
상기 하나 이상의 균열 각각의 길이는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 이미지들 각각에 포함된 균열 이미지와 특정 벽면 이미지가 구분됨; 상기 균열 이미지는 상기 하나 이상의 균열 중 적어도 일부와 관련됨; 상기 특정 벽면 이미지는 상기 특정 벽면의 적어도 일부와 관련됨; 상기 균열 이미지로부터 상기 하나 이상의 균열 중 적어도 일부에 대한 복수의 균열 픽셀들이 획득됨; 상기 복수의 균열 픽셀들 중에서 상기 하나 이상의 균열 중 적어도 일부의 길이를 획득하기 위한 복수의 서브 균열 픽셀들이 획득됨; 상기 복수의 서브 균열 픽셀들 중에서, 상기 하나 이상의 균열의 제1 시작 지점에 대응되는 제1 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제1 종료 픽셀이 식별됨; 및 상기 제1 시작 픽셀부터 상기 제1 종료 픽셀까지 순차적으로 상기 복수의 서브 균열 픽셀들이 추적됨에 기초하여 상기 하나 이상의 균열 중 적어도 일부의 길이가 산출됨; 에 기초하여 획득될 수 있다. The length of each of the one or more cracks is determined by the preset crack analysis model: a crack image included in each of the plurality of sub-images is distinguished from a specific wall image; the crack image is associated with at least some of the one or more cracks; the specific wall image is associated with at least a portion of the specific wall; A plurality of crack pixels for at least some of the one or more cracks are obtained from the crack image; A plurality of sub-crack pixels are obtained among the plurality of crack pixels to obtain a length of at least a portion of the one or more cracks; Among the plurality of sub-crack pixels, a first start pixel corresponding to a first start point of the one or more cracks and a first end pixel corresponding to a first end point of the one or more cracks are identified; and calculating the length of at least a portion of the one or more cracks based on sequentially tracking the plurality of sub-crack pixels from the first start pixel to the first end pixel; It can be obtained based on .
상기 하나 이상의 균열 각각의 두께는, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 각각에 대응되는 복수의 후보 두께들 중 최대값으로 획득될 수 있다. The thickness of each of the one or more cracks may be obtained as a maximum value among a plurality of candidate thicknesses corresponding to each of the plurality of sub-crack pixels according to the preset crack analysis model.
상기 복수의 후보 두께들은, 상기 미리 설정된 균열 분석 모델에 의하여: 상기 복수의 서브 균열 픽셀들 중 특정 서브 균열 픽셀(Pn) 을 끝점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직전의 제1 서브 균열 픽셀(Pn-1) 을 시작점으로 하는 제1 벡터와 상기 특정 서브 균열 픽셀(Pn) 을 시작점으로 하고 상기 특정 서브 균열 픽셀(Pn) 직후의 제2 서브 균열 픽셀 (Pn+1) 을 끝점으로 하는 제2 벡터 간의 차이인, 상기 특정 서브 균열 픽셀(Pn) 에서의 법선 벡터가 획득됨; 상기 법선 벡터의 방향을 따라 상기 복수의 서브 균열 픽셀들 중 적어도 일부가 추적됨에 기초하여, 상기 하나 이상의 균열의 제2 시작 지점에 대응되는 제2 시작 픽셀과 상기 하나 이상의 균열의 제1 종료 지점에 대응되는 제2 종료 픽셀이 식별됨; 및 상기 제2 시작 픽셀과 상기 제2 종료 픽셀 가의 간격에 기초하여 상기 특정 서브 균열 픽셀(Pn) 에 대응되는 후보 두께가 산출됨; 에 기초하여 획득되고, n 은 자연수일 수 있다. The plurality of candidate thicknesses are based on the preset crack analysis model: a specific sub-crack pixel (Pn) among the plurality of sub-crack pixels as an end point, and a first sub-crack pixel immediately before the specific sub-crack pixel (Pn). A first vector having (Pn-1) as the starting point, the specific sub-crack pixel (Pn) as the starting point, and the second sub-crack pixel (Pn+1) immediately after the specific sub-crack pixel (Pn) as the end point. The normal vector at the specific sub-crack pixel (Pn), which is the difference between the two vectors, is obtained; Based on at least some of the plurality of sub-crack pixels being tracked along the direction of the normal vector, a second start pixel corresponding to a second start point of the one or more cracks and a first end point of the one or more cracks are located. a corresponding second end pixel is identified; and calculating a candidate thickness corresponding to the specific sub-crack pixel (Pn) based on a gap between the second start pixel and the second end pixel; It is obtained based on , and n may be a natural number.
상기 미리 설정된 균열 분석 모델은, 상기 미리 설정된 균열 분석 모델의 획득을 위한 AI (artificial intelligence) 엔진에 기계 학습 (machine learning) 이 적용됨에 기초하여 미리 설정될 수 있다. The preset crack analysis model may be preset based on machine learning being applied to an artificial intelligence (AI) engine for obtaining the preset crack analysis model.
상기 기계 학습은: - (a) 상기 미리 설정된 균열 분석 모델을 위한 훈련용 데이터에 기초하여 상기 AI 엔진을 학습; - (b) 학습된 AI 엔진의 검증을 위한 테스트용 데이터가 상기 AI 엔진으로 입력됨에 대한 응답으로 출력되는 가공 데이터에 대한 피드백 정보를 획득; - (c) 상기 피드백 정보에 기초하여 상기 AI 엔진을 업데이트; 및 - (d) 상기 (a) 내지 (c) 가 반복되되, 상기 (a) 내지 (c) 가 반복될 때 마다 초기값 0 인 카운트 값이 1 씩 증가되고, 상기 카운트 값이 미리 설정된 카운트 임계값과 일치됨에 기초하여 종료; 됨에 기초하여 수행될 수 있다. The machine learning: - (a) learning the AI engine based on training data for the preset crack analysis model; - (b) Obtaining feedback information on processed data output in response to test data for verification of the learned AI engine being input to the AI engine; - (c) updating the AI engine based on the feedback information; and - (d) the above (a) to (c) are repeated, but each time the (a) to (c) are repeated, the count value, which has an initial value of 0, is increased by 1, and the count value is increased by 1, and the count value is set to a preset count threshold. Terminate based on matching value; It can be performed based on
상기 훈련용 데이터와 상기 테스트용 데이터는, 상기 미리 설정된 균열 분석 모델을 위한 학습용 데이터에 기초하여 획득될 수 있다.The training data and the test data may be obtained based on training data for the preset crack analysis model.
상기 학습용 데이터는: 복수의 벽면 정면 이미지들, 복수의 벽면 비정면 이미지들, 벽면 균열에 대한 복수의 벽면 균열 이미지들과 상기 벽면 균열과 혼동 가능성이 있는 후보들에 대한 이미지들을 포함할 수 있다. The training data may include: a plurality of wall front images, a plurality of wall non-front images, a plurality of wall crack images for wall cracks, and images of candidates that may be confused with the wall crack.
상기 벽면 균열과 혼동 가능성이 있는 후보들은: 벽면 상의 음각 장식 및 벽면 상의 이음부를 포함할 수 있다.Potential candidates for confusion with the wall cracks may include: engravings on the wall and joints on the wall.
상기 제2 이미지는 상기 구조물에 포함된 복수의 층 (floor) 들에 대한 복수의 구조 이미지들을 포함할 수 있다.The second image may include a plurality of structural images for a plurality of floors included in the structure.
상기 위치 정보는, 상기 복수의 층들 중 상기 특정 벽면이 포함된 층에 대한 정보를 포함할 수 있다.The location information may include information about a floor including the specific wall surface among the plurality of floors.
상기 특정 벽면이 포함된 층에 대한 정보에 기초하여 상기 복수의 구조 이미지들 중 상기 특정 벽면이 포함된 층의 구조 이미지가 식별될 수 있다.Based on information about the floor including the specific wall, the structural image of the floor including the specific wall may be identified among the plurality of structural images.
상기 특정 벽면이 포함된 층의 구조 이미지와 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑될 수 있다. A structural image of a floor including the specific wall surface, location coordinates corresponding to the specific wall surface, and the one or more analysis results may be mapped.
상기 위치 좌표는, 상기 특정 벽면이 포함된 층의 구조 이미지 상의 상기 특정 벽면의 위치에 대한 미리 설정된 기준 좌표계에 기초한 2 차원 좌표일 수 있다. The position coordinates may be two-dimensional coordinates based on a preset reference coordinate system for the location of the specific wall surface on the structural image of the floor including the specific wall surface.
상기 제1 이미지의 표면에 수직한 제1 법선과 상기 제1 이미지로부터 획득되는 상기 특정 벽면에 수직한 제2 법선 간의 각도가 미리 설정된 임계치 이하임에 기초하여: 상기 복수의 서브 이미지들은, 상기 제1 이미지가 상기 미리 설정된 크기로 분할 (segmentation) 된 것일 수 있다.Based on the fact that the angle between the first normal line perpendicular to the surface of the first image and the second normal line perpendicular to the specific wall surface obtained from the first image is less than or equal to a preset threshold: the plurality of sub-images are 1 The image may be segmented into the preset size.
상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 초과임에 기초하여: 상기 미리 설정된 균열 분석 모델에 의하여, 상기 제1 법선과 상기 제2 법선 간의 각도가 상기 미리 설정된 임계치 이하가 되도록 상기 제1 이미지가 보정되고, 상기 복수의 서브 이미지들은, 상기 미리 설정된 균열 분석 모델에 의하여 보정된 상기 제1 이미지가 상기 미리 설정된 크기로 분할된 것일 수 있다. Based on the angle between the first normal and the second normal being greater than the preset threshold: According to the preset crack analysis model, the angle between the first normal and the second normal is less than or equal to the preset threshold. The first image may be corrected, and the plurality of sub-images may be obtained by dividing the first image corrected by the preset crack analysis model into the preset size.
하나 이상의 프로세서 (processor) 가 동작을 수행하도록 하는 하나 이상의 인스트럭션 (instruction)을 저장하는 비-휘발성 (non-transitory) 프로세서-판독 가능 매체 (processor-readable medium) 가 제공될 수 있다. A non-volatile processor-readable medium may be provided that stores one or more instructions that cause one or more processors to perform an operation.
상기 동작은: 구조물에 포함된 복수의 벽면들 중 특정 벽면에 대한 제1 이미지와 관련된 정보를 획득; 및 미리 설정된 균열 분석 모델에 상기 제1 이미지를 포함하는 입력 정보가 입력됨에 대한 응답으로 획득되는 출력 정보에 기초하여 상기 특정 벽면에 포함된 하나 이상의 균열에 대한 하나 이상의 분석 결과를 포함하는 분석 정보를 획득; 하는 것을 포함할 수 있다.The operation includes: obtaining information related to a first image for a specific wall surface among a plurality of walls included in the structure; And analysis information including one or more analysis results for one or more cracks included in the specific wall surface based on output information obtained in response to input information including the first image into a preset crack analysis model. Acquisition; It may include doing.
상기 입력 정보가 입력됨에 따라, 상기 제1 이미지에 기초하여 미리 설정된 크기를 갖는 복수의 서브 이미지들이 상기 미리 설정된 균열 분석 모델에 의하여 획득될 수 있다. As the input information is input, a plurality of sub-images having a preset size based on the first image may be acquired by the preset crack analysis model.
상기 제1 이미지와 관련된 정보는 상기 특정 벽면의 위치에 대한 위치 정보를 포함할 수 있다. Information related to the first image may include location information about the location of the specific wall surface.
상기 분석 정보는, 상기 구조물과 관련된 제2 이미지 중 하나 이상 내에서의 상기 위치 정보에 기초하여 식별되는 상기 특정 벽면에 대응되는 위치 좌표와 상기 하나 이상의 분석 결과가 매핑된 정보를 포함할 수 있다.The analysis information may include location coordinates corresponding to the specific wall identified based on the location information within one or more of the second images related to the structure and information in which the one or more analysis results are mapped.
또한 본 발명의 일 실시예는, 장치(500)에 의하여 수행되는, 모바일단말 기반의 구조물 안전정보 제공 및 관리 방법은, 사용자단말로부터 구조물의 도면을 포함하는 구조물정보를 수신하는 단계, 상기 도면을 기설정된 면적단위의 구역으로 구분하는 단계, 상기 사용자단말로부터 사용자가 점검하고자 하는 구역의 위치정보를 수신하는 단계, 상기 사용자단말로부터 상기 위치정보에 대응하는 구역의 구역안전도 평가를 위한 안전기초정보를 수신하여 상기 구역안전도를 평가하는 단계, 상기 도면 및 상기 구역안전도를 기반으로 상기 구조물의 전체안전도를 평가하는 단계 및 상기 도면, 상기 구역안전도 및 상기 전체안전도를 기반으로 상기 구조물에 대응하는 안전진단기초보고서를 생성하는 단계를 포함할 수 있다.In addition, in one embodiment of the present invention, a mobile terminal-based structure safety information provision and management method performed by the device 500 includes the steps of receiving structure information including a drawing of the structure from a user terminal, the drawing Dividing into zones of preset area units, receiving location information of the zone the user wants to check from the user terminal, basic safety information for evaluating zone safety of the zone corresponding to the location information from the user terminal. receiving and evaluating the zone safety degree, evaluating the overall safety degree of the structure based on the drawing and the zone safety degree, and safety corresponding to the structure based on the drawing, the zone safety degree, and the overall safety degree. It may include the step of generating a basic diagnosis report.
이 때, 상기 안전기초정보는, 상기 구역의 특정 벽체의 구조물이미지, 상기 구조물이미지의 좌표별로 매핑된 거리값정보, 상기 벽체의 바닥과의 기울기정보, 상기 벽체의 강도조사결과정보, 상기 벽체의 철근배근조사결과정보, 상기 벽체의 부재제원조사결과정보 및 상기 벽체의 탄산화조사결과정보를 포함할 수 있다.At this time, the basic safety information includes a structure image of a specific wall in the area, distance value information mapped for each coordinate of the structure image, tilt information of the wall with the floor, strength investigation result information of the wall, and information on the strength of the wall. It may include rebar arrangement survey result information, member specification survey result information of the wall, and carbonation survey result information of the wall.
이 때, 상기 구역안전도를 평가하는 단계는, 상기 구조물이미지 및 상기 거리값정보를 기반으로 균열안전도결과정보를 생성하는 단계, 상기 균열안전도결과정보, 상기 기울기정보, 상기 강도조사결과정보, 상기 철근배근조사결과정보, 상기 부재제원조사결과정보 및 상기 탄산화조사결과정보를 포함하는 전체결과정보를 동일한 범위를 갖도록 정규화하여 정규화정보를 생성하는 단계, 인공지능모듈을 통하여 상기 전체결과정보의 각 요소와 구조물 붕괴위험과의 상관관계를 도출하고, 상기 상관관계를 기반으로 각 요소별로 위험가중치를 산출하는 단계 및 상기 정규화정보 및 상기 위험가중치를 기반으로 상기 구역안전도를 산출하는 단계를 포함할 수 있다.At this time, the step of evaluating the zone safety includes generating crack safety result information based on the structure image and the distance value information, the crack safety result information, the slope information, the strength survey result information, and the rebar. Generating normalized information by normalizing the entire result information including the root arrangement survey result information, the member material survey result information, and the carbonation survey result information to have the same range, each element of the total result information through an artificial intelligence module It may include deriving a correlation with the risk of structural collapse, calculating a risk weight for each element based on the correlation, and calculating the zone safety level based on the normalization information and the risk weight.
이 때, 상기 전체안전도를 평가하는 단계는, 상기 구역안전도가 기설정된 임계안전도 이하인 위험구역과 상기 임계안전도를 초과하는 안전구역을 구분하는 단계, 상기 위험구역 중에서 임의로 선택된 특정위험구역을 중심으로 기설정된 위험임계거리 내에 위치하는 인접위험구역을 추출하는 단계, 상기 특정위험구역을 중심으로 기설정된 위험임계거리 내에 위치하는 인접안전구역을 추출하는 단계, 상기 인접위험구역과 상기 인접안전구역의 비율을 기반으로 위험비율을 산출하는 단계, 상기 위험비율이 기설정된 임계위험비율을 초과하는 위험구역군을 추출하는 단계, 상기 위험구역군의 수가 기설정된 임계위험구역군수를 초과하는 경우, 상기 전체안전도를 위험한 것으로 평가하는 단계 및 상기 위험구역군의 수가 상기 임계위험구역군수 이하인 경우, 상기 전체안전도를 안전한 것으로 평가하는 단계를 포함할 수 있다.At this time, the step of evaluating the overall safety degree includes distinguishing a dangerous zone where the zone safety degree is below a preset critical safety degree and a safety zone where the zone safety degree exceeds the critical safety degree, focusing on a specific risk zone randomly selected among the dangerous zones. A step of extracting an adjacent risk zone located within a preset risk threshold distance, a step of extracting an adjacent safety zone located within a preset risk threshold distance centered on the specific risk zone, the ratio of the adjacent risk zone to the adjacent safety zone Calculating a risk ratio based on, extracting a risk zone group in which the risk rate exceeds a preset critical risk rate, and if the number of risk zone groups exceeds the preset number of critical risk zone groups, the overall safety degree It may include the step of evaluating as dangerous and, if the number of the risk zone groups is less than or equal to the number of the critical risk zone groups, the step of evaluating the overall safety level as safe.
이 때, 상기 안전진단기초보고서를 생성하는 단계는, 상기 도면에 상기 구역안전도, 상기 위험구역, 상기 안전구역 및 상기 위험구역군을 매핑하여 상호 식별되는 표식으로 표시하고, 상기 구역별 안전여부 및 상기 구조물의 상기 전체안전도를 포함하는 상기 안전진단기초보고서를 생성할 수 있다.At this time, the step of generating the basic safety diagnosis report is to map the zone safety degree, the danger zone, the safety zone, and the hazard zone group on the drawing and display them with mutually identifiable marks, and determine whether each zone is safe. And the safety diagnosis basic report including the overall safety level of the structure can be generated.
이하에서는 본 발명의 일 실시예로써, 인공지능 기반의 구조물의 안전평가 및 피드백정보를 제공하는 발명에 대하여 설명한다.Below, as an embodiment of the present invention, an invention that provides safety evaluation and feedback information for artificial intelligence-based structures will be described.
도 19는 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치의 개념도이다.Figure 19 is a conceptual diagram of an artificial intelligence-based building structure safety inspection and real-time monitoring device using a smartphone according to an embodiment of the present invention.
도 19를 참조하면, 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치는 사용자단말로부터 구조물의 벽면에 대한 이미지를 수신하고, 해당 이미지에서 균열을 추출하고, 해당 이미지가 촬영된 구역의 허용하중을 고려한 중요도를 기반으로 해당 구역이 안전한지 판단하고, 안전하지 않다고 판단되는 경우, 그에 대한 대응방안을 제시할 수 있다.Referring to FIG. 19, an artificial intelligence-based building structure safety inspection and real-time monitoring device using a smartphone according to an embodiment of the present invention receives an image of the wall of the structure from a user terminal and detects cracks in the image. It is possible to extract and determine whether the area is safe based on the importance considering the allowable load of the area where the image was taken, and if it is judged to be unsafe, a response plan can be proposed.
한편, 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치는 본 발명에서 '전자 장치(500)'로 호칭될 수도 있다.Meanwhile, an artificial intelligence-based building structure safety inspection and real-time monitoring device using a smartphone may be referred to as 'electronic device 500' in the present invention.
이 때, 사용자단말(600)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.At this time, the user terminal 600 is a communication capable desktop computer, laptop computer, laptop, smart phone, tablet PC, or mobile phone. , smart watch, smart glass, e-book reader, PMP (portable multimedia player), portable game console, navigation device, digital camera, DMB (digital multimedia broadcasting) player. , may include a digital audio recorder, a digital audio player, a digital video recorder, a digital video player, a PDA (Personal Digital Assistant), etc.
이 때, 상기 프로세서(510)는, 사용자단말로부터 구조물의 제1 구역을 촬영한 제1 이미지를 수신할 수 있다.At this time, the processor 510 may receive a first image of the first area of the structure from the user terminal.
이 때, 상기 제1 이미지는 상기 사용자단말의 포함되는 카메라로 촬영된 균열이 포함되는 벽면에 대한 이미지일 수 있다.At this time, the first image may be an image of a wall including a crack taken with a camera included in the user terminal.
또한, 상기 프로세서는, 인공지능모듈을 통하여, 상기 제1 이미지에서 균열을 추출할 수 있다.Additionally, the processor may extract cracks from the first image through an artificial intelligence module.
보다 상세하게 살펴보면, 상기 인공지능모듈은 CNN(Convolution neural Network) 및 YOLO(You Only Look Once) 모델을 기반으로 벽면이미지에서 균열을 추출하도록 학습된 것일 수 있다.In more detail, the artificial intelligence module may be trained to extract cracks from wall images based on CNN (Convolution neural Network) and YOLO (You Only Look Once) models.
이 때, YOLO(You Only Look Once)는 대표적인 단일 단계 방식의 객체 탐지 알고리즘으로써, 이미지 내에 존재하는 객체와 해당 객체의 위치를 이미지를 한번만 보고 예측할 수 있다는 의미를 지닌다.At this time, YOLO (You Only Look Once) is a representative single-step object detection algorithm, meaning that the object existing in the image and its location can be predicted by looking at the image only once.
보다 상세하게 살펴보면, YOLO 모델은 원본 이미지를 동일한 크기의 그리드grid로 나눈다. 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태(predefined shape)으로 지정된 경계박스의 개수를 예측하고 이를 기반으로 신뢰도를 계산한다. 이 때, 이미지에 객체가 포함되어 있는지 또는 배경만 단독으로 있는지에 대한 여부가 포함되며 높은 객체 신뢰도를 가진 위치를 선택해 객체 카테고리를 파악한다.In more detail, the YOLO model divides the original image into grids of equal size. For each grid, the number of bounding boxes with a predefined shape centered on the center of the grid is predicted and reliability is calculated based on this. At this time, whether the image contains an object or only the background is included, and a location with high object reliability is selected to identify the object category.
이 때, 미리 정의된 형태를 가진 경계박스 수를 앵커 박스(Anchor Boxes)라고 한다. 앵커 박스는 K평균 알고리즘에 의한 데이터로부터 생성되며 데이터세트의 객체 크기와 형태에 대한 사전 정보를 확보한다. 각각의 앵커는 각기 다른 크기와 형태의 객체를 탐지하도록 설계되어 있다. 이 모델은 앵커 박스와 유사한 크기의 개체를 탐지한다는 뜻이며 최종 예측은 앵커의 위치나 크기와는 차이가 있다. 이미지의 피쳐(Feature) 맵에서 확보한 최적화된 오프셋이 앵커 위치나 크기에 추가된다.At this time, the number of bounding boxes with a predefined shape is called anchor boxes. Anchor boxes are created from data using the K-means algorithm and secure prior information about the size and shape of objects in the dataset. Each anchor is designed to detect objects of different sizes and shapes. This model detects objects of similar size to the anchor box, and the final prediction is different from the anchor's location or size. The optimized offset obtained from the image's feature map is added to the anchor position or size.
또한, 상기 프로세서는, 추출된 균열을 기반으로 상기 제1 구역의 제1 안전점수를 도출할 수 있다. 이 때, 상기 제1 안전점수의 도출은 보다 상세하게 후술하도록 한다.Additionally, the processor may derive a first safety score of the first zone based on the extracted crack. At this time, the derivation of the first safety score will be described in more detail later.
또한, 상기 프로세서는, 상기 제1 안전점수를 기반으로 상기 제1 구역에 대한 피드백정보를 생성하고, 상기 피드백정보를 상기 사용자단말에게 송신할 수 있다.Additionally, the processor may generate feedback information for the first zone based on the first safety score and transmit the feedback information to the user terminal.
도 20은 본 발명의 일 실시예에 따른 구역을 나타내는 도면이다.Figure 20 is a diagram showing a zone according to an embodiment of the present invention.
도 20을 참조하면, 상기 제1 구역은, 상기 구조물의 설계도 상에서 기구분된 구역 중에서 선택된 구역일 수 있다.Referring to FIG. 20, the first zone may be a zone selected from the divided zones on the design drawing of the structure.
이 때, 상기 프로세서는, 상기 제1 안전점수가 기설정된 제1 임계안전점수 이하이고, 상기 제1 임계안전점수보다 낮게 기설정된 제2 임계안전점수 초과인 경우, 상기 제1 구역의 내구도가 경미하게 낮아진 것으로 판단하고, 상기 제1 구역의 보수작업이 필요한 것을 나타내는 상기 피드백정보를 생성하고, 상기 제1 안전점수가 상기 제2 임계안전점수 이하인 경우, 상기 제1 구역의 내구도가 중대하게 낮아진 것으로 판단하고, 상기 제1 구역의 보강작업이 필요한 것을 나타내는 상기 피드백정보를 생성할 수 있다.At this time, the processor determines that if the first safety score is less than or equal to a preset first critical safety score and exceeds a second critical safety score that is preset lower than the first critical safety score, the durability of the first zone is slight. It is determined that the durability of the first zone has been significantly lowered, and the feedback information indicating that repair work in the first zone is necessary is generated, and if the first safety score is less than or equal to the second critical safety score, the durability of the first zone is significantly lowered. It is possible to determine and generate the feedback information indicating that reinforcement work in the first zone is necessary.
단순히 균열이 있다는 이유만으로 보강작업을 하는 경우, 다소 비경제적일 수 있기 때문에, 내구도의 높고 낮음에 따라 상이하게 대응하는 것이 바람직하기 때문이다.This is because reinforcing work simply because there is a crack may be somewhat uneconomical, so it is desirable to respond differently depending on whether the durability is high or low.
도 21은 본 발명의 일 실시예에 따른 제1 임계안전점수 및 제2 임계안전점수의 조정을 나타내는 도면이다.Figure 21 is a diagram showing adjustment of the first critical safety score and the second critical safety score according to an embodiment of the present invention.
이 때, 상기 제1 임계안전점수와 상기 제2 임계안전점수를 일률적으로 고정하기에는 다소 무리가 있다. 왜냐하면, 제1 안전점수를 도출한 상기 제1 구역이 기둥과 같이 중요한 곳인 경우에는 보다 엄격하게 판단할 필요가 있기 때문이다.At this time, it is somewhat difficult to uniformly fix the first critical safety score and the second critical safety score. This is because, if the first area from which the first safety score is derived is an important place such as a pillar, it needs to be judged more strictly.
이에, 도 21을 참조하면, 상기 프로세서는, 상기 구조물의 설계도에서 기구분된 복수개의 구역에 대하여 기설정된 허용하중 및 상기 제1 구역에 기설정된 제1 허용하중을 기반으로, 상기 제1 구역의 제1 중요도를 도출하고, 기설정된 제1 기초임계안전점수 및 상기 제1 기초임계안전점수보다 낮게 기설정된 제2 기초임계안전점수에 상기 제1 중요도를 반영하여 상기 제1 임계안전점수 및 상기 제2 임계안전점수를 도출할 수 있다.Accordingly, referring to FIG. 21, the processor, based on the allowable load preset for a plurality of zones divided in the design drawing of the structure and the first allowable load preset in the first zone, Derive a first importance, and reflect the first importance in a preset first basic critical safety score and a second basic critical safety score that is preset lower than the first basic critical safety score, and calculate the first critical safety score and the first critical safety score. 2 A critical safety score can be derived.
이 때, 상기 제1 중요도는, 아래 수학식 4에 의하여 도출될 수 있다.At this time, the first importance can be derived by Equation 4 below.
[수학식 4][Equation 4]
이 때, IS는 상기 제1 중요도를 의미하고, n은 상기 구조물의 설계도에 포함되는 구역의 개수를 의미하고, l1은 상기 제1 구역의 제1 허용하중을 의미하고, l2_i는 상기 구조물의 설계도에 포함되는 복수개의 구역 중 i번째 구역의 제2 허용하중을 의미할 수 있다.At this time, IS means the first importance, n means the number of zones included in the design drawing of the structure, l1 means the first allowable load of the first zone, and l2_i is the design drawing of the structure. It may mean the second allowable load of the ith zone among the plurality of zones included in .
허용하중이 높다는 것은 해당 구역에 하중이 몰리도록 해당 구조물이 설계된 것으로 볼 수 있기 때문에, 기둥과 같이 무너지는 경우, 건물 전체에 미치는 영향이 높은 것일 가능성이 높기 때문이다.A high allowable load means that the structure is designed to concentrate the load in that area, so if it collapses like a pillar, the impact on the entire building is likely to be high.
이에, 상기 제1 임계안전점수는, 아래 수학식 5에 의하여 도출될 수 있다.Accordingly, the first critical safety score can be derived by Equation 5 below.
[수학식 5][Equation 5]
이 때, CSS_1은 상기 제1 임계안전점수를 의미하고, BCSS_1은 상기 제1 기초임계안전점수를 의미하고, IS는 상기 제1 중요도를 의미할 수 있다.At this time, CSS_1 may mean the first critical safety score, BCSS_1 may mean the first basic critical safety score, and IS may mean the first importance.
또한, 상기 제2 임계안전점수는, 아래 수학식 6에 의하여 도출될 수 있다.Additionally, the second critical safety score can be derived by Equation 6 below.
[수학식 6][Equation 6]
이 때, CSS_2은 상기 제2 임계안전점수를 의미하고, BCSS_2은 상기 제2 기초임계안전점수를 의미하고, IS는 상기 제1 중요도를 의미할 수 있다.At this time, CSS_2 may mean the second critical safety score, BCSS_2 may mean the second basic critical safety score, and IS may mean the first importance.
도 22는 본 발명의 일 실시예에 따른 균열의 크기등급을 나타내는 도면이다.Figure 22 is a diagram showing the size rating of cracks according to an embodiment of the present invention.
도 22를 참조하면, 균열은 크기가 서로 동일하지 않고, 크면 클수록 안전성에 영향이 많이 미칠 수 있기 때문에, 이를 구분할 필요가 있다.Referring to FIG. 22, the sizes of cracks are not the same, and the larger they are, the greater the impact on safety may be, so it is necessary to distinguish them.
이에, 상기 프로세서는, 상기 제1 이미지에서 추출된 균열의 개수를 도출하고, 추출된 균열에 대하여 기설정된 크기등급 중 해당 균열의 크기에 해당하는 크기등급을 도출하고, 상기 균열의 개수, 상기 크기등급 및 상기 구조물의 연식을 기반으로 상기 제1 안전점수를 도출할 수 있다.Accordingly, the processor derives the number of cracks extracted from the first image, derives a size grade corresponding to the size of the crack among preset size grades for the extracted crack, and calculates the number of cracks and the size. The first safety score can be derived based on the grade and age of the structure.
이 때, 상기 크기등급은, 도 22에 도시된 바와 같이 균열의 크기에 따라 1, 2, 3, 4 및 5로 설정되되, 균열의 크기가 클수록 상기 크기등급이 커지도록 설정될 수 있다.At this time, the size grade is set to 1, 2, 3, 4, and 5 depending on the size of the crack, as shown in FIG. 22, and the size grade may be set so that the larger the crack size, the larger the size grade.
이 때, 상기 제1 안전점수는, 아래 수학식 7에 의하여 도출될 수 있다.At this time, the first safety score can be derived by Equation 7 below.
[수학식 7][Equation 7]
이 때, SS는 상기 제1 안전점수를 의미하고, a는 상기 구조물의 연식을 의미하고, b는 상기 제1 이미지에 포함되는 상기 균열의 개수를 의미하고, sg_j는 상기 제1 이미지에 포함되는 균열 중 j번째 균열의 상기 크기등급을 의미할 수 있다.At this time, SS means the first safety score, a means the age of the structure, b means the number of cracks included in the first image, and sg_j is included in the first image. It may refer to the size grade of the jth crack among cracks.
이를 통하여, 균열을 통한 객관적인 안전점수를 도출할 수 있다.Through this, an objective safety score can be derived through cracks.
또한, 상기 프로세서는, 전체구조물에 대한 구역별 제2 이미지 및 제2 안전점수에 대한 정보를 포함하는 제1 DB 및 재건축안전진단을 받은 재건축구조물에 대한 안전진단등급, 구역별 제3 이미지 및 상기 제3 이미지를 기반으로 도출된 제3 안전점수에 대한 정보를 포함하는 제2 DB를 기반으로 상기 제1 기초임계안전점수 및 상기 제2 기초임계안전점수를 설정할 수 있다.In addition, the processor includes a first DB containing information on a second image and a second safety score for each zone for the entire structure, a safety diagnosis grade for a reconstructed structure that has undergone a reconstruction safety diagnosis, a third image for each zone, and the above. The first basic critical safety score and the second basic critical safety score may be set based on a second DB containing information about the third safety score derived based on the third image.
해당 구역의 안전점수가 객관적으로 위험한지 여부를 판단하기 위함이다.This is to determine whether the safety score of the area is objectively dangerous.
보다 상세하게 살펴보면, 상기 프로세서는, 상기 제1 DB에서 상기 제2 안전점수의 평균으로 제1 평균안전점수를 도출하고, 상기 제2 DB에서 상기 안전진단등급이 D등급 이하로 받은 재건축구조물에 대한 제3 안전점수의 평균으로 제2 평균안전점수를 도출하고, 상기 제2 평균안전점수를 상기 제2 기초임계안전점수로 설정하고, 상기 제2 평균안전점수와 상기 제1 평균안전점수의 합을 상기 제1 기초임계안전점수로 설정할 수 있다.In more detail, the processor derives a first average safety score as the average of the second safety scores in the first DB, and for a reconstructed structure that has received a safety diagnosis grade of D or lower in the second DB. A second average safety score is derived from the average of the third safety scores, the second average safety score is set as the second basic critical safety score, and the sum of the second average safety score and the first average safety score is calculated. It can be set to the first basic critical safety score.
이는, 재건축을 위한 안전진단등급에서 D등급을 받은 경우, 안전성이 다소 낮은 것으로 볼 수 있기 때문에 객관적인 지표로 활용할 수 있기 때문이다.This is because if a grade D is received in the safety diagnosis grade for reconstruction, the safety can be considered to be somewhat low and can be used as an objective indicator.
도 23은 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법의 흐름도이다.Figure 23 is a flowchart of an artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention.
도 23을 참조하면, 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법은 사용자단말로부터 구조물의 제1 구역을 촬영한 제1 이미지를 수신할 수 있다(S301).Referring to Figure 23, the artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention can receive the first image of the first area of the structure from the user terminal. There is (S301).
또한, 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법은 인공지능모듈을 통하여, 상기 제1 이미지에서 균열을 추출할 수 있다(S303).In addition, the artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention can extract cracks from the first image through an artificial intelligence module (S303).
또한, 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법은 추출된 균열을 기반으로 상기 제1 구역의 제1 안전점수를 도출할 수 있다(S305).In addition, the artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention can derive the first safety score of the first zone based on the extracted cracks (S305 ).
또한, 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법은 상기 제1 안전점수를 기반으로 상기 제1 구역에 대한 피드백정보를 생성할 수 있다(S307).In addition, the artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention can generate feedback information for the first zone based on the first safety score ( S307).
또한, 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법은 상기 피드백정보를 상기 사용자단말에게 송신할 수 있다(S309).In addition, the artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention can transmit the feedback information to the user terminal (S309).
또한, 본 발명의 일 실시예에 따른 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 방법은 도 19 내지 도 22에 개시된 스마트폰을 활용한 인공지능 기반의 건축 구조물 안전점검 및 실시간 모니터링 장치와 동일하게 구성될 수 있다.In addition, the artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone according to an embodiment of the present invention is the artificial intelligence-based building structure safety inspection and real-time monitoring method using a smartphone disclosed in FIGS. 19 to 22. It can be configured the same as the monitoring device.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA). It may be implemented using one or more general-purpose or special-purpose computers, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with limited drawings as described above, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the following claims.
Claims (5)
메모리(memory); 및
상기 메모리와 연결된 프로세서(processor); 를 포함하고,
상기 프로세서는:
사용자단말로부터 구조물의 제1 구역을 촬영한 제1 이미지를 수신하고,
인공지능모듈을 통하여, 상기 제1 이미지에서 균열을 추출하고,
추출된 균열을 기반으로 상기 제1 구역의 제1 안전점수를 도출하고,
상기 제1 안전점수를 기반으로 상기 제1 구역에 대한 피드백정보를 생성하고,
상기 피드백정보를 상기 사용자단말에게 송신하되,
상기 프로세서는,
상기 제1 안전점수가 기설정된 제1 임계안전점수 이하이고, 상기 제1 임계안전점수보다 낮게 기설정된 제2 임계안전점수 초과인 경우,
상기 제1 구역의 내구도가 경미하게 낮아진 것으로 판단하고, 상기 제1 구역의 보수작업이 필요한 것을 나타내는 상기 피드백정보를 생성하고,
상기 제1 안전점수가 상기 제2 임계안전점수 이하인 경우,
상기 제1 구역의 내구도가 중대하게 낮아진 것으로 판단하고, 상기 제1 구역의 보강작업이 필요한 것을 나타내는 상기 피드백정보를 생성하는 것을 특징으로 하는, 전자 장치.
In electronic devices,
memory; and
A processor connected to the memory; Including,
The processor:
Receive a first image of the first area of the structure from the user terminal,
Through the artificial intelligence module, cracks are extracted from the first image,
Derive the first safety score of the first zone based on the extracted crack,
Generating feedback information for the first zone based on the first safety score,
Transmit the feedback information to the user terminal,
The processor,
If the first safety score is less than or equal to a preset first critical safety score and exceeds a second critical safety score that is preset lower than the first critical safety score,
Determining that the durability of the first zone is slightly lowered, and generating the feedback information indicating that repair work is needed for the first zone,
If the first safety score is less than or equal to the second critical safety score,
An electronic device, characterized in that it determines that the durability of the first zone has been significantly lowered and generates the feedback information indicating that reinforcement work for the first zone is necessary.
상기 제1 구역은,
상기 구조물의 설계도 상에서 기구분된 구역 중에서 선택된 구역인 것을 특징으로 하는, 전자 장치.
In claim 1,
The first zone is,
An electronic device, characterized in that the area is selected from among the divided areas on the design drawing of the structure.
상기 인공지능모듈은,
CNN(Convolution neural Network) 및 YOLO(You Only Look Once) 모델을 기반으로 벽면이미지에서 균열을 추출하도록 학습된 것을 특징으로 하는, 전자 장치.
In claim 2,
The artificial intelligence module is,
An electronic device, characterized in that it is learned to extract cracks from wall images based on CNN (Convolution neural Network) and YOLO (You Only Look Once) models.
상기 프로세서는,
상기 구조물의 설계도에서 기구분된 복수개의 구역에 대하여 기설정된 허용하중 및 상기 제1 구역에 기설정된 제1 허용하중을 기반으로, 상기 제1 구역의 제1 중요도를 도출하고,
기설정된 제1 기초임계안전점수 및 상기 제1 기초임계안전점수보다 낮게 기설정된 제2 기초임계안전점수에 상기 제1 중요도를 반영하여 상기 제1 임계안전점수 및 상기 제2 임계안전점수를 도출하는 것을 특징으로 하는, 전자 장치.In claim 1,
The processor,
Based on the allowable load preset for a plurality of zones divided in the design drawing of the structure and the first allowable load preset in the first zone, the first importance of the first zone is derived,
Deriving the first critical safety score and the second critical safety score by reflecting the first importance in a preset first basic critical safety score and a second basic critical safety score that is preset lower than the first basic critical safety score. An electronic device, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230138342A KR102663155B1 (en) | 2023-10-17 | 2023-10-17 | Apparatus and method for providing monitoring and building structure safety inspection based on artificial intelligence using a smartphone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230138342A KR102663155B1 (en) | 2023-10-17 | 2023-10-17 | Apparatus and method for providing monitoring and building structure safety inspection based on artificial intelligence using a smartphone |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102663155B1 true KR102663155B1 (en) | 2024-05-07 |
Family
ID=91077967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230138342A KR102663155B1 (en) | 2023-10-17 | 2023-10-17 | Apparatus and method for providing monitoring and building structure safety inspection based on artificial intelligence using a smartphone |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102663155B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130059041A (en) * | 2011-11-28 | 2013-06-05 | (주)에스알파트너즈 | Infrastructure maintenance and management businesssupport system |
| WO2020139195A1 (en) * | 2018-12-27 | 2020-07-02 | Performance Rotors Pte. Ltd. | Drone for surface defects inspection |
| KR102133332B1 (en) | 2018-08-30 | 2020-07-13 | 한국철도기술연구원 | Boundary based structure crack detection apparatus and method |
| KR102441272B1 (en) * | 2022-03-24 | 2022-09-08 | 주식회사 디와이스코프코리아 | Method for measuring crack based on artificial intelligence and apparatus thereof |
| KR20220124886A (en) * | 2021-03-04 | 2022-09-14 | 세종대학교산학협력단 | Apparatus and method for predicting crack growth using artificial intelligence learning model |
| KR102465284B1 (en) * | 2022-04-13 | 2022-11-11 | 주식회사 디와이스코프코리아 | Method, device and system for detecting structure crack based on mobile terminal |
-
2023
- 2023-10-17 KR KR1020230138342A patent/KR102663155B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130059041A (en) * | 2011-11-28 | 2013-06-05 | (주)에스알파트너즈 | Infrastructure maintenance and management businesssupport system |
| KR102133332B1 (en) | 2018-08-30 | 2020-07-13 | 한국철도기술연구원 | Boundary based structure crack detection apparatus and method |
| WO2020139195A1 (en) * | 2018-12-27 | 2020-07-02 | Performance Rotors Pte. Ltd. | Drone for surface defects inspection |
| KR20220124886A (en) * | 2021-03-04 | 2022-09-14 | 세종대학교산학협력단 | Apparatus and method for predicting crack growth using artificial intelligence learning model |
| KR102441272B1 (en) * | 2022-03-24 | 2022-09-08 | 주식회사 디와이스코프코리아 | Method for measuring crack based on artificial intelligence and apparatus thereof |
| KR102465284B1 (en) * | 2022-04-13 | 2022-11-11 | 주식회사 디와이스코프코리아 | Method, device and system for detecting structure crack based on mobile terminal |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113056743B (en) | Training neural networks for vehicle re-identification | |
| CN111079619B (en) | Method and apparatus for detecting target object in image | |
| US10902056B2 (en) | Method and apparatus for processing image | |
| US10832478B2 (en) | Method and system for virtual sensor data generation with depth ground truth annotation | |
| KR20210006971A (en) | System and method for geolocation prediction | |
| CN113377888B (en) | Method for training object detection model and detection object | |
| US11113896B2 (en) | Geophysical sensor positioning system | |
| JP2019056668A (en) | Information processor, information processing system, method for processing information, and information processing program | |
| KR20190092975A (en) | Method of managing vision inspection and vision inspection system | |
| US20200264005A1 (en) | Electronic apparatus and controlling method thereof | |
| KR102465284B1 (en) | Method, device and system for detecting structure crack based on mobile terminal | |
| CN110879961A (en) | Lane detection method and apparatus using lane model | |
| US11928813B2 (en) | Method and system for detecting change to structure by using drone | |
| KR102636586B1 (en) | Apparatus and method for controlling driving test of autonomous driving vehicles | |
| KR20190109654A (en) | Electronic device and method for measuring heart rate | |
| US20230326041A1 (en) | Learning device, learning method, tracking device, and storage medium | |
| KR102441272B1 (en) | Method for measuring crack based on artificial intelligence and apparatus thereof | |
| KR102663155B1 (en) | Apparatus and method for providing monitoring and building structure safety inspection based on artificial intelligence using a smartphone | |
| CN115205806A (en) | Method and device for generating target detection model and automatic driving vehicle | |
| JP2019057221A (en) | Information processor, information processing system, method for processing information, and information processing program | |
| Chen et al. | Underwater target detection and embedded deployment based on lightweight YOLO_GN | |
| US20240070516A1 (en) | Machine learning context based confidence calibration | |
| US11854224B2 (en) | Three-dimensional skeleton mapping | |
| CN117523428B (en) | Ground target detection method and device based on aircraft platform | |
| KR102618069B1 (en) | Method and apparatus for analyasing indoor building disaster information using point cloud data and visual information from ground survey robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |