KR20230013206A - Welding area inspection system and method thereof for assessing the risk based on artificial intelligence - Google Patents
Welding area inspection system and method thereof for assessing the risk based on artificial intelligence Download PDFInfo
- Publication number
- KR20230013206A KR20230013206A KR1020210093091A KR20210093091A KR20230013206A KR 20230013206 A KR20230013206 A KR 20230013206A KR 1020210093091 A KR1020210093091 A KR 1020210093091A KR 20210093091 A KR20210093091 A KR 20210093091A KR 20230013206 A KR20230013206 A KR 20230013206A
- Authority
- KR
- South Korea
- Prior art keywords
- welding
- data
- inspection
- weld
- image data
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 150
- 238000003466 welding Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 33
- 230000007547 defect Effects 0.000 claims abstract description 43
- 239000011324 bead Substances 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000007726 management method Methods 0.000 claims description 65
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 238000001931 thermography Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000007635 classification algorithm Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000011179 visual inspection Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000012502 risk assessment Methods 0.000 description 23
- 238000012795 verification Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 9
- 238000009434 installation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 238000010367 cloning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0014—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation from gases, flames
- G01J5/0018—Flames, plasma or welding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/18—Investigating the presence of flaws defects or foreign matter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Mathematical Physics (AREA)
- Analytical Chemistry (AREA)
- Plasma & Fusion (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Molecular Biology (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
Abstract
Description
본 발명은 용접 검사 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 인공지능 기반 플랫폼에서 현장 작업자와 안전 관리자 간의 현장 데이터와 위험도를 평가하고 예측 가능한 용접 검사 시스템 및 그 방법에 관한 것이다.The present invention relates to a welding inspection system and method, and more particularly, to a welding inspection system and method that evaluate and predict field data and risk between a field worker and a safety manager on an artificial intelligence-based platform.
일반적으로 용접은 2가지 고체 재료 사이에 직접 원자간 결합이 이루어지게 하여 접합시키는 것으로서, 금속 재료를 접합하는데 많이 이용되고 있다.In general, welding is a method of joining two solid materials by making direct atomic bonds between them, and is widely used for joining metal materials.
종래에는 숙련된 작업자가 용접 비드를 외측에서 육안으로 직접 검사하여 용접의 완전성 및 결함유무를 판별하였으나, 작업자의 숙련도 및 작업 컨디션에 따라 결함 판별능력이 상이하고, 객관화되지 못하며 검사비용이 증가하는 문제점이 있다.Conventionally, a skilled worker visually inspects the welding bead from the outside to determine the completeness of the welding and the presence or absence of defects. there is
이에 카메라를 이용하여 용접비드 이미지를 촬영하거나, 용접비드 표면에 레이저빔을 조사하여 용접비드의 결함유무를 판별하는 검사방법이 사용되고 있으나, 단순히 카메라와 레이저를 이용하여 결함유무를 판별하는 경우에는 정밀한 검사가 불가능한 문제점이 있다.Therefore, an inspection method is used to determine the presence or absence of defects in the welding bead by photographing a welding bead image using a camera or irradiating a laser beam on the surface of the welding bead. There are problems that cannot be inspected.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명에 따른 용접 검사 시스템 및 그 방법은 클라우드 플랫폼을 통해 위험도 관리, 결함 관리, 위험도 알람, 조치사항 확인 및 데이터 관리가 가능하도록 하고, 기준에 따라 용접부의 불량을 검출하여 결함 데이터를 저장하고, 리스크 예측 및 알림을 제공하고자 한다.The present invention has been devised to solve the above problems, and the welding inspection system and method according to the present invention enable risk management, defect management, risk alarm, action check and data management through a cloud platform, and According to this, defects in welds are detected, defect data is stored, and risk prediction and notification are provided.
본 발명은 인공신경망과 클라우드 플랫폼을 이용하여 용접부 인식 성능을 향상시키고, 영상 이미지에 대한 딥러닝 알고리즘 적용과 3D 이미지 데이터의 머신러닝 알고리즘 적용을 통해 용접부의 외관에 대한 보다 정확한 검사가 가능하도록 하고자 한다.The present invention improves weld recognition performance using an artificial neural network and a cloud platform, and enables more accurate inspection of the appearance of welds through the application of deep learning algorithms to video images and application of machine learning algorithms to 3D image data. .
또한, 본 발명은 용접부에 대한 초음파 검사, 열화상 탐상, 방사성 검사를 통해 용접부 내부의 결함 위치를 보다 정확하게 파악할 수 있도록 하고, 검출된 불량의 종류별 위험도를 산정하여, 산정된 위험도(예: 유/무, 상/중/하 또는 위험도 N%)를 데이터베이스에 저장함으로써, 검사를 통해 얻은 데이터를 활용해 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 유틸리티 조건, 자재 조건 등 기타 여러 조건에 따른 리스크 예측 및 알림을 제공하고자 한다.In addition, the present invention makes it possible to more accurately identify the defect location inside the weld through ultrasonic inspection, thermal imaging, and radioactive inspection of the weld, and calculates the risk for each type of detected defect, so that the calculated risk (e.g., None, high/medium/low, or risk level N%) is stored in the database, and by utilizing the data obtained through inspection, the environment such as the shape or material of the pipe, worker conditions such as the environment during welding, utility conditions, material conditions, etc. We want to provide risk predictions and notifications according to various conditions.
또한, 일반적으로 반도체 공장은 약 3만개의 용접 포인트(point)를 가지고 있는데, 기존 용접 품질 검사 방식으로는 하루 약 100 포인트(point) 정도가 가능하였으나, 본 발명에 따른 용접 부위 검시 시스템을 이용하여 하루 약 1000 포인트 이상을 검사함으로써 전체 포인트(point) 검사 기간을 1/10 이하로 단축시키고자 한다.In addition, in general, a semiconductor factory has about 30,000 welding points. In the conventional welding quality inspection method, about 100 points were possible per day, but by using the welding inspection system according to the present invention, By inspecting about 1000 points or more per day, the total point inspection period is reduced to less than 1/10.
또한, 본 발명은 휴대기기(모바일, 임베디드 장비), 자동화 기기(로봇, 드론) 등 여러가지 방법으로 포인트 클라우드 데이터(Point Cloud Data), 이미지 데이터, 열화상 데이터, 초음파 데이터, X-선과 같은 다양한 데이터들을 취득하고 이를 인공지능 알고리즘으로 적/부 판정하여 빠른 기간 내에 감리, 위험도 평가, 현장 안전관리, 사고/안전 위험도 예측, 현장 위험도 산정 등의 결과물을 얻을 수 있도록 하고자 한다.In addition, the present invention provides various data such as point cloud data, image data, thermal image data, ultrasound data, and X-rays in various ways such as portable devices (mobile, embedded equipment) and automated devices (robots and drones). It is intended to obtain results such as supervision, risk assessment, site safety management, accident/safety risk prediction, and site risk calculation within a short period of time by acquiring them and judging them with artificial intelligence algorithms.
그 뿐만 아니라, 본 발명에 따르면 각종 데이터의 효율적/신속한 처리와 그로 인한 결과로 실시간으로 현장에서의 리스크 알림과 위험도 확인이 가능하도록 하고, 이로 인해 안전 관리에 대한 효율성이 증가하고 사고 발생률을 현저하게 낮추며, 인공지능을 활용한 동일성 검증 보이콧으로 현장 작업 및 감리에 신뢰성을 향상시키고자 한다.In addition, according to the present invention, as a result of efficient/quick processing of various data, it is possible to notify risk and check risk in the field in real time, thereby increasing the efficiency of safety management and significantly reducing the accident rate. It aims to improve the reliability of field work and supervision through an identity verification boycott using artificial intelligence.
전술한 문제를 해결하기 위한 본 발명은 용접 부위를 검사하는 장치를 이용한 용접 검사 방법에 관한 것으로, 용접부 인식 단계; 데이터 처리 단계; 및 위험도 산출 단계를 포함하며, 구체적으로 라이다 센서(Lidar Sensor)에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영된 이미지 데이터를 이용해 용접부를 인식하는 단계; 용접부에 대하여 상기 라이다 센서에서 획득한 3D 이미지 데이터 또는 상기 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계; 및 머신러닝 알고리즘을 통해 학습한 데이터와 상기 용접부의 외관을 검사한 데이터를 저장하는 단계를 포함할 수 있다.The present invention for solving the above problems relates to a welding inspection method using a device for inspecting a welding area, the weld recognition step; data processing; And a risk calculation step, specifically recognizing the weld using 3D image data obtained from a lidar sensor or image data taken from a camera; Examining the appearance of the welded portion through a machine learning algorithm with respect to the 3D image data obtained from the lidar sensor or the image data taken from the camera with respect to the welded portion; and storing data learned through a machine learning algorithm and data obtained by examining the appearance of the welded part.
본 발명의 다른 일실시예에 따르면, 용접부를 인식하는 단계는 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 분류 알고리즘을 통해 3D 좌표를 분류하여 용접부를 인식하는 단계 또는 카메라에서 촬영된 이미지 데이터에 R-CNN(Regions with Convolutional Neural Network)를 적용하여 용접부를 인식하는 단계를 포함할 수 있다.According to another embodiment of the present invention, the step of recognizing the weld is the step of recognizing the weld by classifying 3D coordinates through a classification algorithm with respect to the 3D image data obtained from the lidar sensor or R in the image data taken from the camera. -A step of recognizing a weld by applying CNN (Regions with Convolutional Neural Network) may be included.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접부에 대하여 상기 카메라에서 촬영된 이미지에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계; 및 용접부에 대하여 상기 라이다 센서에서 획득한 3D 이미지에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계를 포함할 수 있다.According to another embodiment of the present invention, the step of inspecting the appearance of the weld is inspecting the appearance of the weld through a machine learning algorithm with respect to the image captured by the camera with respect to the weld; and examining the appearance of the welded portion through a machine learning algorithm with respect to the 3D image acquired by the lidar sensor for the welded portion.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접부에 대하여 상기 카메라에서 촬영된 이미지에 대하여 딥러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계; 라이다 센서에서 획득한 3D 이미지 데이터에 대해 파이썬(Python)의 OpenGL을 이용한 알고리즘 커널 파싱을 통해 전처리하는 단계; 및 머신러닝 알고리즘을 통해 용접부를 식별하고 용접부의 3D 이미지 데이터를 필터링 한 후, 머신러닝 알고리즘을 통해 용접부를 검사하여 적합 또는 부적합을 판정하는 단계를 포함할 수 있다.According to another embodiment of the present invention, the step of inspecting the appearance of the welding portion is inspecting the appearance of the welding portion through a deep learning algorithm with respect to the image captured by the camera with respect to the welding portion; Pre-processing the 3D image data obtained from the lidar sensor through algorithm kernel parsing using Python's OpenGL; and identifying the welded portion through a machine learning algorithm, filtering the 3D image data of the welded portion, and then inspecting the welded portion through a machine learning algorithm to determine whether it is suitable or unsuitable.
본 발명의 다른 일실시예에 따르면, 용접부를 인식하는 단계는 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 포인트 클라우드 데이터(Point Cloud Data)를 생성하고 포인트넷(PointNet) 딥러닝을 통해 용접부를 인식하거나, 카메라에서 촬영된 이미지 데이터에 마스크 R-CNN(Mask Convolutional Neural Network) 딥러닝을 통해 용접부를 인식하는 단계; 상기 포인트 클라우드 데이터에 상기 이미지 데이터를 융합시키고 용접 비드 부분을 특정하는 단계; 및 상기 용접 비드 부분의 포인트 클라우드 데이터(Point Cloud Data)와 상기 용접 비드 부분의 이미지 데이터를 생성하는 단계를 포함할 수 있다.According to another embodiment of the present invention, the step of recognizing the weld is generating point cloud data (Point Cloud Data) for the 3D image data obtained from the lidar sensor and recognizing the weld through PointNet deep learning Or, recognizing a weld through mask convolutional neural network (R-CNN) deep learning on image data photographed by a camera; fusing the image data to the point cloud data and specifying a weld bead portion; and generating point cloud data of the weld bead portion and image data of the weld bead portion.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접 비드 부분에 대하여 생성된 상기 포인트 클라우드 데이터와 상기 이미지 데이터를 이용해 불량을 검출하는 단계; 및 상기 검출된 불량의 종류별 위험도를 산정하는 단계를 포함하고, 상기 데이터를 저장하는 단계는 검출된 불량 데이터와, 상기 산정된 위험도를 데이터베이스에 저장하는 단계를 포함할 수 있다.According to another embodiment of the present invention, inspecting the appearance of the welded portion includes detecting a defect using the point cloud data and the image data generated for the weld bead portion; and calculating a risk level for each type of the detected defect, and storing the data may include storing the detected defect data and the calculated risk level in a database.
본 발명의 다른 일실시예에 따르면, 용접부의 외관을 검사하는 단계는 용접부의 외관을 검사한 이후에, 상기 용접부를 초음파 검사하거나, 열화상 탐상하거나 또는 방사선 검사하여, 상기 용접부의 내부를 검사하는 단계를 더 포함하고, 용접부의 내부를 검사하는 단계는 상기 용접부의 초음파 검사를 통해 생성되는 파형 이미지에 R-CNN을 적용하고, 상기 용접부의 초음파 검사를 통해 생성되는 파형 데이터에 분류 알고리즘을 적용하는 단계; 상기 용접부의 열화상 탐상을 통해 생성되는 온도 이미지에 R-CNN을 적용하고, 상기 용접부의 열화상 탐상을 통해 생성되는 온도 데이터에 분류 알고리즘을 적용하는 단계; 및 상기 용접부를 방사선 검사하여 생성되는 데이터에 R-CNN 또는 마스크 R-CNN를 적용하는 단계를 포함할 수 있다.According to another embodiment of the present invention, the step of inspecting the appearance of the weld is to inspect the inside of the weld by ultrasonic inspection, thermal imaging, or radiographic inspection of the weld after inspecting the appearance of the weld. Further comprising the step of inspecting the inside of the weld, wherein the step of inspecting the inside of the weld applies R-CNN to a waveform image generated through ultrasonic inspection of the weld, and applies a classification algorithm to waveform data generated through ultrasonic inspection of the weld. step; Applying R-CNN to a temperature image generated through thermal imaging of the weld and applying a classification algorithm to temperature data generated through thermal imaging of the weld; and applying R-CNN or mask R-CNN to data generated by performing a radiological examination of the weld.
본 발명의 다른 일실시예에 따르면, 데이터를 저장하는 단계는 라이다 센서에서 획득한 3D 이미지 데이터와 상기 카메라에서 촬영한 이미지 데이터에 따른 결함부위의 위치를 대조하여 상기 데이터베이스에 저장할 수 있다.According to another embodiment of the present invention, in the step of storing the data, the position of the defective part according to the 3D image data obtained from the lidar sensor and the image data taken by the camera may be compared and stored in the database.
본 발명에 따른 용접 검사 시스템은 시공사의 안전 관리자와 현장 작업자로부터 검수 대상 데이터를 포함하는 현장관리 정보를 입력 받고, 용접 품질 검수 요청을 포함하는 현장관리 정보를 접수하여 발주처의 고객 안전 점검자, 신규 FAB(공장)의 현장 감리요원, 기존 FAB(공장)의 현장 담당자에게 제공하는 용접검사 시스템; 용접 품질 검수 정보가 포함되는 현장관리 정보를 저장하는 데이터베이스; 및 상기 현장관리 정보를 이용해 데이터 분석 및 학습을 통해 얻은 결과 데이터를 상기 데이터베이스에 저장하고, 상기 용접검사 시스템을 통해 상기 결과 데이터를 발주처, 감리사 및 시공사에 제공하도록 하는 인공지능 서버를 포함하여 구성될 수 있다.The welding inspection system according to the present invention receives site management information including inspection target data from the safety manager and field workers of the constructor, receives site management information including a request for welding quality inspection, and receives the customer safety inspector of the ordering party, new FAB Welding inspection system provided to field supervisors of (factories) and field managers of existing FAB (factories); A database for storing field management information including welding quality inspection information; And an artificial intelligence server for storing result data obtained through data analysis and learning using the site management information in the database, and providing the result data to the ordering party, supervisor, and construction company through the welding inspection system. can
본 발명의 다른 일실시예에 따르면, 상기 데이터베이스는 용접부의 외관검사를 진행하여 획득한 용접 품질 검사 데이터를 저장하고, 상기 인공지능 서버는 상기 용접 품질 검사 데이터를 통해 획득한 데이터를 이용해 데이터 분석 및 학습을 통해 얻은 결과 데이터를 상기 데이터베이스에 저장하고, 상기 용접검사 시스템을 통해 상기 결과 데이터를 발주처, 감리사 및 시공사에 제공하도록 할 수 있다.According to another embodiment of the present invention, the database stores welding quality inspection data obtained by performing a visual inspection of a welded part, and the artificial intelligence server analyzes and analyzes data using data obtained through the welding quality inspection data. Result data obtained through learning may be stored in the database, and the result data may be provided to an ordering party, a supervisor, and a construction company through the welding inspection system.
본 발명에 따른 용접 검사 시스템 및 그 방법은 클라우드 플랫폼을 통해 위험도 관리, 결함 관리, 위험도 알람, 조치사항 확인 및 데이터 관리가 가능하며, 기준에 따라 용접부의 불량을 검출하여 결함 데이터를 저장하고, 리스크 예측 및 알림을 제공할 수 있다.The welding inspection system and method according to the present invention enables risk management, defect management, risk alarm, action check, and data management through a cloud platform, detects defects in welds according to standards, stores defect data, and Forecasts and notifications can be provided.
본 발명에 따르면 인공신경망과 클라우드 플랫폼을 이용하여 용접부 인식 성능을 향상시키고, 영상 이미지에 대한 딥러닝 알고리즘 적용과 3D 이미지 데이터의 머신러닝 알고리즘 적용을 통해 용접부의 외관에 대한 보다 정확한 검사가 가능하다.According to the present invention, welding part recognition performance is improved using an artificial neural network and a cloud platform, and a more accurate inspection of the appearance of the welding part is possible by applying a deep learning algorithm to video images and applying a machine learning algorithm to 3D image data.
또한, 본 발명에 따르면 용접부에 대한 결함 여부를 보다 정확하게 파악할 수 있으며, 검출된 불량의 종류를 식별하여 분류 및 평가하며, 인공지능 기반으로 산출된 RBI 위험도를 데이터베이스에 저장함으로써, 검사를 통해 얻은 데이터를 활용해 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 유틸리티 조건, 자재 조건 등 기타 여러 조건에 따른 리스크 예측 및 알림을 제공할 수 있다.In addition, according to the present invention, it is possible to more accurately determine whether there is a defect in the weldment, identify, classify and evaluate the type of detected defect, and store the RBI risk calculated based on artificial intelligence in the database, thereby obtaining data obtained through inspection. It can provide risk prediction and notification according to various other conditions such as environment such as pipe shape or material, worker conditions such as welding environment, utility conditions, and material conditions.
또한, 일반적으로 기존 용접 품질 검사 방식 대비 본 발명에 따른 용접 부위 검시 시스템은 전체 포인트(point) 약 3만개를 검사하는 기간을 약 1/10 이하로 단축시킬 수 있다.In addition, compared to conventional welding quality inspection methods, the system for inspecting welded parts according to the present invention can reduce the period of inspecting about 30,000 total points to about 1/10 or less.
또한, 본 발명에 따르면 휴대기기(모바일, 임베디드 장비), 자동화 기기(로봇, 드론) 등 여러가지 방법으로 포인트 클라우드 데이터(Point Cloud Data), 이미지 데이터, 열화상 데이터, 초음파 데이터, X-선과 같은 다양한 데이터들을 취득하고 이를 인공지능 알고리즘으로 적/부를 판정하여 빠른 기간 내에 감리, 위험도 평가, 현장 안전관리, 사고/안전 위험도 예측, 현장 위험도 산정 등의 결과물을 얻을 수 있다.In addition, according to the present invention, various methods such as point cloud data, image data, thermal image data, ultrasound data, X-rays, etc. Data can be acquired and judged appropriate/failed by artificial intelligence algorithms to obtain results such as supervision, risk assessment, site safety management, accident/safety risk prediction, and site risk calculation within a short period of time.
뿐만 아니라, 본 발명에 따르면 각종 데이터의 효율적/신속한 처리와 그로 인한 결과로 실시간으로 현장에서의 리스크 알림과 위험도 확인이 가능하고, 이로 인해 안전 관리에 대한 효율성이 증가하고 사고 발생률을 현저하게 낮출 수 있으며, 인공지능을 활용한 동일성 검증 보이콧으로 현장 작업 및 감리에 신뢰성을 향상시킬 수 있다.In addition, according to the present invention, as a result of efficient/quick processing of various data, it is possible to notify risks and check risks in the field in real time, thereby increasing the efficiency of safety management and significantly reducing the accident rate. In addition, it is possible to improve the reliability of field work and supervision through the boycott of identity verification using artificial intelligence.
도 1은 본 발명의 일실시예에 따른 용접 검사 방법을 전체적으로 설명하기 위한 흐름도이다.
도 2 내지 도 4는 본 발명의 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기 위한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 용접 검사 전체 시스템을 개략적으로 설명하기 위한 도면이다.
도 6 내지 도 13은 본 발명에 따른 용접 검사 방법에 의해 검출되는 용접부의 불량의 종류를 도시한 도면이다.1 is a flowchart for explaining a welding inspection method as a whole according to an embodiment of the present invention.
2 to 4 are flowcharts for explaining a welding inspection method according to an embodiment of the present invention in more detail.
5 is a diagram for schematically explaining the entire welding inspection system according to an embodiment of the present invention.
6 to 13 are diagrams showing types of defects in welds detected by the welding inspection method according to the present invention.
이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, with reference to the accompanying drawings, a preferred embodiment of the present invention will be described in detail. However, in describing the embodiments, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for description, and does not mean a size that is actually applied.
도 1은 본 발명의 일실시예에 따른 용접 검사 방법을 전체적으로 설명하기 위한 흐름도이고, 도 2 내지 도 4는 본 발명의 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기 위한 흐름도이다.1 is a flow chart for explaining a welding inspection method according to an embodiment of the present invention as a whole, and FIGS. 2 to 4 are flowcharts for explaining a welding inspection method according to an embodiment of the present invention in more detail.
이후부터는 도 1을 참조하여 일실시예에 따른 용접 검사 방법을 설명하기로 한다.Hereinafter, a welding inspection method according to an embodiment will be described with reference to FIG. 1 .
본 발명에 따른 용접 검사 방법은 용접 부위를 검사하는 장치를 이용한 용접 검사 방법에 관한 것으로, 용접부 인식 단계; 데이터 처리 단계; 및 위험도 산출 단계를 포함하며, 보다 구체적으로 라이다 센서(Lidar Sensor), 카메라 및 제어 검사 모듈을 포함하여 구성되는 용접 부위 검사 장치를 이용하여 용접 부위를 검사할 수 있다. 이때, 제어 검사 모듈 또는 용접 부위 검사 장치는 스마트 단말, 컴퓨터 단말 또는 별도의 전용 단말 등의 장치로 구성될 수 있다.A welding inspection method according to the present invention relates to a welding inspection method using a device for inspecting a welding part, comprising: a welding part recognition step; data processing; And a risk calculation step, and more specifically, the welding area may be inspected using a welding area inspection device configured to include a lidar sensor, a camera, and a control inspection module. At this time, the control inspection module or the weld inspection device may be configured as a device such as a smart terminal, a computer terminal, or a separate dedicated terminal.
먼저, 도 1에서와 같이 용접부 인식 단계에서는 카메라에서 촬영을 통해 이미지 데이터를 생성하며, 한편 라이다 센서(Lidar Sensor)에서 3D 스캐너 이미지 데이터를 획득하고, 포인트 클라우드 데이터를 생성하며, 라이다 센서(Lidar Sensor)에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영된 이미지 데이터를 이용해 용접부의 용접 비드를 인식한다. 이때 동일성 검증 단계를 통하여 용접 비드 데이터로 인식하거나 또는 기존과 동일한 데이터로 인식할 수 있다.First, as shown in FIG. 1, in the welding part recognition step, image data is generated through shooting by a camera, while 3D scanner image data is acquired from a Lidar Sensor, point cloud data is generated, and a lidar sensor ( The welding bead of the welding part is recognized using the 3D image data obtained from the lidar sensor or the image data taken from the camera. At this time, through the identity verification step, it may be recognized as weld bead data or as the same data as before.
이와 같은 용접부의 인식 이후에는, 상기 용접부에 대하여 상기 라이다 센서에서 획득한 3D 이미지 데이터 또는 상기 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 외관을 정밀 검사할 수 있다.After the recognition of the welded portion, the exterior of the welded portion may be precisely inspected through a machine learning algorithm for 3D image data obtained from the lidar sensor or image data taken from the camera for the welded portion.
외관 검사를 통하여 검출된 용접부의 결함부위의 위치의 데이터는 결함 종류를 식별하여 분류되며, 인공지능 평가를 통해 외관검사 분석 결과 데이터가 데이터베이스에 저장될 수 있으며, 이후 리스크 예측과 알림에 활용될 수 있다. Data on the location of defects in welds detected through visual inspection are classified by identifying defect types, and through artificial intelligence evaluation, visual inspection analysis result data can be stored in a database, which can then be used for risk prediction and notification. there is.
이때, 상기 용접부의 외부의 결함 종류 및 위치 데이터가 저장될 수 있으며(아울러 내부 검사까지 이루어진 경우에는 내부의 결함 종류 및 위치 데이터도 포함), 이와 같이 검사를 통해 얻은 결과 불량 정보를 파악하기 위해 데이터를 조회하는데, 기준정보를 조회하여 용접 시방서, 태그(tag) 정보, 용접 작업자 정보, 유틸리티 및 자재 기준정보 등을 조회한 후에 인공지능 기반으로 RBI(Risk Based Inspection) 위험도를 평가하여, 산출된 위험도 분석 데이터를 저장하고 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 기타 여러 조건에 따른 리스크 예측에 활용할 수 있다.At this time, external defect types and location data of the welded part may be stored (in addition, if an internal inspection is performed, internal defect types and location data are also included), and data to identify defect information as a result of the inspection. After searching for reference information, welding specifications, tag information, welding worker information, utility and material reference information, etc. are searched, RBI (Risk Based Inspection) risk is evaluated based on artificial intelligence to calculate the risk The analysis data can be saved and used for risk prediction according to the environment such as the shape or material of the pipe, worker conditions such as the environment during welding work, and various other conditions.
이후부터는 도 2 내지 도 4를 참조하여 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기로 한다.Hereafter, a welding inspection method according to an embodiment will be described in detail with reference to FIGS. 2 to 4 .
도 2를 참조하면, 용접부 인식 과정으로서, 검사 장비에서는 카메라에서 촬영된 이미지 데이터를 생성하고, 추가적으로 R-CNN(Regions with Convolutional Neural Network), Faster R-CNN, Mask R-CNN 등을 적용하여 용접부를 인식할 수도 있으며, 라이다 센서에서는 획득한 3D 스캐너 이미지 데이터에 대하여 분류 알고리즘을 통해 3D 좌표를 분류하여 포인트 클라우드 데이터를 생성할 수 있으며, 용접부의 비드를 인식한 후 AI 기반 동일성 검증 단계를 통하여 용접 비드 데이터로 인식하거나 또는 기존과 동일한 데이터로 인식할 수 있다.Referring to FIG. 2, as a weld recognition process, the inspection equipment generates image data taken by a camera, and additionally applies R-CNN (Regions with Convolutional Neural Network), Faster R-CNN, Mask R-CNN, etc. , and in the lidar sensor, it is possible to generate point cloud data by classifying 3D coordinates through a classification algorithm for the acquired 3D scanner image data, and after recognizing the bead of the weld, It can be recognized as welding bead data or recognized as the same data as before.
외관 검사 과정으로서 용접부에 대하여 카메라에서 촬영된 이미지에 CNN 머신러닝 알고리즘을 적용하여 용접부의 외관을 검사하고, 용접부에서 라이다 센서에서 획득한 3D 이미지에 대해 머신러닝 알고리즘을 통해 용접부의 외관을 정밀 검사할 수도 있다.As a visual inspection process, the exterior of the weld is inspected by applying CNN machine learning algorithm to the image taken by the camera for the weld, and the appearance of the weld is precisely inspected through the machine learning algorithm for the 3D image obtained from the lidar sensor at the weld. You may.
또한, 이와 같은 외관 검사 과정의 이후에는, 내부 검사 과정이 이루어질 수 있는데 즉, 용접부를 초음파 검사하거나, 열화상 탐상하거나 또는 방사선 검사를 통해 용접부의 내부까지도 검사할 수 있다.In addition, after such an external inspection process, an internal inspection process may be performed, that is, the inside of the welded portion may be inspected through ultrasonic inspection, thermal imaging, or radiographic inspection of the welded portion.
보다 상세하게 설명하면, 용접부를 초음파 검사를 통해 생성되는 파형 이미지에 R-CNN을 적용하고, 상기 용접부를 초음파 검사를 통해 생성되는 파형 데이터에 분류 알고리즘을 적용하여 용접부의 내부를 검사할 수 있다.More specifically, the inside of the weld can be inspected by applying R-CNN to a waveform image generated through ultrasonic inspection of the weld and applying a classification algorithm to waveform data generated through ultrasonic inspection of the weld.
또한, 상기 용접부의 열화상 탐상을 통해 생성되는 온도 이미지에 R-CNN을 적용하고, 용접부의 열화상 탐상을 통해 생성되는 온도 데이터에 분류 알고리즘을 적용하여 용접부의 내부를 검사할 수도 있다.In addition, the inside of the weld may be inspected by applying R-CNN to the temperature image generated through the thermal imaging of the weld and applying a classification algorithm to the temperature data generated through the thermal imaging of the weld.
또한, 상기 용접부를 방사선 검사하여 생성되는 데이터에 R-CNN 또는 마스크 R-CNN를 적용하여 용접부의 내부를 검사할 수도 있다.In addition, the inside of the weld may be inspected by applying R-CNN or mask R-CNN to data generated by performing a radiological examination of the weld.
이후에는, 이러한 라이다 센서에서 획득한 3D 이미지 데이터와 카메라에서 촬영한 이미지 데이터에 따른 결함부위의 위치를 대조하여 정확한 위치를 파악할 수 있다.After that, it is possible to determine the exact position by comparing the position of the defective part according to the 3D image data obtained from the LiDAR sensor and the image data taken from the camera.
이와 같은 용접부의 결함부위의 위치 데이터는 데이터베이스에 저장될 수 있으며, 이때 용접부의 결함 종류 및 위치 데이터가 함께 저장될 수 있다.The location data of the defective portion of the weld may be stored in a database, and at this time, the defect type and location data of the weld may be stored together.
또한, 외관 검사 과정에서 카메라에서 촬영된 용접부 이미지에 대하여 딥러닝 알고리즘을 통해 용접부의 외관을 정밀 검사할 수 있는데 라이다 센서에서 3D 정밀 스캔을 실시하여 3D 이미지 데이터를 획득하고 획득한 3D 이미지 데이터에 파이썬(Python)의 OpenGL을 이용하여 알고리즘 커널 파싱을 통해 전처리할 수 있으며, 이후에는 머신러닝 알고리즘을 통해 용접부를 식별하고, 용접부의 3D 이미지 데이터를 필터링 한 후에 머신러닝 알고리즘을 통해 용접부를 검사하여 적합 또는 부적합 등을 판정할 수 있다In addition, the appearance of the welded part can be precisely inspected through a deep learning algorithm for the welded part image taken by the camera during the appearance inspection process. It can be pre-processed through algorithmic kernel parsing using OpenGL of Python, and then identifies welds through a machine learning algorithm, filters the 3D image data of the welds, and inspects the welds through a machine learning algorithm. or non-conformity, etc.
도 2 내지 도 4는 본 발명의 일실시예에 따른 용접 검사 방법을 보다 상세하게 설명하기 위한 흐름도이다.2 to 4 are flowcharts for explaining a welding inspection method according to an embodiment of the present invention in more detail.
도 2를 참조하면, 본 발명의 다른 일실시예에 따른 용접부의 인식 시에는 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 포인트 클라우드 데이터(Point Cloud Data)를 생성하고, 포인트넷(PointNet) 딥러닝을 통해 용접부를 인식할 수 있다. Referring to FIG. 2, when recognizing a weld according to another embodiment of the present invention, point cloud data is generated for 3D image data obtained from a lidar sensor, and PointNet deep learning Welds can be recognized through
이때, 전체 포인트 클라우드 데이터(Point Cloud Data)에서 인식하고자 하는 목표물인 용접 비드의 정확한 모양과 좌표 등을 확인하여 용접 비드 포인트 클라우드 데이터(Point Cloud Data)를 특정할 수 있다.At this time, the welding bead point cloud data can be specified by checking the exact shape and coordinates of the welding bead, which is a target to be recognized, from the entire point cloud data.
또한, 카메라에서 촬영된 이미지 데이터에 마스크 R-CNN(Mask Convolutional Neural Network) 딥러닝을 통해 용접부를 인식할 수 있으며 이때, 이미지 분할(Image Segmentation)을 통해 인식하고자 하는 목표물의 정확한 모양, 사이즈, 이미지상의 좌표 등을 확인하여 용접 비드의 이미지 데이터(pixel)를 특정할 수 있다.In addition, it is possible to recognize welds through mask convolutional neural network (R-CNN) deep learning on the image data captured by the camera. At this time, the exact shape, size, and image of the target to be recognized through image segmentation The image data (pixel) of the welding bead can be specified by checking the coordinates of the image.
이후에는, 포인트 클라우드 데이터에 이미지 데이터를 융합시키고, 용접 비드 부분을 특정할 수 있으며, 용접 비드 부분의 포인트 클라우드 데이터(Point Cloud Data)와 상기 용접 비드 부분의 이미지 데이터를 생성하여 저장할 수 있다.Thereafter, image data may be fused with point cloud data, a weld bead portion may be specified, and point cloud data of the weld bead portion and image data of the weld bead portion may be generated and stored.
이와 같은 용접부의 인식 이후에는, 라이다 센서에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 용접부의 외관을 정밀 검사할 수 있다.After the recognition of the welded portion, the appearance of the welded portion may be closely inspected through a machine learning algorithm for 3D image data obtained from a LiDAR sensor or image data taken from a camera.
본 발명의 다른 일실시예에 따른 외관 검사 시에는, 용접 비드 부분에 대하여 생성된 상기 이미지 데이터와 상기 포인트 클라우드 데이터(Point Cloud Data)를 이용해 불량을 검출하며, 이때 상기 포인트 클라우드 데이터를 이용해 포인트 클라우드(Point Cloud) 이미지화 데이터를 생성하여 불량 검출에 사용할 수 있다.During the external appearance inspection according to another embodiment of the present invention, a defect is detected using the image data and the point cloud data generated for the weld bead portion, and at this time, the point cloud data is used to detect the point cloud. (Point Cloud) Imaging data can be created and used for defect detection.
도 6 내지 도 13은 본 발명에 따른 용접 검사 방법에 의해 검출되는 용접부의 불량의 종류를 도시한 도면이다.6 to 13 are diagrams showing types of defects in welds detected by the welding inspection method according to the present invention.
기준에 따라, 도 6 내지 도 13에 도시된 용접부(용접 비드)의 불량을 검출하고, 상기 검출된 불량의 종류별 위험도를 산정할 수 있다. 도 6은 크랙(crack), 도 7은 언더 컷(under cut), 도 8은 오버랩(overlap), 도 9는 스패터(spatter), 도 10은 기공(porosity), 도 11은 슬래그 혼입(slag inclusion), 도 12는 용입 불량(incomplete fusion), 도 13은 피트(pit)를 도시하고 있다.According to the criteria, defects in the welding portion (weld bead) shown in FIGS. 6 to 13 may be detected, and the risk level for each type of the detected defect may be calculated. FIG. 6 is crack, FIG. 7 is under cut, FIG. 8 is overlap, FIG. 9 is spatter, FIG. 10 is porosity, and FIG. 11 is slag. inclusion), FIG. 12 shows incomplete fusion, and FIG. 13 shows a pit.
이와 같이 검출된 용접부(용접 비드)의 결함 데이터와, 산정된 위험도를 데이터베이스에 저장할 수 있다. 이때 예를 들면 상, 중, 하와 같은 방식으로 산정할 수 있는데, 상 위험도는 즉각 조치 또는 내부검사 시행 후 조치가 필요한 경우이고, 중 위험도는 내부검사를 시행해야 하는 경우이며, 하 위험도는 상태가 양호한 경우 등일 수 있다.Defect data of the weld (weld bead) detected in this way and the calculated risk may be stored in the database. At this time, for example, it can be calculated in the same way as high, medium, and low. The high risk is when immediate action or action is required after internal inspection, the medium risk is when internal inspection is required, and the low risk is when the condition is may be good, and the like.
그러므로 본 발명에 따른 용접 검사 방법은 클라우드 플랫폼을 통해 위험도 관리, 결함 관리, 위험도 알람, 조치사항 확인 및 데이터 관리가 가능하며, 기준에 따라 용접부의 불량을 검출하여 결함 데이터를 저장하고, 리스크 예측 및 알림을 제공할 수 있다.Therefore, the welding inspection method according to the present invention enables risk management, defect management, risk alarm, action check, and data management through a cloud platform, detects defects in welds according to standards, stores defect data, predicts risks, and Notifications can be provided.
또한, 본 발명에 따르면 인공신경망과 클라우드 플랫폼을 이용하여 용접부 인식 성능을 향상시키고, 영상 이미지에 대한 딥러닝 알고리즘 적용과 3D 이미지 데이터의 머신러닝 알고리즘 적용을 통해 용접부의 외관에 대한 보다 정확한 검사가 가능하다. In addition, according to the present invention, welding part recognition performance is improved using an artificial neural network and a cloud platform, and a more accurate inspection of the appearance of the welding part is possible by applying a deep learning algorithm to video images and a machine learning algorithm to 3D image data. Do.
또한, 용접부에 대한 초음파 검사, 열화상 탐상, 방사성 검사를 통해 용접부 내부의 결함 위치를 보다 정확하게 파악할 수 있으며, 검출된 불량의 종류별 위험도(예: 상/중/하 또는 위험도 10%, 80% 등)를 산정하여, 산정된 위험도를 데이터베이스에 저장함으로써, 검사를 통해 얻은 데이터를 활용해 배관 모양이나 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 기타 여러 조건에 따른 리스크 예측 및 알림을 제공할 수 있다.In addition, the location of defects inside the weld can be more accurately identified through ultrasonic inspection, thermal imaging, and radioactive inspection of the weld, and the risk level for each type of defect detected (e.g., high/medium/low or risk 10%, 80%, etc.) ) is calculated, and the calculated risk is stored in the database, and by using the data obtained through inspection, risk prediction and notification are provided according to the environment such as pipe shape or material, worker conditions such as welding environment, and various other conditions. can do.
즉, 위와 같이 외관 검사를 통해 얻은 결과, 용접부의 불량 정보를 파악하기 위해 데이터를 조회하고, 기준 관리 정보에서 용접 시방서, 태그(tag) 정보, 용접 작업자 정보, 유틸리티 및 자재 기준정보 등을 조회한 후에 인공지능 기반으로 RBI(Risk Based Inspection) 위험도를 평가하여, 산출된 위험도 분석 데이터를 저장하고 재질 등의 환경, 용접 작업 시 환경 등의 작업자 조건, 유틸리티 등 여러 조건에 따른 리스크 알림에 활용됨으로써, 평가자가 다음 점검 대상에 대해 빠르게 피드백 받을 수 있다.That is, as a result obtained through the appearance inspection as above, the data is searched to identify the defect information of the welded part, and the welding specifications, tag information, welding worker information, utility and material standard information are retrieved from the standard management information. Later, by evaluating RBI (Risk Based Inspection) risk based on artificial intelligence, saving the calculated risk analysis data and using it for risk notification according to various conditions such as environment such as material, worker condition such as welding environment, utility, etc. Evaluators can quickly receive feedback on the next inspection target.
도 5는 본 발명의 일실시예에 따른 용접 검사 시스템을 설명하기 위한 도면으로서, 본 발명의 일실시예에 따른 용접 검사 시스템은 클라우드 플랫폼으로 구성될 수 있다.5 is a diagram for explaining a welding inspection system according to an embodiment of the present invention, and the welding inspection system according to an embodiment of the present invention may be configured as a cloud platform.
먼저, 도 5를 참조하면 현장 작업자(501)는 용접 관리 시스템(510)의 관리 시스템(511)을 통해 현장 작업 정보를 현장/안전 관리 DB(520)에 저장한다.First, referring to FIG. 5 , the
감리요원(502)은 관리 시스템(511)을 통해 현장 작업 정보를 현장/안전 관리 DB(520)로부터 확인할 수 있으며, 감리요원(502)은 현장 작업 정보를 통해 데이터 수집을 실시한다. 이때, 설치 전(외부 Shop)은 공장 외부에서 용접 작업을 실시한 후 설치하기 전에 용접부 검사를 실시해야 하는 시점을 말하고, 설치 전(내부 Shop)은 공장 내부에서 용접 작업을 실시한 후 설치하기 전에 용접부 검사를 실시해야 하는 시점을 말하고, 설치 후는 공장 외부 또는 내부에서 실시한 용접 작업물 설치 후 용접부 검사를 실해해야 하는 시점을 말한다.The
이후, 감리요원(502)은 휴대장비(520)를 이용하여 용접부의 외관 검사로서 카메라와 3D 스캔을 통한 검사를 실시한다. 이때 불량 시 또는 위험도 평가에 따라 내부검사를 실시하며, 이와 같이 검사를 실시하여 얻은 데이터를 현장 위험도 데이터 DB(530)에 저장한다.Thereafter, the
현장 안전관리 인공지능(541)은 현장 검사 데이터 DB(550)와 현장 위험도 데이터 DB(530)로부터 데이터를 가져와 학습하며 현장 안정 정보를 생성하여 현장/안전 관리 DB(520)에 저장한다.The field safety management artificial intelligence (541) learns data from the field inspection data DB (550) and the field risk data DB (530), generates field safety information, and stores it in the field/safety management DB (520).
인공지능 서버(540)의 감리 인공지능(542)는 감리 기준관리 감리 결과 DB(560)로부터 감리 기준 관리 정보를 가져오고 현장 검사 데이터 DB(550)와, 현장 위험도 데이터 DB(530)로부터 데이터를 가져와 학습하며 감리 결과 정보를 생성하여 감리 기준관리 감리 결과 DB(560)에 저장한다.The supervision artificial intelligence (542) of the artificial intelligence server (540) brings supervision criteria management information from the supervision criteria management supervision result DB (560) and collects data from the field inspection data DB (550) and the field risk data DB (530). It is imported and learned, and supervision result information is generated and stored in the supervision standard management supervision result DB (560).
위험도평가 인공지능(543)는 위험도 평가 기준관리 위험도 평가 DB(570)로부터 위험도 평가 기준 관리 정보를 가져오고 현장 검사 데이터 DB(550)와 현장 위험도 데이터 DB(530)로부터 데이터를 가져와 학습하며 위험도 평가 정보를 생성하여 위험도 평가 기준관리 위험도 평가 DB(570)에 저장한다.The risk evaluation artificial intelligence (543) brings risk evaluation criteria management information from the risk evaluation criteria management risk evaluation DB (570), and imports and learns data from the field inspection data DB (550) and the field risk data DB (530) for risk evaluation. Information is generated and stored in the risk assessment standard management
발주처(580)의 고객 안전 점검자(581)는 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 현장 위험도 데이터, 현장 검사 데이터, 현장 관리 정보, 현장 작업 정보, 현장 안전 정보, 감리 결과 정보, 위험도 평가 정보, 동일성 검증 정보, 사고/안전 위험도 예측 정보 등을 확인할 수 있다. 또한 위험도 평가 기준 관리를 할 수 있다.The
또한, 시공사(500)의 안전 관리자(503)와 현장 작업자(501)는 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 현장 위험도 데이터, 현장 검사 데이터, 현장 관리 정보, 현장 작업 정보, 현장 안전 정보, 감리 결과 정보, 위험도 평가 정보, 사고/안전 위험도 예측 정보 등을 확인할 수 있다. 또한 현장 관리 정보와 작업 정보를 입력할 수 있다.In addition, the
감리요원(502)은 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 현장 위험도 데이터, 현장 검사 데이터, 현장 관리 정보, 현장 작업 정보, 현장 안전 정보, 감리 결과 정보, 위험도 평가 정보, 사고/안전 위험도 예측 정보 등을 확인할 수 있다. 또한 감리 기준 관리를 할 수 있다.The
이후, 동일성 검증 보이콧 인공지능은 현장 검사 데이터 DB(550) 로부터 데이터를 가져와 신규 데이터와 기존 데이터를 비교하여 동일성을 검증한다. 동일성을 검증하며 데이터 복제, 수정, 날조 등의 결과가 의심되면 해당 데이터를 동일성 검증 DB(590)에 격리한다.Then, the identity verification boycott artificial intelligence brings data from the field
발주처(580)의 고객 안전 점검자(581)는 용접 검사 시스템(510)의 감리 시스템(512), 관리 시스템(511), 위험도 평가 시스템(512)으로 동일성 검증 DB(590)의 정보를 받아 데이터의 복제, 수정, 날조 등의 결과를 확인할 수 있다.The
사고/안전 위험도 예측 인공지능(545)는 현장 검사 데이터 DB(550), 현장 위험도 데이터 DB(530), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)로부터 데이터를 받아 사고, 안전, 위험도를 분석 및 예측하여 사고/안전 위험도 예측 DB(595)에 저장한다.The accident/safety risk prediction artificial intelligence (545) collects data from the field inspection data DB (550), the field risk data DB (530), the risk assessment standard management risk assessment DB (570), and the supervision standard management supervision result DB (560). Accident, safety, and risk levels are analyzed and predicted and stored in the accident/safety risk level prediction DB (595).
이후부터는 도 5를 참조하여, 본 발명의 일실시예에 따른 내/외부 shop장 반입전 용접 품질 검사를 방법을 설명한다.Hereinafter, referring to FIG. 5, a method for inspecting welding quality before bringing in an inside/outside shop according to an embodiment of the present invention will be described.
시공사(500)의 안전 관리자(503)와 현장 작업자(501)는 현장(내/외부shop장)에서 현장관리 정보(용접 품질 검수 요청)를 용접검사 시스템(510)에 입력한다. 이때, 현장관리 정보(용접 품질 검수 요청)에는 검수 대상 데이터를 첨부한다.The
용접 검사 시스템(510)에 접수된 현장관리 정보(용접 품질 검수 요청)는 발주처(580)의 고객 안전 점검자(581)와 신규 FAB(공장)의 현장 감리요원(502)과, 기존 FAB(공장)의 현장 담당자에게 통보된다.The on-site management information (welding quality inspection request) received by the welding inspection system 510 is obtained from the
현장/안전 관리 DB(520)에는 현장관리 정보(용접 품질 검수)가 자동으로 저장된다.Site management information (welding quality inspection) is automatically stored in the site/
인공지능(540)는 현장/안전 관리 DB(520)의 데이터 분석(학습)을 통해 얻은 결과 데이터를 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 발주처(580)와 감리사, 시공사(500)에 통보하여 현장에 반영한다.The artificial intelligence (540) transfers the resultant data obtained through data analysis (learning) of the site/safety management DB (520) to the field risk data DB (530), the identity verification DB (590), and the risk assessment standard management risk assessment DB (570). ), supervised standard management, and automatically stored in the supervised result DB (560), and the results are notified to the ordering party (580), the supervisor, and the construction company (500) through the welding inspection system (510) and reflected on the site. .
이후부터는 도 5를 참조하여, 본 발명의 일실시예에 따른 반입/시공후 용접 품질 검사 방법을 설명한다.Hereinafter, with reference to FIG. 5, a welding quality inspection method after carrying in/construction according to an embodiment of the present invention will be described.
시공사(500)의 안전 관리자(503)와 현장 작업자(501)는 현장에서 현장관리 정보(용접 품질 검수 요청)를 용접검사 시스템(510)에 입력한다.The
용접 검사 시스템(510)에 접수된 현장관리 정보(용접 품질 검수 요청)는 발주처(580)의 고객 안전 점검자(581)와 신규 FAB(공장)의 현장 감리요원(502)과, 기존 FAB(공장)의 현장 담당자에게 통보된다.The on-site management information (welding quality inspection request) received by the welding inspection system 510 is obtained from the
현장 감리요원(502)은 용접부의 외관검사를 진행하며, 휴대장비(520)(카메라, 3D 스캐너)를 통해 용접 품질 검사한 데이터는 현장 검사 데이터 DB(550)에 자동 저장되고, 인공지능(540)는 외관 검사 데이터 분석(학습)을 통해 얻은 결과 데이터를, 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 발주처(580)와 감리사, 시공사(500)에 통보하여 현장에 반영한다.The
또한, 외관검사시 문제가 있는 데이터가 있는 경우, 내부검사를 진행하고 내부검사 결과 데이터는 현장 검사 데이터 DB(550)에 자동 저장되고, 인공지능(540)는 외관 검사 데이터 분석(학습)을 통해 얻은 결과 데이터를, 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 발주처(580)와 감리사, 시공사(500)에 통보하여 현장에 반영한다In addition, if there is problematic data during the exterior inspection, an internal inspection is performed, and the internal inspection result data is automatically stored in the field
이후부터는 도 5를 참조하여, 본 발명의 일실시예에 따른 유지 관리 방법을 설명한다.Hereinafter, referring to FIG. 5, a maintenance management method according to an embodiment of the present invention will be described.
기존 FAB(공장)의 용접품질검사는 일괄 검사와 정기검사(TIMET스탬프 데이터)로 진행하고 FAB(공장)의 용접포인트의 데이터 수집(형상정보)을 하여 외관검사를 진행하고, 그 데이터는 감리 기준관리 감리 결과 DB(560)와 현장 검사 데이터 DB(550)에 자동 저장된다.The welding quality inspection of the existing FAB (factory) is carried out as a batch inspection and regular inspection (TIMET stamp data), and the appearance inspection is conducted by collecting data (shape information) of the welding point of the FAB (factory), and the data is based on supervision It is automatically stored in the management and
인공지능(540)는 외관 검사 데이터 분석(학습)을 통해 얻은 결과 데이터를 현장 위험도 데이터 DB(530), 동일성 검증 DB(590), 위험도 평가 기준관리 위험도 평가 DB(570), 감리 기준관리 감리 결과 DB(560)에 자동 저장하고, 그 결과값을 용접 검사 시스템(510)을 통해 검사 결과값을 확인하여 공장 유지보수 기준에 적용하여 관리한다.Artificial intelligence (540) transfers the result data obtained through visual inspection data analysis (learning) to field risk data DB (530), identity verification DB (590), risk assessment standard management risk assessment DB (570), supervision standard management supervision result It is automatically stored in the
아울러, 본 발명에 따른 검사 및 위험도 산정 인공지능(546), 현장 안전관리 인공지능(541), 사고/안전 위험도 예측 인공지능(545), 감리 인공지능(542), 위험도 평가 인공지능(543)은 모두 시방서 기준과 현장 검사 데이터에 기반하여 작동한다.In addition, inspection and risk calculation AI (546), on-site safety management AI (541), accident/safety risk prediction AI (545), supervising AI (542), risk assessment AI (543) according to the present invention All work based on specification standards and on-site inspection data.
이상, 본 발명에 따르면 기존 용접 품질 검사 방식의 하루 약 100 포인트(point) 정도의 검사 능력 대비 본 발명에 따른 용접 부위 검시 시스템을 이용하면 동일 시간에 검사할 수 있는 용접부위 포인트가 10배 이상 늘어날 수 있다.As described above, according to the present invention, compared to the inspection capability of about 100 points per day of the existing welding quality inspection method, the weld inspection system according to the present invention increases the number of welding points that can be inspected at the same time by more than 10 times. can
또한, 본 발명에 따르면 휴대기기(모바일, 임베디드 장비), 자동화 기기(로봇, 드론) 등 여러가지 방법으로 포인트 클라우드 데이터(Point Cloud 데이터), 이미지 데이터, 열화상 데이터, 초음파 데이터, X-선과 같은 다양한 데이터들을 취득하고 이를 인공지능 알고리즘으로 적/부 판정하여 빠른 기간 내에 감리, 위험도 평가, 현장 안전관리, 사고/안전 위험도 예측, 현장 위험도 산정 등의 결과물을 얻을 수 있다.In addition, according to the present invention, various methods such as point cloud data (Point Cloud data), image data, thermal image data, ultrasound data, X-rays, etc. Acquisition of data and adjudication with artificial intelligence algorithms allows results such as supervision, risk assessment, site safety management, accident/safety risk prediction, and site risk calculation to be obtained within a short period of time.
뿐만 아니라, 본 발명에 따르면 각종 데이터의 효율적/신속한 처리와 그로 인한 결과로 실시간으로 현장에서의 리스크 알림과 위험도 확인이 가능하고, 이로 인해 안전 관리에 대한 효율성이 증가하고 사고 발생률을 현저하게 낮출 수 있으며, 인공지능을 활용한 동일성 검증 보이콧으로 현장 작업 및 감리에 신뢰성을 향상시킬 수 있다.In addition, according to the present invention, as a result of efficient/quick processing of various data, it is possible to notify risks and check risks in the field in real time, thereby increasing the efficiency of safety management and significantly reducing the accident rate. In addition, it is possible to improve the reliability of field work and supervision by boycotting the identity verification using artificial intelligence.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention as described above, specific embodiments have been described. However, various modifications are possible without departing from the scope of the present invention. The technical spirit of the present invention should not be limited to the above-described embodiments of the present invention and should not be defined, and should be defined by not only the claims but also those equivalent to these claims.
Claims (8)
카메라 및 라이다 센서를 이용하여 용접 비드를 인식하는 용접부 인식 단계;
상기 인식된 용접 비드에 대하여 이미지 인식 및 좌표 인식을 통해 용접부의 결함 종류를 식별하고 인공지능으로 평가 분석하는 데이터 처리 단계; 및
기준 관리 정보를 조회하여 인공지능 기반의 RBI(Risk Based Inspection) 위험도를 산출하는 위험도 산출 단계를 포함하며,
상기 용접부 인식 단계는, 라이다 센서에서 획득한 3D 이미지 데이터 또는 카메라에서 촬영된 이미지 데이터를 이용해 용접부를 인식하고 상기 라이다 센서에서 획득한 3D 이미지 데이터 또는 상기 카메라에서 촬영한 이미지 데이터에 대하여 머신러닝 알고리즘을 통해 상기 용접부의 동일성 여부를 검증하는 단계를 더 포함하는 것을 특징으로 하는 용접 검사 방법.
In the welding inspection method for evaluating the risk using artificial intelligence,
A welding part recognition step of recognizing a welding bead using a camera and lidar sensor;
A data processing step of identifying the defect type of the welding part through image recognition and coordinate recognition for the recognized weld bead and evaluating and analyzing it with artificial intelligence; and
Including a risk calculation step of calculating an artificial intelligence-based RBI (Risk Based Inspection) risk by inquiring standard management information,
The welding part recognition step recognizes the welding part using 3D image data obtained from the lidar sensor or image data taken from the camera, and machine learning on the 3D image data obtained from the lidar sensor or image data taken from the camera The welding inspection method further comprising the step of verifying whether the welding portion is identical through an algorithm.
상기 용접부 인식 단계는,
상기 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 분류 알고리즘을 통해 3D 좌표를 분류하여 용접부를 인식하는 단계; 또는
상기 카메라에서 촬영된 이미지 데이터에 R-CNN(Regions with Convolutional Neural Network)를 적용하여 용접부를 인식하는 단계를 포함하는 용접 검사 방법.
The method of claim 1,
The welding part recognition step,
Recognizing a weld by classifying 3D coordinates through a classification algorithm with respect to 3D image data obtained from the lidar sensor; or
A welding inspection method comprising the step of recognizing a weld by applying R-CNN (Regions with Convolutional Neural Network) to image data photographed by the camera.
상기 용접부의 외관을 검사한 이후에, 상기 용접부를 초음파 검사하거나, 열화상 탐상하거나 또는 방사선 검사하여, 상기 용접부의 내부를 검사하는 단계를 더 포함하고,
상기 용접부의 내부를 검사하는 단계는,
상기 용접부의 초음파 검사를 통해 생성되는 파형 이미지에 R-CNN을 적용하고, 상기 용접부의 초음파 검사를 통해 생성되는 파형 데이터에 분류 알고리즘을 적용하는 단계;
상기 용접부의 열화상 탐상을 통해 생성되는 온도 이미지에 R-CNN을 적용하고, 상기 용접부의 열화상 탐상을 통해 생성되는 온도 데이터에 분류 알고리즘을 적용하는 단계; 및
상기 용접부를 방사선 검사하여 생성되는 데이터에 R-CNN 또는 마스크 R-CNN를 적용하는 단계를 포함하는 용접 검사 방법.
The method of claim 2,
After inspecting the exterior of the welded portion, inspecting the inside of the welded portion by ultrasonic inspection, thermal imaging, or radiographic inspection of the welded portion;
Inspecting the inside of the weld,
applying R-CNN to a waveform image generated through ultrasonic inspection of the weld, and applying a classification algorithm to waveform data generated through ultrasonic inspection of the weld;
Applying R-CNN to a temperature image generated through thermal imaging of the weld and applying a classification algorithm to temperature data generated through thermal imaging of the weld; and
A welding inspection method comprising the step of applying R-CNN or mask R-CNN to data generated by radiographically inspecting the weld.
데이터 처리 단계는,
용접 비드 인식을 통하여 검출된 용접부의 결함 종류를 식별하여 분류되고, 인공지능 평가를 통해 분석된 결과 데이터를 데이터베이스에 저장하며,
상기 라이다 센서에서 획득한 3D 이미지 데이터와 상기 카메라에서 촬영한 이미지 데이터에 따른 결함부위의 위치를 대조하여 상기 데이터베이스에 결함 종류 및 위치 데이터를 함께 저장하는 것을 특징으로 하는 용접 검사 방법.
The method of claim 1,
The data processing step is
It identifies and classifies the type of defect in the weldment detected through welding bead recognition, and stores the result data analyzed through artificial intelligence evaluation in a database.
Welding inspection method characterized by comparing the location of the defect according to the 3D image data obtained from the lidar sensor and the image data taken by the camera and storing the defect type and location data together in the database.
상기 용접부에 대하여 상기 카메라에서 촬영된 이미지에 대하여 딥러닝 알고리즘을 통해 상기 용접부의 외관을 검사하는 단계;
라이다 센서에서 획득한 3D 이미지 데이터에 대해 파이썬(Python)의 OpenGL을 이용한 알고리즘 커널 파싱을 통해 전처리하는 단계; 및
머신러닝 알고리즘을 통해 용접부를 식별하고 용접부의 3D 이미지 데이터를 필터링 한 후, 머신러닝 알고리즘을 통해 용접부를 검사하여 적합 또는 부적합을 판정하는 단계를 더 포함하는 용접 검사 방법.
The method of claim 1,
Inspecting the appearance of the welded portion through a deep learning algorithm with respect to the image captured by the camera with respect to the welded portion;
Pre-processing the 3D image data obtained from the lidar sensor through algorithm kernel parsing using Python's OpenGL; and
A welding inspection method further comprising: identifying a weld through a machine learning algorithm, filtering 3D image data of the weld, and then inspecting the weld through a machine learning algorithm to determine whether it is suitable or unsuitable.
상기 용접부 인식 단계는,
상기 라이다 센서에서 획득한 3D 이미지 데이터에 대하여 포인트 클라우드 데이터(Point Cloud 데이터)를 생성하고 포인트넷(PointNet) 딥러닝을 통해 용접부를 인식하거나, 상기 카메라에서 촬영된 이미지 데이터에 마스크 R-CNN(Mask Convolutional Neural Network) 딥러닝을 통해 용접부를 인식하는 단계;
상기 포인트 클라우드 데이터에 상기 이미지 데이터를 융합시키고 용접 비드 부분을 특정하는 단계; 및
상기 용접 비드 부분의 포인트 클라우드 데이터(Point Cloud 데이터)와 상기 용접 비드 부분의 이미지 데이터를 생성하는 단계를 더 포함하는 용접 검사 방법.
The method of claim 1,
The welding part recognition step,
Point cloud data (Point Cloud data) is generated for the 3D image data acquired from the lidar sensor and welds are recognized through PointNet deep learning, or mask R-CNN ( Mask Convolutional Neural Network) Recognizing welds through deep learning;
fusing the image data to the point cloud data and specifying a weld bead portion; and
The welding inspection method further comprising generating point cloud data (Point Cloud data) of the weld bead portion and image data of the weld bead portion.
상기 용접 비드 부분에 대하여 생성된 상기 포인트 클라우드 데이터와 상기 이미지 데이터를 이용해 불량을 검출하는 단계; 및
상기 검출된 불량의 종류별 RBI 위험도를 산정하는 단계를 더 포함하고,
상기 검출된 불량 데이터와 상기 산정된 위험도를 데이터베이스에 함께 저장하는 단계를 포함하는 용접 검사 방법.
The method of claim 6,
detecting a defect using the point cloud data and the image data generated for the weld bead portion; and
Further comprising the step of calculating the RBI risk for each type of the detected defect,
Welding inspection method comprising the step of storing the detected defect data and the calculated risk together in a database.
용접 품질 검수 정보가 포함되는 현장관리 정보를 저장하는 데이터베이스; 및
상기 현장관리 정보를 이용해 데이터 분석 및 학습을 통해 얻은 결과 데이터를 상기 데이터베이스에 저장하고, 상기 용접부 검사 시스템을 통해 상기 결과 데이터를 발주처, 감리사 및 시공사에 제공하도록 하는 인공지능 서버를 포함하며,
상기 데이터베이스는, 용접부의 외관검사를 진행하여 획득한 용접 품질 검사 데이터를 저장하고,
상기 인공지능 서버는, 상기 용접 품질 검사 데이터를 통해 획득한 데이터를 이용해 데이터 분석 및 학습을 통해 얻은 결과 데이터를 상기 데이터베이스에 저장하고, 상기 용접부 검사 시스템을 통해 상기 결과 데이터를 발주처, 감리사 및 시공사에 제공하도록 하는 것을 특징으로 하는 용접 검사 시스템.
Receives site management information including inspection subject data from the construction company’s safety manager and field workers, receives site management information including welding quality inspection requests, Welding inspection system provided to the field manager of the existing FAB (factory);
A database for storing field management information including welding quality inspection information; and
An artificial intelligence server for storing result data obtained through data analysis and learning using the site management information in the database and providing the result data to the ordering party, supervisor, and construction company through the weld inspection system,
The database stores welding quality inspection data obtained by performing a visual inspection of the welded part,
The artificial intelligence server stores result data obtained through data analysis and learning using data acquired through the welding quality inspection data in the database, and transmits the result data to the ordering party, the supervisor, and the construction company through the welding part inspection system. Welding inspection system, characterized in that to provide.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210093091A KR102621156B1 (en) | 2021-07-15 | 2021-07-15 | Welding area inspection system and method thereof for assessing the risk based on artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210093091A KR102621156B1 (en) | 2021-07-15 | 2021-07-15 | Welding area inspection system and method thereof for assessing the risk based on artificial intelligence |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230013206A true KR20230013206A (en) | 2023-01-26 |
| KR102621156B1 KR102621156B1 (en) | 2024-01-05 |
Family
ID=85110478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210093091A KR102621156B1 (en) | 2021-07-15 | 2021-07-15 | Welding area inspection system and method thereof for assessing the risk based on artificial intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102621156B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116908219A (en) * | 2023-07-25 | 2023-10-20 | 南京中旭电子科技有限公司 | Abnormal data detection method and device based on Hall sensor |
| CN117152161A (en) * | 2023-11-01 | 2023-12-01 | 山东迪特智联信息科技有限责任公司 | Shaving board quality detection method and system based on image recognition |
| CN118067727A (en) * | 2024-04-19 | 2024-05-24 | 太仓点石航空动力有限公司 | Rotor welding defect assessment method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190131207A (en) * | 2018-05-16 | 2019-11-26 | 한양대학교 산학협력단 | Robust camera and lidar sensor fusion method and system |
| KR102221617B1 (en) * | 2019-10-01 | 2021-03-03 | 주식회사 에스아이웨어 | Handheld ultrasound scanner for defect detection of weldments |
| KR20210061540A (en) * | 2019-11-20 | 2021-05-28 | 센서기술 주식회사 | Multifunctional device comprising lidar and camera |
| KR20210082912A (en) * | 2019-12-26 | 2021-07-06 | 주식회사 딥인스펙션 | System and method for safety inspection of airport facilities based on imange and xai |
-
2021
- 2021-07-15 KR KR1020210093091A patent/KR102621156B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190131207A (en) * | 2018-05-16 | 2019-11-26 | 한양대학교 산학협력단 | Robust camera and lidar sensor fusion method and system |
| KR102221617B1 (en) * | 2019-10-01 | 2021-03-03 | 주식회사 에스아이웨어 | Handheld ultrasound scanner for defect detection of weldments |
| KR20210061540A (en) * | 2019-11-20 | 2021-05-28 | 센서기술 주식회사 | Multifunctional device comprising lidar and camera |
| KR20210082912A (en) * | 2019-12-26 | 2021-07-06 | 주식회사 딥인스펙션 | System and method for safety inspection of airport facilities based on imange and xai |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116908219A (en) * | 2023-07-25 | 2023-10-20 | 南京中旭电子科技有限公司 | Abnormal data detection method and device based on Hall sensor |
| CN116908219B (en) * | 2023-07-25 | 2024-02-23 | 南京中旭电子科技有限公司 | Abnormal data detection method and device based on Hall sensor |
| CN117152161A (en) * | 2023-11-01 | 2023-12-01 | 山东迪特智联信息科技有限责任公司 | Shaving board quality detection method and system based on image recognition |
| CN117152161B (en) * | 2023-11-01 | 2024-03-01 | 山东迪特智联信息科技有限责任公司 | Shaving board quality detection method and system based on image recognition |
| CN118067727A (en) * | 2024-04-19 | 2024-05-24 | 太仓点石航空动力有限公司 | Rotor welding defect assessment method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102621156B1 (en) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102621156B1 (en) | Welding area inspection system and method thereof for assessing the risk based on artificial intelligence | |
| US10372117B2 (en) | Systems and methods for assuring and improving process quality | |
| KR102239377B1 (en) | System and method for safety inspection on bridge facilities based on image and xai | |
| US20220011240A1 (en) | Detecting machining errors of a laser machining system using deep convolutional neural networks | |
| CN112115927B (en) | Intelligent machine room equipment identification method and system based on deep learning | |
| CN113726606B (en) | Abnormality detection method and apparatus, electronic device, and storage medium | |
| CN102441737A (en) | Apparatus and method for determining shape of end of welding bead | |
| US20220415020A1 (en) | System and method for detection of anomalies in welded structures | |
| Chu et al. | A study on welding quality inspection system for shell-tube heat exchanger based on machine vision | |
| EP4234158A1 (en) | System and method for analyzing weld quality | |
| KR102539835B1 (en) | System for digital twin generation and damage analysis using 3d camera | |
| Kumar et al. | A deep learning based automated structural defect detection system for sewer pipelines | |
| Liu et al. | An approach for auto bridge inspection based on climbing robot | |
| CN117120951A (en) | Abnormal sign detection device of production line method, program, manufacturing apparatus, and inspection apparatus | |
| Naddaf-Sh et al. | Real‐Time Explainable Multiclass Object Detection for Quality Assessment in 2‐Dimensional Radiography Images | |
| JP2020042668A (en) | Inspection apparatus and machine learning method | |
| KR20240064037A (en) | How to identify and characterize surface defects of objects and cracks in brake discs by artificial intelligence through fatigue testing | |
| JPH10148622A (en) | Method and device for automatically judging accept/ reject of welded part radiation transmission test image | |
| CN115990720A (en) | Method and system for monitoring a laser machining process, laser machining method and laser machining system | |
| CN115705645A (en) | Method and apparatus for determining defect size during surface modification process | |
| Wang et al. | Quality inspection scheme for automotive laser braze joints | |
| KR102022494B1 (en) | System for automatic generating of documents using vision image detection and a method thereof | |
| KR20220107540A (en) | Apparatus for artificial intelligence based safety diagnosis through 3d model and method thereof | |
| US20240053287A1 (en) | Probability of detection of lifecycle phases of corrosion under insulation using artificial intelligence and temporal thermography | |
| Melakhsou et al. | Computer Vision based welding defect detection using YOLOv3 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |