KR20210057516A - Symbol Recognition System and Method in Engineering Diagrams using Multi-Channel Data Augmentation - Google Patents

Abstract

The present invention includes: a learning data construction unit which constructs learning data corresponding to symbol data based on image processing techniques in plant engineering diagrams; a multi-channel data expansion unit which expands the constructed symbol data into multi-channel data by applying at least one data expansion method among rotation, inversion, center shift, and scaling; and a neural network model learning unit which learns a neural network model on the expanded multi-channel data based on a convolutional neural network-based model, and thus symbol detection performance can be improved by performing learning by reflecting various characteristics on a single symbol existing in the plant diagrams.

Description

다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템 및 방법{Symbol Recognition System and Method in Engineering Diagrams using Multi-Channel Data Augmentation}Plant drawing symbol recognition system and method using multi-channel data expansion {Symbol Recognition System and Method in Engineering Diagrams using Multi-Channel Data Augmentation}

본 발명은 플랜트 도면 심볼 인식에 관한 것으로, 보다 상세하게는 플랜트 엔지니어링 도면 내의 심볼 데이터의 다양성을 고려하여 데이터 확장법을 적용함으로써 심볼 검출 성능을 높이는 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템 및 방법에 관한 것이다.The present invention relates to plant drawing symbol recognition, and more particularly, a plant drawing symbol recognition system utilizing multi-channel data expansion that increases symbol detection performance by applying a data expansion method in consideration of the diversity of symbol data in a plant engineering drawing, and It's about the method.

다양한 플랜트 엔지니어링 도면들 중, Piping and Instrument Diagram(P&ID) 도면은 해당 플랜트의 장치 및 계장 정보를 집약적으로 담고 있어 EPC(Engineering, Procurement, and Construction) 업계의 핵심 구성 도면에 해당할 수 있다.Among various plant engineering drawings, the Piping and Instrument Diagram (P&ID) drawing intensively contains the device and instrumentation information of the plant, so it may correspond to the core configuration drawing of the EPC (Engineering, Procurement, and Construction) industry.

국내외 엔지니어링 업계에서는 사업 수주를 위한 초기 프로젝트 견적 단계에서 사업주가 제공하는 P&ID를 바탕으로 비교적 짧은 기간 내에 정확도 높게 설계 요소들을 집계 및 전산화해야하며, 이는 플랜트 수주액 측정 및 다양한 설계 엔지니어링 업무의 기반의 되는 중요한 작업이라 할 수 있다.In the domestic and overseas engineering industry, it is necessary to aggregate and computerize design elements with high accuracy within a relatively short period based on the P&ID provided by the business owner in the initial project estimating stage for receiving business orders, which is an important basis for measuring plant order amount and various design engineering work. It can be called an operation.

한 장의 P&ID 도면에는 수 백여 가지의 Symbol 및 텍스트 정보들이 존재하며, 이들은 모두 해당 플랜트에 대한 장치, 컨트롤, 안전 등의 정보를 담고 있어 대부분이 인식 및 집계되어야할 대상이라 할 수 있다.Hundreds of symbols and text information exist in a single P&ID drawing, and all of them contain information on devices, controls, and safety for the plant, so most of them are objects to be recognized and aggregated.

다만, 현재 이러한 작업은 현업 엔지니어들의 수작업을 통해 단순 반복적인 업무로 수행되고 있으며, 이는 업계의 생산성에 부정적인 영향을 끼치는 요소로 작용되어왔다.However, these tasks are currently being carried out as simple repetitive tasks through manual work by in-service engineers, and this has been a factor that negatively affects the productivity of the industry.

대형 석유/화학/석유화학 업계에서는 디지털 트윈 등 최신 IT 솔루션을 적용하기 위해 기존 Paper 형식 도면, 이미지 형식 도면, PDF 도면의 디지털화 필요성이 대두되고 있으나, 비용과 시간이 많이 소요되는 기존 도면의 수작업 입력 방법 혹은 이미지 패턴인식 기반 기술 외에는 현재 개발 실정이 전무한 상태이다.In the large petroleum/chemical/petrochemical industry, there is a need to digitize existing paper-type drawings, image-type drawings, and PDF drawings in order to apply the latest IT solutions such as digital twins, but manual input of existing drawings, which is expensive and time-consuming. Except for methods or image pattern recognition-based technologies, there is currently no development situation.

한편, 이미지 패턴인식 기반 기술은 검출하고자 하는 심볼의 템플릿을 활용하여 유사도 측정을 통해 심볼 검출을 수행할 수 있다. 이는 기 정의된 심볼의 정형성을 활용한 방안으로, 슬라이딩 윈도우 형식을 통해 해당 이미지 내에 심볼 검출을 수행할 수 있다.Meanwhile, the image pattern recognition-based technology may perform symbol detection through similarity measurement using a template of a symbol to be detected. This is a method that utilizes the shaping of a predefined symbol, and symbol detection in a corresponding image can be performed through a sliding window format.

다만, 이진화 이미지에 가까운 도면 이미지 내에는 해당 심볼과 유사한 심볼들이 존재하기 때문에 단순히 유사도의 경계 값만으로 검출을 수행하는 패턴인식 기반 방법론에서는 그 인식률에 한계점이 명확히 존재한다.However, since symbols similar to the corresponding symbol exist in the drawing image close to the binarized image, there is a clear limitation in the recognition rate in the pattern recognition-based methodology that detects only with the boundary value of the similarity.

또한, 플랜트 도면 특성상 동일한 심볼에서도 회전, 스케일링과 같은 다양한 형태로 존재할 수 있으며, 패턴인식 기반 방법론에서는 이러한 형태의 심볼을 검출하기 위해서는 별도의 템플릿을 설정해야한다.In addition, due to the nature of the plant drawing, the same symbol may exist in various forms such as rotation and scaling, and in the pattern recognition-based methodology, a separate template must be set in order to detect such a symbol.

이렇게 기존 방법론에서는 심볼의 검출률의 한계와 더불어 동일 심볼의 다양한 형태의 검출에 대한 불가피한 비효율성을 내재하고 있다.In this way, in the existing methodology, in addition to the limit of the detection rate of the symbol, the inevitable inefficiency for detecting various types of the same symbol is inherent.

미국등록특허공보 제8213672호U.S. Patent Publication No. 8213672

이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 플랜트 도면 내 존재하는 단일 심볼에 대해 다양한 특징을 반영하여 학습을 수행함으로써 심볼 검출 성능을 높이는 것을 목적으로 한다.Accordingly, the present invention has been proposed in consideration of the above matters, and an object of the present invention is to improve symbol detection performance by performing learning by reflecting various characteristics of a single symbol existing in a plant drawing.

또한, 본 발명은 단순한 확장법을 통해 데이터의 양적 확대보다 단일 심볼에 대한 정보를 멀티채널을 바탕으로 학습시킴으로써 네트워크의 심볼 인식 성능을 개선하는 것을 목적으로 한다.In addition, an object of the present invention is to improve the symbol recognition performance of a network by learning information on a single symbol based on multi-channel rather than quantitative expansion of data through a simple expansion method.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템은 플랜트 엔지니어링 도면 내에서 이미지 처리 기법에 기초하여 심볼 데이터에 해당하는 학습데이터를 구축하는 학습데이터 구축부, 상기 구축된 심볼 데이터를 회전, 반전, 중심이동, 스케일링 중 적어도 어느 하나 이상의 데이터 확장법 적용을 통해 멀티채널 데이터로 확장하는 멀티채널 데이터 확장부, 상기 확장된 멀티채널 데이터를 합성 곱 신경망 기반 모델에 기초하여 신경망 모델 학습을 수행하는 신경망 모델 학습부를 포함할 수 있다.In order to achieve the above object, the plant drawing symbol recognition system utilizing multi-channel data expansion according to the technical idea of the present invention is a learning to construct learning data corresponding to the symbol data based on the image processing technique in the plant engineering drawing. A data construction unit, a multi-channel data expansion unit that expands the constructed symbol data into multi-channel data by applying at least one data expansion method of rotation, inversion, center movement, and scaling, and a composite product of the expanded multi-channel data It may include a neural network model training unit that performs the neural network model training based on the neural network-based model.

상기 학습데이터 구축부는 상기 이미지 처리 기법을 활용한 Region Proposal Network 또는 데이터 레이블링 툴 중 어느 하나를 이용할 수 있다.The learning data construction unit may use either a region proposal network using the image processing technique or a data labeling tool.

상기 데이터 확장법은 멀티채널별로 상이하게 적용할 수 있다.The data extension method can be applied differently for each multi-channel.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 방법은 학습데이터 구축부에서 플랜트 엔지니어링 도면 내에서 이미지 처리 기법에 기초하여 심볼 데이터에 해당하는 학습데이터를 구축하는 학습데이터 구축단계, 멀티채널 데이터 확장부에서 상기 구축된 심볼 데이터를 회전, 반전, 중심이동, 스케일링 중 적어도 어느 하나 이상의 데이터 확장법 적용을 통해 멀티채널 데이터로 확장하는 멀티채널 데이터 확장단계, 신경망 모델 학습부에서 상기 확장된 멀티채널 데이터를 합성 곱 신경망 기반 모델에 기초하여 신경망 모델 학습을 수행하는 신경망 모델 학습단계를 포함할 수 있다. In order to achieve the above object, the plant drawing symbol recognition method using multi-channel data expansion according to the technical idea of the present invention is based on the image processing technique in the plant engineering drawing in the learning data construction unit. Learning data construction step of constructing data, multi-channel data expansion in which the constructed symbol data is expanded into multi-channel data by applying at least one of the data expansion methods among rotation, inversion, center movement, and scaling in the multi-channel data expansion unit Step, a neural network model training step of performing a neural network model training on the basis of a composite product neural network-based model on the expanded multi-channel data in a neural network model training unit.

상기 학습데이터 구축단계는 상기 이미지 처리 기법을 활용한 Region Proposal Network 또는 데이터 레이블링 툴 중 어느 하나를 이용할 수 있다.In the step of constructing the learning data, either a Region Proposal Network using the image processing technique or a data labeling tool may be used.

상기 데이터 확장법은 멀티채널별로 상이하게 적용할 수 있다.The data extension method can be applied differently for each multi-channel.

본 발명에 의한 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템 및 방법은,Plant drawing symbol recognition system and method utilizing multi-channel data expansion according to the present invention,

첫째, 플랜트 도면 내 존재하는 단일 심볼에 대해 다양한 특징을 반영하여 학습을 수행함으로써 심볼 검출 성능을 높일 수 있는 효과를 가진다.First, it has the effect of improving symbol detection performance by performing learning by reflecting various features on a single symbol existing in a plant drawing.

둘째, 단순한 확장법을 통해 데이터의 양적 확대보다 단일 심볼에 대한 정보를 멀티채널을 바탕으로 학습시킴으로써 네트워크의 심볼 인식 성능을 개선할 수 있는 효과를 가진다.Second, it has the effect of improving the symbol recognition performance of the network by learning information on a single symbol based on multi-channel rather than quantitative expansion of data through a simple expansion method.

도 1은 본 발명의 실시예에 따른 다중 채널 데이터를 활용한 플랜트 도면 심볼 인식 시스템을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 다중 채널 데이터를 활용한 플랜트 도면 심볼 인식 방법을 나타낸 도면.
도 3은 본 발명의 실시예에 따른 멀티채널 데이터 구성으로서, 채널 1에서는 원본 데이터, 채널 2에서는 회전 데이터, 채널 3에서는 스케일링 데이터를 예시로 든 도면.
도 4는 본 발명의 실시예에 따른 플랜트 도면 이미지 인식 네트워크로서, 도면 내 존재하는 심볼의 컨볼루션 레이어를 바탕으로 예측을 수행하는 구조도.1 is a diagram showing a plant diagram symbol recognition system using multi-channel data according to an embodiment of the present invention.
2 is a diagram showing a method for recognizing a plant diagram symbol using multi-channel data according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of multi-channel data according to an embodiment of the present invention, exemplifying original data in channel 1, rotation data in channel 2, and scaling data in channel 3;
4 is a structural diagram of a plant drawing image recognition network according to an embodiment of the present invention, which performs prediction based on a convolution layer of a symbol existing in the drawing.

첨부한 도면을 참조하여 본 발명의 실시예들에 의한 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템 및 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.A system and method for recognizing a plant drawing symbol using multi-channel data expansion according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. Since the present invention can be modified in various ways and has various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific form of disclosure, and it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements. In the accompanying drawings, dimensions of structures are shown to be enlarged than actual for clarity of the present invention, or reduced than actual to understand a schematic configuration.

또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. Meanwhile, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

도 1은 본 발명의 실시예에 따른 다중 채널 데이터를 활용한 플랜트 도면 심볼 인식 시스템을 나타낸 도면이다.1 is a diagram showing a plant drawing symbol recognition system using multi-channel data according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 다중 채널 데이터를 활용한 플랜트 도면 심볼 인식 시스템은 학습데이터 구축부(100), 멀티채널 데이터 확장부(200), 신경망 모델 학습부(300)를 포함할 수 있다.Referring to FIG. 1, a plant drawing symbol recognition system using multi-channel data according to an embodiment of the present invention includes a learning data construction unit 100, a multi-channel data expansion unit 200, and a neural network model learning unit 300. Can include.

학습데이터 구축부(100)는 플랜트 엔지니어링 도면 내에서 이미지 처리 기법에 기초하여 심볼 데이터에 해당하는 학습데이터를 구축할 수 있다.The learning data construction unit 100 may build learning data corresponding to symbol data in a plant engineering drawing based on an image processing technique.

멀티채널 데이터 확장부(200)는 상기 구축된 심볼 데이터를 회전, 반전, 중심이동, 스케일링 중 적어도 어느 하나 이상의 데이터 확장법 적용을 통해 멀티채널 데이터로 확장할 수 있다.The multi-channel data extension unit 200 may extend the constructed symbol data to multi-channel data by applying at least one of a data extension method among rotation, inversion, center shift, and scaling.

신경망 모델 학습부(300)는 상기 확장된 멀티채널 데이터를 합성 곱 신경망 기반 모델에 기초하여 신경망 모델 학습을 수행할 수 있다.The neural network model training unit 300 may train a neural network model based on a composite product neural network-based model on the expanded multi-channel data.

이 때 상기 학습데이터 구축부(100)는 상기 이미지 처리 기법을 활용한 Region Proposal Network 또는 데이터 레이블링 툴 중 어느 하나를 이용할 수 있다.In this case, the learning data construction unit 100 may use either a region proposal network using the image processing technique or a data labeling tool.

상기 데이터 확장법은 멀티채널별로 상이하게 적용할 수 있다.The data extension method can be applied differently for each multi-channel.

도 2는 본 발명의 실시예에 따른 다중 채널 데이터를 활용한 플랜트 도면 심볼 인식 방법을 나타낸 도면이다.2 is a diagram illustrating a method for recognizing a plant drawing symbol using multi-channel data according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 다중 채널 데이터를 활용한 플랜트 도면 심볼 인식 방법은 학습데이터 구축단계(S100), 멀티채널 데이터 확장단계(S200), 신경망 모델 학습단계(S300)를 포함할 수 있다.2, the plant drawing symbol recognition method using multi-channel data according to an embodiment of the present invention includes a learning data construction step (S100), a multi-channel data expansion step (S200), and a neural network model learning step (S300). Can include.

학습데이터 구축단계는 학습데이터 구축부(100)에서 플랜트 엔지니어링 도면 내에서 이미지 처리 기법에 기초하여 심볼 데이터에 해당하는 학습데이터를 구축할 수 있다(S100).In the learning data construction step, the learning data construction unit 100 may construct learning data corresponding to symbol data in the plant engineering drawing based on an image processing technique (S100).

멀티채널 데이터 확장단계는 멀티채널 데이터 확장부(200)에서 상기 구축된 심볼 데이터를 회전, 반전, 중심이동, 스케일링 중 적어도 어느 하나 이상의 데이터 확장법 적용을 통해 멀티채널 데이터로 확장할 수 있다(S200).In the multi-channel data expansion step, the symbol data constructed by the multi-channel data expansion unit 200 may be expanded to multi-channel data by applying at least one data expansion method of rotation, inversion, center movement, and scaling (S200). ).

신경망 모델 학습단계는 신경망 모델 학습부(300)에서 상기 확장된 멀티채널 데이터를 합성 곱 신경망 기반 모델에 기초하여 신경망 모델 학습을 수행할 수 있다(S300).In the neural network model training step, the neural network model training unit 300 may perform training of a neural network model on the basis of a composite product neural network-based model on the expanded multi-channel data (S300).

상기 학습데이터 구축단계(S100)는 상기 이미지 처리 기법을 활용한 Region Proposal Network 또는 데이터 레이블링 툴 중 어느 하나를 이용할 수 있다.In the training data construction step (S100), either a region proposal network using the image processing technique or a data labeling tool may be used.

상기 데이터 확장법은 멀티채널별로 상이하게 적용할 수 있다.The data extension method can be applied differently for each multi-channel.

보다 상세하게 도 1 및 도 2을 참조하면, 본 발명은 신경망 기반 이미지 분류 모델을 활용하고, 해당 모델 학습을 위한 데이터 구축과정에서 멀티 채널 데이터 확장을 수행할 수 있다.In more detail, referring to FIGS. 1 and 2, the present invention utilizes a neural network-based image classification model, and multi-channel data extension may be performed in a data construction process for training a corresponding model.

이 때 네트워크는 Region Proposal Network(RPN), 데이터 정규화 및 심볼 분류 모델로 구성될 수 있다. RPN에서는 심볼의 예상영역 검출을 수행하며, 이미지 전처리 기법(이진화, 허프변환, Morphology Tranformation 기법 등)을 적용하여 불필요한 성분 제거 및 예상영역 검출을 수행할 수 있다.In this case, the network may be composed of a region proposal network (RPN), data normalization and symbol classification model. In RPN, predicted region detection of a symbol is performed, and unnecessary component removal and predicted region detection can be performed by applying image preprocessing techniques (binarization, Hough transformation, Morphology Tranformation, etc.).

구축된 데이터를 바탕으로 학습데이터를 구축하며, 도면 내 존재할 수 있는 형태(예를 들어 회전, 스케일링, 중심이동 등)를 반영하여 데이터를 추구할 수 있다. 각 형태에 따른 채널을 다중으로 설계하여 동일 데이터에 대한 정보로써 입력할 수 있다.Learning data is constructed based on the constructed data, and data can be pursued by reflecting the forms that may exist in the drawing (for example, rotation, scaling, center movement, etc.). By designing multiple channels according to each type, it is possible to input the same data as information.

다채널 데이터의 경우 합성 곱 신경망 모델을 통해 이미지 분류를 수행할 수 있으며, 결과를 출력할 때에는 최초 RPN에서 검출된 좌표와 더불어 예측 클래스를 출력할 수 있다.In the case of multi-channel data, image classification can be performed through a synthetic product neural network model, and when outputting a result, a prediction class can be output along with the coordinates detected in the initial RPN.

물체 인식(Object Detection) 분야에서 주로 사용되는 이미지 데이터는 멀티채널로 구성되어있다. 예를 들어, RGB 채널의 경우 각 채널에서는 색상의 강도를 픽셀값으로 나타내며, 이를 통해 해당 이미지가 Red, Green, Blue 색상 별로 가지는 강도를 인식하여 클래스의 특징(Feature)으로 인식할 수 있다. 이처럼 이미지 데이터의 채널은 해당 데이터의 특징을 다양한 방법으로 설명할 수 있으며, 이를 활용하여 여러 특징을 반영한 데이터를 구축할 수 있다.Image data mainly used in the field of object detection is composed of multi-channels. For example, in the case of an RGB channel, each channel represents the intensity of a color as a pixel value, and through this, the intensity of a corresponding image for each red, green, and blue color can be recognized and recognized as a feature of a class. As described above, the channel of image data can describe the characteristics of the data in various ways, and by using this, data reflecting various characteristics can be constructed.

플랜트 도면 내에는 밸브, 계장정보, 파이핑, 장치 정보 등 해당 플랜트에 대한 다양한 정보들이 집약적으로 들어있으며, 그 개수는 수 백 여개에 달할 수 있다. 단일 심볼의 경우에도 회전이 되어있거나, 크기가 상이한 데이터의 존재가 가능할 수 있다. 이처럼 플랜트 도면의 인식의 경우, 다양한 심볼과 해당 심볼의 다양한 검출 형태들로 인해 인를 반영한 물체 인식 모델이 학습되어야 한다.In the plant drawings, various information about the plant, such as valves, instrumentation information, piping, and device information, is intensively contained, and the number can reach several hundred. Even in the case of a single symbol, it may be rotated or the existence of data of different sizes may be possible. As described above, in the case of recognizing a plant drawing, an object recognition model reflecting phosphorus must be learned due to various symbols and various detection types of the corresponding symbol.

이를 위해 본 발명에서는 기존 도면 내 존재하는 심볼 데이터의 다양성을 고려하여 데이터 확장법(Augmentation)을 적용할 수 있다. 회전, 중심이동, 반전, 잘림, 노이즈 등의 반영될 수 있으며 각 채널별로 특징을 부여하여 멀티채널 데이터를 형성할 수 있다.To this end, in the present invention, a data extension method (Augmentation) may be applied in consideration of the diversity of symbol data existing in the existing drawing. Rotation, center shift, inversion, truncation, noise, etc. can be reflected, and multi-channel data can be formed by assigning characteristics to each channel.

멀티채널 개수는 데이터의 다양성을 고려하여 결정할 수 있으며, 회전 중심이동 등을 고려하여 구성할 수 있다. 멀티채널 구성을 통해 단일 클래스에 대한 다양한 정보를 반영하는 것을 목표로 할 수 있다. 동일 심볼에 대해 회전된 데이터, 중심이동된 데이터, 스케일링 데이터 등과 같은 클래스로 인식하는 것을 목표로 하며, 이를 통해 신경망 모델에서 단일 클래스에 대한 다양한 Feature를 고려할 수 있도록 한다.The number of multi-channels can be determined in consideration of the diversity of data, and can be configured in consideration of rotational center movement. It can aim to reflect various information about a single class through multi-channel configuration. It aims to recognize the same symbol as a class such as rotated data, centered data, scaling data, etc., through which various features for a single class can be considered in the neural network model.

최종적으로 본 발명에서는 도면 내 존재하는 심볼의 회전, 이동, 스케일링 데이터를 인식하는 것을 목표로 할 수 있다.Finally, in the present invention, it may be aimed at recognizing rotation, movement, and scaling data of symbols existing in a drawing.

본 발명의 상세 절차는 학습데이터 구축, 데이터 확장, 신경망 모델 학습 순인 3단계로 구분할 수 있다.The detailed procedure of the present invention can be divided into three steps: building training data, expanding data, and training a neural network model.

학습데이터 구축단계에서는 해당 도면에 심볼 데이터를 구축할 수 있다 이미지 처리 기법을 활용한 Region Proposal Network 혹은 데이터 레이블링 툴을 활용하여 수행 가능하며, 그 심볼의 클래스는 기 정의된 도면의 Symbol & Legend를 참고하여 구축할 수 있다. 도면 데이터는 Gray scale 이미지이기 때문에, 수집된 데이터는 단일채널 이미지 형식이라 할 수 있다.In the learning data construction stage, symbol data can be built in the drawing. It can be performed using a region proposal network using image processing techniques or a data labeling tool, and the symbol class refers to Symbol & Legend in a predefined drawing. You can build it. Since the drawing data is a gray scale image, the collected data can be referred to as a single channel image format.

구축된 데이터를 바탕으로 멀티채널 데이터 확장을 수행할 수 있다. 단일채널 심볼 데이터에 대해 회전, 반전, 중심이동, 스케일링 등의 데이터 확장법을 적용하며, 채널 별로 특징을 정하여 적용할 수 있다. 이는 도 3을 참조하여 설명할 수 있다.Multi-channel data expansion can be performed based on the established data. Data expansion methods such as rotation, inversion, center shift, and scaling are applied to single-channel symbol data, and features can be determined and applied for each channel. This can be explained with reference to FIG. 3.

도 3은 본 발명의 실시예에 따른 멀티채널 데이터 구성으로서, 채널 1에서는 원본 데이터, 채널 2에서는 회전 데이터, 채널 3에서는 스케일링 데이터를 예시로 든 도면이라 할 수 있다.3 is a multi-channel data configuration according to an exemplary embodiment of the present invention, in which the original data in channel 1, rotation data in channel 2, and scaling data in channel 3 may be exemplified.

도 3에 도시된 바와 같이, 1채널에서는 원본 데이터, 2채널에서는 회전, 3채널에서는 스케일링을 적용하여 구성할 수 있다. 적용하는 데이터 확장법은 해당 도면의 특성을 고려하여 결정하며, 도면 내 실제 검출될 수 있는 사례를 고려하며 적용할 수 있다.As shown in FIG. 3, it can be configured by applying original data in one channel, rotation in two channels, and scaling in three channels. The data expansion method to be applied is determined in consideration of the characteristics of the drawing, and can be applied by considering the actual cases that can be detected in the drawing.

적용된 데이터를 바탕으로 신경망 모델 학습을 수행할 수 있다. 이미지 인식에서 높은 성능을 보이는 합성 곱 신경망 기반 모델을 활용할 수 있으며, 그 구조는 구축된 데이터의 특징과 수를 고려하여 결정할 수 있다. Feature Map을 거친 후, 완전 연결 층 및 소프트맥스 함수를 통해 거쳐나온 데이터는 다중 클래스 분류를 위해 One-Hot 인코딩 형식으로 클래스를 예측할 수 있다. 이는 도 4를 참조하여 설명할 수 있다.Neural network model training can be performed based on the applied data. A synthetic product neural network-based model showing high performance in image recognition can be used, and its structure can be determined in consideration of the features and number of constructed data. After passing through the feature map, the data passed through the fully connected layer and the softmax function can be predicted in one-hot encoding format for multi-class classification. This can be explained with reference to FIG. 4.

도 4는 본 발명의 실시예에 따른 플랜트 도면 이미지 인식 네트워크로서, 도면 내 존재하는 심볼의 컨볼루션 레이어를 바탕으로 예측을 수행하는 구조도라 할 수 있다.FIG. 4 is a network for recognizing an image of a plant drawing according to an embodiment of the present invention, and may be a structural diagram for performing prediction based on a convolutional layer of a symbol existing in the drawing.

도 4에 도시된 바와 같이, 최종적인 도면 심볼 인식 모델에서는 상기 학습된 파라미터들을 활용하여 구축할 수 있다. 입력 도면에 대해 Region Proposal Network(RPN)을 수행하여 심볼의 예상영역을 검출할 수 있다. RPN은 Connected Component(CC) Analysis을 바탕으로 수행하며, 도면 및 심볼에 맞추어 그 알고리즘을 수정할 수 있다. 제안된 영역에 대해서, 네트워크 입력을 위해 Padding을 수행하며, 그 사이즈는 도면의 해상도를 고려하여 수행할 수 있다.As shown in FIG. 4, the final drawing symbol recognition model can be constructed using the learned parameters. By performing a Region Proposal Network (RPN) on the input drawing, the expected region of the symbol can be detected. RPN is performed based on Connected Component (CC) Analysis, and its algorithm can be modified according to drawings and symbols. Padding is performed for the proposed area for network input, and its size can be performed in consideration of the resolution of the drawing.

실시 예로, 400dpi 해상도를 기준으로 하여, 100~200pixel로 정규화할 수 있다. 입력된 심볼은 네트워크에서 클래스를 예측하며, 초기 검출된 RPN에서의 좌표 값과 통합하여 도면 상에 위치, 클래스를 표기할 수 있다.For example, based on a 400 dpi resolution, it may be normalized to 100 to 200 pixels. The input symbol predicts the class in the network, and the position and the class can be indicated on the drawing by integrating with the coordinate value in the initially detected RPN.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.Although the preferred embodiment of the present invention has been described above, the present invention can use various changes, modifications, and equivalents. It is clear that the present invention can be applied in the same manner by appropriately modifying the above embodiments. Therefore, the above description does not limit the scope of the present invention determined by the limits of the following claims.

100 : 학습데이터 구축부
200 : 멀티채널 데이터 확장부
300 : 신경망 모델 학습부100: learning data construction unit
200: multi-channel data extension unit
300: neural network model learning unit

Claims (6)

플랜트 엔지니어링 도면 내에서 이미지 처리 기법에 기초하여 심볼 데이터에 해당하는 학습데이터를 구축하는 학습데이터 구축부;
상기 구축된 심볼 데이터를 회전, 반전, 중심이동, 스케일링 중 적어도 어느 하나 이상의 데이터 확장법 적용을 통해 멀티채널 데이터로 확장하는 멀티채널 데이터 확장부; 및
상기 확장된 멀티채널 데이터를 합성 곱 신경망 기반 모델에 기초하여 신경망 모델 학습을 수행하는 신경망 모델 학습부;를 포함하는 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템.A learning data construction unit for constructing learning data corresponding to symbol data based on the image processing technique in the plant engineering drawing;
A multi-channel data extension unit that extends the constructed symbol data into multi-channel data by applying at least one data extension method of rotation, inversion, center shift, and scaling; And
A plant drawing symbol recognition system using multi-channel data extension comprising a neural network model learning unit that trains a neural network model on the basis of a composite product neural network-based model on the extended multi-channel data. 제 1 항에 있어서, 상기 학습데이터 구축부는,
상기 이미지 처리 기법을 활용한 Region Proposal Network 또는 데이터 레이블링 툴 중 어느 하나를 이용하는 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템.The method of claim 1, wherein the learning data construction unit,
A plant drawing symbol recognition system using multi-channel data expansion using either a region proposal network using the image processing technique or a data labeling tool. 제 1 항에 있어서,
상기 데이터 확장법은 멀티채널별로 상이하게 적용하는 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 시스템.The method of claim 1,
The data expansion method is a plant drawing symbol recognition system using multi-channel data expansion applied differently for each multi-channel. 학습데이터 구축부에서 플랜트 엔지니어링 도면 내에서 이미지 처리 기법에 기초하여 심볼 데이터에 해당하는 학습데이터를 구축하는 학습데이터 구축단계;
멀티채널 데이터 확장부에서 상기 구축된 심볼 데이터를 회전, 반전, 중심이동, 스케일링 중 적어도 어느 하나 이상의 데이터 확장법 적용을 통해 멀티채널 데이터로 확장하는 멀티채널 데이터 확장단계; 및
신경망 모델 학습부에서 상기 확장된 멀티채널 데이터를 합성 곱 신경망 기반 모델에 기초하여 신경망 모델 학습을 수행하는 신경망 모델 학습단계;를 포함하는 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 방법.A learning data construction step of constructing learning data corresponding to symbol data in the plant engineering drawing by the learning data construction unit based on an image processing technique;
A multi-channel data expansion step of expanding the constructed symbol data into multi-channel data by applying at least one data expansion method of rotation, inversion, center shift, and scaling in a multi-channel data expansion unit; And
A neural network model training step of performing a neural network model training on the basis of a synthetic product neural network-based model in the neural network model training unit on the extended multi-channel data. 제 4 항에 있어서, 상기 학습데이터 구축단계는,
상기 이미지 처리 기법을 활용한 Region Proposal Network 또는 데이터 레이블링 툴 중 어느 하나를 이용하는 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 방법.The method of claim 4, wherein the step of constructing the learning data,
A plant drawing symbol recognition method using multi-channel data extension using either a region proposal network using the image processing technique or a data labeling tool. 제 4 항에 있어서,
상기 데이터 확장법은 멀티채널별로 상이하게 적용하는 다중 채널 데이터 확장을 활용한 플랜트 도면 심볼 인식 방법.The method of claim 4,
The data expansion method is a plant drawing symbol recognition method using multi-channel data expansion applied differently for each multi-channel.

Images