KR102159472B1 - System for managing materials based on deep learning - Google Patents
System for managing materials based on deep learning Download PDFInfo
- Publication number
- KR102159472B1 KR102159472B1 KR1020200063541A KR20200063541A KR102159472B1 KR 102159472 B1 KR102159472 B1 KR 102159472B1 KR 1020200063541 A KR1020200063541 A KR 1020200063541A KR 20200063541 A KR20200063541 A KR 20200063541A KR 102159472 B1 KR102159472 B1 KR 102159472B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- data
- real
- material management
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 54
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 238000007726 management method Methods 0.000 claims description 117
- 238000000034 method Methods 0.000 claims description 89
- 230000008569 process Effects 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 56
- 238000003702 image correction Methods 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000001931 thermography Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Accounting & Taxation (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Entrepreneurship & Innovation (AREA)
- Molecular Biology (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 딥러닝 기반의 자재 관리 시스템에 관한 것으로, 더욱 상세하게는, 창고 내 구비되어 있는 실화상카메라 및 열화상카메라로부터 획득되는 자재에 대한 화상 이미지를 기초로, 무선 네트워크 송수신하여 서버를 통해 자재 관리를 위한 이미징 처리를 수행함으로써 자재 관리 데이터를 생성하고, 생성한 자재 관리 데이터를 통해 CNN(Convolutional Neural Network) 및 RNN(Recurrent Neural Network) 기반의 인공지능 학습을 수행함으로써 실시간 자재 관리 및 모니터링이 이뤄지도록 하는 딥러닝 기반의 자재 관리 시스템에 관한 것이다.The present invention relates to a deep learning-based material management system, and more particularly, based on image images of materials obtained from a real image camera and a thermal image camera provided in a warehouse, through a wireless network transmission and reception through a server. Material management data is generated by performing imaging processing for material management, and real-time material management and monitoring are performed by performing artificial intelligence learning based on CNN (Convolutional Neural Network) and RNN (Recurrent Neural Network) through the generated material management data. It relates to a material management system based on deep learning that allows it to be achieved.
일반적으로 제조 공장의 창고는 보관랙과 박스 또는 구역의 단위로 관리가 이루어지고 있다. 창고에 적치되어 있는 자재는 주로 생산공정 운영 상에 필요할 때마다 불출되어 투입되는데, 자재가 많은 창고의 경우, 자재 불출 시 자재가 보관되어 있는 위치와 수량에 대한 정확한 파악이 어렵다.In general, warehouses in manufacturing factories are managed in units of storage racks and boxes or areas. The materials stored in the warehouse are mainly dispensed and input whenever necessary for the operation of the production process. In the case of warehouses with a large amount of materials, it is difficult to accurately grasp the location and quantity of materials stored in the case of material dispensing.
또한, 자재의 입출고 및 보관은 주로 근로자인 인력을 통해 이뤄지기 때문에 자재분실, 보관 위치 파악의 어려움, 생산공정에서의 자재 오투입 등 정확한 재고 관리가 이뤄지지 않음에 따라 다양한 문제가 발생하게 되며, 자재 오투입으로 인한 생산공정에서의 자재손실 및 제품 불량률 증가 등의 문제도 발생하고 있다.In addition, since materials are delivered and stored mainly by workers, various problems arise due to the lack of accurate inventory management such as loss of materials, difficulty in identifying storage locations, and incorrect input of materials in the production process. There are also problems such as material loss in the production process due to incorrect input and an increase in product defect rates.
따라서, 정확한 자재 관리를 통해 생산공정 시 자재 오투입 등의 문제가 해결되도록 하여 궁극적으로는 생산 공정 상의 불량률이 개선될 수 있도록 하는 방법 또는 시스템에 대한 요구가 점차 증대되고 있으며, 상술한 문제점을 해결하기 위한 방안이 시급한 실정이다.Therefore, there is a growing demand for a method or system that enables problems such as incorrect material input during the production process to be solved through accurate material management and ultimately improves the defect rate in the production process, and solves the above problems. There is an urgent need for a plan to do so.
본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로, 창고 내 구비되어 있는 실화상카메라 및 열화상카메라를 통해 획득되는 자재에 대한 화상 이미지를 기초로 무선 네트워크 송수신 및 서버를 통해 자재 관리를 위한 이미징 처리를 수행함으로써 자재 관리 데이터가 생성되도록 하고, 생성된 자재 관리 데이터를 기초로 인공지능 학습을 수행함으로써 정확한 실시간 자재 관리 및 모니터링이 이뤄지도록 하는 딥러닝 기반의 자재 관리 시스템을 제공하는 것을 목적으로 한다.The present invention is to solve the problems of the prior art described above, based on image images of materials acquired through a real image camera and a thermal image camera provided in a warehouse, and for material management through a wireless network transmission/reception and server It aims to provide a deep learning-based material management system that enables accurate real-time material management and monitoring by performing imaging processing to generate material management data and performing artificial intelligence learning based on the generated material management data. do.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood from the following description.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 딥러닝 기반의 자재 관리 시스템에 있어서, 창고 내에 설치되어 실화상을 획득하는 실화상 카메라 및 열화상을 획득하는 열화상 카메라; 상기 실화상 카메라 및 상기 열화상 카메라로부터 상기 실화상 및 상기 열화상을 수신하고, 상기 실화상 및 상기 열화상을 그룹핑하여 제1 식별코드와 매칭시키며, 상기 제1 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제1 자재 관리 데이터를 게이트웨이로 전송하는 무선 네트워크 장치; 상기 무선 네트워크 장치로부터 상기 제1 자재 관리 데이터를 수신하고, 상기 제1 식별코드를 업데이트한 제2 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제2 자재 관리 데이터를 솔루션 서버로 전송하는 게이트웨이; 상기 제2 자재 관리 데이터에 포함된 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 기초로 이미지 보정 과정 및 이미지 처리 과정을 수행하여 복수의 이미지 데이터를 생성하고, 상기 제2 식별코드를 업데이트한 제3 식별코드 및 상기 복수의 이미지 데이터를 포함하는 제3 자재 관리 데이터를 매핑 서버로 전송하는 솔루션 서버; 상기 솔루션 서버로부터 수신된 상기 제3 자재 관리 데이터를 기초로 문자, 숫자, 바코드, QR 코드 중 적어도 어느 하나에 해당하는 자재식별정보를 도출하고, 상기 자재식별정보와 상기 제3 자재 관리 데이터를 매핑하여 운영 서버로 전송하는 매핑 서버; 및 상기 자재식별정보와 상기 제3 자재 관리 데이터를 기초로 딥러닝을 실시함으로써 창고 내 자재 정보에 대한 관리를 수행하는 운영 서버를 포함하며, 상기 이미지 보정 과정은, i) 상기 실화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 실화상 보정 이미지, 또는 ii) 상기 열화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 열화상 보정 이미지를 생성하는 과정을 의미하는 것으로 하는, 딥러닝 기반의 자재 관리 시스템이 제공된다.According to an embodiment of the present invention for achieving the above object, there is provided a deep learning-based material management system, comprising: a real image camera installed in a warehouse to obtain a real image and a thermal image camera to obtain a thermal image; The real image and the thermal image are received from the real image camera and the thermal image camera, the real image and the thermal image are grouped and matched with a first identification code, and the first identification code and the real image are A wireless network device that transmits information and first material management data including information on the thermal image to a gateway; Receiving the first material management data from the wireless network device, a second identification code updated the first identification code, second material management data including information on the real image and information on the thermal image A gateway to transmit to the solution server; Generate a plurality of image data by performing an image correction process and an image processing process based on the real image information and the thermal image information included in the second material management data, and update the second identification code A solution server that transmits a third identification code and third material management data including the plurality of image data to a mapping server; Based on the third material management data received from the solution server, material identification information corresponding to at least one of letters, numbers, barcodes, and QR codes is derived, and the material identification information and the third material management data are mapped. A mapping server for transmitting to the operation server; And an operation server that manages material information in a warehouse by performing deep learning based on the material identification information and the third material management data, wherein the image correction process includes: i) contrast for the real image , A real image corrected image by correcting at least one of saturation, hue, shadow, and illuminance, or ii) a process of generating a thermal image corrected image by correcting at least one of contrast, saturation, hue, shade, and illuminance of the thermal image A deep learning-based material management system, which is meant to mean, is provided.
상기 솔루션 서버는, 상기 이미지 처리 과정에 있어서, 상기 실화상에 대한 정보 및 열화상에 대한 정보를 기초로 i) 창고 내 자재 재고 파악을 위한 제1 이미지 처리를 수행하여 제1 이미지 데이터를 생성하는 프로세스, ii) 창고 내 자재의 보관 상태 파악을 위한 제2 이미지 처리를 수행하여 제2 이미지 데이터를 생성하는 프로세스, iii) 상기 자재식별정보 도출을 위한 제3 이미지 처리를 수행하여 제3 이미지 데이터를 생성하는 프로세스 중 적어도 하나를 수행하는 것을 특징으로 할 수 있다.In the image processing process, the solution server generates first image data by i) performing a first image processing for grasping stock of materials in the warehouse based on the information on the real image and the thermal image. Process, ii) The process of generating second image data by performing second image processing to determine the storage status of materials in the warehouse, iii) Performing third image processing to derive the material identification information to obtain third image data. It may be characterized in that at least one of the generating processes is performed.
상기 실화상 보정 이미지에 포함된 자재가 윤곽선 영역 및 상기 윤곽선 영역 내부에 포함된 자재상태 영역으로 이루어져 있다고 할 때, 상기 솔루션 서버는, 상기 제1 이미지 처리에 있어서, 상기 실화상 보정 이미지에 포함된 상기 자재상태 영역에 상기 열화상을 보정 이미지로서 합성하여 제1 이미지 데이터를 생성하는 것을 특징으로 할 수 있다.When it is assumed that the material included in the real image correction image consists of an outline area and a material state area included in the outline area, the solution server, in the first image processing, is included in the real image correction image. The thermal image may be synthesized as a correction image in the material state region to generate first image data.
상기 열화상 보정 이미지에 포함된 자재가 윤곽선 영역 및 상기 윤곽선 영역 내부에 포함된 자재상태 영역으로 이루어져 있다고 할 때, 상기 솔루션 서버는, 상기 제2 이미지 처리에 있어서, 상기 열화상 보정 이미지에 포함된 상기 윤곽선 영역에 상기 실화상을 보정 이미지로서 합성하여 제2 이미지 데이터를 생성하는 것을 특징으로 할 수 있다.When it is assumed that the material included in the thermal image correction image is composed of an outline area and a material state area included in the outline area, the solution server, in the second image processing, is included in the thermal image correction image. It may be characterized in that the second image data is generated by synthesizing the real image as a correction image in the outline region.
상기 솔루션 서버는, 상기 제3 이미지 처리에 있어서, 상기 실화상에 대하여 i) 흑백 음영 처리를 수행하고, ii) 흑백 음영 처리된 이미지에서 상기 자재식별정보 도출 부분을 인식하여, iii) 인식된 부분의 이미지를 자르기 처리함으로써 제3 이미지 데이터를 생성하는 것을 특징으로 할 수 있다.The solution server, in the third image processing, i) performs black and white shading processing on the real image, ii) recognizes the material identification information derived part from the black and white shaded image, and iii) the recognized part It may be characterized in that the third image data is generated by cutting the image of.
상기 매핑 서버는, 상기 제3 이미지 데이터로부터 문자 인식, 숫자 인식, 바코드 인식, QR 코드 인식 중 어느 하나를 수행함으로써 자재식별정보를 도출하는 것을 특징으로 할 수 있다.The mapping server may be characterized in that it derives material identification information by performing any one of character recognition, number recognition, barcode recognition, and QR code recognition from the third image data.
상기 운영 서버는, i) 상기 자재식별정보와, 매핑되어 있는 상기 제1 이미지 데이터를 기초로 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 딥러닝을 실시함으로써, 창고 내 자재 재고 실시간 파악, 관리 및 모니터링을 실시하는 프로세스 및 ii) 상기 자재식별정보와, 매핑되어 있는 상기 제2 이미지 데이터를 기초로 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 딥러닝을 실시함으로써, 창고 내 적치되어 있는 자재의 보관 상태를 파악하고, 창고 내 적치되어 있는 자재에 대한 공정 투입 가능 여부를 더 판단하는 프로세스 중 적어도 하나를 수행함으로써 자재 모니터링 데이터를 생성 및 저장하는 것을 특징으로 할 수 있다.The operation server, i) by performing deep learning using a convolutional neural network (CNN) based on the material identification information and the mapped first image data, real-time identification of material inventory in the warehouse, A process for managing and monitoring and ii) deep learning using a convolutional neural network (CNN) based on the material identification information and the mapped second image data, It may be characterized by generating and storing material monitoring data by performing at least one of the processes of identifying the storage state of the material in the warehouse and further determining whether the process input is possible for the material stored in the warehouse.
상기 운영 서버는, 상기 자재식별정보와, 매핑되어 있는 상기 제3 자재 관리 데이터 및 상기 자재 모니터링 데이터를 기초로 순환 신경망(RNN, Recurrent Neural Network)을 이용하여 딥러닝을 실시함으로써, 자재의 입출고 내역, 공정 투입에 따른 불출 내역 및 이동 정보를 포함하는 자재 관리 이력 정보를 도출 및 저장하는 것을 특징으로 할 수 있다.The operation server performs deep learning using a recurrent neural network (RNN) on the basis of the material identification information, the mapped third material management data and the material monitoring data, thereby , It may be characterized in that it derives and stores material management history information including dispensing details and movement information according to process input.
한편, 본 발명의 다른 실시예에 따르면, 딥러닝을 기반으로 하여 자재를 관리하는 방법에 있어서, 창고 내에 설치된 실화상 카메라가 실화상을 획득하고, 창고 내에 설치된 열화상 카메라가 열화상을 획득하는 단계; 상기 무선 네트워크 장치가 상기 실화상 카메라 및 상기 열화상 카메라로부터 상기 실화상 및 상기 열화상을 수신하고, 상기 실화상 및 상기 열화상을 그룹핑하여 제1 식별코드와 매칭시키며, 상기 제1 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제1 자재 관리 데이터를 게이트웨이로 전송하는 단계; 상기 게이트웨이가 상기 무선 네트워크 장치로부터 상기 제1 자재 관리 데이터를 수신하고, 상기 제1 식별코드를 업데이트한 제2 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제2 자재 관리 데이터를 솔루션 서버로 전송하는 단계; 상기 솔루션 서버가 상기 제2 자재 관리 데이터에 포함된 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 기초로 이미지 보정 과정 및 이미지 처리 과정을 수행하여 복수의 이미지 데이터를 생성하고, 상기 제2 식별코드를 업데이트한 제3 식별코드 및 상기 복수의 이미지 데이터를 포함하는 제3 자재 관리 데이터를 매핑 서버로 전송하는 단계; 상기 매핑 서버가 상기 솔루션 서버로부터 수신된 상기 제3 자재 관리 데이터를 기초로 문자, 숫자, 바코드, QR 코드 중 적어도 어느 하나에 해당하는 자재식별정보를 도출하고, 상기 자재식별정보와 상기 제3 자재 관리 데이터를 매핑하여 운영 서버로 전송하는 단계; 및 상기 운영 서버가 상기 자재식별정보와 상기 제3 자재 관리 데이터를 기초로 딥러닝을 실시함으로써 창고 내 자재 정보에 대한 관리를 수행하는 단계를 포함하며, 상기 이미지 보정 과정은, i) 상기 실화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 실화상 보정 이미지, 또는 ii) 상기 열화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 열화상 보정 이미지를 생성하는 과정을 의미하는 것으로 하는, 딥러닝 기반의 자재 관리 방법이 제공된다.On the other hand, according to another embodiment of the present invention, in a method for managing materials based on deep learning, a real image camera installed in a warehouse acquires a real image, and a thermal image camera installed in the warehouse acquires a thermal image. step; The wireless network device receives the real image and the thermal image from the real image camera and the thermal image camera, groups the real image and the thermal image to match a first identification code, and the first identification code, Transmitting first material management data including information on the real image and information on the thermal image to a gateway; The gateway receives the first material management data from the wireless network device, a second identification code that updates the first identification code, a second material including information on the real image and information on the thermal image Transmitting management data to a solution server; The solution server generates a plurality of image data by performing an image correction process and an image processing process based on the information on the real image and the information on the thermal image included in the second material management data, and the second Transmitting a third identification code updated with the identification code and third material management data including the plurality of image data to a mapping server; The mapping server derives material identification information corresponding to at least one of letters, numbers, barcodes, and QR codes based on the third material management data received from the solution server, and the material identification information and the third material Mapping the management data and transmitting it to the operation server; And performing, by the operation server, deep learning based on the material identification information and the third material management data to manage material information in the warehouse, wherein the image correction process includes: i) the real image For a real image corrected image by correcting at least one of contrast, saturation, hue, shade, and illuminance for the thermal image, or ii) a thermal image corrected image by correcting at least one of contrast, saturation, hue, shadow, and illuminance for the thermal image. A deep learning-based material management method, which means the process of creation, is provided.
본 발명의 일 실시예에 따르면, 자재 불출 시, 창고 내에 구비되어 있는 실화상카메라 및 열화상카메라의 자재에 대한 이미지 획득을 통해, 촬영된 이미지를 기초로 서버에서 자재 불출에 대한 판단 및 재고 등의 관리가 이뤄지므로, 자재 관리를 위한 근로자(작업자)의 자재 불출 기록 등의 작업이 요구되지 않는 바, 근로자(작업자)의 편의성이 증대된다는 효과가 있다.According to an embodiment of the present invention, when material is disbursed, by acquiring images of materials from a real image camera and thermal image camera provided in a warehouse, based on the photographed image, the server determines and stocks the material delivery Since the management of the material is performed, there is an effect that the convenience of the worker (worker) is increased as the work such as recording the material dispensing of the worker (worker) for material management is not required.
또한, 본 발명의 일 실시예에 따르면, 창고로부터 획득된 자재에 대한 이미지를 기초로 이미징 처리 후 딥러닝을 통하여 자재에 대한 변질 여부 등 상태 파악이 가능하므로, 자재에 대한 재고 관리뿐만 아니라 보관 관리 또한 가능하다는 장점이 있다.In addition, according to an embodiment of the present invention, it is possible to determine the status of the material such as whether or not the material is deteriorated through deep learning after imaging based on the image of the material acquired from the warehouse, so not only inventory management of the material but also storage management It also has the advantage of being possible.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자재 관리 시스템 구성을 개략적으로 도시한 도면이다.
도 2는 창고 내에서 실시되는 딥러닝 기반의 자재 관리 시스템의 예시를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반의 자재 관리 시스템이 실시되는 과정을 도시한 흐름도이다.
도 4는 실화상에 대한 정보 및 열화상에 대한 정보를 기초로 하는 이미지 보정 과정 및 이미지 처리 과정을 통해 이미지 데이터가 생성되는 예시를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 식별코드의 예시를 나타낸 도면이다.1 is a diagram schematically showing the configuration of a material management system based on deep learning according to an embodiment of the present invention.
2 is a diagram showing an example of a deep learning-based material management system implemented in a warehouse.
3 is a flowchart illustrating a process of implementing a material management system based on deep learning according to an embodiment of the present invention.
4 is a diagram illustrating an example in which image data is generated through an image correction process and an image processing process based on information about a real image and information about a thermal image.
5 is a diagram showing an example of an identification code according to an embodiment of the present invention.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the rights of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be changed in various forms and implemented. Accordingly, the embodiments are not limited to a specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, these terms should be interpreted only for the purpose of distinguishing one component from other components. For example, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being "connected" to another component, it is to be understood that it may be directly connected or connected to the other component, but other components may exist in the middle.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be interpreted as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반의 자재 관리 시스템 구성을 개략적으로 도시한 도면이다.1 is a diagram schematically showing the configuration of a material management system based on deep learning according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반의 자재 관리 시스템은, 실화상 카메라(100), 열화상 카메라(200), 무선 네트워크 장치(300), 게이트웨이(400), 솔루션 서버(500), 매핑 서버(600) 및 운영 서버(700)를 포함한다.Referring to Figure 1, a deep learning-based material management system according to an embodiment of the present invention, a
실화상 카메라(100), 열화상 카메라(200), 무선 네트워크 장치(300), 게이트웨이(400), 솔루션 서버(500), 매핑 서버(600) 및 운영 서버(700)는 각각 통신망으로 연결되어 있을 수 있으며, 여기서, 통신망은 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있다. 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있다.The
실화상 카메라(100)는 창고 내에 설치되어 창고 내 소정 영역에 대한 촬영을 할 수 있으며, 해당 영역 내 적치되어 있는 자재에 대한 실화상을 획득하고, 이를 무선 네트워크 장치(300)로 전송할 수 있다.The
마찬가지로, 열화상 카메라(200)는 창고 내에 설치되어 창고 내 소정 영역에 대한 촬영을 할 수 있으며, 해당 영역 내 적치되어 있는 자재에 대한 열화상을 획득하고, 이를 무선 네트워크 장치(300)로 전송할 수 있다.Similarly, the
무선 네트워크 장치(300)는 실화상 카메라(100) 및 열화상 카메라(200) 각각으로부터 실화상 및 열화상이 수신되면, 수신된 실화상 및 열화상을 그룹핑하여 제1 식별코드와 매칭할 수 있다.When a real image and a thermal image are received from each of the
상기 제1 식별코드는, 서버 간 데이터 송신 시 데이터에 대한 식별을 용이하게 하기 위해 생성 및 부여되는 것으로, 구체적으로는, 상기 실화상 및 열화상을 그룹핑하여 게이트웨이(400)로 전송하기 위해 부여되는 것일 수 있다. 본 발명의 일 실시예에 따르면, 상기 제1 식별코드는, 창고식별번호, 구역코드정보 및 카메라식별번호를 포함하는 정보로, 상세한 설명은 도 5의 실시예를 통해 후술하기로 한다.The first identification code is generated and assigned to facilitate identification of data when transmitting data between servers, and specifically, is assigned to group the real and thermal images and transmit them to the
무선 네트워크 장치(300)는 상기 제1 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제1 자재 관리 데이터를 게이트웨이(400)로 전송할 수 있다.The
상기 실화상에 대한 정보는, 상기 실화상 카메라(100)를 통해 획득된 실화상에 해당 실화상이 획득된 시간 정보가 포함된 것을 의미할 수 있으며, 운영 서버(700)에서 딥러닝이 실시됨에 따라 시계열적으로 나열된 자재 관리 이력 정보 도출 시 참고되어지는 정보일 수 있다.The information on the real image may mean that the real image acquired through the
마찬가지로, 상기 열화상에 대한 정보는, 상기 열화상 카메라(200)를 통해 획득된 열화상에 해당 열화상이 획득된 시간 정보가 포함된 것을 의미할 수 있으며, 운영 서버(700)에서 딥러닝이 실시됨에 따라 시계열적으로 나열된 자재 관리 이력 정보 도출 시 참고되어지는 정보일 수 있다.Similarly, the information on the thermal image may mean that the thermal image acquired through the
게이트웨이(400)는 상기 무선 네트워크 장치(300)로부터 제1 자재 관리 데이터가 수신되면, 제1 자재 관리 데이터에 포함되어 있는 제1 식별코드를 제2 식별코드로 업데이트할 수 있으며, 업데이트한 제2 식별코드와 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제2 자재 관리 데이터를 솔루션 서버(500)로 전송할 수 있다.When the first material management data is received from the
상기 제2 식별코드는, 상술한 바와 같이, 제1 식별코드를 업데이트한 것으로, 구체적으로는, 제1 식별코드에 상기 게이트웨이(400)의 식별코드를 더 포함하는 정보일 수 있으며, 제1 식별코드와 마찬가지로 상세한 설명은 도 5의 실시예를 통해 후술하기로 한다.The second identification code, as described above, is an update of the first identification code, specifically, may be information further including the identification code of the
솔루션 서버(500)는 상기 게이트웨이(400)로부터 제2 자재 관리 데이터가 수신되면, 제2 자재 관리 데이터에 포함된 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 기초로 이미지 보정 과정 및 이미지 처리 과정을 수행하여 복수의 이미지 데이터를 생성할 수 있다.When the second material management data is received from the
상기 이미지 보정 과정은, 실화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 실화상 보정 이미지를 생성하는 과정을 의미할 수 있으며, 또는, 열화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 열화상 보정 이미지를 생성하는 과정을 의미할 수 있다.The image correction process may refer to a process of generating a real image corrected image by correcting at least one of contrast, saturation, hue, shadow, and illuminance for the real image, or contrast, saturation, and color tone for a thermal image. , It may mean a process of generating a thermal image correction image by correcting at least one of shade and illuminance.
상기 이미지 처리 과정은, 제1 이미지 처리 과정, 제2 이미지 처리 과정, 제3 이미지 처리 과정 중 적어도 하나를 수행하는 과정을 의미할 수 있다.The image processing process may mean a process of performing at least one of a first image processing process, a second image processing process, and a third image processing process.
상기 제1 이미지 처리 과정은, 창고 내 자재 재고 파악을 위한 과정일 수 있으며, 실화상 보정 이미지에 포함된 자재가 윤곽선 영역 및 상기 윤곽선 영역 내부에 포함된 자재상태 영역으로 이루어져 있다고 할 때, 상기 실화상 보정 이미지에 포함된 자재상태 영역에 열화상을 보정 이미지로서 합성함에 따라 제1 이미지 데이터를 생성하는 과정을 의미할 수 있다. 상기 제1 이미지 처리 과정은 열화상 보정 이미지를 이용하지 않고 실화상 보정 이미지 및 열화상 만을 이용하여 제1 이미지 데이터를 생성하는 과정에 해당할 수 있다.The first image processing process may be a process for identifying the stock of materials in the warehouse, and when it is assumed that the material included in the real image correction image consists of an outline area and a material state area included in the outline area, the actual image It may refer to a process of generating first image data by synthesizing a thermal image as a corrected image in the material state region included in the image corrected image. The first image processing process may correspond to a process of generating first image data using only a real image corrected image and a thermal image without using a thermal image corrected image.
이 때, 상기 제1 이미지 데이터는, 상기 창고 내 자재 재고 파악을 위한 데이터일 수 있으며, 자재의 윤곽선이 부각되도록 이미지 처리된 것을 의미할 수 있다.In this case, the first image data may be data for identifying the stock of materials in the warehouse, and may mean that the image has been processed to highlight the outline of the material.
상기 제2 이미지 처리 과정은, 창고 내 자재의 보관 상태 파악을 위한 과정일 수 있으며, 열화상 보정 이미지에 포함된 자재가 윤곽선 영역 및 상기 윤곽선 영역 내부에 포함된 자재상태 영역으로 이루어져 있다고 할 때, 상기 열화상 보정 이미지에 포함된 윤곽선 영역에 실화상을 보정 이미지로서 합성함에 따라 제2 이미지 데이터를 생성하는 과정을 의미할 수 있다. 상기 제2 이미지 처리 과정은 실화상 보정 이미지를 이용하지 않고 열화상 보정 이미지 및 실화상 만을 이용하여 제2 이미지 데이터를 생성하는 과정에 해당할 수 있다.The second image processing process may be a process for identifying the storage status of materials in the warehouse, and when it is assumed that the material included in the thermal image correction image consists of an outline area and a material status area included in the outline area, It may mean a process of generating second image data by synthesizing a real image as a corrected image on a contour area included in the thermal image correction image. The second image processing process may correspond to a process of generating second image data using only a thermal image correction image and a real image without using a real image correction image.
이 때, 상기 제2 이미지 데이터는, 상기 창고 내 자재의 보관 상태 파악을 위한 데이터일 수 있으며, 자재의 변질 여부 또는 변질 정도가 열화상의 데이터로 표시되도록 이미지 처리된 것을 의미할 수 있다.In this case, the second image data may be data for determining the storage state of the material in the warehouse, and may mean that the image is processed so that whether the material is deteriorated or the degree of deterioration is displayed as thermal image data.
한편, 상기 제3 이미지 처리 과정은, 자재식별정보 도출을 위한 이미지 처리 과정으로, 실화상에 대하여 흑백 음영 처리를 수행하고, 흑백 음영 처리된 이미지에서 자재식별정보 도출 부분을 인식하여, 인식된 부분의 이미지를 자르기 처리함으로써 제3 이미지 데이터를 생성하는 과정을 의미할 수 있다. 참고로, 흑백 음영 처리된 이미지에서 자재식별정보 도출 부분을 인식할 때는 이미지에 포함된 색상값(ex 그레이스케일 등)의 차이를 이용할 수도 있을 것이다.Meanwhile, the third image processing process is an image processing process for deriving material identification information, performing black and white shading processing on a real image, and recognizing the material identification information derivation part from the black and white shaded image, It may refer to a process of generating third image data by cutting the image of. For reference, when recognizing a part of material identification information derived from a black-and-white shaded image, a difference in color values (ex, grayscale, etc.) included in the image may be used.
추가적으로, 필요에 따라서 솔루션 서버(500)에서는 획득한 실화상에 대하여 흑백 음영 처리를 수행한 뒤, 상기 실화상의 크기를 확대시켜 자재식별정보의 인식을 용이하게 할 수 있다.In addition, if necessary, the
이에 따라, 솔루션 서버(500)를 통해 생성되는 상기 복수의 이미지 데이터는, 제1 이미지 처리를 통해 생성된 제1 이미지 데이터, 제2 이미지 처리를 통해 생성된 제2 이미지 데이터 및 제3 이미지 처리를 통해 생성된 제3 이미지 데이터 중 적어도 하나를 포함하는 것일 수 있다.Accordingly, the plurality of image data generated through the
또한, 솔루션 서버(500)는 제2 자재 관리 데이터에 포함되어 있는 제2 식별코드를 제3 식별코드로 업데이트할 수 있으며, 업데이트한 제3 식별코드와 상기 생성한 복수의 이미지 데이터를 포함하는 제3 자재 관리 데이터를 매핑 서버(600)로 전송할 수 있다.In addition, the
상기 제3 식별코드는, 상술한 바와 같이, 제2 식별코드를 업데이트한 것으로, 구체적으로는, 제2 식별코드에 상기 솔루션 서버(500)의 식별코드를 더 포함하는 정보일 수 있으며, 제1 식별코드 및 제2 식별코드와 마찬가지로 상세한 설명은 도 5의 실시예를 통해 후술하기로 한다.The third identification code, as described above, is an update of the second identification code, and specifically, may be information further including the identification code of the
매핑 서버(600)는 상기 솔루션 서버(500)로부터 제3 자재 관리 데이터가 수신되면, 수신된 제3 자재 관리 데이터를 기초로 자재식별정보를 도출할 수 있으며, 도출한 자재식별정보와 제3 자재 관리 데이터를 매핑하여 운영 서버(700)로 전송할 수 있다.When the third material management data is received from the
상기 자재식별정보는, 문자, 숫자, 바코드, QR 코드 중 적어도 어느 하나에 해당하는 것일 수 있다. 이에 따라, 매핑 서버(600)에서 수행하는 자재식별정보 도출은, 제3 이미지 데이터로부터 문자 인식, 숫자 인식, 바코드 인식, QR 코드 인식 중 어느 하나를 수행하는 것을 의미할 수 있다.The material identification information may correspond to at least one of letters, numbers, barcodes, and QR codes. Accordingly, the derivation of material identification information performed by the
운영 서버(700)는 상기 매핑 서버(600)로부터 수신된 상기 제3 자재 관리 데이터를 기초로 딥러닝을 실시함으로써 창고 내 자재 정보에 대한 관리를 수행할 수 있다.The
본 발명의 일 실시예에 따르면, 운영 서버(700)는 상기 매핑 서버(600)로부터 수신된 자재식별정보와, 자재식별정보와 매핑된 상기 제3 자재 관리 데이터 중 제1 이미지 데이터를 기초로 합성곱 신경망(CNN, Convolutional Neural Network)을 이용한 딥러닝을 실시함으로써, 창고 내 자재 재고 실시간 파악, 관리 및 모니터링을 실시할 수 있으며, 해당 관리 정보 및 모니터링 정보가 포함된 자재 모니터링 데이터를 생성하여 저장할 수 있다.According to an embodiment of the present invention, the
본 발명의 다른 실시예에 따르면, 운영 서버(700)는 상기 매핑 서버(600)로부터 수신된 자재식별정보와, 자재식별정보와 매핑된 상기 제3 자재 관리 데이터 중 제2 이미지 데이터를 기초로 합성곱 신경망(CNN, Convolutional Neural Network)을 이용한 딥러닝을 실시함으로써, 창고 내 적치되어 있는 자재의 보관 상태를 파악하고, 창고 내 적치되어 있는 자재에 대한 공정 투입 가능 여부를 더 판단할 수 있으며, 해당 자재 보관 상태 파악 정보 및 자재 공정 투입 가능 여부 판단 정보가 포함된 자재 모니터링 데이터를 생성하여 저장할 수 있다.According to another embodiment of the present invention, the
본 발명의 또 다른 실시예에 따르면, 운영 서버(700)는 상기 매핑 서버(600)로부터 수신된 자재식별정보와, 자재식별정보와 매핑된 상기 제3 자재 관리 데이터 및 상기 합성곱 신경망(CNN, Convolutional Neural Network)을 이용한 딥러닝 실시를 통해 생성한 자재 모니터링 데이터를 기초로 순환 신경망(RNN, Recurrent Neural Network)을 이용한 딥러닝을 추가 실시함으로써, 자재의 입출고 내역, 공정 투입에 따른 불출 내역 및 이동 정보를 포함하는 자재 관리 이력 정보를 도출하고 이를 저장할 수 있다.According to another embodiment of the present invention, the
즉, 운영 서버(700)는 자재식별정보와, 제1 이미지 데이터 또는 제2 이미지 데이터를 기초로 합성곱 신경망(CNN)을 이용한 1차 딥러닝을 실시함으로써 자재 모니터링 데이터를 생성하고, 자재식별정보, 제3 자재 관리 데이터 및 1차 딥러닝을 통해 생성한 자재 모니터링 데이터를 기초로 순환 신경망(RNN)을 이용한 2차 딥러닝을 실시함으로써, 자재에 대한 재고 파악뿐만 아니라 이동, 불출 및 변질로 인한 폐기 등의 이력 정보를 도출하여 저장하는 바, 창고 내 적치되어 있는 자재에 대한 전반적인 정보 관리 및 모니터링을 수행할 수 있다.That is, the
도 2는 창고 내에서 실시되는 딥러닝 기반의 자재 관리 시스템의 예시를 도시한 도면이다.2 is a diagram showing an example of a deep learning-based material management system implemented in a warehouse.
도 2에 도시된 바와 같이, 실화상 카메라(100), 열화상 카메라(200), 무선 네트워크 장치(300), 게이트웨이(400) 및 솔루션 서버(500)는 복수의 단위로 구성될 수 있다.As shown in FIG. 2, the
딥러닝 기반의 자재 관리 시스템에 구성되는 실화상 카메라(100), 열화상 카메라(200), 무선 네트워크 장치(300), 게이트웨이(400) 및 솔루션 서버(500)의 개수는, 딥러닝 기반의 자재 관리 시스템에 포함되도록 설정되는 창고의 개수, 구역의 개수, 무선 데이터 송수신 네트워크 환경에 따라 설치되는 무선 네트워크 장치(300) 또는 게이트웨이(400)의 개수, 관리자에 의해 설치되는 실화상 카메라(100) 및 열화상 카메라(200)의 개수 중 적어도 하나에 의한 요인에 따라 상이하게 변경될 수 있으며, 이는 관리자에 의해 설정되는 것일 수 있다.The number of
실화상 카메라(101, 106), 열화상 카메라(201, 206) 및 무선 네트워크 장치(301, 305)는 창고 내 입구 및 출구에 설치되어 자재 입출고 또는 불출에 대한 화상을 획득하고 이를 게이트웨이(401)로 전송되도록 할 수 있다.Visual cameras (101, 106), thermal cameras (201, 206) and wireless network devices (301, 305) are installed at the entrances and exits of the warehouse to acquire images of material input/output or dispensing, and the
특히, 실화상 카메라(100), 열화상 카메라(200) 및 무선 네트워크 장치(300)는 소정의 구역에 따라 일 이상의 단위로 설치될 수 있으며, "창고 1"의 "C구역"과 같이, 무선 네트워크 장치(304)는 복수의 실화상 카메라(104, 105) 및 열화상 카메라(204, 205)로부터 실화상 및 열화상을 수신 및 취합하여 게이트웨이(401)로 전송할 수 있다.In particular, the
즉, 창고 내 구역(ex A구역, B 구역, C 구역 등)별로 적어도 하나 이상의 실화상 카메라(101-110) 및 열화상 카메라(201-210)가 설치되어 있고, 상기 구역 각각에 대해 무선 네트워크 장치(301-309)가 하나씩 설치되어 획득한 실화상 또는 열화상에 대한 정보를 게이트웨이(401-402)에 전송할 수 있다. 상기 게이트웨이(401-402)는 창고별로 설치되어 각 창고에 대한 정보를 수신할 수 있고, 이를 각 창고에 대응하는 솔루션 서버(501-502)에 각각 전송할 수 있다. 솔루션 서버(501-502)에서는 각 창고 관련 수신한 정보를 다시 매핑 서버(600)에 전송할 수 있고, 매핑 서버(600)는 복수의 창고로부터 획득한 정보들을 관리할 수 있을 것이다.That is, at least one visual camera (101-110) and thermal imaging camera (201-210) are installed for each area in the warehouse (ex A area, B area, C area, etc.), and a wireless network for each of the areas The devices 301-309 may be installed one by one to transmit information about the acquired real image or thermal image to the gateway 401-402. The gateways 401-402 may be installed for each warehouse to receive information on each warehouse, and may transmit this to the solution servers 501-502 corresponding to each warehouse. The solution server 501-502 may transmit the received information related to each warehouse to the
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반의 자재 관리 시스템이 실시되는 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of implementing a material management system based on deep learning according to an embodiment of the present invention.
먼저, 창고 내에 설치되는 실화상 카메라(100)와 열화상 카메라(200)를 통해 창고 또는 자재에 대한 실화상 및 열화상이 획득되면(S301), 해당 실화상 및 열화상은 무선 네트워크 장치(300)로 전송될 수 있다(S302).First, when a real image and a thermal image of a warehouse or material are acquired through the
무선 네트워크 장치(300)는 수신된 실화상 및 열화상을 그룹핑하여(S303), 제1 식별코드와 매칭시킬 수 있으며(S304), 제1 식별코드와 매칭한 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 제1 자재 관리 데이터로서 게이트웨이(400)로 전송할 수 있다(S305).The
게이트웨이(400)는 수신된 제1 자재 관리 데이터에 포함되어 있는 제1 식별코드에 게이트웨이 식별코드를 추가하여 제2 식별코드로 업데이트할 수 있으며(S306), 업데이트된 제2 식별코드와 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 제2 자재 관리 데이터로서 솔루션 서버(500)로 전송할 수 있다(S307).The
솔루션 서버(500)는 수신된 제2 자재 관리 데이터에 포함되어 있는 실화상에 대한 정보 및 열화상에 대한 정보를 기초로 이미지 보정 과정 및 이미지 처리 과정을 수행하여 복수의 이미지 데이터를 생성하고(S308), 제2 자재 관리 데이터에 포함되어 있는 제2 식별코드에 솔루션 서버 식별코드를 추가하여 제3 식별코드로 업데이트할 수 있다(S309).The
이에 따라, 솔루션 서버(500)는 제3 식별코드 및 상기 생성한 복수의 이미지 데이터를 포함하는 제3 자재 관리 데이터를 매핑 서버(600)로 전송할 수 있다(S310).Accordingly, the
매핑 서버(600)는 제3 자재 관리 데이터를 기초로 문자, 숫자, 바코드, QR 코드 중 적어도 어느 하나에 해당하는 자재식별정보를 도출하며(S311), 도출한 자재식별정보와 제3 자재 관리 데이터를 매핑함으로써(S312), 운영 서버(700)로 매핑된 자재식별정보 및 제3 자재 관리 데이터를 전송할 수 있다(S313).The
운영 서버(700)는 매핑 서버(600)로부터 수신된 자재식별정보 및 제3 자재 관리 데이터를 기초로 합성곱 신경망(CNN)을 이용한 딥러닝을 수행함으로써, 자재 모니터링 정보를 생성 및 저장할 수 있으며, 생성한 자재 모니터링 정보와 상기 자재식별정보 및 제3 자재 관리 데이터를 기초로 순환 신경망(RNN)을 이용한 딥러닝을 수행함으로써, 자재 관리 이력 정보 자재의 입출고 내역, 공정 투입에 따른 불출 내역 및 이동 정보를 포함하는 자재 관리 이력 정보를 도출 및 저장하여 창고 내 자재에 대한 관리를 수행할 수 있다(S314).The
도 4는 실화상에 대한 정보 및 열화상에 대한 정보를 기초로 하는 이미지 보정 과정 및 이미지 처리 과정을 통해 이미지 데이터가 생성되는 예시를 도시한 도면이다.4 is a diagram illustrating an example in which image data is generated through an image correction process and an image processing process based on information on a real image and information on a thermal image.
도 4의 (a)에 도시된 바와 같이, 이미지 보정 과정을 통해 생성된 실화상 보정 이미지 또는 열화상 보정 이미지(401)는, 윤곽선 영역(403) 및 윤곽선 영역 내부에 포함된 자재상태 영역(402)으로 이루어진 자재의 형상을 포함할 수 있다.As shown in (a) of FIG. 4, the real image correction image or the thermal
한편, 도 4의 (b)는 제1 이미지 처리에 따라 제1 이미지 데이터가 생성되는 과정의 예시를 나타낸 것이다.Meanwhile, FIG. 4B shows an example of a process in which first image data is generated according to the first image processing.
도 4의 (b)에 도시된 바와 같이, 실화상 카메라(100)를 통해 획득된 실화상을 기초로 명암을 보정하는 이미지 보정 과정을 통해 실화상 보정 이미지가 생성될 수 있다. 이 후, 실화상 보정 이미지에 포함된 소정 영역에 열화상을 보정 이미지로서 합성함에 따라, 실화상 내 특정 형태에 대한 윤곽선이 명확해지는 제1 이미지 데이터가 생성될 수 있다.As shown in (b) of FIG. 4, a real image correction image may be generated through an image correction process of correcting contrast based on a real image acquired through the
이와 같이, 윤곽선 영역이 희미하여 형태를 알기 어려웠던 실화상의 이미지를 보정 후, 열화상을 보정 이미지로서 합성함에 따라, 윤곽선 영역이 뚜렷해진, 즉, 이미지 형태 구분이 개선된 이미지 데이터를 취득하게 됨으로써, 본 발명에서는, 자재의 형태가 뚜렷하지 않은 상태로 획득된 화상에 대하여 자재의 윤곽선이 부각되도록 처리된 이미지 데이터의 획득이 가능하며, 이에 따라 창고 내 자재 수량 및 재고 파악이 용이하게 될 수 있다.In this way, after correcting the image of the real image whose shape was difficult to understand due to the faint outline area, the thermal image was synthesized as a corrected image, thereby obtaining image data in which the outline area became clear, that is, the image shape classification was improved, In the present invention, it is possible to obtain image data processed so that the outline of the material is highlighted with respect to an image obtained in a state where the shape of the material is not clear, and accordingly, it is possible to easily identify the quantity and stock of materials in the warehouse.
도 4의 (c)는 제2 이미지 처리에 따라 제2 이미지 데이터가 생성되는 과정의 예시를 나타낸 것이다.4C shows an example of a process in which second image data is generated according to second image processing.
도 4의 (c)에 도시된 바와 같이, 열화상 카메라(200)를 통해 획득된 열화상을 기초로 채도를 보정하는 이미지 보정 과정을 통해 열화상 보정 이미지가 생성될 수 있다. 이 후, 열화상 보정 이미지에 포함된 윤곽선 영역에 실화상을 보정 이미지로서 합성함에 따라, 특정 형태 내에 열화상의 정보가 표시되는 제2 이미지 데이터가 생성될 수 있다.As shown in (c) of FIG. 4, a thermal image correction image may be generated through an image correction process of correcting saturation based on a thermal image acquired through the
이와 같이, 형태가 표시되지 않아 어떠한 물체에 대한 열화상 상태 정보가 표시된 것인지 알기 어려웠던 열화상의 이미지를 보정 후, 실화상을 보정 이미지로서 합성함에 따라, 특정 형태 내 열화상 정보가 표시된 이미지 데이터를 취득하게 됨으로써, 본 발명에서는, 자재의 형태가 뚜렷하지 않은 상태로 획득된 열화상에 대하여 자재의 형태 내 자재의 변질 여부 또는 변질 정보 파악이 가능하도록 하는 열화상 데이터가 표시된 이미지 데이터의 획득이 가능하며, 이에 따라 창고 내 자재 보관 상태 파악과, 더 나아가서는 자재 상태에 따른 해당 자재의 공정 투입 가능 여부 판단 등을 용이하게 할 수 있다.In this way, after correcting the image of the thermal image for which it was difficult to know which object the thermal image state information was displayed because the shape was not displayed, the real image was synthesized as a corrected image, thereby obtaining image data displaying thermal image information in a specific shape. By doing so, in the present invention, it is possible to obtain image data displaying thermal image data that enables identification of the material's deterioration in the shape of the material or information on the deterioration of the thermal image obtained in a state where the shape of the material is not clear, and According to this, it is possible to understand the storage status of materials in the warehouse, and furthermore, determine whether the process can be inputted according to the material status.
본 발명의 일 실시예에 따르면, 상기 제1 이미지 처리 또는 제2 이미지 처리는, 가우시안(Gaussian) 필터 또는 라플라시안(Laplacian) 필터 중 적어도 어느 하나를 이용하여 수행하는 것일 수 있다.According to an embodiment of the present invention, the first image processing or the second image processing may be performed using at least one of a Gaussian filter or a Laplacian filter.
도 4의 (d)는 제3 이미지 처리에 따라 제3 이미지 데이터가 생성되는 과정의 예시를 나타낸 것이다.4D shows an example of a process of generating third image data according to third image processing.
도 4의 (d)에 도시된 바와 같이, 실화상에는 자재에 대한 화상 및 자재식별정보가 포함되어 있을 수 있으며, 자재식별정보는 문자 및 숫자를 포함하는 자재식별정보(404), QR 코드에 해당하는 자재식별정보(405), 바코드에 해당하는 자재식별정보(406) 중 어느 하나의 형태로 구현되어 자재에 부착되어 있을 수 있다.As shown in (d) of FIG. 4, the real image may include an image of a material and material identification information, and the material identification information corresponds to the
솔루션 서버(500)는 실화상에 대한 정보를 흑백 음영 처리하여 자재식별정보 도출 부분의 인식이 용이하도록 한 후, 자재식별정보 도출 부분을 인식하여, 인식된 부분의 이미지를 자르기 처리함으로써 제3 이미지 데이터를 생성할 수 있으며, 이를 통해, 매핑 서버(600)로 하여금 자재식별정보 도출이 용이하도록 할 수 있다.The
도 5는 본 발명의 일 실시예에 따른 식별코드의 예시를 나타낸 도면이다.5 is a diagram showing an example of an identification code according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 딥러닝 기반의 자재 관리 시스템 내에서 생성되는 식별코드는 창고식별번호, 구역코드정보, 카메라식별번호, 게이트웨이 식별코드 및 솔루션서버 식별코드가 순차적으로 나열된 형태로 구성되는 것일 수 있다.As shown in Figure 5, the identification code generated in the deep learning-based material management system is composed of a warehouse identification number, area code information, camera identification number, gateway identification code, and solution server identification code sequentially listed. Can be.
구체적으로, 제1 식별코드는 창고식별번호, 구역코드정보 및 카메라식별번호가 순차적으로 나열된 형태의 식별코드일 수 있으며, 제2 식별코드는 제1 식별코드에 게이트웨이 식별코드가 추가로 나열되어 업데이트된 형태의 식별코드일 수 있다. 즉, 제2 식별코드는, 창고식별번호, 구역코드정보, 카메라식별번호 및 게이트웨이 식별코드가 순차적으로 나열된 형태로 구성되는 것일 수 있다.Specifically, the first identification code may be an identification code in the form of sequentially listing the warehouse identification number, area code information, and camera identification number, and the second identification code is updated by adding a gateway identification code to the first identification code. It may be a type of identification code. That is, the second identification code may be configured in a form in which the warehouse identification number, area code information, camera identification number, and gateway identification code are sequentially arranged.
제3 식별코드는 제2 식별코드에 솔루션 서버 식별코드가 추가로 나열되어 업데이트된 형태의 식별코드일 수 있으며, 다시 말해, 창고식별번호, 구역코드정보, 카메라식별번호, 게이트웨이 식별코드 및 솔루션서버 식별코드가 순차적으로 나열된 형태로 구성되는 것일 수 있다.The third identification code may be an updated identification code by listing the solution server identification code in the second identification code. In other words, the warehouse identification number, area code information, camera identification number, gateway identification code and solution server The identification code may be configured in a sequential order.
또한, 창고식별번호는 2자리의 숫자로 구성되고, 구역코드정보는 숫자 및 문자로 구성된 3자리의 코드, 카메라식별정보는 두자리의 숫자, 게이트웨이 식별코드는 3자리의 숫자, 솔루션 서버 식별코드는 3자리의 숫자로 구성됨에 따라, 제1 식별코드는 숫자 및 문자를 포함하는 총 7자리의 코드, 제2 식별코드는 숫자 및 문자를 포함하는 총 10자리의 코드, 제3 식별코드는 숫자 및 문자를 포함하는 총 13자리의 코드로 구성되는 것일 수 있다.In addition, the warehouse identification number is composed of two digits, the area code information is a three digit code composed of numbers and letters, the camera identification information is a two digit number, the gateway identification code is a three digit number, and the solution server identification code is As it is composed of 3 digits, the first identification code is a total of 7 digits including numbers and letters, the second identification code is a total of 10 digits including numbers and letters, and the third identification code is a number and It may be composed of a total of 13 digits of code including characters.
이와 같이, 본 발명의 일 실시예에 따르면, 자재 불출 시, 창고 내에 구비되어 있는 실화상카메라 및 열화상카메라의 자재에 대한 이미지 획득을 통해, 촬영된 이미지를 기초로 서버에서 자재 불출에 대한 판단 및 재고 등의 관리가 이뤄지므로, 자재 관리를 위한 근로자(작업자)의 자재 불출 기록 등의 작업이 요구되지 않는 바, 근로자(작업자)의 편의성이 증대된다는 효과가 있다.As described above, according to an embodiment of the present invention, when material is dispensed, the server determines the material dispensing based on the captured image through image acquisition of the material of the real image camera and the thermal image camera provided in the warehouse. And since the management of inventory, etc. is performed, there is an effect that the convenience of the worker (worker) is increased because the work such as recording of material dispensing of the worker (worker) for material management is not required.
또한, 본 발명의 일 실시예에 따르면, 창고로부터 획득된 자재에 대한 이미지를 기초로 이미징 처리 후 딥러닝을 통하여 자재에 대한 변질 여부 등 상태 파악이 가능하므로, 자재에 대한 재고 관리뿐만 아니라 보관 관리 또한 가능하다는 장점이 있다.In addition, according to an embodiment of the present invention, it is possible to determine the status of the material such as whether or not the material is deteriorated through deep learning after imaging based on the image of the material acquired from the warehouse, so not only inventory management of the material but also storage management It also has the advantage of being possible.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and claims and equivalents fall within the scope of the following claims.
100 : 실화상 카메라
200 : 열화상 카메라
300 : 무선 네트워크 장치
400 : 게이트웨이
500 : 솔루션 서버
600 : 매핑 서버
700 : 운영 서버100: real image camera
200: thermal imaging camera
300: wireless network device
400: gateway
500: solution server
600: mapping server
700: production server
Claims (9)
창고 내에 설치되어 실화상을 획득하는 실화상 카메라 및 열화상을 획득하는 열화상 카메라;
상기 실화상 카메라 및 상기 열화상 카메라로부터 상기 실화상 및 상기 열화상을 수신하고, 상기 실화상 및 상기 열화상을 그룹핑하여 제1 식별코드와 매칭시키며, 상기 제1 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제1 자재 관리 데이터를 게이트웨이로 전송하는 무선 네트워크 장치;
상기 무선 네트워크 장치로부터 상기 제1 자재 관리 데이터를 수신하고, 상기 제1 식별코드를 업데이트한 제2 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제2 자재 관리 데이터를 솔루션 서버로 전송하는 게이트웨이;
상기 제2 자재 관리 데이터에 포함된 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 기초로 이미지 보정 과정 및 이미지 처리 과정을 수행하여 복수의 이미지 데이터를 생성하고, 상기 제2 식별코드를 업데이트한 제3 식별코드 및 상기 복수의 이미지 데이터를 포함하는 제3 자재 관리 데이터를 매핑 서버로 전송하는 솔루션 서버;
상기 솔루션 서버로부터 수신된 상기 제3 자재 관리 데이터를 기초로 문자, 숫자, 바코드, QR 코드 중 적어도 어느 하나에 해당하는 자재식별정보를 도출하고, 상기 자재식별정보와 상기 제3 자재 관리 데이터를 매핑하여 운영 서버로 전송하는 매핑 서버; 및
상기 자재식별정보와 상기 제3 자재 관리 데이터를 기초로 딥러닝을 실시함으로써 창고 내 자재 정보에 대한 관리를 수행하는 운영 서버를 포함하며,
상기 이미지 보정 과정은, i) 상기 실화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 실화상 보정 이미지, 또는 ii) 상기 열화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 열화상 보정 이미지를 생성하는 과정을 의미하는 것으로 하는, 딥러닝 기반의 자재 관리 시스템.
In a deep learning-based material management system,
A real image camera installed in the warehouse to obtain a real image and a thermal image camera to obtain a thermal image;
The real image and the thermal image are received from the real image camera and the thermal image camera, the real image and the thermal image are grouped and matched with a first identification code, and the first identification code and the real image are A wireless network device that transmits information and first material management data including information on the thermal image to a gateway;
Receiving the first material management data from the wireless network device, a second identification code updated the first identification code, second material management data including information on the real image and information on the thermal image A gateway to transmit to the solution server;
Generate a plurality of image data by performing an image correction process and an image processing process based on the real image information and the thermal image information included in the second material management data, and update the second identification code A solution server that transmits a third identification code and third material management data including the plurality of image data to a mapping server;
Based on the third material management data received from the solution server, material identification information corresponding to at least one of letters, numbers, barcodes, and QR codes is derived, and the material identification information and the third material management data are mapped. A mapping server for transmitting to the operation server; And
It includes an operation server for managing material information in the warehouse by performing deep learning based on the material identification information and the third material management data,
The image correction process includes: i) a real image corrected image by correcting at least one of contrast, saturation, hue, shade, and illuminance for the real image, or ii) contrast, saturation, hue, shadow, and illuminance for the thermal image. A deep learning-based material management system that refers to a process of generating a thermal image correction image by correcting at least one of them.
상기 솔루션 서버는,
상기 이미지 처리 과정에 있어서, 상기 실화상에 대한 정보 및 열화상에 대한 정보를 기초로 i) 창고 내 자재 재고 파악을 위한 제1 이미지 처리를 수행하여 제1 이미지 데이터를 생성하는 프로세스, ii) 창고 내 자재의 보관 상태 파악을 위한 제2 이미지 처리를 수행하여 제2 이미지 데이터를 생성하는 프로세스, iii) 상기 자재식별정보 도출을 위한 제3 이미지 처리를 수행하여 제3 이미지 데이터를 생성하는 프로세스 중 적어도 하나를 수행하는 것을 특징으로 하는, 딥러닝 기반의 자재 관리 시스템.
The method of claim 1,
The solution server,
In the image processing process, based on the information on the real image and the information on the thermal image, i) a process of generating first image data by performing a first image processing to identify material stock in a warehouse, ii) a warehouse At least one of the processes of generating second image data by performing second image processing to determine the storage status of my material, iii) performing third image processing for deriving the material identification information to generate third image data A material management system based on deep learning, characterized by performing one.
상기 실화상 보정 이미지에 포함된 자재가 윤곽선 영역 및 상기 윤곽선 영역 내부에 포함된 자재상태 영역으로 이루어져 있다고 할 때,
상기 솔루션 서버는,
상기 제1 이미지 처리에 있어서, 상기 실화상 보정 이미지에 포함된 상기 자재상태 영역에 상기 열화상을 보정 이미지로서 합성하여 제1 이미지 데이터를 생성하는 것을 특징으로 하는, 딥러닝 기반의 자재 관리 시스템.
The method of claim 2,
Assuming that the material included in the real image correction image consists of an outline area and a material state area included in the outline area,
The solution server,
In the first image processing, the material management system based on deep learning, characterized in that the thermal image is synthesized as a corrected image in the material state area included in the real image corrected image to generate first image data.
상기 열화상 보정 이미지에 포함된 자재가 윤곽선 영역 및 상기 윤곽선 영역 내부에 포함된 자재상태 영역으로 이루어져 있다고 할 때,
상기 솔루션 서버는,
상기 제2 이미지 처리에 있어서, 상기 열화상 보정 이미지에 포함된 상기 윤곽선 영역에 상기 실화상을 보정 이미지로서 합성하여 제2 이미지 데이터를 생성하는 것을 특징으로 하는, 딥러닝 기반의 자재 관리 시스템.
The method of claim 2,
Assuming that the material included in the thermal image correction image consists of an outline area and a material state area included in the outline area,
The solution server,
In the second image processing, the real image is synthesized as a corrected image in the contour area included in the thermal image correction image to generate second image data.
상기 솔루션 서버는,
상기 제3 이미지 처리에 있어서, 상기 실화상에 대하여 i) 흑백 음영 처리를 수행하고, ii) 흑백 음영 처리된 이미지에서 상기 자재식별정보 도출 부분을 인식하여, iii) 인식된 부분의 이미지를 자르기 처리함으로써 제3 이미지 데이터를 생성하는 것을 특징으로 하는, 딥러닝 기반의 자재 관리 시스템.
The method of claim 2,
The solution server,
In the third image processing, i) black-and-white shading is performed on the real image, ii) the material identification information derived portion is recognized in the black-and-white shaded image, and iii) the image of the recognized portion is cropped. Material management system based on deep learning, characterized in that to generate the third image data.
상기 매핑 서버는,
상기 제3 이미지 데이터로부터 문자 인식, 숫자 인식, 바코드 인식, QR 코드 인식 중 어느 하나를 수행함으로써 자재식별정보를 도출하는 것을 특징으로 하는, 딥러닝 기반의 자재 관리 시스템.
The method of claim 5,
The mapping server,
A material management system based on deep learning, characterized in that the material identification information is derived by performing any one of character recognition, number recognition, barcode recognition, and QR code recognition from the third image data.
상기 운영 서버는,
i) 상기 자재식별정보와, 매핑되어 있는 상기 제1 이미지 데이터를 기초로 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 딥러닝을 실시함으로써, 창고 내 자재 재고 실시간 파악, 관리 및 모니터링을 실시하는 프로세스 및 ii) 상기 자재식별정보와, 매핑되어 있는 상기 제2 이미지 데이터를 기초로 합성곱 신경망(CNN, Convolutional Neural Network)을 이용하여 딥러닝을 실시함으로써, 창고 내 적치되어 있는 자재의 보관 상태를 파악하고, 창고 내 적치되어 있는 자재에 대한 공정 투입 가능 여부를 더 판단하는 프로세스 중 적어도 하나를 수행함으로써 자재 모니터링 데이터를 생성 및 저장하는 것을 특징으로 하는, 딥러닝 기반의 자재 관리 시스템.
The method of claim 2,
The operation server,
i) Real-time identification, management and monitoring of material inventory in warehouses by performing deep learning using a convolutional neural network (CNN) based on the material identification information and the mapped first image data. Process and ii) deep learning using a convolutional neural network (CNN) based on the material identification information and the mapped second image data, and the storage state of the materials stacked in the warehouse A deep learning-based material management system, characterized in that by performing at least one of the processes of grasping and further determining whether a process input is possible for the material stored in the warehouse, and generating and storing material monitoring data.
상기 운영 서버는,
상기 자재식별정보와, 매핑되어 있는 상기 제3 자재 관리 데이터 및 상기 자재 모니터링 데이터를 기초로 순환 신경망(RNN, Recurrent Neural Network)을 이용하여 딥러닝을 실시함으로써, 자재의 입출고 내역, 공정 투입에 따른 불출 내역 및 이동 정보를 포함하는 자재 관리 이력 정보를 도출 및 저장하는 것을 특징으로 하는, 딥러닝 기반의 자재 관리 시스템.
The method of claim 7,
The operation server,
Based on the material identification information, the mapped third material management data, and the material monitoring data, deep learning is performed using a recurrent neural network (RNN), thereby A deep learning-based material management system, characterized in that it derives and stores material management history information including dispensing details and movement information.
창고 내에 설치된 실화상 카메라가 실화상을 획득하고, 창고 내에 설치된 열화상 카메라가 열화상을 획득하는 단계;
상기 무선 네트워크 장치가 상기 실화상 카메라 및 상기 열화상 카메라로부터 상기 실화상 및 상기 열화상을 수신하고, 상기 실화상 및 상기 열화상을 그룹핑하여 제1 식별코드와 매칭시키며, 상기 제1 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제1 자재 관리 데이터를 게이트웨이로 전송하는 단계;
상기 게이트웨이가 상기 무선 네트워크 장치로부터 상기 제1 자재 관리 데이터를 수신하고, 상기 제1 식별코드를 업데이트한 제2 식별코드, 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 포함하는 제2 자재 관리 데이터를 솔루션 서버로 전송하는 단계;
상기 솔루션 서버가 상기 제2 자재 관리 데이터에 포함된 상기 실화상에 대한 정보 및 상기 열화상에 대한 정보를 기초로 이미지 보정 과정 및 이미지 처리 과정을 수행하여 복수의 이미지 데이터를 생성하고, 상기 제2 식별코드를 업데이트한 제3 식별코드 및 상기 복수의 이미지 데이터를 포함하는 제3 자재 관리 데이터를 매핑 서버로 전송하는 단계;
상기 매핑 서버가 상기 솔루션 서버로부터 수신된 상기 제3 자재 관리 데이터를 기초로 문자, 숫자, 바코드, QR 코드 중 적어도 어느 하나에 해당하는 자재식별정보를 도출하고, 상기 자재식별정보와 상기 제3 자재 관리 데이터를 매핑하여 운영 서버로 전송하는 단계; 및
상기 운영 서버가 상기 자재식별정보와 상기 제3 자재 관리 데이터를 기초로 딥러닝을 실시함으로써 창고 내 자재 정보에 대한 관리를 수행하는 단계를 포함하며,
상기 이미지 보정 과정은, i) 상기 실화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 실화상 보정 이미지, 또는 ii) 상기 열화상에 대하여 명암, 채도, 색조, 음영 및 조도 중 적어도 하나를 보정하여 열화상 보정 이미지를 생성하는 과정을 의미하는 것으로 하는, 딥러닝 기반의 자재 관리 방법.In the method of managing materials based on deep learning,
A step of obtaining a real image by a real image camera installed in the warehouse, and obtaining a thermal image by a thermal image camera installed in the warehouse;
The wireless network device receives the real image and the thermal image from the real image camera and the thermal image camera, groups the real image and the thermal image to match a first identification code, and the first identification code, Transmitting first material management data including information on the real image and information on the thermal image to a gateway;
The gateway receives the first material management data from the wireless network device, a second identification code that updates the first identification code, a second material including information on the real image and information on the thermal image Transmitting management data to a solution server;
The solution server generates a plurality of image data by performing an image correction process and an image processing process based on the information on the real image and the information on the thermal image included in the second material management data, and the second Transmitting a third identification code updated with the identification code and third material management data including the plurality of image data to a mapping server;
The mapping server derives material identification information corresponding to at least one of letters, numbers, barcodes, and QR codes based on the third material management data received from the solution server, and the material identification information and the third material Mapping the management data and transmitting it to the operation server; And
The operation server includes the step of performing deep learning based on the material identification information and the third material management data to manage material information in the warehouse,
The image correction process includes: i) a real image corrected image by correcting at least one of contrast, saturation, hue, shade, and illuminance for the real image, or ii) contrast, saturation, hue, shadow, and illuminance for the thermal image. A deep learning-based material management method that refers to a process of generating a thermal image correction image by correcting at least one of them.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200063541A KR102159472B1 (en) | 2020-05-27 | 2020-05-27 | System for managing materials based on deep learning |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200063541A KR102159472B1 (en) | 2020-05-27 | 2020-05-27 | System for managing materials based on deep learning |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102159472B1 true KR102159472B1 (en) | 2020-09-23 |
Family
ID=72708902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200063541A KR102159472B1 (en) | 2020-05-27 | 2020-05-27 | System for managing materials based on deep learning |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102159472B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220063785A (en) * | 2020-11-09 | 2022-05-18 | 삼덕통상 주식회사 | An automated manufacturing of a shoe part |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190142626A (en) * | 2018-06-18 | 2019-12-27 | 세종대학교산학협력단 | System and method for autonomous crack evaluation of structure using hybrid image scanning |
-
2020
- 2020-05-27 KR KR1020200063541A patent/KR102159472B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190142626A (en) * | 2018-06-18 | 2019-12-27 | 세종대학교산학협력단 | System and method for autonomous crack evaluation of structure using hybrid image scanning |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220063785A (en) * | 2020-11-09 | 2022-05-18 | 삼덕통상 주식회사 | An automated manufacturing of a shoe part |
KR102555311B1 (en) * | 2020-11-09 | 2023-07-14 | 삼덕통상 주식회사 | An automated manufacturing of a shoe part |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11138559B2 (en) | System and method for dynamic inventory management | |
CN110383274B (en) | Method, device, system, storage medium, processor and terminal for identifying equipment | |
US20190392318A1 (en) | Generating labeled training images for use in training a computational neural network for object or action recognition | |
CN111274845A (en) | Method, device and system for identifying shelf display situation of store and electronic equipment | |
KR102145609B1 (en) | Method and apparatus for managing distribution of imported auto parts | |
AU2020289853A1 (en) | Matching method and apparatus, electronic device, computer-readable storage medium, and computer program | |
KR102159472B1 (en) | System for managing materials based on deep learning | |
CN111008561A (en) | Livestock quantity determination method, terminal and computer storage medium | |
CN106203225A (en) | Pictorial element based on the degree of depth is deleted | |
CN111291646A (en) | People flow statistical method, device, equipment and storage medium | |
KR102394900B1 (en) | Method, device and system of synchronizing product inventory information based on artificial intelligence | |
CN113486739B (en) | Screw detection method, device, electronic equipment and storage medium | |
US20240143122A1 (en) | Systems and Methods for Enhancing Image Content Captured by a Machine Vision Camera | |
KR102300500B1 (en) | Method, device and system for processing three-dimensional cut image of product | |
KR102208688B1 (en) | Apparatus and method for developing object analysis model based on data augmentation | |
JP7493927B2 (en) | Image processing device, image processing method, and program | |
CN115633321B (en) | Wireless communication network monitoring method and system | |
CN116543460A (en) | Space-time action recognition method based on artificial intelligence and related equipment | |
KR102443400B1 (en) | Method and device for validating playbook to cope with security event | |
CN113505733A (en) | Behavior recognition method, behavior recognition device, storage medium and electronic device | |
CN111698413B (en) | Object image acquisition method and device and electronic equipment | |
CN110175483A (en) | A kind of recognition methods based on label | |
US20230245433A1 (en) | Systems and Methods for Implementing a Hybrid Machine Vision Model to Optimize Performance of a Machine Vision Job | |
CN117894041B (en) | Slaughterhouse intelligent management method and system based on Internet of things | |
CN113822280B (en) | Text recognition method, device, system and nonvolatile storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |