KR102613465B1 - Method and device for classifying and quantity of empty bottles through multi-camera based sequential machine vision - Google Patents

Abstract

개시된 기술은 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치에 관한 것으로, 검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계, 상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계, 상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계 및 상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계를 포함한다.The disclosed technology relates to a method and device for classifying and calculating empty bottles through sequential machine vision based on multiple cameras. The detection device acquires segmented images of empty bottle boxes each taken by multiple cameras, and the detection device detects the empty bottle boxes. Inputting the divided images into a neural network model to classify empty bottles by cell, the detection device detecting a box frame in the entire image of the empty bottle box, the result of classifying the empty bottles by the detection device, and the box It includes calculating the quantity of empty bottles based on the result of detecting the frame.

Description

다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치 {METHOD AND DEVICE FOR CLASSIFYING AND QUANTITY OF EMPTY BOTTLES THROUGH MULTI-CAMERA BASED SEQUENTIAL MACHINE VISION} Method and device for classifying and calculating empty bottles through sequential machine vision based on multiple cameras {METHOD AND DEVICE FOR CLASSIFYING AND QUANTITY OF EMPTY BOTTLES THROUGH MULTI-CAMERA BASED SEQUENTIAL MACHINE VISION}

개시된 기술은 다중 카메라 기반 순차적 머신 비전을 이용하여 공병을 분류하고 물량을 산출하는 방법 및 장치에 관한 것이다.The disclosed technology relates to a method and device for classifying empty bottles and calculating quantity using multi-camera-based sequential machine vision.

이미지 스티칭은 동일한 객체나 장소에 대한 여러 장의 이미지의 공통적인 부분을 찾아 하나의 이미지로 결합하는 기술이다. 주로 다중 이미지를 결합하여 고해상도 또는 파노라마 형식의 이미지를 생산하기 위해 사용된다. 관심영역(Region Of Interest, ROI)은 이미지에서 사용자의 관심 영역을 의미한다. 획득한 다중 이미지에 고정된 ROI 영역을 설정하여 객체를 추출한다.Image stitching is a technology that finds common parts of multiple images of the same object or place and combines them into one image. It is mainly used to produce high-resolution or panoramic images by combining multiple images. Region of Interest (ROI) refers to the user's area of interest in the image. Objects are extracted by setting a fixed ROI area in the acquired multiple images.

이미지 스티칭은 복수의 이미지를 결합하여 하나의 이미지로 만들 수 있지만, 자연스럽게 결합하기 위해 공통적인 부분을 찾는 절차가 필요하다. 공병 분류에 이미지 스티칭을 적용하게 되면, 공병 박스마다 달라지는 접합 부분을 자동으로 찾는데 어려움이 있어서 지연시간이 발생하게 된다. 그러나, 컨베이어 벨트를 따라 빠른 속도로 들어오는 공벽 박스들을 실시간으로 처리하면 지연시간의 최소화가 필요하다. 따라서, 이미지 스티칭은 불규칙적인 이미지 상의 객체의 위치로 인해 지연시간이 늘어나므로 실시간으로 공병을 분류하는데 이용하기에는 부적절한 점이 있다.Image stitching can combine multiple images into one image, but it requires a process of finding common parts to combine them naturally. When image stitching is applied to empty bottle classification, it is difficult to automatically find the joint parts that vary for each empty bottle box, resulting in delay time. However, if blank boxes coming in at high speed along the conveyor belt are processed in real time, delay time needs to be minimized. Therefore, image stitching is inappropriate for use in real-time classification of airborne diseases because the delay time increases due to the irregular position of objects in the image.

한편, 공병 박스가 컨베이어 벨트를 이동하는 속도 또한 일정하지 않고 박스마다 손상, 파손 등으로 인해 촬영 시점이 각 박스마다 다를 수 있다. 이로 인하여 분류하고자 하는 객체의 위치가 매 이미지마다 달라지게 되어 관심영역을 일정하게 고정된 영역으로 설정하면 파악하고자 하는 객체를 포함하지 못하는 문제가 발생한다.Meanwhile, the speed at which the empty box moves on the conveyor belt is also not constant, and the shooting time may vary for each box due to damage or breakage. As a result, the location of the object to be classified varies for each image, so if the area of interest is set to a fixed area, a problem arises in which the object to be identified cannot be included.

한국 공개특허 제10-2019-0063839호Korean Patent Publication No. 10-2019-0063839

개시된 기술은 다중 카메라 기반 순차적 머신 비전을 이용하여 공병을 분류하고 물량을 산출하는 방법 및 장치를 제공하는데 있다.The disclosed technology provides a method and device for classifying empty bottles and calculating quantity using multi-camera-based sequential machine vision.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계, 상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계, 상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계 및 상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계를 포함하는 공병 분류 및 물량 산출 방법을 제공하는데 있다.The first aspect of the technology disclosed to achieve the above technical problem is a step of a detection device acquiring segmented images of empty bottle boxes each taken by multiple cameras, and the detection device converting the divided images of the empty bottle boxes into a neural network model, respectively. inputting and classifying empty bottles by cell, detecting a box frame in the entire image of the empty bottle box by the detection device, and determining the empty bottle based on the result of classifying the empty bottle and the result of detecting the box frame by the detection device. The purpose is to provide a method for classifying empty bottles and calculating the quantity, including the step of calculating the quantity.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 다중 카메라를 제어하여 공병박스의 분할된 이미지를 획득하는 머신비전 장치, 공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장하는 저장장치 및 상기 공병박스의 분할된 이미지를 상기 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하고, 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하고, 상기 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 연산장치를 포함하는 공병 분류 및 물량 산출 장치를 제공하는데 있다.The second aspect of the technology disclosed to achieve the above technical task is a machine vision device that controls multiple cameras to obtain segmented images of empty bottle boxes, and stores a neural network model learned in advance using label values to classify empty bottles. The divided images of the storage device and the empty bottle box are respectively input to the neural network model to classify empty bottles by cell, detect a box frame in the entire image of the empty bottle box, and classify the empty bottle and the box frame. The aim is to provide an empty bottle classification and quantity calculation device that includes an arithmetic device that calculates the quantity of empty bottles based on the detection results.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technology may have effects including the following advantages. However, since this does not mean that the embodiments of the disclosed technology must include all of them, the scope of rights of the disclosed technology should not be understood as being limited thereby.

개시된 기술의 일 실시예에 따르면 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치는 인프라 구축이 어려운 공장에도 낮은 비용으로 재활용 공병을 관리하는 효과가 있다.According to one embodiment of the disclosed technology, a method and device for sorting and calculating the quantity of empty bottles through multi-camera-based sequential machine vision is effective in managing recycled empty bottles at low cost even in factories where infrastructure is difficult to build.

도 1은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 장치에 대한 블록도이다.
도 4는 개시된 기술의 일 실시예에 따른 공병 박스 프레임을 검출하는 과정을 나타낸 도면이다.Figure 1 is a diagram illustrating a multi-camera-based machine vision engineer classification process according to an embodiment of the disclosed technology.
Figure 2 is a flowchart of a multi-camera based machine vision engineer classification method according to an embodiment of the disclosed technology.
Figure 3 is a block diagram of a multi-camera based machine vision engineer classification device according to an embodiment of the disclosed technology.
Figure 4 is a diagram showing a process for detecting an empty box frame according to an embodiment of the disclosed technology.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. may be used to describe various components, but the components are not limited by the terms, and are only used for the purpose of distinguishing one component from other components. It is used only as For example, a first component may be referred to as a second component, and similarly, the second component may be referred to as a first component without departing from the scope of the present invention. The term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.As used herein, singular expressions should be understood to include plural expressions unless the context clearly dictates otherwise. And terms such as "include" mean the presence of the described features, numbers, steps, operations, components, parts, or combinations thereof, but one or more other features, numbers, steps, operations, components, parts, etc. It should be understood that it does not exclude the existence or addition of combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. Before providing a detailed description of the drawings, it would be clarified that the division of components in this specification is merely a division according to the main function each component is responsible for. That is, two or more components, which will be described below, may be combined into one component, or one component may be divided into two or more components for more detailed functions.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.In addition to the main functions it is responsible for, each of the components described below may additionally perform some or all of the functions handled by other components, and some of the main functions handled by each component may be performed by other components. Of course, it can also be carried out exclusively by . Therefore, the presence or absence of each component described throughout this specification should be interpreted functionally.

도 1은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 과정을 나타낸 도면이다. 도 1을 참조하면 검출장치는 식음료 공장에 입고되는 재활용 공병의 물량 산출을 위해 다중 카메라 방식의 bar detecting 머신비전과 CNN을 순차적으로 활용한 알고리즘을 이용하여 공병 분류 및 수량 산출을 위한 데이터 처리 속도를 향상할 수 있다.Figure 1 is a diagram illustrating a multi-camera-based machine vision engineer classification process according to an embodiment of the disclosed technology. Referring to Figure 1, the detection device uses an algorithm that sequentially utilizes multi-camera bar detecting machine vision and CNN to calculate the quantity of recycled empty bottles received at the food and beverage factory, thereby increasing the data processing speed for classifying empty bottles and calculating the quantity. can be improved

공장 내 촬영 영역으로 공병박스가 입고되면 검출장치는 다중 카메라를 이용하여 공병박스 이미지를 촬영한다. 다중 카메라는 머신비전을 위해 구비되는 것으로 각각의 카메라가 공병박스에 대한 분할된 이미지를 획득할 수 있다. 예컨대, 다중 카메라가 공병박스의 수직 상부에서 공병박스에 포함된 복수개의 셀(Cell)들을 하나씩 촬영할 수 있다. 여기에서 복수개의 셀은 공병이 삽입되는 공간을 의미한다. 가령, 공병박스가 5X6 사이즈의 박스라면 30개의 셀을 포함할 수 있다. 만약 5X6 사이즈의 공병박스를 촬영한다면 다중 카메라 또한 5X6 형태로 배치되어 각 셀 별로 영상을 촬영할 수 있다. 이러한 과정에 따라 공병박스 영상 데이터를 수집할 때 각도상의 왜곡을 최소화하는 것이 가능하다.When an empty bottle box is delivered to the shooting area within the factory, the detection device uses multiple cameras to capture images of the empty bottle box. Multiple cameras are provided for machine vision, and each camera can acquire segmented images of the empty bottle box. For example, multiple cameras can photograph a plurality of cells included in the empty bottle box one by one from the vertical top of the empty bottle box. Here, the plurality of cells refers to the space where the empty bottle is inserted. For example, if the empty bottle box is a 5X6 box, it can contain 30 cells. If you are shooting a 5 Following this process, it is possible to minimize angular distortion when collecting empty box image data.

한편, 각 프레임 별 분할된 공병박스에 대한 이미지를 획득하기 이전에 검출장치는 신경망 모델을 학습하는 과정을 수행할 수 있다. 검출장치가 사용하는 신경망 모델은 공병의 수량 산출 및 종류 분류를 한번에 수행할 수 있는 일체형(unified) CNN일 수 있다. 검출장치는 라벨값을 이용하여 신경망 모델을 학습시키는 과정을 거친 후 공병 분류 및 수량 산출에 이용할 수 있다. 일 실시예로, 검출장치는 공병박스의 이미지 프로세싱을 위해 획득한 데이터를 기반으로 박스의 셀 크기에 맞게 경계를 설정하여 병의 종류를 분류하는 라벨값(label)을 붙일 수 있다. 그리고 라벨링 된 데이터를 통해 일체형 CNN을 학습시켜 공병 분류에 적합한 모델을 획득할 수 있다. 이와 같은 과정에 따라 구축된 신경망 모델을 머신 비전 시스템에 적용하여 실시간으로 공병을 검출할 수 있다. Meanwhile, before acquiring images of empty bottle boxes divided for each frame, the detection device may perform a process of learning a neural network model. The neural network model used by the detection device may be a unified CNN that can calculate the quantity and classify the type of empty bottles at once. The detection device can be used to classify empty bottles and calculate quantity after going through a process of learning a neural network model using label values. In one embodiment, the detection device may set a boundary according to the cell size of the box based on data acquired for image processing of an empty bottle box and attach a label to classify the type of bottle. And by learning an integrated CNN through labeled data, a model suitable for classifying airborne diseases can be obtained. The neural network model built according to this process can be applied to a machine vision system to detect saboteurs in real time.

상술한 바와 같이 모델의 학습 과정이 수행되면 검출장치는 신경망 모델을 이용하여 공병박스의 전체 이미지에 포함된 공병의 종류를 분류한다. 다중 카메라로 촬영한 영상 각각을 개별적으로 신경망 모델에 입력하여 공병박스 내 셀마다 공병의 종류를 분류할 수 있다. 예컨대, 소주병인지 맥주병인지, 음료병인지 분류할 수 있다. As described above, when the model learning process is performed, the detection device uses a neural network model to classify the types of empty bottles included in the entire image of the empty bottle box. By individually inputting each image captured by multiple cameras into a neural network model, the type of empty bottle can be classified for each cell in the empty bottle box. For example, it can be classified as a soju bottle, a beer bottle, or a beverage bottle.

한편, 공병 분류를 위해 다중 카메라로 획득한 각각의 공병박스 이미지에는 중첩된 영역이 있을 수 있다. 이 경우 추후 공병의 수량을 산출할 때 중복이 발생할 수 있으므로 이미지에서 박스 프레임을 검출한다. 여기에서 프레임은 박스 내 경계선을 의미한다. 즉, 공병이 수납되는 셀(Cell)을 구분하는 기준 내지는 경계일 수 있다. 검출장치는 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 상기 박스 프레임을 검출할 수 있다.Meanwhile, each empty bottle box image acquired with multiple cameras for empty bottle classification may have overlapping areas. In this case, since duplication may occur when calculating the quantity of empty bottles later, box frames are detected in the image. Here, the frame refers to the boundary line within the box. In other words, it may be a standard or boundary for dividing cells in which empty bottles are stored. The detection device can detect the box frame along a boundary line set to match the cell size of the empty bottle box.

한편, 검출장치는 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 공병의 종류 분류와 박스 프레임의 검출에 대한 결과가 신경망 모델을 통해 출력되면 검출장치는 두 결과를 토대로 공병의 수량을 산출할 수 있다. 여기에서 공병의 종류를 분류하는 과정에서 공병의 수량도 함께 카운트할 수 있으나 이 과정에서는 단순히 공병의 종류가 무엇인지에 대한 분류만 하기 때문에 중복된 공병인지에 대해서는 알 수 없다. 따라서 박스 프레임의 검출 결과와 결합하여 각 공병 수량을 중복 체크하지 않는 것이 가능하다. Meanwhile, the detection device calculates the quantity of empty bottles based on the results of classifying empty bottles and the results of detecting the box frame. When the results for classifying the type of empty bottle and detecting the box frame are output through a neural network model, the detection device can calculate the quantity of empty bottle based on the two results. Here, in the process of classifying the types of empty bottles, the quantity of empty bottles can also be counted, but since this process simply classifies the type of empty bottle, it is impossible to know whether it is a duplicate empty bottle. Therefore, it is possible to avoid double-checking the quantity of each empty bottle by combining it with the detection result of the box frame.

한편, 보다 정확한 중복 방지를 위해 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 공병을 분류한 결과와 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 공병의 수량으로 산출할 수 있다. 검출장치는 이러한 과정에 따라 입고되는 공병박스에 포함된 공병의 종류와 수량을 실시간으로 검출할 수 있다. Meanwhile, to prevent more accurate duplication, a rectangular filter that detects the bottom of the box frame is used to identify the location of each of the multiple box frames, and the results of classifying the empty units and the results of identifying the locations of each of the multiple box frames are The remainder after matching and removing duplicate empty bottles can be calculated as the quantity of empty bottles. The detection device can detect in real time the type and quantity of empty bottles contained in the empty bottle box received through this process.

도 2는 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 방법에 대한 순서도이다. 도 2를 참조하면 다중 카메라 기반 머신 비전 공병 분류 방법(200)은 210 단계 내지 240 단계를 포함한다. 각 단계는 검출장치를 통해 순차적으로 수행될 수 있다.Figure 2 is a flowchart of a multi-camera based machine vision engineer classification method according to an embodiment of the disclosed technology. Referring to FIG. 2, the multi-camera based machine vision engineer classification method 200 includes steps 210 to 240. Each step can be performed sequentially through a detection device.

210 단계에서 다중 카메라를 이용하여 공병박스 이미지를 획득한다. 다중 카메라가 설치되는 위치는 공병박스의 수직 상부인 위치이며 다수의 카메라들이 공병박스의 복수의 셀들을 각각 촬영하여 공병박스에 대한 분할된 이미지를 획득할 수 있다. 이를 위해 다중 카메라의 배치는 공병박스의 셀 개수 및 위치에 따라 결정될 수 있다.In step 210, an image of the empty bottle box is acquired using multiple cameras. The location where the multiple cameras are installed is the vertical upper part of the empty bottle box, and multiple cameras can each photograph a plurality of cells of the empty bottle box to obtain divided images of the empty bottle box. For this purpose, the placement of multiple cameras can be determined depending on the number and location of cells in the empty bottle box.

220 단계에서 공병박스 이미지를 이용하여 공병을 분류한다. 공병 분류를 위해 사전에 학습된 신경망 모델을 이용할 수 있다. 앞서 도 1을 통해 설명한 바와 같이 라벨값을 이용하여 공병의 종류를 분류할 수 있도록 학습시킬 수 있다. 여기에서 라벨값은 검출된 공병이 소주병인지, 맥주병인지를 나타내는 정보를 포함한다.In step 220, the empty bottles are classified using the empty bottle box image. A pre-trained neural network model can be used to classify airborne diseases. As previously explained in Figure 1, label values can be used to classify the types of empty bottles. Here, the label value includes information indicating whether the detected empty bottle is a soju bottle or a beer bottle.

230 단계에서는 공병박스의 전체 이미지에서 박스 프레임을 검출한다. 박스 프레임의 검출 또한 사전에 학습된 신경망 모델을 통해 처리될 수 있다. 신경망 모델은 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 박스 프레임을 검출할 수 있다. 도 1을 통해 설명한 바와 같이 신경망 모델은 일체형 CNN일 수 있다. 일 실시예로, 신경망 모델에 공병 분류를 위한 하위모델과 박스 프레임 검출을 위한 하위모델이 포함될 수도 있고 단일 모델이 공병 분류와 프레임 검출을 처리할 수도 있다.In step 230, a box frame is detected from the entire image of the empty box. Detection of box frames can also be processed through a pre-trained neural network model. The neural network model can detect box frames along the border set according to the cell size of the empty box. As explained in Figure 1, the neural network model may be an integrated CNN. In one embodiment, the neural network model may include a submodel for empty disease classification and a submodel for box frame detection, or a single model may process empty disease classification and frame detection.

240 단계에서는 공병을 분류한 결과 및 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 공병을 분류한 결과와 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 공병의 수량으로 산출할 수 있다.In step 240, the quantity of empty bottles is calculated based on the results of classifying empty bottles and the results of detecting box frames. Using a rectangular filter that detects the bottom of the box frame, the positions of each of the multiple box frames are identified, and the results of classifying the empty bottles are matched with the results of identifying the positions of each of the multiple box frames, and the remaining empty bottles are removed. can be calculated as the quantity of empty bottles.

도 3은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 장치에 대한 블록도이다. 도 3을 참조하면 다중 카메라 기반 머신 비전 공병 분류 장치(300)는 머신비전 장치(310), 저장장치(320) 및 연산장치(330)를 포함한다.FIG. 3 is a block diagram of a multi-camera based machine vision classification device for airborne diseases according to an embodiment of the disclosed technology. Referring to FIG. 3, the multi-camera-based machine vision classification device 300 includes a machine vision device 310, a storage device 320, and an arithmetic device 330.

머신비전 장치(310)는 다중 카메라를 포함하며 다중 카메라의 촬영 동작을 제어한다. 머신비전 장치(310)는 산업현장에서 사람의 눈을 대신하여 공정 오류를 탐지하기 위해 설치된 장치일 수 있으며 다중 카메라를 제어하여 공병박스 이미지를 획득한다. 각각의 카메라는 공병박스 내 복수의 셀들을 하나씩 촬영하여 각도 변경으로 인한 검출 오류를 방지할 수 있다.The machine vision device 310 includes multiple cameras and controls the shooting operation of the multiple cameras. The machine vision device 310 may be a device installed at industrial sites to detect process errors instead of human eyes, and acquires images of empty bottle boxes by controlling multiple cameras. Each camera can photograph multiple cells in the empty bottle box one by one to prevent detection errors due to angle changes.

저장장치(320)는 공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장한다. 저장장치는 신경망 모델을 저장할 수 있는 용량을 가진 메모리일 수 있다. 필요에 따라 신경망 모델을 위한 학습데이터와 라벨값도 저장할 수 있도록 충분한 용량을 가진 메모리를 이용할 수 있다.The storage device 320 stores a neural network model learned in advance using label values for classifying empty diseases. The storage device may be a memory with the capacity to store a neural network model. If necessary, memory with sufficient capacity can be used to store training data and label values for the neural network model.

연산장치(330)는 공병박스 이미지를 신경망 모델에 입력하여 공병을 분류하고, 공병박스 이미지에서 박스 프레임을 검출하고, 공병을 분류한 결과 및 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 연산장치는 공병박스의 분할된 이미지를 각각 신경망 모델에 입력하여 공병의 종류를 분류하고 공병박스의 전체 이미지를 신경망 모델에 입력하여 박스 프레임을 검출할 수 있다. 연산장치(300)는 다중 카메라 기반 머신 비전 공병 분류 장치(300)의 CPU 또는 AP일 수 있다.The operation unit 330 inputs the empty bottle box image into a neural network model to classify the empty bottle, detects a box frame in the empty bottle box image, and calculates the quantity of empty bottles based on the result of classifying the empty bottle and the result of detecting the box frame. . The computing device can classify the types of empty bottles by inputting the divided images of the empty bottle boxes into a neural network model, and detect the box frame by inputting the entire image of the empty bottle box into the neural network model. The processing unit 300 may be a CPU or AP of the multi-camera-based machine vision engineer classification device 300.

한편, 상술한 다중 카메라 기반 머신 비전 공병 분류 장치(300)은 컴퓨터와 같은 디바이스에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.Meanwhile, the above-described multi-camera-based machine vision engineer classification device 300 may be implemented as a program (or application) including an executable algorithm that can be executed on a device such as a computer. The program may be stored and provided in a temporary or non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.A non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as registers, caches, and memories. Specifically, the various applications or programs described above include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), and EPROM (Erasable PROM, EPROM). Alternatively, it may be stored and provided in a non-transitory readable medium such as EEPROM (Electrically EPROM) or flash memory.

일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.Temporarily readable media include Static RAM (SRAM), Dynamic RAM (DRAM), Synchronous DRAM (SDRAM), Double Data Rate SDRAM (DDR SDRAM), and Enhanced SDRAM (Enhanced RAM). It refers to various types of RAM, such as SDRAM (ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM), and Direct Rambus RAM (DRRAM).

도 4는 개시된 기술의 일 실시예에 따른 공병 박스 프레임을 검출하는 과정을 나타낸 도면이다. 도 2를 참조하면 다중 카메라 촬영으로 인하여 생기는 데이터 중복의 오류를 해결하고자 박스 프레임 검출을 진행한다. 촬영된 영상에서 박스 프레임을 효과적으로 검출하기 위해 해당 이미지를 그레이 스케일로 변환 후 적응적(adaptive)인 특정 임계값을 기준으로 각 픽셀 값을 이진수로 표현한다. 박스 프레임의 하단 면을 검출할 수 있는 직사각형 필터를 활용하여 이미지 상 프레임의 위치를 파악한다.Figure 4 is a diagram showing a process for detecting an empty box frame according to an embodiment of the disclosed technology. Referring to Figure 2, box frame detection is performed to resolve data duplication errors that occur due to multiple camera shooting. In order to effectively detect box frames in captured images, the image is converted to gray scale and each pixel value is expressed in binary based on a specific adaptive threshold. The position of the frame in the image is determined using a rectangular filter that can detect the bottom side of the box frame.

한편, 공병 분류 과정에서 획득된 공병 분류 정보와 공병 박스 프레임을 검출하여 획득된 박스 프레임 정보를 종합하여 중복 공병을 처리하고 정확한 수량을 산출한다. 산출된 공병 별 수량을 도표화하여 실시간으로 공장에 입고되는 종류별 공병 수량을 생산관리시스템(MES)에 전달할 수 있다.Meanwhile, the empty bottle classification information obtained during the empty bottle classification process and the box frame information obtained by detecting empty bottle box frames are combined to process duplicate empty bottles and calculate the accurate quantity. By tabulating the calculated quantity of each empty bottle, the quantity of each type of empty bottle received at the factory can be transmitted to the production management system (MES) in real time.

개시된 기술의 일 실시예에 따른 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.The method and device for classifying and calculating empty bottles through sequential machine vision based on multiple cameras according to an embodiment of the disclosed technology has been described with reference to the embodiments shown in the drawings to aid understanding, but this is merely illustrative and is within the scope of the field. Those of ordinary skill in the art will understand that various modifications and other equivalent embodiments are possible. Therefore, the true technical protection scope of the disclosed technology should be determined by the appended patent claims.

Claims (6)

검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계;
상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계;
상기 검출장치가 상기 공병박스의 분할된 이미지에서 박스 프레임을 검출하는 단계; 및
상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계;를 포함하되,
상기 공병박스의 분할된 이미지를 획득하는 단계는 상기 다중 카메라를 상기 공병박스 각 셀마다 수직 상단에 위치시키고, 상기 다중 카메라로부터 상기 공병박스의 각 셀을 촬영한 분할된 이미지를 획득하는 단계이고,
상기 박스 프레임을 검출하는 단계는 상기 공병박스의 분할된 이미지를 그레이 스케일로 변환 후 임계값을 기준으로 각 픽셀의 값을 이진수로 표현 한 뒤, 박스 프레임의 하단 면을 검출할 수 있는 필터를 활용하여 상기 공병박스의 분할된 이미지에서 박스 프레임의 위치를 파악하는 단계를 포함하고,
상기 공병의 수량을 산출하는 단계는 상기 공병을 분류한 결과와 상기 박스 프레임을 검출한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 상기 공병의 수량으로 산출하는 , 공병 분류 및 물량산출 방법.A detection device acquiring segmented images of the empty bottle boxes each photographed by multiple cameras;
The detection device classifies the empty bottles by cell by inputting the divided images of the empty bottle boxes into a neural network model;
detecting, by the detection device, a box frame in the divided image of the empty bottle box; and
Comprising: calculating the quantity of empty bottles based on the results of the detection device classifying empty bottles and the result of detecting the box frame;
The step of acquiring a segmented image of the empty bottle box is a step of positioning the multiple cameras at the vertical top of each cell of the empty bottle box and obtaining a divided image of each cell of the empty bottle box from the multiple cameras,
The step of detecting the box frame involves converting the segmented image of the empty box into gray scale, expressing the value of each pixel in binary based on a threshold, and then using a filter that can detect the bottom surface of the box frame. It includes the step of determining the location of the box frame in the divided image of the empty bottle box,
The step of calculating the quantity of empty bottles involves matching the result of classifying the empty bottles with the result of detecting the box frame, removing duplicate empty bottles , and calculating the remainder as the quantity of empty bottles. Method for classifying and calculating empty bottles. 삭제delete 제 1 항에 있어서,
상기 공병을 분류하는 단계는, 병의 종류를 분류하는 라벨값을 통해 사전에 학습된 상기 신경망 모델을 이용하여 상기 공병을 분류하는 공병 분류 및 물량 산출 방법.According to claim 1,
The step of classifying the empty bottles is a method of classifying the empty bottles by using the neural network model learned in advance through label values for classifying the types of bottles. 제 1 항에 있어서,
상기 박스 프레임을 검출하는 단계는, 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 상기 박스 프레임을 검출하는 공병 분류 및 물량 산출 방법.According to claim 1,
The step of detecting the box frame is an empty bottle classification and quantity calculation method that detects the box frame along a boundary line set to match the cell size of the empty bottle box. 삭제delete 다중 카메라를 제어하여 공병박스의 분할된 이미지를 획득하는 머신비전 장치;
공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장하는 저장장치; 및
상기 공병박스의 분할된 이미지를 상기 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하고, 상기 공병박스의 분할된 이미지에서 박스 프레임을 검출하고, 상기 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 연산장치;를 포함하되,
상기 머신 비전 장치는 상기 공병박스의 각 셀의 수직 상단에 위치한 상기 다중 카메라를 제어하여 상기 다중 카메라로부터 상기 공병박스의 각 셀을 촬영한 분할된 이미지를 획득하고,
상기 연산장치가 박스 프레임을 검출하는 것은 상기 공병 박스의 분할된 이미지를 그레이 스케일로 변환 후 임계값을 기준으로 각 픽셀의 값을 이진수로 표현 한 뒤, 박스 프레임의 하단 면을 검출할 수 있는 필터를 활용하여 상기 공병 박스의 분할된 이미지에서 상기 박스 프레임의 위치를 파악하는 것이고,
상기 연산장치가 공병의 수량을 산출하는 것은, 상기 공병을 분류한 결과와 상기 박스 프레임을 검출한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 상기 공병의 수량으로 산출하는 것인,
공병 분류 및 물량 산출 장치.A machine vision device that controls multiple cameras to obtain segmented images of the engineering box;
A storage device that stores a neural network model learned using label values in advance for classifying empty diseases; and
The segmented image of the empty bottle box is input to the neural network model to classify the empty bottle by cell, a box frame is detected in the divided image of the empty bottle box, and the result of classifying the empty bottle and the box frame are detected. Includes a calculation device that calculates the quantity of engineers based on the results,
The machine vision device controls the multiple cameras located at the vertical top of each cell of the empty bottle box to obtain segmented images of each cell of the empty bottle box from the multiple cameras,
The operation device detects the box frame by converting the segmented image of the empty box into gray scale, expressing the value of each pixel in binary based on a threshold, and then using a filter that can detect the bottom surface of the box frame. is used to determine the location of the box frame in the segmented image of the empty bottle box,
The calculating device calculates the quantity of empty bottles by matching the result of classifying the empty bottles with the result of detecting the box frame and calculating the remainder after removing the duplicate empty bottles as the quantity of empty bottles,
Engineer sorting and quantity calculation device.