KR20220087360A - 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치 - Google Patents
다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치 Download PDFInfo
- Publication number
- KR20220087360A KR20220087360A KR1020210116372A KR20210116372A KR20220087360A KR 20220087360 A KR20220087360 A KR 20220087360A KR 1020210116372 A KR1020210116372 A KR 1020210116372A KR 20210116372 A KR20210116372 A KR 20210116372A KR 20220087360 A KR20220087360 A KR 20220087360A
- Authority
- KR
- South Korea
- Prior art keywords
- box
- empty
- classifying
- empty bottles
- bottles
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 235000013405 beer Nutrition 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000019997 soju Nutrition 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
개시된 기술은 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치에 관한 것으로, 검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계, 상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계, 상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계 및 상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계를 포함한다.
Description
개시된 기술은 다중 카메라 기반 순차적 머신 비전을 이용하여 공병을 분류하고 물량을 산출하는 방법 및 장치에 관한 것이다.
이미지 스티칭은 동일한 객체나 장소에 대한 여러 장의 이미지의 공통적인 부분을 찾아 하나의 이미지로 결합하는 기술이다. 주로 다중 이미지를 결합하여 고해상도 또는 파노라마 형식의 이미지를 생산하기 위해 사용된다. 관심영역(Region Of Interest, ROI)은 이미지에서 사용자의 관심 영역을 의미한다. 획득한 다중 이미지에 고정된 ROI 영역을 설정하여 객체를 추출한다.
이미지 스티칭은 복수의 이미지를 결합하여 하나의 이미지로 만들 수 있지만, 자연스럽게 결합하기 위해 공통적인 부분을 찾는 절차가 필요하다. 공병 분류에 이미지 스티칭을 적용하게 되면, 공병 박스마다 달라지는 접합 부분을 자동으로 찾는데 어려움이 있어서 지연시간이 발생하게 된다. 그러나, 컨베이어 벨트를 따라 빠른 속도로 들어오는 공벽 박스들을 실시간으로 처리하면 지연시간의 최소화가 필요하다. 따라서, 이미지 스티칭은 불규칙적인 이미지 상의 객체의 위치로 인해 지연시간이 늘어나므로 실시간으로 공병을 분류하는데 이용하기에는 부적절한 점이 있다.
한편, 공병 박스가 컨베이어 벨트를 이동하는 속도 또한 일정하지 않고 박스마다 손상, 파손 등으로 인해 촬영 시점이 각 박스마다 다를 수 있다. 이로 인하여 분류하고자 하는 객체의 위치가 매 이미지마다 달라지게 되어 관심영역을 일정하게 고정된 영역으로 설정하면 파악하고자 하는 객체를 포함하지 못하는 문제가 발생한다.
개시된 기술은 다중 카메라 기반 순차적 머신 비전을 이용하여 공병을 분류하고 물량을 산출하는 방법 및 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계, 상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계, 상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계 및 상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계를 포함하는 공병 분류 및 물량 산출 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 다중 카메라를 제어하여 공병박스의 분할된 이미지를 획득하는 머신비전 장치, 공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장하는 저장장치 및 상기 공병박스의 분할된 이미지를 상기 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하고, 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하고, 상기 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 연산장치를 포함하는 공병 분류 및 물량 산출 장치를 제공하는데 있다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치는 인프라 구축이 어려운 공장에도 낮은 비용으로 재활용 공병을 관리하는 효과가 있다.
도 1은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 장치에 대한 블록도이다.
도 4는 개시된 기술의 일 실시예에 따른 공병 박스 프레임을 검출하는 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 장치에 대한 블록도이다.
도 4는 개시된 기술의 일 실시예에 따른 공병 박스 프레임을 검출하는 과정을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
도 1은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 과정을 나타낸 도면이다. 도 1을 참조하면 검출장치는 식음료 공장에 입고되는 재활용 공병의 물량 산출을 위해 다중 카메라 방식의 bar detecting 머신비전과 CNN을 순차적으로 활용한 알고리즘을 이용하여 공병 분류 및 수량 산출을 위한 데이터 처리 속도를 향상할 수 있다.
공장 내 촬영 영역으로 공병박스가 입고되면 검출장치는 다중 카메라를 이용하여 공병박스 이미지를 촬영한다. 다중 카메라는 머신비전을 위해 구비되는 것으로 각각의 카메라가 공병박스에 대한 분할된 이미지를 획득할 수 있다. 예컨대, 다중 카메라가 공병박스의 수직 상부에서 공병박스에 포함된 복수개의 셀(Cell)들을 하나씩 촬영할 수 있다. 여기에서 복수개의 셀은 공병이 삽입되는 공간을 의미한다. 가령, 공병박스가 5X6 사이즈의 박스라면 30개의 셀을 포함할 수 있다. 만약 5X6 사이즈의 공병박스를 촬영한다면 다중 카메라 또한 5X6 형태로 배치되어 각 셀 별로 영상을 촬영할 수 있다. 이러한 과정에 따라 공병박스 영상 데이터를 수집할 때 각도상의 왜곡을 최소화하는 것이 가능하다.
한편, 각 프레임 별 분할된 공병박스에 대한 이미지를 획득하기 이전에 검출장치는 신경망 모델을 학습하는 과정을 수행할 수 있다. 검출장치가 사용하는 신경망 모델은 공병의 수량 산출 및 종류 분류를 한번에 수행할 수 있는 일체형(unified) CNN일 수 있다. 검출장치는 라벨값을 이용하여 신경망 모델을 학습시키는 과정을 거친 후 공병 분류 및 수량 산출에 이용할 수 있다. 일 실시예로, 검출장치는 공병박스의 이미지 프로세싱을 위해 획득한 데이터를 기반으로 박스의 셀 크기에 맞게 경계를 설정하여 병의 종류를 분류하는 라벨값(label)을 붙일 수 있다. 그리고 라벨링 된 데이터를 통해 일체형 CNN을 학습시켜 공병 분류에 적합한 모델을 획득할 수 있다. 이와 같은 과정에 따라 구축된 신경망 모델을 머신 비전 시스템에 적용하여 실시간으로 공병을 검출할 수 있다.
상술한 바와 같이 모델의 학습 과정이 수행되면 검출장치는 신경망 모델을 이용하여 공병박스의 전체 이미지에 포함된 공병의 종류를 분류한다. 다중 카메라로 촬영한 영상 각각을 개별적으로 신경망 모델에 입력하여 공병박스 내 셀마다 공병의 종류를 분류할 수 있다. 예컨대, 소주병인지 맥주병인지, 음료병인지 분류할 수 있다.
한편, 공병 분류를 위해 다중 카메라로 획득한 각각의 공병박스 이미지에는 중첩된 영역이 있을 수 있다. 이 경우 추후 공병의 수량을 산출할 때 중복이 발생할 수 있으므로 이미지에서 박스 프레임을 검출한다. 여기에서 프레임은 박스 내 경계선을 의미한다. 즉, 공병이 수납되는 셀(Cell)을 구분하는 기준 내지는 경계일 수 있다. 검출장치는 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 상기 박스 프레임을 검출할 수 있다.
한편, 검출장치는 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 공병의 종류 분류와 박스 프레임의 검출에 대한 결과가 신경망 모델을 통해 출력되면 검출장치는 두 결과를 토대로 공병의 수량을 산출할 수 있다. 여기에서 공병의 종류를 분류하는 과정에서 공병의 수량도 함께 카운트할 수 있으나 이 과정에서는 단순히 공병의 종류가 무엇인지에 대한 분류만 하기 때문에 중복된 공병인지에 대해서는 알 수 없다. 따라서 박스 프레임의 검출 결과와 결합하여 각 공병 수량을 중복 체크하지 않는 것이 가능하다.
한편, 보다 정확한 중복 방지를 위해 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 공병을 분류한 결과와 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 공병의 수량으로 산출할 수 있다. 검출장치는 이러한 과정에 따라 입고되는 공병박스에 포함된 공병의 종류와 수량을 실시간으로 검출할 수 있다.
도 2는 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 방법에 대한 순서도이다. 도 2를 참조하면 다중 카메라 기반 머신 비전 공병 분류 방법(200)은 210 단계 내지 240 단계를 포함한다. 각 단계는 검출장치를 통해 순차적으로 수행될 수 있다.
210 단계에서 다중 카메라를 이용하여 공병박스 이미지를 획득한다. 다중 카메라가 설치되는 위치는 공병박스의 수직 상부인 위치이며 다수의 카메라들이 공병박스의 복수의 셀들을 각각 촬영하여 공병박스에 대한 분할된 이미지를 획득할 수 있다. 이를 위해 다중 카메라의 배치는 공병박스의 셀 개수 및 위치에 따라 결정될 수 있다.
220 단계에서 공병박스 이미지를 이용하여 공병을 분류한다. 공병 분류를 위해 사전에 학습된 신경망 모델을 이용할 수 있다. 앞서 도 1을 통해 설명한 바와 같이 라벨값을 이용하여 공병의 종류를 분류할 수 있도록 학습시킬 수 있다. 여기에서 라벨값은 검출된 공병이 소주병인지, 맥주병인지를 나타내는 정보를 포함한다.
230 단계에서는 공병박스의 전체 이미지에서 박스 프레임을 검출한다. 박스 프레임의 검출 또한 사전에 학습된 신경망 모델을 통해 처리될 수 있다. 신경망 모델은 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 박스 프레임을 검출할 수 있다. 도 1을 통해 설명한 바와 같이 신경망 모델은 일체형 CNN일 수 있다. 일 실시예로, 신경망 모델에 공병 분류를 위한 하위모델과 박스 프레임 검출을 위한 하위모델이 포함될 수도 있고 단일 모델이 공병 분류와 프레임 검출을 처리할 수도 있다.
240 단계에서는 공병을 분류한 결과 및 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 공병을 분류한 결과와 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 공병의 수량으로 산출할 수 있다.
도 3은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 장치에 대한 블록도이다. 도 3을 참조하면 다중 카메라 기반 머신 비전 공병 분류 장치(300)는 머신비전 장치(310), 저장장치(320) 및 연산장치(330)를 포함한다.
머신비전 장치(310)는 다중 카메라를 포함하며 다중 카메라의 촬영 동작을 제어한다. 머신비전 장치(310)는 산업현장에서 사람의 눈을 대신하여 공정 오류를 탐지하기 위해 설치된 장치일 수 있으며 다중 카메라를 제어하여 공병박스 이미지를 획득한다. 각각의 카메라는 공병박스 내 복수의 셀들을 하나씩 촬영하여 각도 변경으로 인한 검출 오류를 방지할 수 있다.
저장장치(320)는 공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장한다. 저장장치는 신경망 모델을 저장할 수 있는 용량을 가진 메모리일 수 있다. 필요에 따라 신경망 모델을 위한 학습데이터와 라벨값도 저장할 수 있도록 충분한 용량을 가진 메모리를 이용할 수 있다.
연산장치(330)는 공병박스 이미지를 신경망 모델에 입력하여 공병을 분류하고, 공병박스 이미지에서 박스 프레임을 검출하고, 공병을 분류한 결과 및 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 연산장치는 공병박스의 분할된 이미지를 각각 신경망 모델에 입력하여 공병의 종류를 분류하고 공병박스의 전체 이미지를 신경망 모델에 입력하여 박스 프레임을 검출할 수 있다. 연산장치(300)는 다중 카메라 기반 머신 비전 공병 분류 장치(300)의 CPU 또는 AP일 수 있다.
한편, 상술한 다중 카메라 기반 머신 비전 공병 분류 장치(300)은 컴퓨터와 같은 디바이스에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM,SRAM), 다이내믹 램(Dynamic RAM,DRAM), 싱크로너스 디램 (Synchronous DRAM,SDRAM), 2배속 SDRAM(Double Data Rate SDRAM,DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM,ESDRAM), 동기화 DRAM(Synclink DRAM,SLDRAM) 및 직접 램버스 램(Direct Rambus RAM,DRRAM) 과 같은 다양한 RAM을 의미한다.
도 4는 개시된 기술의 일 실시예에 따른 공병 박스 프레임을 검출하는 과정을 나타낸 도면이다. 도 2를 참조하면 다중 카메라 촬영으로 인하여 생기는 데이터 중복의 오류를 해결하고자 박스 프레임 검출을 진행한다. 촬영된 영상에서 박스 프레임을 효과적으로 검출하기 위해 해당 이미지를 그레이 스케일로 변환 후 적응적(adaptive)인 특정 임계값을 기준으로 각 픽셀 값을 이진수로 표현한다. 박스 프레임의 하단 면을 검출할 수 있는 직사각형 필터를 활용하여 이미지 상 프레임의 위치를 파악한다.
한편, 공병 분류 과정에서 획득된 공병 분류 정보와 공병 박스 프레임을 검출하여 획득된 박스 프레임 정보를 종합하여 중복 공병을 처리하고 정확한 수량을 산출한다. 산출된 공병 별 수량을 도표화하여 실시간으로 공장에 입고되는 종류별 공병 수량을 생산관리시스템(MES)에 전달할 수 있다.
개시된 기술의 일 실시예에 따른 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
Claims (6)
- 검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계;
상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계;
상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계; 및
상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계;를 포함하는 공병 분류 및 물량 산출 방법. - 제 1 항에 있어서,
상기 이미지를 획득하는 단계는, 상기 다중 카메라를 상기 공병박스의 수직 상단에 위치시키고 각 카메라로부터 상기 공병박스에 대한 분할된 이미지를 획득하는 공병 분류 및 물량 산출 방법. - 제 1 항에 있어서,
상기 공병을 분류하는 단계는, 병의 종류를 분류하는 라벨값을 통해 사전에 학습된 상기 신경망 모델을 이용하여 상기 공병을 분류하는 공병 분류 및 물량 산출 방법. - 제 1 항에 있어서,
상기 박스 프레임을 검출하는 단계는, 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 상기 박스 프레임을 검출하는 공병 분류 및 물량 산출 방법. - 제 1 항에 있어서,
상기 공병의 수량을 산출하는 단계는, 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 상기 공병을 분류한 결과와 상기 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 상기 공병의 수량으로 산출하는 공병 분류 및 물량 산출 방법. - 다중 카메라를 제어하여 공병박스의 분할된 이미지를 획득하는 머신비전 장치;
공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장하는 저장장치; 및
상기 공병박스의 분할된 이미지를 상기 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하고, 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하고, 상기 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 연산장치;를 포함하는 공병 분류 및 물량 산출 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200177234 | 2020-12-17 | ||
KR20200177234 | 2020-12-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220087360A true KR20220087360A (ko) | 2022-06-24 |
KR102613465B1 KR102613465B1 (ko) | 2023-12-13 |
Family
ID=82215623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210116372A KR102613465B1 (ko) | 2020-12-17 | 2021-09-01 | 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102613465B1 (ko) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190063839A (ko) | 2017-11-30 | 2019-06-10 | 전자부품연구원 | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 |
KR20190118451A (ko) * | 2018-04-10 | 2019-10-18 | (주)오엔에스커뮤니케이션 | 영상 인식을 이용한 의류 생산 모니터링 시스템 |
KR102139582B1 (ko) * | 2019-12-05 | 2020-07-29 | 주식회사 인텔리빅스 | 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법 |
KR20200104086A (ko) * | 2019-02-26 | 2020-09-03 | 조선대학교산학협력단 | 재활용품 자동 분류 수거기 |
-
2021
- 2021-09-01 KR KR1020210116372A patent/KR102613465B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190063839A (ko) | 2017-11-30 | 2019-06-10 | 전자부품연구원 | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 |
KR20190118451A (ko) * | 2018-04-10 | 2019-10-18 | (주)오엔에스커뮤니케이션 | 영상 인식을 이용한 의류 생산 모니터링 시스템 |
KR20200104086A (ko) * | 2019-02-26 | 2020-09-03 | 조선대학교산학협력단 | 재활용품 자동 분류 수거기 |
KR102139582B1 (ko) * | 2019-12-05 | 2020-07-29 | 주식회사 인텔리빅스 | 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법 |
Also Published As
Publication number | Publication date |
---|---|
KR102613465B1 (ko) | 2023-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107358596B (zh) | 一种基于图像的车辆定损方法、装置、电子设备及*** | |
CN111310645B (zh) | 货物堆积量的溢仓预警方法、装置、设备及存储介质 | |
WO2021012644A1 (zh) | 货架商品检测方法及*** | |
CN101211411B (zh) | 一种人体检测的方法和装置 | |
CN113160161B (zh) | 目标边缘处缺陷的检测方法和装置 | |
CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
EP4006834A1 (en) | Damage detection using machine learning | |
JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN109344824B (zh) | 一种文本行区域检测方法、装置、介质和电子设备 | |
US20150146991A1 (en) | Image processing apparatus and image processing method of identifying object in image | |
CN111814852B (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
CN111552837A (zh) | 基于深度学习的动物视频标签自动生成方法、终端及介质 | |
Yunardi | Contour-based object detection in Automatic Sorting System for a parcel boxes | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN112784712B (zh) | 一种基于实时监控的失踪儿童预警实现方法、装置 | |
CN115953373B (zh) | 玻璃缺陷检测方法、装置、电子设备及存储介质 | |
CN113516146A (zh) | 一种数据分类方法、计算机及可读存储介质 | |
CN111415339A (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
CN116030016A (zh) | 产品图像缺陷检测方法、装置、电子设备及存储介质 | |
CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
CN113920434A (zh) | 一种基于目标的图像翻拍检测方法、装置及介质 | |
WO2016203149A1 (fr) | Appariement d'images d'articles postaux avec des descripteurs de singularites du champ de gradient | |
KR102613465B1 (ko) | 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치 | |
Khokhlova et al. | Development of an Intelligent Robotic System for Recognizing and Transporting Postal Objects | |
TWI812697B (zh) | 圖像識別裝置、及具有圖像識別裝置的物品製造裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right |