KR20220087360A

KR20220087360A - 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치

Info

Publication number: KR20220087360A
Application number: KR1020210116372A
Authority: KR
Inventors: 김성륜; 서세진; 백시훈; 국수진; 최진혁; 남혜린; 이지훈
Original assignee: 연세대학교 산학협력단
Priority date: 2020-12-17
Filing date: 2021-09-01
Publication date: 2022-06-24
Also published as: KR102613465B1

Abstract

개시된 기술은 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치에 관한 것으로, 검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계, 상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계, 상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계 및 상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계를 포함한다.

Description

다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치 {METHOD AND DEVICE FOR CLASSIFYING AND QUANTITY OF EMPTY BOTTLES THROUGH MULTI-CAMERA BASED SEQUENTIAL MACHINE VISION}

개시된 기술은 다중 카메라 기반 순차적 머신 비전을 이용하여 공병을 분류하고 물량을 산출하는 방법 및 장치에 관한 것이다.

이미지 스티칭은 동일한 객체나 장소에 대한 여러 장의 이미지의 공통적인 부분을 찾아 하나의 이미지로 결합하는 기술이다. 주로 다중 이미지를 결합하여 고해상도 또는 파노라마 형식의 이미지를 생산하기 위해 사용된다. 관심영역(Region Of Interest, ROI)은 이미지에서 사용자의 관심 영역을 의미한다. 획득한 다중 이미지에 고정된 ROI 영역을 설정하여 객체를 추출한다.

이미지 스티칭은 복수의 이미지를 결합하여 하나의 이미지로 만들 수 있지만, 자연스럽게 결합하기 위해 공통적인 부분을 찾는 절차가 필요하다. 공병 분류에 이미지 스티칭을 적용하게 되면, 공병 박스마다 달라지는 접합 부분을 자동으로 찾는데 어려움이 있어서 지연시간이 발생하게 된다. 그러나, 컨베이어 벨트를 따라 빠른 속도로 들어오는 공벽 박스들을 실시간으로 처리하면 지연시간의 최소화가 필요하다. 따라서, 이미지 스티칭은 불규칙적인 이미지 상의 객체의 위치로 인해 지연시간이 늘어나므로 실시간으로 공병을 분류하는데 이용하기에는 부적절한 점이 있다.

한편, 공병 박스가 컨베이어 벨트를 이동하는 속도 또한 일정하지 않고 박스마다 손상, 파손 등으로 인해 촬영 시점이 각 박스마다 다를 수 있다. 이로 인하여 분류하고자 하는 객체의 위치가 매 이미지마다 달라지게 되어 관심영역을 일정하게 고정된 영역으로 설정하면 파악하고자 하는 객체를 포함하지 못하는 문제가 발생한다.

한국 공개특허 제10-2019-0063839호

개시된 기술은 다중 카메라 기반 순차적 머신 비전을 이용하여 공병을 분류하고 물량을 산출하는 방법 및 장치를 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계, 상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계, 상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계 및 상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계를 포함하는 공병 분류 및 물량 산출 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 다중 카메라를 제어하여 공병박스의 분할된 이미지를 획득하는 머신비전 장치, 공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장하는 저장장치 및 상기 공병박스의 분할된 이미지를 상기 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하고, 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하고, 상기 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 연산장치를 포함하는 공병 분류 및 물량 산출 장치를 제공하는데 있다.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

개시된 기술의 일 실시예에 따르면 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치는 인프라 구축이 어려운 공장에도 낮은 비용으로 재활용 공병을 관리하는 효과가 있다.

도 1은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 장치에 대한 블록도이다.
도 4는 개시된 기술의 일 실시예에 따른 공병 박스 프레임을 검출하는 과정을 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.

도 1은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 과정을 나타낸 도면이다. 도 1을 참조하면 검출장치는 식음료 공장에 입고되는 재활용 공병의 물량 산출을 위해 다중 카메라 방식의 bar detecting 머신비전과 CNN을 순차적으로 활용한 알고리즘을 이용하여 공병 분류 및 수량 산출을 위한 데이터 처리 속도를 향상할 수 있다.

공장 내 촬영 영역으로 공병박스가 입고되면 검출장치는 다중 카메라를 이용하여 공병박스 이미지를 촬영한다. 다중 카메라는 머신비전을 위해 구비되는 것으로 각각의 카메라가 공병박스에 대한 분할된 이미지를 획득할 수 있다. 예컨대, 다중 카메라가 공병박스의 수직 상부에서 공병박스에 포함된 복수개의 셀(Cell)들을 하나씩 촬영할 수 있다. 여기에서 복수개의 셀은 공병이 삽입되는 공간을 의미한다. 가령, 공병박스가 5X6 사이즈의 박스라면 30개의 셀을 포함할 수 있다. 만약 5X6 사이즈의 공병박스를 촬영한다면 다중 카메라 또한 5X6 형태로 배치되어 각 셀 별로 영상을 촬영할 수 있다. 이러한 과정에 따라 공병박스 영상 데이터를 수집할 때 각도상의 왜곡을 최소화하는 것이 가능하다.

한편, 각 프레임 별 분할된 공병박스에 대한 이미지를 획득하기 이전에 검출장치는 신경망 모델을 학습하는 과정을 수행할 수 있다. 검출장치가 사용하는 신경망 모델은 공병의 수량 산출 및 종류 분류를 한번에 수행할 수 있는 일체형(unified) CNN일 수 있다. 검출장치는 라벨값을 이용하여 신경망 모델을 학습시키는 과정을 거친 후 공병 분류 및 수량 산출에 이용할 수 있다. 일 실시예로, 검출장치는 공병박스의 이미지 프로세싱을 위해 획득한 데이터를 기반으로 박스의 셀 크기에 맞게 경계를 설정하여 병의 종류를 분류하는 라벨값(label)을 붙일 수 있다. 그리고 라벨링 된 데이터를 통해 일체형 CNN을 학습시켜 공병 분류에 적합한 모델을 획득할 수 있다. 이와 같은 과정에 따라 구축된 신경망 모델을 머신 비전 시스템에 적용하여 실시간으로 공병을 검출할 수 있다.

상술한 바와 같이 모델의 학습 과정이 수행되면 검출장치는 신경망 모델을 이용하여 공병박스의 전체 이미지에 포함된 공병의 종류를 분류한다. 다중 카메라로 촬영한 영상 각각을 개별적으로 신경망 모델에 입력하여 공병박스 내 셀마다 공병의 종류를 분류할 수 있다. 예컨대, 소주병인지 맥주병인지, 음료병인지 분류할 수 있다.

한편, 공병 분류를 위해 다중 카메라로 획득한 각각의 공병박스 이미지에는 중첩된 영역이 있을 수 있다. 이 경우 추후 공병의 수량을 산출할 때 중복이 발생할 수 있으므로 이미지에서 박스 프레임을 검출한다. 여기에서 프레임은 박스 내 경계선을 의미한다. 즉, 공병이 수납되는 셀(Cell)을 구분하는 기준 내지는 경계일 수 있다. 검출장치는 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 상기 박스 프레임을 검출할 수 있다.

한편, 검출장치는 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 공병의 종류 분류와 박스 프레임의 검출에 대한 결과가 신경망 모델을 통해 출력되면 검출장치는 두 결과를 토대로 공병의 수량을 산출할 수 있다. 여기에서 공병의 종류를 분류하는 과정에서 공병의 수량도 함께 카운트할 수 있으나 이 과정에서는 단순히 공병의 종류가 무엇인지에 대한 분류만 하기 때문에 중복된 공병인지에 대해서는 알 수 없다. 따라서 박스 프레임의 검출 결과와 결합하여 각 공병 수량을 중복 체크하지 않는 것이 가능하다.

한편, 보다 정확한 중복 방지를 위해 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 공병을 분류한 결과와 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 공병의 수량으로 산출할 수 있다. 검출장치는 이러한 과정에 따라 입고되는 공병박스에 포함된 공병의 종류와 수량을 실시간으로 검출할 수 있다.

도 2는 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 방법에 대한 순서도이다. 도 2를 참조하면 다중 카메라 기반 머신 비전 공병 분류 방법(200)은 210 단계 내지 240 단계를 포함한다. 각 단계는 검출장치를 통해 순차적으로 수행될 수 있다.

210 단계에서 다중 카메라를 이용하여 공병박스 이미지를 획득한다. 다중 카메라가 설치되는 위치는 공병박스의 수직 상부인 위치이며 다수의 카메라들이 공병박스의 복수의 셀들을 각각 촬영하여 공병박스에 대한 분할된 이미지를 획득할 수 있다. 이를 위해 다중 카메라의 배치는 공병박스의 셀 개수 및 위치에 따라 결정될 수 있다.

220 단계에서 공병박스 이미지를 이용하여 공병을 분류한다. 공병 분류를 위해 사전에 학습된 신경망 모델을 이용할 수 있다. 앞서 도 1을 통해 설명한 바와 같이 라벨값을 이용하여 공병의 종류를 분류할 수 있도록 학습시킬 수 있다. 여기에서 라벨값은 검출된 공병이 소주병인지, 맥주병인지를 나타내는 정보를 포함한다.

230 단계에서는 공병박스의 전체 이미지에서 박스 프레임을 검출한다. 박스 프레임의 검출 또한 사전에 학습된 신경망 모델을 통해 처리될 수 있다. 신경망 모델은 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 박스 프레임을 검출할 수 있다. 도 1을 통해 설명한 바와 같이 신경망 모델은 일체형 CNN일 수 있다. 일 실시예로, 신경망 모델에 공병 분류를 위한 하위모델과 박스 프레임 검출을 위한 하위모델이 포함될 수도 있고 단일 모델이 공병 분류와 프레임 검출을 처리할 수도 있다.

240 단계에서는 공병을 분류한 결과 및 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 공병을 분류한 결과와 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 공병의 수량으로 산출할 수 있다.

도 3은 개시된 기술의 일 실시예에 따른 다중 카메라 기반 머신 비전 공병 분류 장치에 대한 블록도이다. 도 3을 참조하면 다중 카메라 기반 머신 비전 공병 분류 장치(300)는 머신비전 장치(310), 저장장치(320) 및 연산장치(330)를 포함한다.

머신비전 장치(310)는 다중 카메라를 포함하며 다중 카메라의 촬영 동작을 제어한다. 머신비전 장치(310)는 산업현장에서 사람의 눈을 대신하여 공정 오류를 탐지하기 위해 설치된 장치일 수 있으며 다중 카메라를 제어하여 공병박스 이미지를 획득한다. 각각의 카메라는 공병박스 내 복수의 셀들을 하나씩 촬영하여 각도 변경으로 인한 검출 오류를 방지할 수 있다.

저장장치(320)는 공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장한다. 저장장치는 신경망 모델을 저장할 수 있는 용량을 가진 메모리일 수 있다. 필요에 따라 신경망 모델을 위한 학습데이터와 라벨값도 저장할 수 있도록 충분한 용량을 가진 메모리를 이용할 수 있다.

연산장치(330)는 공병박스 이미지를 신경망 모델에 입력하여 공병을 분류하고, 공병박스 이미지에서 박스 프레임을 검출하고, 공병을 분류한 결과 및 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출한다. 연산장치는 공병박스의 분할된 이미지를 각각 신경망 모델에 입력하여 공병의 종류를 분류하고 공병박스의 전체 이미지를 신경망 모델에 입력하여 박스 프레임을 검출할 수 있다. 연산장치(300)는 다중 카메라 기반 머신 비전 공병 분류 장치(300)의 CPU 또는 AP일 수 있다.

한편, 상술한 다중 카메라 기반 머신 비전 공병 분류 장치(300)은 컴퓨터와 같은 디바이스에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.

도 4는 개시된 기술의 일 실시예에 따른 공병 박스 프레임을 검출하는 과정을 나타낸 도면이다. 도 2를 참조하면 다중 카메라 촬영으로 인하여 생기는 데이터 중복의 오류를 해결하고자 박스 프레임 검출을 진행한다. 촬영된 영상에서 박스 프레임을 효과적으로 검출하기 위해 해당 이미지를 그레이 스케일로 변환 후 적응적(adaptive)인 특정 임계값을 기준으로 각 픽셀 값을 이진수로 표현한다. 박스 프레임의 하단 면을 검출할 수 있는 직사각형 필터를 활용하여 이미지 상 프레임의 위치를 파악한다.

한편, 공병 분류 과정에서 획득된 공병 분류 정보와 공병 박스 프레임을 검출하여 획득된 박스 프레임 정보를 종합하여 중복 공병을 처리하고 정확한 수량을 산출한다. 산출된 공병 별 수량을 도표화하여 실시간으로 공장에 입고되는 종류별 공병 수량을 생산관리시스템(MES)에 전달할 수 있다.

개시된 기술의 일 실시예에 따른 다중 카메라 기반 순차적 머신 비전을 통한 공병 분류 및 물량 산출 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims

검출장치가 다중 카메라에서 각각 촬영한 공병박스의 분할된 이미지를 획득하는 단계;
상기 검출장치가 상기 공병박스의 분할된 이미지를 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하는 단계;
상기 검출장치가 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하는 단계; 및
상기 검출장치가 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 단계;를 포함하는 공병 분류 및 물량 산출 방법.
제 1 항에 있어서,
상기 이미지를 획득하는 단계는, 상기 다중 카메라를 상기 공병박스의 수직 상단에 위치시키고 각 카메라로부터 상기 공병박스에 대한 분할된 이미지를 획득하는 공병 분류 및 물량 산출 방법.
제 1 항에 있어서,
상기 공병을 분류하는 단계는, 병의 종류를 분류하는 라벨값을 통해 사전에 학습된 상기 신경망 모델을 이용하여 상기 공병을 분류하는 공병 분류 및 물량 산출 방법.
제 1 항에 있어서,
상기 박스 프레임을 검출하는 단계는, 공병박스의 셀 크기에 맞게 설정된 경계선을 따라 상기 박스 프레임을 검출하는 공병 분류 및 물량 산출 방법.
제 1 항에 있어서,
상기 공병의 수량을 산출하는 단계는, 박스 프레임의 하단 면을 검출하는 직사각형 필터를 활용하여 복수의 박스 프레임 각각의 위치를 식별하고, 상기 공병을 분류한 결과와 상기 복수의 박스 프레임 각각의 위치를 식별한 결과를 매칭하여 중복되는 공병을 제거한 나머지를 상기 공병의 수량으로 산출하는 공병 분류 및 물량 산출 방법.
다중 카메라를 제어하여 공병박스의 분할된 이미지를 획득하는 머신비전 장치;
공병 분류를 위해 사전에 라벨값을 이용하여 학습된 신경망 모델을 저장하는 저장장치; 및
상기 공병박스의 분할된 이미지를 상기 신경망 모델에 각각 입력하여 셀 단위로 공병을 분류하고, 상기 공병박스의 전체 이미지에서 박스 프레임을 검출하고, 상기 공병을 분류한 결과 및 상기 박스 프레임을 검출한 결과를 토대로 공병의 수량을 산출하는 연산장치;를 포함하는 공병 분류 및 물량 산출 장치.