KR101827114B1 - 축사 근접 개체 탐지 장치 및 방법 - Google Patents

Abstract

축사 내 근접 개체 탐지 시, 카메라부를 통해 축사 내부가 촬영된 영상에서 복수의 개체가 근접하여 하나로 인식된 근접 개체 영역을 관심 영역으로 설정하고, 관심 영역이 설정된 제 1 프레임의 이전 프레임인 제 2 프레임에 대해 형태학 연산(Morphological Operation)을 처리하고, 형태학 연산 처리된 제 2 프레임을 제 1 프레임에 투영하고, 투영의 결과에 따른 제 3 프레임 상에서, 관심 영역에 대해 제 2 프레임의 객체 별 영역과의 겹침 여부에 기초하여, 관심 영역 내 구분된 영역들에 대한 영역 비율을 계산하고, 영역 비율에 기초하여 관심 영역 내 구분된 객체 별 영역을 조정하여 개별 개체를 분리하여 표시한다.

Description

축사 근접 개체 탐지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING PROXIMAL ENTITY IN PEN}

본 발명은 형태학 연산 처리에 기반하여 축사 내의 근접 개체를 구분하는 개체 탐지 장치 및 방법에 관한 것이다.

소수의 관리자가 많은 개체를 관리해야 하는 축사·돈사의 특성상, 현실적으로 가축의 행동 특성을 실시간으로 파악하는 것은 매우 어렵다. 이에 따라, 최근에는 소규모 농장에서도 정보통신기술(Information Communication Technology, ICT)을 기반으로 저비용 구축이 가능한 개체 탐지 시스템에 대한 연구가 활발히 진행되고 있다. 그중에서도 카메라 센서를 통해 지속적으로 가축의 행동을 추적 및 분석하는 개체 탐지 시스템이 개발되고 있다.

기존에는 다양한 영상 처리 기법을 사용하여 축사 내 이상 상황을 탐지하는 개체 탐지 기술이 제안되었다. 그 중 차영상(Frame Difference) 기법을 이용한 개체 탐지 방식은, 이전 프레임(또는 배경 프레임)과 현재 프레임 간의 픽셀 변화를 계산하고 움직임을 탐지하는 기법이다. 이러한 차영상 기법에서는 움직임이 탐지된 픽셀을 이동하는 개체로서 구분하고, 구분된 이동 개체 별로 번호를 부여하여 이를 통해 움직임을 추적할 수 있다.

이와 관련하여, 대한민국 공개특허 제 10-1998-031927 호(발명의 명칭: 이동 물체의 위치를 경보하는 감시 카메라 및 감시 방법)는, 이동 물체의 거리에 따라 렌즈 상태를 조절하기 위한 렌즈 상태 조절부와, 소정 시간 간격을 갖는 감시 영역에 대한 제1 및 제2영상 데이타를 각각 저장하기 위한 저장부와, 저장부로부터 입력되는 제1 및 제2영상 데이타의 차영상을 계산하고, 계산된 차영상의 크기에 따라 이동 물체 여부를 검출하고, 그 검출 여부에 따라 이동 물체 검출신호를 발생하는 이동 물체 검출부를 구비하여, 이동 물체의 탐지 거리에 따라 구별 가능한 경보음을 발생시키는 감시 카메라 및 감시 방법을 개시하고 있다.

그러나 이러한 차영상 기법을 이용한 개체 탐지 기술은 프레임 단위로 개체 개별의 행동을 탐지하는데 효과적이지만, 지속적인 개체 추적 시에는 개체 간 겹침 문제를 해결할 수 없다는 한계가 있었다. 또한, 차영상 기법 외의 다른 카메라 센서를 이용한 방식으로는 동영상 카메라를 사용하는 개체 탐지 기법이 있다. 이러한 동영상 카메라의 경우 날씨와 시간에 따라서 달라지는 빛의 영향을 많이 받아, 개체에 대한 지속적인 모니터링 시 추출하는 특징 정보들이 왜곡될 수 있어 개체 간 겹침 문제에 취약하다는 문제가 있었다.

따라서, 이상의 문제점을 극복하여 여럿의 근접한 개체들을 개별적으로 분리할 수 있으며, 분리된 개별 개체 별 움직임을 지속적으로 정확히 탐지 및 추적할 수 있는 개체 탐지 기술이 필요하다.

본 발명의 일 실시예는 축사 내를 촬영한 영상에서 복수의 개체가 서로 근접되어 있어 하나의 객체로서 인식되는 영역을 개별 개체로 분리할 수 있는 축사 근접 개체 탐지 장치 및 방법을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른, 축사 근접 개체 탐지 장치는, 축사 내부를 촬영하는 카메라부; 근접 개체 탐지 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 근접 개체 탐지 프로그램을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 프로그램의 실행에 응답하여, 상기 카메라부를 통해 촬영된 영상에서 복수의 개체가 근접하여 하나로 인식된 근접 개체 영역을 관심 영역으로 설정하고, 상기 관심 영역이 설정된 제 1 프레임의 이전 프레임인 제 2 프레임에 대해 형태학 연산(Morphological Operation) 처리하고, 상기 형태학 연산 처리된 제 2 프레임을 상기 제 1 프레임에 투영하고, 상기 투영의 결과에 따른 제 3 프레임 상에서 상기 관심 영역에 대해 상기 제 2 프레임의 객체 별 영역과의 겹침 여부에 기초하여 상기 관심 영역 내 구분된 영역들에 대한 영역 비율을 계산하고, 상기 영역 비율에 기초하여 상기 관심 영역 내 구분된 객체 별 영역을 조정하여 개별 개체를 분리 및 표시한다.

그리고 본 발명의 다른 측면에 따른, 축사 근접 개체 탐지 장치를 통한 근접 개체 탐지 방법은, 카메라부를 통해 축사 내부가 촬영된 영상에서 복수의 개체가 근접하여 하나로 인식된 근접 개체 영역을 관심 영역으로 설정하는 단계; 상기 관심 영역이 설정된 제 1 프레임의 이전 프레임인 제 2 프레임에 대해 형태학 연산(Morphological Operation)을 처리하는 단계; 상기 형태학 연산 처리된 제 2 프레임을 상기 제 1 프레임에 투영하는 단계; 상기 투영의 결과에 따른 제 3 프레임 상에서, 상기 관심 영역에 대해 상기 제 2 프레임의 객체 별 영역과의 겹침 여부에 기초하여, 상기 관심 영역 내 구분된 영역들에 대한 영역 비율을 계산하는 단계; 및 상기 영역 비율에 기초하여 상기 관심 영역 내 구분된 객체 별 영역을 조정하여 개별 개체를 분리하여 표시하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단에 의하면, 밀집 사육 환경인 축사·돈사 내에서 개체 간 겹침 영역을 정확하게 탐지하여 개별 개체를 구별 및 추적할 수 있다. 즉, 탐지 영상 내에서 둘 이상의 개체들이 근접하여 하나의 개체로 인식되더라도 이를 개별적으로 분리할 수 있으므로 모든 개체에 대한 지속적인 개별 관리 및 추적이 가능하여 효율적이다.

도 1은 본 발명의 일 실시예에 따른 축사 근접 개체 탐지 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 근접 개체가 표시된 이진화 영상의 일례이다.
도 3은 본 발명의 일 실시예에 따른 복수의 개체가 서로 근접하기 이전의 영상에서의 개별 객체를 레이블링 처리한 영상의 일례이다.
도 4는 본 발명의 일 실시예에 따른 근접 개체 발생 이전의 영상 프레임에 대해 열림 연산 처리한 결과가 표시된 모식도이다.
도 5는 본 발명의 일 실시예에 따른 근접 개체 발생 이전의 영상 프레임에 대해 침식 연산 처리한 결과가 표시된 모식도이다.
도 6은 본 발명의 일 실시예에 따른 근접 개체 발생 이전의 영상 프레임에 대해 형태학 연산 처리한 결과 프레임을 현재 영상 프레임에 투영한 결과 영상 프레임의 일례이다.
도 7은 본 발명의 일 실시예에 따른 하나의 객체로 인식된 관심 영역이 개별 객체로 분리되어 표시된 모식도이다.
도 8은 본 발명의 일 실시예에 따른 축사 근접 개체 탐지 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 '부(部)' 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.

이하, 도면을 참조하여 본 발명의 일 실시예에 따른 축사 내 근접 개체 탐지 장치 및 방법에 대해서 상세히 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 축사 개체 탐지 장치의 구성도이다.

도 1에 도시한 바와 같이, 축사 개체 탐지 장치(100)는 카메라부(110), 메모리(120) 및 프로세서(130)를 포함한다.

본 발명의 일 실시예에서는, 축사의 일 예로서 돈사를 고려하되, 축사 개체 탐지 장치(100)가 돈사 내에서 밀집 사육되고 있는 돼지 개체(entity)를 탐지 및 추적하는 것을 설명하도록 한다. 또한, 카메라부(110)를 통해 촬영된 영상 내에 존재하는 돼지 개체를 탐지 대상으로서의 객체(object)라고 지칭하도록 한다.

카메라부(110)는 축사의 일 위치에 축사 내부 전체를 촬영할 수 있는 각도로 설치되며, 축사 내부를 촬영한 영상을 실시간으로 프로세서(130)로 전송한다. 예를 들어, 도 1에 도시한 바와 같이, 카메라부(110)는 바닥으로부터 임의의 높이(예: 천장) 상의 일 영역에 설치될 수 있으며, 축사 내부를 촬영하여 지속적으로 녹화할 수 있다.

메모리(120)는 축사 촬영 영상을 처리하여 객체를 분리해내고, 분리된 객체 중 복수의 객체가 근접되어 하나의 객체로서 인식되는 근접 객체를 검출하고, 근접 객체를 개별 객체로 구분하는 근접 개체 탐지 프로그램을 저장하고 있다.

프로세서(130)는 메모리(120)에 저장되어 있는 프로그램을 실행하여, 근접 개체를 탐지하는데 필요한 기설정된 처리들을 수행한다. 이때, 프로세서(130)는 근접 개체가 검출된 영상 프레임(이하, “현재 프레임”이라고 지칭함)의 이전 프레임(즉, 객체가 근접하기 이전의 프레임)에 대해 형태학 연산(Morphological Operation)을 처리한다. 그리고 프로세서(130)는 형태학 연산 처리된 이전 프레임을 현재 프레임에 투영하고, 투영의 결과로서 획득되는 프레임(이하, ‘투영 결과 프레임’이라고 지칭함)에 영역 확장 알고리즘 및 영역 비율에 기초한 인접 픽셀 색상 재조정을 처리한다. 이를 통해, 프로세서(130)는 복수의 개체가 하나의 개체로 인식되었던 근접 개체 영역을 개별 개체로 분리하여 표시한다. 이처럼 프로세서(130)는 시간 정보를 이용하여 이전 프레임과 현재 프레임의 정보를 동시에 활용함으로써, 이전 프레임에서 분리된 개별 객체를 현재 프레임의 근접 객체의 영역에 적용하여 개별 개체를 구분할 수 있다.

이하, 프로세서(130)를 통한 축사 내 근접 개체 탐지를 위한 처리 과정에 대해서 상세히 설명하도록 한다.

프로세서(130)는 근접 개체 탐지 프로그램의 실행을 통해, 카메라부(110)로부터 수신된 영상(즉, 축사 내부를 촬영한 영상)에 대해 기설정된 영상 처리를 하여 영상 내에서 탐지 목표 객체(즉, 돼지 개체)와 배경을 분리한다.

이때, 프로세서(130)는 수신된 영상 프레임에 대해 HSV(Hue Saturation Value)의 값을 설정한 후, 그 결과 영상을 이진화하여 객체와 배경을 분리할 수 있다. 참고로, HSV는 그래픽에서 색조(Hue), 채도(Saturation) 및 명암(Value)의 형태로 색상을 표시하는 컬러 모델이다. 이러한 영상 처리를 통해, 축사를 촬영한 원영상에서 축사 바닥에 존재하는 노이즈 물질 또는 형상(예: 개체의 오물 또는 조명에 의한 개체의 그림자 등)을 제거하고 객체를 구분해낼 수 있다.

그리고 프로세서(130)는 검출된 객체들 중 여러 객체가 근접한 경우를 탐지하고, 근접 개체가 존재하는 영역을 각각 관심 영역(ROI, Region of Interest)으로 설정한다. 예를 들어, 프로세서(130)는 검출된 객체 별 면적에 기초하여 근접 개체를 구분할 수 있다. 이때, 프로세서(130)는 사전에 근접 개체가 없는 것으로 확인된 기준 영상 프레임으로부터 각각의 객체를 검출하고, 각 객체의 면적값을 저장해둘 수 있다. 그리고 프로세서(130) 사전에 저장된 객체 별 면적값에 기초하여 설정된 기준 면적값과 현재 입력된 프레임에서 검출된 임의의 객체의 면적값을 비교하여, 임의의 객체의 면적값이 기준 면적값을 초과하는 경우 해당 객체를 근접 개체로서 판단할 수 있다.

프로세서(130)는 위와 같은 영상 처리된 결과 영상 프레임 중에서, 관심 영역이 설정된 현재 프레임(즉, 근접 개체가 발생된 프레임)과, 관심 영역이 발생되기 이전(즉, 복수의 개체가 서로 근접하기 이전) 프레임을 매칭하여 저장한다.

도 2는 본 발명의 일 실시예에 따른 근접 개체가 표시된 이진화 영상의 일례이다.

도 2에서는, 수신된 영상의 전체 영역 중에서 세마리의 돼지 개체가 서로 근접되어 있는 상태가 발생된 일부 영역인 관심 영역(P10)을 예로서 나타내었다.

프로세서(130)는 복수의 객체가 근접하기 이전의 프레임인 ‘이전 프레임’에서 각각의 객체를 레이블링 처리하여, 서로 상이한 객체들을 식별 가능하도록 구분한다. 참고로, 레이블링 처리는 이진 영상에서 객체와 배경을 분리하고자 할 경우 각 객체에 라벨링을 처리하는 작업을 의미한다. 예를 들어, 영상을 이진화시켰을 때 사전에 설정된 임의의 컬러값들을 가진 픽셀들의 집합을 하나의 객체로 규정할 수 있다.

도 3은 본 발명의 일 실시예에 따른 개체 근접 이전의 영상에서 개별 객체를 레이블링 처리한 영상의 일례이다.

도 3에서는, 앞서 도 2에 도시한 '관심 영역이 설정되기 이전 프레임'에서 구분된 객체들을 나타내었다. 이때, 관심 영역은 세 개의 객체가 근접된 결과로서, 도 3에서와 같이 제 1 내지 제3 객체로 구분되어 각각 라벨링될 수 있다.

프로세서(130)는 라벨링된 이전 프레임의 각 객체와 현재 프레임에서의 관심 영역의 객체의 픽셀 위치를 비교하고, 두 프레임에서 객체의 위치가 소정 영역 이상 중복되면 이전 프레임의 객체를 현재 프레임 상에 투영할 수 있다.

한편, 프로세서(130)는 투영 처리를 수행하기에 앞서, 이전 프레임에 대한 형태학 연산을 처리한다.

프로세서(130)는 현재 프레임에 매칭되어 저장된 이전 프레임을 복사하여 임시 프레임(이하, ‘ 형태학 연산 임시 프레임’이라고 지칭함)을 생성한다. 그리고, 프로세서(130)는 이전 프레임 원본이 아닌 형태학 연산 임시 프레임에 대해 아래와 같은 형태학 연산 처리를 수행할 수 있다. 다만, 이전 프레임 원본을 형태학 연산 처리하여 현재 프레임에 투영하는 것도 가능하다.

먼저, 프로세서(130)는 영상 정보의 경계 너비를 일정하게 정리하기 위하여 컴퓨터 비전 기법 중 하나인 형태학 연산을 사용할 수 있다. 이러한 형태학 연산은 영상의 형태를 분석하고 처리하는 기법으로, 미리 정의된 모양 요소를 사용해 영상의 각 화소를 조사하여 영상을 변환한다.

도 4는 본 발명의 일 실시예에 따른 근접 개체 발생 이전의 영상 프레임에 대해 열림 연산 처리한 결과가 표시된 모식도이다.

프로세서(130)는 추후 연산에서 발생할 수 있는 문제를 최소화하여 보다 정확하게 개별 돼지 분리 문제를 해결하기 위해, 형태학 연산 임시 프레임에 대해 형태학 연산 기법 중 열림 연산(Opening Operation)을 수행한다. 이에 따라, 도 3에서와 같은 형태학 연산 임시 프레임 상의 개별 객체들(즉, 제 1 내지 제 3 객체)의 형상이 도 4에 도시된 바와 같이 변환된다. 참고로, 열림 연산은 영상에 대해 침식 연산을 수행한 후 뒤이어 팽창 연산을 수행하는 방법으로, 잡음을 제거하는 등 대상에서 세부 영역을 제거하는 데에 주로 사용된다. 이때, 침식 연산과 팽창 연산은 형태학 연산 임시 프레임의 각 픽셀을 조사하고, 조사한 픽셀의 인접 픽셀을 참조하여 영상을 변환하는 과정을 의미한다. 프로세서(130)는 형태학 연산 임시 프레임에 열림 연산(침식 연산을 1회 수행한 뒤 팽창 연산을 1회 수행)을 이용하여 개별 객체의 형태를 정리한다.

다음으로, 프로세서(130)는 형태학 연산 임시 프레임에서 각 객체의 중앙 부분이 일정 크기가 되는 시점까지, 형태학 연산 중 침식 연산(Erosion Operation) 처리를 반복한다. 참고로, 침식 연산 처리 시 객체의 크기는 줄어들고 배경은 확장된다.

도 5는 본 발명의 일 실시예에 따른 근접 개체 발생 이전의 영상 프레임에 대해 침식 연산 처리한 결과가 표시된 모식도이다.

프로세서(130)는 침식 연산을 한 번씩 수행한 결과에 대한 각 객체의 면적이 한 마리 돼지(즉, 임의의 개별 객체)의 크기보다 작아지기 직전까지 침식 연산을 반복 수행하여 객체의 중앙 부분을 획득한다. 예를 들어, 도 5에서는 개별 객체 별로 1/3 면적이 되는 시점까지 침식 연산을 수행한 것을 나타내었다. 이때, 프로세서(130)는 침식 연산 수행 중 하나의 객체가 다수의 부분으로 분할될 경우, 면적이 가장 큰 크기의 부분만을 침식 결과로 반영할 수 있다.

다음으로, 프로세서(130)는 각 객체의 중앙 부분이 획득된 형태학 연산 임시 프레임에서 각 객체가 다른 객체의 중앙 부분에 닿기 직전까지, 형태학 연산 중 팽창 연산(Dilation Operation) 처리를 반복 수행한다. 참고로 팽창 연산 처리 시 객체의 크기는 팽창하고 배경은 줄어든다.

그런 다음, 프로세서(130)는 형태학 연산을 통해 변환된 영상 프레임과 시간 정보(Temporal Information)를 사용하여 영상 정보(즉, 현재 프레임의 근접 개체 영역)를 여러 영역(즉, 개별 개체)으로 분할한다. 이와 같은 영역 기반의 영상 정보에서 복수의 객체들을 서로 분리하기 위하여, 프로세서(130)는 인접 픽셀을 검사하여 검사한 픽셀을 인접 영역으로 추가하는지 여부를 판단하는 영역 확장 기법(Region Growing)을 사용한다. 이때, 프로세서(130)는 형태학 연산에 따른 결과를 적용하여 객체 분리를 처리하되, 그 객체 분리 결과를 완전히 신뢰할 수 있도록 시간 정보를 기반으로 각 객체가 차지하는 비율을 계산하고 픽셀의 값을 재조정하여 근접 개체를 개별 개체로 구분한다.

구체적으로, 프로세서(130)는 침식 연산 및 팽창 연산 처리까지의 과정을 수행한 형태학 연산 임시 프레임을 현재 프레임에 투영하여 새로운 프레임 생성하여, 하나의 객체로 인식되던 근접 개체 영역을 개별 객체들을 구분할 수 있는 여러 영역으로 분할한다.

도 6은 본 발명의 일 실시예에 따른 근접 개체 발생 이전의 영상 프레임에 대해 형태학 연산 처리한 결과 프레임을 현재 영상 프레임에 투영한 결과 영상 프레임의 일례이다.

도 6은 레이블링된 이전 프레임에 대해 형태학 연산을 수행한 임시 프레임 영상을, 영역이 구분되지 않는 현재 프레임 영상에 투영한 결과를 표현한 모식도이며, 투영 결과 나타날 수 있는 모든 영역의 유형을 나타낸다.

도 6에 도시한 바와 같이, 투영 결과 프레임에는 형태학 연산 임시 프레임 상의 객체 별 영역과 현재 프레임의 근접 개체 영역이 오버랩된 결과로서, 확정 영역, 겹침이 있는 불확정 영역, 및 겹침이 없는 불확정 영역이 형성된다. 이때, ‘확정 영역’은 이전 프레임에서 레이블링된 색상을 갖는 모든 영역을 나타내며, ‘겹침이 있는 불확정 영역’은 이전 프레임에서 레이블링된 색상 이외의 새로운 색상을 갖는 모든 영역을 나타낸다. 그리고 ‘겹침이 없는 불확정 영역’은 현재 프레임에 형태학 연산 임시 프레임을 투영하여도 색상의 변화가 없는 부분(도 6에서는 오버랩된 객체의 영역 중 “흰색” 부분인 것을 예로서 설명함)으로서, 해당 공간은 객체의 움직임에 의해 나타난 영역이다.

그런 다음, 프로세서(130)는 새로운 프레임(즉, 투영 결과 프레임)에 생성된 영역 중 겹침이 없는 불확정 영역에 대하여 영역 확장 알고리즘을 적용한다.

구체적으로, 프로세서(130)는 투영 결과 프레임에 생성된 영역에 대해서 시작 지점으로부터 픽셀 탐색을 처리하여, 각 픽셀 별로 인접 픽셀에 “흰색” 픽셀이 있는지 판단한다. 이때, 인접 픽셀에 흰색 픽셀이 존재할 경우 인접한 색으로 흰색 픽셀 부분을 채우는 과정을 모든 픽셀 검사가 끝날 때까지 반복한다. 반면에, 시작 지점에서부터 인접 픽셀에 흰색 픽셀이 존재하지 않을 경우, 해당 시작 지점을 새로운 시작 지점으로 변경하여 다시 픽셀 탐색 및 흰색 픽셀에 대해 인접 픽셀의 색상으로의 채우기를 반복한다.

다음으로, 프로세서(130)는 영역 확장 알고리즘 적용 처리가 완료된 프레임에서 근접 개체 영역 내에서 어느 하나의 객체로 구분된 ‘확정 영역’과 이전 프레임에서 레이블링된 객체 영역에 대해, 각각 레이블링된 객체의 픽셀 수를 계산하여 그 영역 비율(이하, “제 1 영역 비율”이라고 지칭함)을 계산한다.

<수학식 1>

수학식 1과 같이, 제 1 영역 비율은 영역 확장 알고리즘까지 적용된 투영 결과 프레임에서, 현재 프레임의 근접 개체 영역 내 구분된 객체 별 확정 영역의 픽셀 수를 이전 프레임에서 레이블링된 객체 영역 별 픽셀 수로 나누어 산출할 수 있다.

그런 다음, 프로세서(130)는 투영 결과 프레임에 생성된 영역 중 겹침이 있는 불확정 영역 별로, 겹침을 유발하는 색상 중 제 1 영역 비율의 값이 작은 색상을 선택하여 해당 영역을 레이블링한다.

예를 들어, 도 6을 참조하면, 겹침이 있는 불확정 영역(P61)은 제 2 객체와 제 3 객체의 색상에 의해 겹쳐진다. 즉, 제 2 객체의 라벨링 색상과 제 3 객체의 라벨링 색상이 겹침이 있는 불확정 영역(P61)의 겹침 유발 색상이다. 이때, 프로세서(130)는 근접 개체 영역에서 제 2 객체로서의 확정 영역(P62)의 픽셀 수와 이전 프레임에서 레이블링된 제 2 객체 영역의 픽셀 수에 기초한 제 1 영역 비율을 계산하고, 근접 개체 영역에서 제 3 객체로서의 확정 영역(P63)의 픽셀 수와 이전 프레임에서 레이블링된 제 3 객체 영역의 픽셀 수에 기초한 제 1 영역 비율을 계산한다. 그리고 프로세서(130)는 계산된 두 제 1 영역 비율을 비교하여 더 작은 값을 갖는 개별 객체를 선택하고, 선택된 개별 객체의 라벨링 색상으로 겹침이 있는 불확정 영역(P61)을 레이블링한다. 만약, 도 6에서 제 2 객체에 대응하는 제 1 영역 비율보다 제 3 객체에 대응하는 제 1 영역 비율의 값이 작을 경우, 겹침이 있는 불확정 영역(P61)은 제 3 객체의 색상으로 레이블링될 수 있다.

그런 다음, 프로세서(130)는 이전 프레임에서 레이블링된 객체 영역의 픽셀 수와, 현재 프레임의 근접 개체 영역 내 구분된 객체의 픽셀 수를 계산하여 그 영역 비율(이하, “제 2 영역 비율”이라고 지칭함)을 계산한다. 이때, 현재 프레임의 근접 개체 영역 내 구분된 객체는 제 1 영역 비율에 기초하여 새로 레이블링된 영역을 포함한다.

<수학식 2>

수학식 2와 같이, 제 2 영역 비율은 현재 프레임에 대해 새롭게 레이블링을 처리한 결과에 따른 객체 영역의 픽셀 수를 이전 프레임에서 레이블링된 객체 영역의 픽셀 수로 나누어 산출할 수 있다. 이때, 새롭게 레이블링 처리한 결과는, 근접 개체 영역 내 구분된 객체 별로 새로 레이블링된 영역과 원래의 확정 영역을 합한 전체 영역에 대한 레이블링 결과를 의미한다.

다음으로, 프로세서(130)는 ‘겹침이 없는 불확정 영역’에 대한 영역 확장 및 ‘겹침이 있는 불확정 영역’에 대한 레이블링 처리까지 완료된 투영 결과 프레임에서, 각 객체 별로 제 2 영역 비율의 값이 소정의 임계값을 초과 또는 미만인지 여부를 확인하여 근접 개체 영역 내 구분된 객체 별 영역을 재조정한다.

이때, 프로세서(130)는 근접 개체 영역 내 구분된 객체들 중 제 2 영역 비율이 임계값을 초과하는 객체가 존재할 경우, 나머지 객체 중 제 2 영역 비율이 임계값보다 낮은 객체 중 가장 낮은 비율을 갖는 객체를 선택한다. 그리고 프로세서(130)는 선택된 객체(즉, 가장 낮은 제 2 영역 비율을 갖는 객체)의 인접 픽셀의 색상을 재조정한다.

프로세서(130)는 근접 객체 영역 내 구분된 객체들의 제 2 영역 비율이 기설정된 정상 범위 내로 도달할 때까지 객체들에 대한 색상 재조정 처리를 반복하여 개별 객체의 영역을 확정한다.

도 7은 본 발명의 일 실시예에 따른 하나의 객체로 인식된 관심 영역이 개별 객체로 분리되어 표시된 모식도이다.

도 7에 도시한 바와 같이, 앞서 도 2 내지 도 6을 통해 설명한 과정을 처리한 결과로서 근접 객체 영역 내 객체 별 영역이 모두 확정되어 개별 객체로 분리된 최종 결과 프레임을 획득할 수 있다.

한편, 프로세서(130)는 분리된 개체들을 포함하는 축사 내 복수의 개체들에 대해 개별적으로 트래킹을 처리할 수 있다. 예를 들어, 프로세서(130)는 각 개체 별로 현재 위치 정보와 직전 위치 정보 간의 유클라디안 거리를 산출하여, 개체를 이전 위치에서의 식별 정보와 대응되도록 색인화 처리할 수 있다. 이를 통해, 여러 개의 개체가 동시에 움직이는 상황에서도 개체 겹침(즉, 근접 개체)을 분석 및 해결하여, 한 영상 내에서 개별 개체에 대한 트래킹을 동시에 처리할 수 있다.

이하, 도 8을 참조하여 본 발명의 일 실시예에 따른 축사 근접 개체 탐지 장치를 통한 근접 개체 탐지 방법에 대해서 상세히 설명하도록 한다.

먼저, 축사 내부를 촬영한 카메라로부터 촬영 영상을 획득하여 개체를 탐색하고(S801), 복수의 개체가 하나로 인식되는 근접 개체가 발생하였는지 여부를 판단한다(S802).

이처럼, 근접 개체 발생 여부를 판단하는 절차는 아래에서 설명할 영상 이진화를 통해 처리되는 것도 가능하며, 별도의 영상 처리를 통해 근접 개체 발생을 검출하는 것도 가능하다.

근접 개체 영역이 발생된 것으로 판단된 현재 프레임에 대해, HSV 값을 조정하여 그림자 및 잡영 등을 제거한다(S803).

즉, 현재 프레임을 이진화하여 객체와 배경을 분리한다.

다음으로, 이진화 영상 프레임에 대해 근접 개체 영역을 관심 영역으로 지정한다(S804).

이때, 관심 영역이 설정된 현재 프레임과, 현재 프레임 이전의 프레임(즉, 근접 개체가 발생되기 이전 프레임)을 매칭하여 임시 저장한다. 이전 프레임은 각각의 객체를 레이블링 처리하여, 서로 상이한 객체들을 식별 가능하도록 구분된 상태이다.

그런 다음, 이전 프레임을 복사하여 형태학 연산 처리를 수행할 임시 프레임을 생성하고, 생성된 임시 프레임에 대해 기설정된 형태학 연산 처리를 수행한다 (S805).

이때, 형태학 연산 처리로서, 열림 연산, 침식 연산 및 팽창 연산을 수행한다. 이러한 형태학 연산 처리 과정은 앞서 도 4 내지 도 6에서 설명한 처리와 대응된다.

다음으로, 형태학 연산 처리된 임시 프레임을 현재 프레임에 투영하여, 이전 프레임의 개별 객체들과 현재 프레임의 근접 개체 영역을 오버랩한다(S806).

이와 같은 오버랩을 처리한 새로운 프레임(즉, 투영 결과 프레임) 상에는 복수의 영역이 구분되며, 구분된 영역 중 겹침이 없는 불확정 영역이 존재하는지 여부를 판단한다(S807).

구체적으로, 도 6에서와 같이, 현재 프레임의 근접 개체 영역과 이전 프레임의 객체 별 영역을 오버랩한 결과에 따라 투영 결과 프레임에는, 현재 프레임의 근접 개체 영역 중 이전 프레임의 객체 별 영역 중 어느 하나와만 겹침이 발생되어 객체를 구분할 수 있는 “확정 영역”, 현재 프레임의 근접 개체 영역과 이전 프레임의 객체 별 영역 중 둘 이상이 겹침이 발생되어 해당 객체를 확실히 알 수 없는 “겹침이 있는 불확정 영역”, 및 현재 프레임의 근접 개체 영역 중 이전 프레임의 객체 영역과 겹침이 발생되지 않은 “겹침이 없는 불확정 영역”이 포함된다.

판단 결과, 겹침이 없는 불확정 영역이 존재할 경우 해당 영역에 대해 영역 확장 알고리즘을 적용하여 레이블링 처리한다(S808).

이에 따라, 겹침이 없는 불확정 영역의 픽셀들은 가장 적합한 객체(즉, 인접 픽셀)의 색상과 동일한 색상으로 채우기 처리된다.

다음으로, 투영 결과 프레임에 대해 현재 프레임의 근접 개체 영역 내 구분된 객체 별 확정 영역과 이전 프레임에서 레이블링된 객체 별 확정 영역에 기초하여 제 1 영역 비율을 계산한다(S809).

이때, 근접 개체 영역 내 구분된 객체 별 확정 영역은 영역 확장 알고리즘이 적용된 영역을 포함한다.

앞서 설명한 단계(S807)에서의 판단 결과, 겹침이 없는 불확정 영역이 존재하지 않을 경우에는 곧바로 제 1 영역 비율을 계산하는 단계(S809)를 처리한다.

그런 다음, 투영된 결과 프레임 상에 겹침이 있는 불확정 영역이 존재하는지 여부를 판단한다(S810).

겹침이 있는 불확정 영역이 존재할 경우, 해당 영역에 대해 겹침을 유발하는 객체 영역 중 제 1 영역 비율이 가장 낮은 객체를 선택하여 해당 객체에 대응되도록 레이블링한다(S811).

다음으로, 현재 프레임에서 레이블링된 객체의 영역과 이전 프레임에서 레이블링된 객체의 영역에 기초하여 제 2 영역 비율을 계산한다(S812).

이때, 현재 프레임에서 레이블링된 객체의 영역은, 근접 개체 영역 내 구분된 객체의 확정 영역, 영역 확장 알고리즘에 의해 채워진 영역, 및 제 1 영역 비율에 기초하여 새롭게 레이블링된 영역을 포함한다.

상기 단계(S810)의 판단 결과, 겹침이 있는 불확정 영역이 존재하지 않을 경우 곧바로 제 2 영역 비율을 계산하는 단계(S812)를 처리한다.

그런 다음, 제 2 영역 비율을 계산한 결과에 따라, 근접 개체 영역 내 구분된 객체들의 제 2 영역 비율이 기설정된 임계값을 기준으로 정상 범위 내 포함되는지 여부를 판단한다(S813).

제 2 영역 비율이 임계값을 초과하는 객체 영역이 존재하는 경우, 제 2 영역 비율이 상대적으로 낮은 객체 영역의 색상으로 해당 영역의 색상을 재조정한다(S814).

즉, 근접 개체 영역 내 구분된 객체들 중 제 2 영역 비율이 임계값을 초과하는 객체가 존재할 경우, 나머지 객체 중에서 제 2 영역 비율이 임계값보다 낮되 가장 낮은 비율을 갖는 객체를 선택한다. 그리고 선택된 객체(즉, 가장 낮은 제 2 영역 비율을 갖는 객체)의 인접 픽셀의 색상을 재조정한다.

이때, 단계 (S812) 내지 (S814)는, 근접 개체 영역 내 구분된 객체들의 제 2 영역 비율이 기설정된 임계값을 기준으로 정상 범위 내 포함될 때까지 반복된다.

단계 (S813)의 판단 결과, 근접 개체 영역 내 구분된 객체들의 제 2 영역 비율이 기설정된 임계값을 기준으로 정상 범위 내 포함될 경우, 근접 객체 영역 내 구분된 개별 객체의 영역을 최종적으로 분리하여 표시한다(S815).

이상에서 설명한 본 발명의 일 실시예에 따른 축사 근접 개체 탐지 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 축사 내 근접 개체 탐지 장치
110: 카메라부
120: 메모리
130: 프로세서

Claims (12)

1. 축사 근접 개체 탐지 장치에 있어서,
   축사 내부를 촬영하는 카메라부;
   근접 개체 탐지 프로그램이 저장된 메모리; 및
   상기 메모리에 저장된 근접 개체 탐지 프로그램을 실행하는 프로세서를 포함하며,
   상기 프로세서는 상기 프로그램의 실행에 응답하여, 상기 카메라부를 통해 촬영된 영상에서 복수의 개체가 근접하여 하나로 인식된 근접 개체 영역을 관심 영역으로 설정하고, 상기 관심 영역이 설정된 제 1 프레임의 이전 프레임인 제 2 프레임에 대해 형태학 연산(Morphological Operation) 처리하고, 상기 형태학 연산 처리된 제 2 프레임을 상기 제 1 프레임에 투영하고, 상기 투영의 결과에 따른 제 3 프레임 상에서 상기 관심 영역에 대해 상기 제 2 프레임의 객체 별 영역과의 겹침 여부에 기초하여 상기 관심 영역 내 구분된 영역들에 대한 영역 비율을 계산하고, 상기 영역 비율에 기초하여 상기 관심 영역 내 구분된 객체 별 영역을 조정하여 개별 개체를 분리 및 표시하고,
   상기 제 3 프레임 상에서, 상기 관심 영역에 대한 상기 제 2 프레임의 객체 별 영역과의 오버랩 여부에 기초하여, 상기 관심 영역에서 상기 제 2 프레임의 객체 별 영역 중 어느 하나와 오버랩된 제 1 영역, 둘 이상과 오버랩된 제 2 영역, 및 오버랩되지 않은 제 3 영역을 구분하는 축사 근접 개체 탐지 장치.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 프로세서는,
   기설정된 영역 확장 알고리즘을 적용하여 상기 제 3 영역 내 픽셀들에 대해 인접 픽셀의 값을 적용하여 픽셀 값을 변환하고,
   상기 제 1 영역과 상기 제 2 프레임의 객체 별 영역 간의 영역 비율에 기초하여 상기 제 2 영역 내 픽셀 값을 변환하고,
   상기 제 2 영역 및 상기 제 3 영역의 픽셀 값이 변환된 결과까지 반영된 상기 관심 영역 내 구분된 영역 별로 상기 제 2 프레임의 객체 별 영역과의 영역 비율이 기설정된 영역 비율 범위 내 포함될 경우 개별 개체로 분리 처리하는 축사 근접 개체 탐지 장치.
   
4. 제 1 항에 있어서,
   상기 프로세서는,
   상기 제 2 프레임을 복사한 임시 프레임에 대해 상기 형태학 연산 중 열림 연산, 일회 이상의 침식 연산, 및 일회 이상의 팽창 연산을 처리한 후 상기 제 1 프레임에 투영하는 축사 근접 개체 탐지 장치.
   
5. 제 1 항에 있어서,
   상기 프로세서는
   상기 촬영된 영상의 일 프레임에 대해 HSV(Hue Saturation Value) 값을 설정하고, 상기 설정의 결과에 따른 영상을 이진화 처리하여 상기 개체 및 노이즈를 분리하는 축사 근접 개체 탐지 장치.
   
6. 제 1 항에 있어서,
   상기 프로세서는,
   상기 제 2 프레임 상의 개별 객체들에 대해 레이블링 처리를 수행하는 축사 근접 개체 탐지 장치.
   
7. 축사 근접 개체 탐지 장치를 통한 근접 개체 탐지 방법에 있어서,
   카메라부를 통해 축사 내부가 촬영된 영상에서 복수의 개체가 근접하여 하나로 인식된 근접 개체 영역을 관심 영역으로 설정하는 단계;
   상기 관심 영역이 설정된 제 1 프레임의 이전 프레임인 제 2 프레임에 대해 형태학 연산(Morphological Operation)을 처리하는 단계;
   상기 형태학 연산 처리된 제 2 프레임을 상기 제 1 프레임에 투영하는 단계;
   상기 투영의 결과에 따른 제 3 프레임 상에서, 상기 관심 영역에 대해 상기 제 2 프레임의 객체 별 영역과의 겹침 여부에 기초하여, 상기 관심 영역 내 구분된 영역들에 대한 영역 비율을 계산하는 단계; 및
   상기 영역 비율에 기초하여 상기 관심 영역 내 구분된 객체 별 영역을 조정하여 개별 개체를 분리하여 표시하는 단계를 포함하고,
   상기 관심 영역 내 구분된 영역들은,
   상기 제 3 프레임 상에서, 상기 관심 영역에 대한 상기 제 2 프레임의 객체 별 영역과의 오버랩 여부에 기초하여, 상기 관심 영역에서 상기 제 2 프레임의 객체 별 영역 중 어느 하나와 오버랩된 제 1 영역, 둘 이상과 오버랩된 제 2 영역, 및 오버랩되지 않은 제 3 영역으로 구분되는 축사 근접 개체 탐지 방법.
   
8. 삭제
9. 제 7 항에 있어서,
   상기 관심 영역 내 구분된 객체 별 영역을 조정하여 개별 개체를 분리하여 표시하는 단계는,
   기설정된 영역 확장 알고리즘을 적용하여 상기 제 3 영역 내 픽셀들에 대해 인접 픽셀의 값을 적용하여 픽셀 값을 변환하는 단계;
   상기 제 1 영역과 상기 제 2 프레임의 객체 별 영역 간의 영역 비율에 기초하여 상기 제 2 영역 내 픽셀 값을 변환하는 단계; 및
   상기 제 2 영역 및 상기 제 3 영역의 픽셀 값이 변환된 결과까지 반영된 상기 관심 영역 내 구분된 영역 별로 상기 제 2 프레임의 객체 별 영역과의 영역 비율이 기설정된 영역 비율 범위 내 포함될 경우 개별 개체로 분리 처리하는 단계를 포함하는 축사 근접 개체 탐지 방법.
   
10. 제 7 항에 있어서,
    상기 제 2 프레임에 대해 형태학 연산을 처리하는 단계는,
    상기 제 2 프레임을 복사한 임시 프레임에 대해 상기 형태학 연산 중 열림 연산, 일회 이상의 침식 연산, 및 일회 이상의 팽창 연산을 처리하되,
    형태학 연산이 처리된 상기 임시 프레임을 상기 제 1 프레임에 투영하는 축사 근접 개체 탐지 방법.
    
11. 제 7 항에 있어서,
    상기 근접 개체 영역을 관심 영역으로 설정하는 단계는,
    상기 촬영된 영상의 일 프레임에 대해 HSV(Hue Saturation Value) 값을 설정하는 단계;
    상기 설정의 결과에 따른 영상을 이진화 처리하여 상기 개체 및 노이즈를 분리하는 단계; 및
    상기 이진화 처리된 영상으로부터 복수의 개체가 근접되어 하나로 인식된 영역을 검출하여 관심 영역으로 설정하는 단계를 포함하는 축사 근접 개체 탐지 방법.
    
12. 제 7 항에 있어서,
    상기 제 2 프레임을 상기 제 1 프레임에 투영하는 단계 이전에,
    상기 제 2 프레임 상의 개별 개체들에 대해 레이블링 처리를 수행하는 단계를 더 포함하는 축사 근접 개체 탐지 방법.

Images