KR101505557B1 - 축사 내 각각의 객체 간의 겹침 처리장치 및 방법 - Google Patents

축사 내 각각의 객체 간의 겹침 처리장치 및 방법 Download PDF

Info

Publication number
KR101505557B1
KR101505557B1 KR1020130104108A KR20130104108A KR101505557B1 KR 101505557 B1 KR101505557 B1 KR 101505557B1 KR 1020130104108 A KR1020130104108 A KR 1020130104108A KR 20130104108 A KR20130104108 A KR 20130104108A KR 101505557 B1 KR101505557 B1 KR 101505557B1
Authority
KR
South Korea
Prior art keywords
objects
target object
information
overlap
motion
Prior art date
Application number
KR1020130104108A
Other languages
English (en)
Other versions
KR20150025922A (ko
Inventor
정연우
김혜련
정용화
박대희
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020130104108A priority Critical patent/KR101505557B1/ko
Publication of KR20150025922A publication Critical patent/KR20150025922A/ko
Application granted granted Critical
Publication of KR101505557B1 publication Critical patent/KR101505557B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에서는 축사 내 각각의 객체 간의 겹침을 처리하는 장치 및 방법이 제공된다. 특히, 본 발명의 일 실시예에 따른 객체 간의 겹침 처리장치는, 축사의 천장에서 바닥 방향으로 복수의 객체를 촬영한 영상을 획득하는 영상 획득부; 상기 획득한 영상 중 기준 프레임에서의 영상에 기초하여, 각각의 객체 간에 서로 일부분이 겹쳐지는 영역에 대한 오버랩 정보를 저장하는 저장부; 상기 획득한 영상을 매 프레임마다 비교하여, 상기 복수의 객체 중 타겟 객체를 검색하는 타겟 객체 검색부; 및 상기 타겟 객체의 이동 상태의 변화에 따라 상기 저장부에 저장된 상기 타겟 객체에 대한 오버랩 정보를 수정하고, 상기 수정된 오버랩 정보를 기초로 상기 타겟 객체를 제외한 나머지 객체에 대한 오버랩 정보를 수정하는 수정부를 포함하고, 상기 타겟 객체는 연속되는 프레임에서 상기 이동 상태가 움직임에서 멈춤으로 변화하거나 멈춤에서 움직임으로 변화한다.

Description

축사 내 각각의 객체 간의 겹침 처리장치 및 방법{DEVICE AND METHOD FOR PROCESSING OCCLUSION OF EACH OBJECT IN PEN}
본 발명은 객체 간의 겹침 처리장치 및 방법에 관한 것으로서, 보다 구체적으로 축사 내 각각의 객체 간의 겹침을 처리하는 장치 및 겹침을 처리하는 방법에 관한 것이다.
최근 IT 기술의 발전에 따라, IT 기술과 농/축산업과의 융합 기술(Computers and Electronics in Agriculture)이라는 새로운 분야에 대한 연구가 활발하게 진행되고 있다.
이러한 IT 농/축산업 분야의 연구동향에 따르면, 축사 내의 가축들의 상태를 모니터링하고 평소와 다른 이상 징후가 탐지되면 이를 관리자에게 알리거나, 가축의 움직임을 분석하여 가축의 특정 상태 및 질병 징후를 조기에 탐지하는 가축 점검 시스템 및, RFID(Radio Frequency Identification)를 이용하여 가축의 정보 및 생산 이력 등을 관리하는 등의 가축 관리 시스템 등 다양한 연구가 진행되고 있다.
이와 관련하여 한국공개특허 제 2010-0064152호(발명의 명칭: 가축 식별장치 및 가축 모니터링 장치)는 가축의 피부를 관통하여 부착된 센서를 통해 측정된 생체신호를 식별정보와 결합하여 가축 모니터링 장치로 무선 전송하는 기술에 대해 개시하고 있다.
다만, 이러한 개별 센서를 부착하는 경우 가축의 개체수가 증가할수록 비용적인 부담이 커지는 문제점이 있었다. 따라서 최소한의 카메라 및 영상처리 기술을 통해 가축을 추적할 수 있는 기술이 필요한 실정이었다.
또한, 위 기술을 사용하는 경우 카메라의 앵글에 따라 가축들이 겹친 상태로 촬영될 수 있고, 이는 정확하게 가축을 추적하는 데에 방해요소로 작용할 수 있다. 정확도 향상을 위해 다각도에 카메라를 배치시키는 경우, 비용 및 영상처리의 복잡도 등의 측면에서 실제 적용시키기 어려울 수 있다는 문제점이 있었다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 축사 내에서 서로 겹쳐지는 객체들의 오버랩 정보에 대한 히스토리를 이용하여, 하나의 카메라로부터 촬영된 영상만으로도 겹쳐지는 객체를 자동으로 정확하게 추적 및 모니터링할 수 있는 겹침 처리장치 및 방법을 제공하는 데에 그 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침을 처리하는 장치는, 상기 축사의 천장에서 바닥 방향으로 복수의 객체를 촬영한 영상을 획득하는 영상 획득부; 상기 획득한 영상 중 기준 프레임에서의 영상에 기초하여, 상기 각각의 객체 간에 서로 일부분이 겹쳐지는 영역에 대한 오버랩 정보를 저장하는 저장부; 상기 획득한 영상을 매 프레임마다 비교하여, 상기 복수의 객체 중 타겟 객체를 검색하는 타겟 객체 검색부; 및 상기 타겟 객체의 이동 상태의 변화에 따라 상기 저장부에 저장된 상기 타겟 객체에 대한 오버랩 정보를 수정하고, 상기 수정된 오버랩 정보를 기초로 상기 타겟 객체를 제외한 나머지 객체에 대한 오버랩 정보를 수정하는 수정부를 포함하고, 상기 타겟 객체는 연속되는 프레임에서 상기 이동 상태가 움직임에서 멈춤으로 변화하거나 멈춤에서 움직임으로 변화한다.
또한, 본 발명의 일 실시예에 따른 객체 간의 겹침 처리장치가 축사 내 각각의 객체 간의 겹침을 처리하는 방법은, 상기 축사의 천장에서 바닥 방향으로 복수의 객체를 촬영한 영상을 획득하는 단계; 상기 획득한 영상 중 기준 프레임에서의 영상에 기초하여, 상기 각각의 객체 간에 서로 일부분이 겹쳐지는 영역에 대한 오버랩 정보를 저장하는 단계; 상기 획득한 영상을 매 프레임마다 비교하여, 상기 복수의 객체 중 이동 상태가 움직임에서 멈춤으로 변화하거나 멈춤에서 움직임으로 변화한 타겟 객체를 검색하는 단계; 및 상기 검색된 타겟 객체의 이동 상태의 변화에 따라 상기 저장하는 단계에서 저장된 상기 검색된 타겟 객체에 대한 오버랩 정보를 수정하고, 상기 수정된 오버랩 정보를 기초로 상기 검색된 타겟 객체를 제외한 나머지 객체에 대한 오버랩 정보를 수정하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나인 축사 내 각각의 객체 간의 겹침 처리장치에 의하면, 별도의 표식 없이 하나의 카메라만으로도 복수의 객체(예를 들어, 돼지 등) 간의 겹침 상태를 자동으로 판단 및 처리할 수 있고, 판단된 결과를 기초로 개별 객체의 움직임을 정확하게 추적할 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나인 축사 내 각각의 객체 간의 겹침 처리방법에 의하면, 가축에게 발생하는 전염병(예를 들어, 구제역 등)에 감염되거나 일정 기간 동안 멈춤 상태인 개별 객체를 신속하게 판단할 수 있고, 만약의 사태 발생시 피해를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리장치의 구성을 설명하기 위한 블록도이다.
도 2는 각각의 객체 간에 서로 일부분이 겹쳐지는 영역의 일 예를 나타내는 도면이다.
도 3은 타겟 객체의 이동 상태가 멈춤에서 움직임으로 변화하는 경우 해당 타겟 객체에 대한 오버랩 정보가 수정되는 일 예를 나타내는 도면이다.
도 4는 타겟 객체의 이동 상태가 움직임에서 멈춤으로 변화하는 경우 해당 타겟 객체에 대한 오버랩 정보가 수정되는 일 예를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리장치의 구성을 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리장치(100)는 일종의 컴퓨터 혹은 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
또한, 축사(10)의 천장에서 바닥 방향으로 바라본 경우, 멈춤 상태에서 서로 일부분이 겹쳐질 가능성이 있는 동물 또는 가축이 본 발명에서의 객체일 수 있고, 이하에서 돼지의 예를 들어 대표적으로 설명하나, 이에 특별히 제한되는 것은 아니다.
이하에서는 도 1을 참고하여 각 세부 구성에 대한 설명을 구체적으로 하기로 한다.
본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리장치(100)는 영상 획득부(110), 저장부(120), 타겟 객체 검색부(130), 및 수정부(140)를 포함한다.
영상 획득부(110)는 축사(10)의 천장에서 바닥 방향으로 복수의 객체(20)를 촬영한 영상을 획득한다. 천장에서 바닥으로의 방향은 도 1에 도시된 A 방향일 수 있고, 도 2에 도시된 각각의 객체 간에 서로 일부분이 겹쳐지는 영역(B)을 최적으로 포착할 수 있는 방향일 수 있다. 도 2는 각각의 객체 간에 서로 일부분이 겹쳐지는 영역의 일 예를 나타내는 도면이다.
또한, 영상 획득부(110)는 축사(10)의 천장에 설치된 카메라(30)와 직접적으로 연결되거나, 네트워크를 통해 연결될 수 있다. 여기서, 카메라(30)는 다수 개일 수 있지만, 영상처리의 복잡성 및 비용적인 면을 고려하여 한 개인 것이 바람직하다. 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
저장부(120)는 상술한 영상 획득부(110)에서 획득한 영상 중 기준 프레임에서의 영상에 기초하여 각각의 객체 간에 서로 일부분이 겹쳐지는 영역에 대한 오버랩 정보를 저장한다. 기준 프레임은 사용자에 의해 결정되거나 미리 설정된 프로그램에 의해 결정될 수 있고, 오버랩 정보는 도 2에 도시된 각각의 객체 간에 서로 일부분이 겹쳐지는 영역(B)에 대한 정보일 수 있으며, 구체적인 설명은 후술하기로 한다. 예를 들어, a 객체가 b 객체에 의해 완전히 가려지는 경우, c 객체가 d 객체 및 e 객체에 의해 완전히 가려지는 경우 등은 오버랩 정보로 정의되지 않고, 기본적으로 객체들 간의 부분 겹침(partial overlap)만을 고려한다. 이때, 각각의 객체는 묶음(blob) 데이터로 처리될 수 있다.
덧붙여, 저장부(120)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 덧붙여, 저장부(120)는 일종의 데이터베이스 또는 웹 상에서 구축될 수도 있다.
구체적으로, 저장부(120)는 영상 획득부(110)에서 획득한 영상의 크기와 대응되는 2차원 배열에 각각의 객체에 대한 오버랩 정보를 저장할 수 있다.
또한, 저장부(120)는 획득한 영상을 구성하는 픽셀마다 각각의 객체에 대한 오버랩 정보를 저장할 수 있다. 각 픽셀의 위치에 복수의 객체는 링크드 리스트(Linked List) 형태로 겹쳐져 있을 수 있고, 해당 자료구조 기법으로 처리할 수 있다.
여기서, 오버랩 정보는 임의의 픽셀에 위치하는 객체의 개수, 임의의 픽셀에 위치하는 각각의 객체에 대한 포인터 정보, 및 임의의 픽셀에 위치하는 객체 간의 오버랩 순서(또는 상대적인 깊이 정보)를 포함할 수 있고, 포인터 정보는 임의의 픽셀에 위치하는 각각의 객체를 구별하기 위한 것일 수 있다.
다만, 픽셀마다 오버랩 정보를 저장함에 있어서, 임의의 프레임에서 축사(10) 내 임의의 지점으로부터 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체는 하나이고, 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체는 멈춤 상태를 유지하는 다른 객체보다 위쪽으로 겹쳐지는 전제 조건이 필요할 수 있다. 예를 들어, 객체가 돈사 내 돼지인 경우, 일부분이 겹쳐져서 휴식을 취하던 돼지들 중 한 마리가 활동을 개시할 수 있고, 2마리 이상의 돼지가 동시에 활동을 개시하지 않을 수 있다. 또한, 활동 중이던 a 돼지가 다른 b 돼지와 겹쳐져 휴식을 취하는 경우, a 돼지는 돈사의 천장 또는 카메라(30)에 가깝게 b 돼지보다 위쪽으로 겹쳐지고, b 돼지의 아래쪽으로 파고 들어가지 않을 수 있다.
타겟 객체 검색부(130)는 상술한 영상 획득부(110)에서 획득한 영상을 매 프레임마다 비교하여, 복수의 객체(20) 중 타겟 객체를 검색한다. 타겟 객체란 연속되는 프레임에서 이동 상태가 움직임에서 멈춤으로 변화하거나 멈춤에서 움직임으로 변화하는 객체를 의미한다. 또한, 타겟 객체 검색부(130)는 복수의 객체(20) 중 다른 객체와 겹침없이 이동 상태가 계속적으로 움직임 상태를 유지하는 객체를 무시할 수 있다.
수정부(140)는 타겟 객체의 이동 상태의 변화에 따라 상술한 저장부(120)에 저장된 타겟 객체에 대한 오버랩 정보를 수정하고, 그 수정된 타겟 객체에 대한 오버랩 정보를 기초로 타겟 객체를 제외한 나머지 객체에 대한 오버랩 정보를 수정한다.
구체적으로, 수정부(140)는 획득한 영상을 구성하는 픽셀마다 타겟 객체에 대한 오버랩 정보와, 나머지 객체에 대한 오버랩 정보를 수정할 수 있다. 다만, 픽셀마다 오버랩 정보를 수정함에 있어서, 임의의 프레임에서 축사(10) 내 임의의 지점으로부터 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체는 하나이고, 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체는 멈춤 상태를 유지하는 다른 객체보다 위쪽으로 겹쳐지는 전제 조건이 필요할 수 있다.
이하에서는 도 3 및 도 4를 참고하여 상술한 저장부(120)에 저장된 각각의 객체에 대한 오버랩 정보의 업데이트 및 히스토리 관리를 수행하는 수정부(140)의 동작을 설명하기로 한다. 도 3은 타겟 객체의 이동 상태가 멈춤에서 움직임으로 변화하는 경우 해당 타겟 객체에 대한 오버랩 정보가 수정되는 일 예를 나타내는 도면이고, 도 4는 타겟 객체의 이동 상태가 움직임에서 멈춤으로 변화하는 경우 해당 타겟 객체에 대한 오버랩 정보가 수정되는 일 예를 나타내는 도면이다.
수정부(140)는 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 감소시키고, 기저장된 객체 간의 오버랩 순서에서 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체에 대한 포인터 정보를 제거할 수 있다. 예를 들어, 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체는 휴식/수면 중이다가 활동을 새롭게 개시하는 돼지일 수 있다.
도 3의 위쪽 도면과 아래쪽 도면은 연속되는 프레임에서 획득한 영상의 크기와 대응되는 2차원 배열을 나타내고 있다. 2차원 배열 내 각각의 픽셀은 해당 픽셀에 위치하는 객체에 대한 오버랩 정보를 저장할 수 있다. 예를 들어, 0, 1 또는 2라고 기재된 것은 해당 픽셀에 위치하는 객체의 개수를 의미하고, a, c라고 기재된 것은 해당 픽셀에 위치하는 각각의 객체에 대한 포인터 정보(각각의 객체를 구별하기 위한 정보)를 의미하며, 깊이의 정도는 해당 픽셀에 위치하는 객체 간의 오버랩 순서를 의미할 수 있다.
상술한 타겟 객체 검색부(130)는 도 3의 위쪽 도면과 아래쪽 도면을 비교하여, 복수의 객체(20) 중 타겟 객체를 검색할 수 있고, 수정부(140)는 검색된 결과를 기초로 타겟 객체의 이동 상태가 멈춤에서 움직임으로 변화하는 것을 알 수 있다. 수정부(140)는 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 2에서 1로, 1에서 0으로 감소시키고, 기저장된 객체 간의 오버랩 순서(c 객체가 a 객체보다 위쪽에 위치한다는 깊이 정보)에서 타겟 객체에 대한 포인터 정보인 a를 제거할 수 있다. 즉, c 객체보다 일부분이 아래에 겹쳐있던 a 객체(타겟 객체)가 활동을 개시함에 따라, 수정부(140)는 상술한 저장부(120)에 저장된 각각의 객체에 대한 오버랩 정보를 상술한 바와 같이 수정할 수 있고, 수정된 정보를 다시 저장부(120)로 전달할 수 있다.
아울러, 수정부(140)는 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 증가시키고, 기저장된 객체 간의 오버랩 순서에 대해 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체에 대한 포인터 정보를 추가할 수 있다. 예를 들어, 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체는 활동 중이다가 휴식/수면을 개시하는 돼지일 수 있다.
도 4의 위쪽 도면과 아래쪽 도면은 연속되는 프레임에서 획득한 영상의 크기와 대응되는 2차원 배열을 나타내고 있다. 2차원 배열 내 각각의 픽셀은 해당 픽셀에 위치하는 객체에 대한 오버랩 정보를 저장할 수 있다. 예를 들어, 1, 2 또는 3이라고 기재된 것은 해당 픽셀에 위치하는 객체의 개수를 의미하고, a, b, c라고 기재된 것은 해당 픽셀에 위치하는 각각의 객체에 대한 포인터 정보(각각의 객체를 구별하기 위한 정보)를 의미하며, 깊이의 정도는 해당 픽셀에 위치하는 객체 간의 오버랩 순서를 의미할 수 있다.
상술한 타겟 객체 검색부(130)는 도 4의 위쪽 도면과 아래쪽 도면을 비교하여, 복수의 객체(20) 중 타겟 객체를 검색할 수 있고, 수정부(140)는 검색된 결과를 기초로 타겟 객체의 이동 상태가 움직임에서 멈춤으로 변화하는 것을 알 수 있다. 수정부(140)는 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1에서 2로, 2에서 3으로 증가시키고, 기저장된 객체 간의 오버랩 순서(b 객체가 a 객체보다 위쪽에 위치한다는 깊이 정보)에서 타겟 객체에 대한 포인터 정보인 b를 추가할 수 있다. 즉, b 객체(타겟 객체)의 일부분이 멈춤 상태를 유지하는 a 객체와 겹쳐지도록 b 객체가 휴식을 개시함에 따라, 수정부(140)는 상술한 저장부(120)에 저장된 각각의 객체에 대한 오버랩 정보를 상술한 바와 같이 수정할 수 있고, 수정된 정보를 다시 저장부(120)로 전달할 수 있다.
이와 같이 수정부(140)는 각각의 객체에 대한 오버랩 정보를 수정하고, 저장부(120)는 수정된 오버랩 정보를 다시 저장함으로써, 객체 간의 겹침 처리장치(100)는 오버랩 정보의 히스토리를 관리할 수 있다.
참고로, 도 1에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(ASIC, Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
지금까지 설명한 본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리 장치를 이용하면, 별도의 표식 없이 하나의 카메라만으로도 복수의 객체(예를 들어, 돼지 등) 간의 겹침 상태를 자동으로 판단 및 처리할 수 있고, 판단된 결과를 기초로 개별 객체의 움직임을 정확하게 추적할 수 있다.
한편, 이하에서는 상술한 객체 간의 겹침 처리장치가 축사 내 각각의 객체 간의 겹침을 처리하는 방법에 대해 도 5를 참고하여 설명하기로 한다. 도 5는 본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리방법을 설명하기 위한 순서도이다.
우선, 객체 간의 겹침 처리장치(100)는 축사(10)의 천장에서 바닥 방향(A)으로 복수의 객체(20)를 촬영한 영상을 획득한다(S210).
객체 간의 겹침 처리장치(100)는 획득한 영상 중 기준 프레임에서의 영상에 기초하여, 각각의 객체 간에 서로 일부분이 겹쳐지는 영역(B)에 대한 오버랩 정보를 저장한다(S220).
오버랩 정보는 기본적으로 객체들 간의 부분 겹침(partial overlap)에 대한 것이다. 즉, 특정 객체가 다른 객체 혹은 다른 객체들에 의해 완전하게 겹쳐지지 않은 상태라면 본 발명에서 제안하는 겹침 처리장치(100)에 의해 특정 객체에 대한 겹침 처리가 효율적으로 가능하다.
또한, 경우에 따라 다음과 같은 추가 조건이 필요할 수 있다. 제 1 조건은, 임의의 프레임에서 축사(10) 내 임의의 지점으로부터 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체는 하나라는 것이다. 또한, 제 2 조건은, 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체는 멈춤 상태를 유지하는 다른 객체보다 위쪽으로 겹쳐진다는 것이다. 이러한 조건들은 획득한 영상을 매 픽셀마다 처리하는 경우 요구될 수 있다.
저장하는 단계(S220)에서 객체 간의 겹침 처리장치(100)는 상술한 단계(S210)에서 획득한 영상을 구성하는 픽셀마다 각각의 객체에 대한 오버랩 정보를 저장할 수 있다. 이때, 저장되는 오버랩 정보는 임의의 픽셀에 위치하는 객체의 개수, 임의의 픽셀에 위치하는 각각의 객체에 대한 포인터 정보, 및 임의의 픽셀에 위치하는 객체 간의 오버랩 순서를 포함할 수 있고, 포인터 정보는 임의의 픽셀에 위치하는 각각의 객체를 구별하기 위한 것일 수 있다.
이어서 객체 간의 겹침 처리장치(100)는 획득한 영상을 매 프레임마다 비교한다(S230). 비교 시에 영상을 구성하는 각 픽셀에 해당하는 오버랩 정보를 비교할 수 있다.
계속해서, 객체 간의 겹침 처리장치(100)는 복수의 객체 중 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체를 검색한다(S240). 또는 복수의 객체 중 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체를 검색한다(S250). 따라서 타겟 객체가 검색되지 않는 경우 후술할 수정 과정이 이루어지지 않고, 상술한 단계(S230)가 반복적으로 실행될 수 있다. 즉, 객체 간의 겹침 처리장치(100)는 복수의 객체 중 다른 객체와 겹침없이 이동 상태가 계속적으로 움직임 상태를 유지하는 객체를 무시하고, 획득한 영상을 매 프레임마다 다시 비교할 수 있다. 겹침없이 계속적으로 움직임 상태를 유지하는 객체에 대해서는 오버랩 정보를 생성하지 않는다.
타겟 객체를 검색하는 방안은 다음과 같을 수 있다. 겹쳐져 있던 객체들 중 가장 상위에 있는 객체(천장과 가장 가까운 객체)가 움직이는 경우, 해당 객체에 대한 전체 오버랩 정보가 동시에 변화하므로, 가장 상위에 있는 객체가 타겟 객체라고 판단할 수 있다. 또한, 겹쳐져 있던 객체들 중 하위에 있는 객체(바닥과 가까운 객체)가 움직이는 경우, 해당 객체에 대한 일부 오버랩 정보가 변화하므로, 하위에 있는 객체가 타겟 객체라고 판단할 수 있다. 이동 상태가 움직임에서 멈춤으로 변하는 경우는 상술한 부분과 반대로 판단할 수 있다.
앞서 설명한 것처럼 타겟 객체가 검색된 경우, 객체 간의 겹침 처리장치(100)는 각각의 객체에 대한 오버랩 정보를 수정한다(S260). 이때, 수정되는 오버랩 정보는 임의의 픽셀에 위치하는 객체의 개수, 임의의 픽셀에 위치하는 각각의 객체에 대한 포인터 정보, 및 임의의 픽셀에 위치하는 객체 간의 오버랩 순서를 포함할 수 있고, 포인터 정보는 임의의 픽셀에 위치하는 각각의 객체를 구별하기 위한 것일 수 있다.
구체적으로, 객체 간의 겹침 처리장치(100)는 검색된 타겟 객체의 이동 상태의 변화에 따라 검색된 타겟 객체에 대한 오버랩 정보를 수정하고, 그 수정된 오버랩 정보를 기초로 검색된 타겟 객체를 제외한 나머지 객체에 대한 오버랩 정보를 수정한다.
보다 구체적으로, 수정하는 단계(S260)는 상술한 제 1 조건 및 제 2 조건과 함께 픽셀마다 검색된 타겟 객체에 대한 오버랩 정보와, 나머지 객체에 대한 오버랩 정보를 수정할 수 있다.
만약 검색된 타겟 객체의 이동 상태가 움직임에서 멈춤으로 변화하는 경우 수정하는 단계(S260)는 검색된 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 증가시키고, 검색된 타겟 객체에 대한 포인터 정보를 생성할 수 있다. 또한, 해당 단계(S260)는 기저장된 객체에 대한 포인터 정보 및 생성된 포인터 정보를 이용하여, 기저장된 객체 간의 오버랩 순서에 대해 검색된 타겟 객체에 대한 포인터 정보를 추가할 수 있다.
만약 검색된 타겟 객체의 이동 상태가 멈춤에서 움직임으로 변화하는 경우 수정하는 단계(S260)는 검색된 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 감소시키고, 기저장된 객체에 대한 포인터 정보 중 검색된 타겟 객체에 대한 포인터 정보를 판단할 수 있다. 또한, 해당 단계(S260)는 기저장된 객체에 대한 포인터 정보 및 판단된 포인터 정보를 이용하여, 기저장된 객체 간의 오버랩 순서에서 검색된 타겟 객체에 대한 포인터 정보를 제거할 수 있다.
다시 말하자면, 각 픽셀은 다음과 같은 3가지 경우 중 어느 하나일 수 있다.
첫째는 아무런 객체도 위치하지 않거나 계속적으로 움직임 상태를 유지하는 객체를 포함하는 픽셀이다. 이 경우 객체의 개수는 0이고, 기저장된 객체에 대한 포인터 정보도 없으며, 객체 간의 오버랩 순서도 없다.
둘째는 멈춤 상태를 유지하는 하나의 객체를 포함하는 픽셀이다. 이 경우 객체의 개수는 1이고, 기저장된 객체에 대한 포인터 정보도 한 개이며, 객체 간의 오버랩 순서는 없다.
셋째는 멈춤 상태를 유지하는 2 이상의 객체를 포함하는 픽셀이다. 이 경우 객체의 개수는 n(이때, n은 2 이상의 정수임)이고, 기저장된 객체에 대한 포인터 정보도 n 개이며, 객체 간의 오버랩 순서는 포인터 정보들의 히스토리(어느 객체가 위에 있는가 여부)를 나타낸다.
지금까지 설명한 본 발명의 일 실시예에 따른 축사 내 각각의 객체 간의 겹침 처리방법은, 각각의 객체 간에 서로 일부분이 겹쳐지는 영역에 대한 오버랩 정보를 저장 및 수정함으로써, 각각의 객체를 자동으로 처리 및 추적할 수 있고, 가축에게 발생하는 전염병(예를 들어, 구제역 등)에 감염되거나 일정 기간 동안 멈춤 상태인 개별 객체를 신속하게 판단할 수 있으며, 만약의 사태 발생시 피해를 최소화할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 축사 20: 복수의 객체
30: 카메라 100: 객체 간의 겹침 처리장치
110: 영상 획득부 120: 저장부
130: 타겟 객체 검색부 140: 수정부

Claims (12)

  1. 축사 내 각각의 객체 간의 겹침을 처리하는 장치에 있어서,
    상기 축사의 천장에서 바닥 방향으로 복수의 객체를 촬영한 영상을 획득하는 영상 획득부;
    상기 획득한 영상 중 기준 프레임에서의 영상에 기초하여, 상기 각각의 객체 간에 서로 일부분이 겹쳐지는 영역에 대한 오버랩 정보를 저장하는 저장부;
    상기 획득한 영상을 매 프레임마다 비교하여, 상기 복수의 객체 중 타겟 객체를 검색하는 타겟 객체 검색부; 및
    상기 타겟 객체의 이동 상태의 변화에 따라 상기 저장부에 저장된 상기 타겟 객체에 대한 오버랩 정보를 수정하고, 상기 수정된 오버랩 정보를 기초로 상기 타겟 객체를 제외한 나머지 객체에 대한 오버랩 정보를 수정하는 수정부를 포함하고,
    상기 타겟 객체는 연속되는 프레임에서 상기 이동 상태가 움직임에서 멈춤으로 변화하거나 멈춤에서 움직임으로 변화하는 객체이고,
    상기 오버랩 정보는 상기 획득한 영상을 구성하는 임의의 픽셀에 위치하는 객체의 개수, 상기 임의의 픽셀에 위치하는 각각의 객체에 대한 포인터 정보, 및 상기 임의의 픽셀에 위치하는 객체 간의 오버랩 순서를 포함하고,
    상기 포인터 정보는 상기 임의의 픽셀에 위치하는 각각의 객체를 구별하기 위한 것인, 객체 간의 겹침 처리장치.
  2. 제 1 항에 있어서,
    상기 저장부는 상기 획득한 영상을 구성하는 픽셀마다 상기 각각의 객체에 대한 오버랩 정보를 저장하고,
    상기 수정부는 상기 픽셀마다 상기 타겟 객체에 대한 오버랩 정보와, 상기 나머지 객체에 대한 오버랩 정보를 수정하는 객체 간의 겹침 처리장치.
  3. 삭제
  4. 제 2 항에 있어서, 상기 수정부는
    상기 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 증가시키고, 상기 기저장된 객체 간의 오버랩 순서에 대해 상기 이동 상태가 움직임에서 멈춤으로 변화한 타겟 객체에 대한 포인터 정보를 추가하는 객체 간의 겹침 처리장치.
  5. 제 2 항에 있어서, 상기 수정부는
    상기 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 감소시키고, 상기 기저장된 객체 간의 오버랩 순서에서 상기 이동 상태가 멈춤에서 움직임으로 변화한 타겟 객체에 대한 포인터 정보를 제거하는 객체 간의 겹침 처리장치.
  6. 제 1 항에 있어서,
    상기 저장부는 상기 획득한 영상의 크기와 대응되는 2차원 배열에 상기 오버랩 정보를 저장하는 객체 간의 겹침 처리장치.
  7. 제 1 항에 있어서,
    상기 타겟 객체 검색부는 상기 복수의 객체 중 다른 객체와 겹침없이 이동 상태가 계속적으로 움직임 상태를 유지하는 객체를 무시하는 객체 간의 겹침 처리장치.
  8. 객체 간의 겹침 처리장치가 축사 내 각각의 객체 간의 겹침을 처리하는 방법에 있어서,
    상기 축사의 천장에서 바닥 방향으로 복수의 객체를 촬영한 영상을 획득하는 단계;
    상기 획득한 영상 중 기준 프레임에서의 영상에 기초하여, 상기 각각의 객체 간에 서로 일부분이 겹쳐지는 영역에 대한 오버랩 정보를 저장하는 단계;
    상기 획득한 영상을 매 프레임마다 비교하여, 상기 복수의 객체 중 이동 상태가 움직임에서 멈춤으로 변화하거나 멈춤에서 움직임으로 변화한 타겟 객체를 검색하는 단계; 및
    상기 검색된 타겟 객체의 이동 상태의 변화에 따라 상기 저장하는 단계에서 저장된 상기 검색된 타겟 객체에 대한 오버랩 정보를 수정하고, 상기 수정된 오버랩 정보를 기초로 상기 검색된 타겟 객체를 제외한 나머지 객체에 대한 오버랩 정보를 수정하는 단계를 포함하고,
    상기 오버랩 정보는 상기 획득한 영상을 구성하는 임의의 픽셀에 위치하는 객체의 개수, 상기 임의의 픽셀에 위치하는 각각의 객체에 대한 포인터 정보, 및 상기 임의의 픽셀에 위치하는 객체 간의 오버랩 순서를 포함하고,
    상기 포인터 정보는 상기 임의의 픽셀에 위치하는 각각의 객체를 구별하기 위한 것인, 객체 간의 겹침 처리방법.
  9. 제 8 항에 있어서,
    상기 저장하는 단계는 상기 획득한 영상을 구성하는 픽셀마다 상기 각각의 객체에 대한 오버랩 정보를 저장하고,
    상기 수정하는 단계는 상기 픽셀마다 상기 검색된 타겟 객체에 대한 오버랩 정보와, 상기 나머지 객체에 대한 오버랩 정보를 수정하는 객체 간의 겹침 처리방법.
  10. 제 9 항에 있어서,
    상기 검색된 타겟 객체의 이동 상태가 움직임에서 멈춤으로 변화하는 경우 상기 수정하는 단계는
    상기 검색된 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 증가시키는 단계;
    상기 검색된 타겟 객체에 대한 포인터 정보를 생성하는 단계; 및
    상기 기저장된 객체에 대한 포인터 정보 및 상기 생성된 포인터 정보를 이용하여, 상기 기저장된 객체 간의 오버랩 순서에 대해 상기 검색된 타겟 객체에 대한 포인터 정보를 추가하는 단계를 포함하는 객체 간의 겹침 처리방법.
  11. 제 9 항에 있어서,
    상기 검색된 타겟 객체의 이동 상태가 멈춤에서 움직임으로 변화하는 경우 상기 수정하는 단계는
    상기 검색된 타겟 객체와 대응되는 타겟 픽셀에 기저장된 객체의 개수를 1만큼 감소시키는 단계;
    상기 기저장된 객체에 대한 포인터 정보 중 상기 검색된 타겟 객체에 대한 포인터 정보를 판단하는 단계; 및
    상기 기저장된 객체에 대한 포인터 정보 및 상기 판단된 포인터 정보를 이용하여, 상기 기저장된 객체 간의 오버랩 순서에서 상기 검색된 타겟 객체에 대한 포인터 정보를 제거하는 단계를 포함하는 객체 간의 겹침 처리방법.
  12. 제 8 항에 있어서,
    상기 획득한 영상을 매 프레임마다 비교하여, 상기 복수의 객체 중 다른 객체와 겹침없이 이동 상태가 계속적으로 움직임 상태를 유지하는 객체를 무시하는 단계를 더 포함하는 객체 간의 겹침 처리방법.
KR1020130104108A 2013-08-30 2013-08-30 축사 내 각각의 객체 간의 겹침 처리장치 및 방법 KR101505557B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130104108A KR101505557B1 (ko) 2013-08-30 2013-08-30 축사 내 각각의 객체 간의 겹침 처리장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130104108A KR101505557B1 (ko) 2013-08-30 2013-08-30 축사 내 각각의 객체 간의 겹침 처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150025922A KR20150025922A (ko) 2015-03-11
KR101505557B1 true KR101505557B1 (ko) 2015-03-25

Family

ID=53022049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130104108A KR101505557B1 (ko) 2013-08-30 2013-08-30 축사 내 각각의 객체 간의 겹침 처리장치 및 방법

Country Status (1)

Country Link
KR (1) KR101505557B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030082A (ko) * 2017-09-13 2019-03-21 (주)제이케이데이터시스템즈 패턴인식 기반의 가금류 무게측정 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720708B1 (ko) * 2015-07-10 2017-03-28 고려대학교 산학협력단 축사내 개체 탐지 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009005141A1 (ja) 2007-07-05 2009-01-08 Nec Corporation 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム
JP2010049297A (ja) 2008-08-19 2010-03-04 Secom Co Ltd 画像監視装置
JP2012191354A (ja) 2011-03-09 2012-10-04 Canon Inc 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009005141A1 (ja) 2007-07-05 2009-01-08 Nec Corporation 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム
JP2010049297A (ja) 2008-08-19 2010-03-04 Secom Co Ltd 画像監視装置
JP2012191354A (ja) 2011-03-09 2012-10-04 Canon Inc 情報処理装置、情報処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:정보과학회논문지 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030082A (ko) * 2017-09-13 2019-03-21 (주)제이케이데이터시스템즈 패턴인식 기반의 가금류 무게측정 시스템 및 방법
KR102009677B1 (ko) 2017-09-13 2019-08-12 (주)제이케이데이터시스템즈 패턴인식 기반의 가금류 무게측정 시스템 및 방법

Also Published As

Publication number Publication date
KR20150025922A (ko) 2015-03-11

Similar Documents

Publication Publication Date Title
Apicharttrisorn et al. Frugal following: Power thrifty object detection and tracking for mobile augmented reality
US11436449B2 (en) Method and electronic apparatus for processing image and training image tag classification model
US11790317B2 (en) System, device, and process for tracking product
KR101399804B1 (ko) 회전 불변형 특징 디스크립터를 이용한 추적 및 인식을 위한 방법 및 장치
WO2019041519A1 (zh) 目标跟踪装置、方法及计算机可读存储介质
JP6814673B2 (ja) 移動経路予測装置、及び移動経路予測方法
KR101720708B1 (ko) 축사내 개체 탐지 장치 및 방법
US8908911B2 (en) Redundant detection filtering
JP5951695B2 (ja) 行動認識のための方法、装置、およびコンピュータ・プログラム
WO2015143892A1 (en) Video processing method, device and system
KR20160078089A (ko) 농장에서의 움직임 객체의 공격적 행동 탐지 및 관리시스템
CN104853668A (zh) 用于眼睛和注视搜索的基于平铺图像的头部位置扫描
EP2801053A1 (en) Object tracking and processing
US20130155226A1 (en) Object tracking system using robot and object tracking method using a robot
CN110378216B (zh) 目标检测方法、装置、摄像设备和存储介质
KR101505557B1 (ko) 축사 내 각각의 객체 간의 겹침 처리장치 및 방법
JP2018033365A (ja) 情報処理装置、情報処理方法、プログラム
CN104268040A (zh) 一种磁盘性能检测方法及装置
JP2020533725A5 (ja) デジタル画像の対象領域の少なくとも１つの形状を生成する方法および装置ならびに機械学習システムを訓練するための訓練データを生成する方法
KR20220039373A (ko) 스마트 축사 시스템 및 그를 이용한 축사 모니터링 방법
US20210093257A1 (en) Personalized Monitoring of Injury Rehabilitation Through Mobile Device Imaging
KR102304109B1 (ko) 반려동물 추종 모니터링 서버 및 그 동작 방법
Parmiggiani et al. Don’t get lost in the crowd: Graph convolutional network for online animal tracking in dense groups
JP6031924B2 (ja) 画像検索装置、画像検索方法、制御プログラムおよび記録媒体
US20170243273A1 (en) Systems and methods for processing portable object information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 6