KR20200009530A - 이상 개체 검출 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 이상 개체 검출 시스템은 개체에 대한 정보가 포함된 영상을 딥러닝 기반의 제1 이상 개체 검출 모델에 적용하여 이상 개체를 검출하고, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 상기 오류 이벤트가 발생한 제1 오류 이벤트 발생 영상을 사용자 단말로 전송하는 이상 개체 검출 장치, 그리고 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 수신하고, 상기 제1 오류 이벤트 발생 영상과 상기 오류 검토 정보에 기초하여 딥러닝 기반의 제2 이상 개체 검출 모델을 학습시키는 학습 서버를 포함하되, 상기 이상 개체 검출 장치는, 상기 제2 이상 개체 검출 모델의 학습 결과에 기초하여 상기 제1 이상 개체 검출 모델을 업데이트시킨다.

Description

이상 개체 검출 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING ABNORMAL OBJECT}

실시 예는 이상 개체 검출 시스템 및 방법에 관한 것이다.

좁은 사육장 내에서 집단으로 사육되는 가축은 전염성 질병의 확산에 매우 취약하다. 예를 들어, 구제역이나 조류독감과 같은 법정 전염병은 공기를 통해 전염되므로, 한번 발병될 경우 그 방역 및 전염 차단에 드는 사회적인 소요 비용이 매우 크고, 먹거리에 대한 전 사회적인 불안감도 빠르게 확산될 수 밖에 없다. 사육장 내 이상징후가 포착된 경우, 질병의 확산을 방지하기 위하여 빠른 시간 내에 병든 가축을 격리시키는 것이 중요하다.

학습에 기반하여 사육장 내 이상 징후를 검출하는 방법이 시도되고 있다. 이를 위하여, 로컬 머신은 사육장 내를 촬영한 영상 데이터를 수집하며, 수집한 영상 데이터를 학습용 서버에 전송한다. 학습용 서버는 로컬 머신들로부터 수신한 영상 데이터를 학습하여 이상 징후 검출 알고리즘에 적용할 파라미터를 추출할 수 있다.

하지만, 로컬 머신들로부터 수신한 영상 데이터에 오류가 있는 경우, 이에 기초한 학습에 문제가 발생할 수 있다. 즉, 이러한 오류 데이터를 통해 학습을 수행할 경우 알고리즘의 정확도에 문제가 발생할 수 있다. 따라서, 오류 데이터를 필터링하거나 오류 데이터를 정정하여 학습을 수행할 수 있는 방법이 요구된다.

본 발명이 이루고자 하는 기술적 과제는 사육장 내부를 촬영한 영상 데이터 내에서 질병에 걸린 가능성이 높은 개체를 검출할 수 있는 이상 개체 검출 장치 및 방법을 제공하는데 있다.

실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.

본 발명의 실시예에 따른 이상 개체 검출 시스템은 개체에 대한 정보가 포함된 영상을 딥러닝 기반의 제1 이상 개체 검출 모델에 적용하여 이상 개체를 검출하고, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 상기 오류 이벤트가 발생한 제1 오류 이벤트 발생 영상을 사용자 단말로 전송하는 이상 개체 검출 장치, 그리고 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 수신하고, 상기 제1 오류 이벤트 발생 영상과 상기 오류 검토 정보에 기초하여 딥러닝 기반의 제2 이상 개체 검출 모델을 학습시키는 학습 서버를 포함하되, 상기 이상 개체 검출 장치는, 상기 제2 이상 개체 검출 모델의 학습 결과에 기초하여 상기 제1 이상 개체 검출 모델을 업데이트시킨다.

상기 사용자 단말은 상기 제1 오류 이벤트 발생 영상을 사용자에게 제공하며, 상기 사용자로부터 상기 제1 오류 이벤트 발생 영상에 대응하는 상기 오류 검토 정보를 입력 받을 수 있다.

상기 사용자 단말은, 상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보를 전문가 단말로 전송하고, 상기 전문가 단말은, 상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보에 대한 전문가 검토 정보를 입력받고, 상기 전문가 검토 정보에 따라 상기 오류 검토 정보를 상기 학습 서버로 전송할 수 있다.

상기 이상 개체 검출 장치는, 카메라, 센서, 컴퓨터 및 서버 중 적어도 하나를 포함할 수 있다.

상기 이상 개체 검출 장치는, 상기 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터를 상기 제1 이상 개체 검출 모델에 적용하여 상기 제1 이상 개체 검출 모델을 업데이트시킬 수 있다.

상기 이상 개체 검출 장치는, 기 설정된 시간 동안 상기 이상 개체의 검출 횟수가 기 설정된 임계치보다 크면 상기 오류 이벤트가 발생하였다고 판단할 수 있다.

상기 이상 개체 검출 장치는, 일정 기간 동안의 영상을 데이터베이스에 저장할 수 있다.

상기 사용자 단말은, 상기 데이터베이스에 저장된 영상을 수신하며, 사용자로부터 상기 데이터베이스에 저장된 영상 중 이상 개체 미검출 영역을 선택받아 제2 오류 이벤트 발생 영상을 생성하고, 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력 받을 수 있다.

본 발명의 실시예에 따른 이상 개체 검출 방법은 이상 개체 검출 장치가, 개체에 대한 정보가 포함된 영상을 딥러닝 기반의 제1 이상 개체 검출 모델에 적용하여 이상 개체를 검출하는 단계, 상기 이상 개체 검출 장치가, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 상기 오류 이벤트가 발생한 제1 오류 이벤트 발생 영상을 사용자 단말로 전송하는 단계, 학습 서버가, 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 수신하는 단계, 상기 학습 서버가, 상기 제1 오류 이벤트 발생 영상과 상기 오류 검토 정보에 기초하여 딥러닝 기반의 제2 이상 개체 검출 모델을 학습시키는 단계, 그리고 상기 이상 개체 검출 장치가, 상기 제2 이상 개체 검출 모델의 학습 결과에 기초하여 상기 제1 이상 개체 검출 모델을 업데이트시키는 단계를 포함한다.

상기 사용자 단말이, 상기 제1 오류 이벤트 발생 영상을 사용자에게 제공하는 단계, 그리고 상기 사용자 단말이, 상기 사용자로부터 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력받는 단계를 더 포함할 수 있다.

상기 사용자 단말이, 상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보를 전문가 단말로 전송하는 단계, 상기 전문가 단말이 상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보에 대한 전문가 검토 정보를 입력받는 단계, 그리고 상기 전문가 단말이, 상기 전문가 검토 정보에 따라 상기 오류 검토 정보를 상기 학습 서버로 전송하는 단계를 더 포함할 수 있다.

상기 이상 개체 검출 장치는, 카메라, 센서, 컴퓨터 및 서버 중 적어도 하나를 포함할 수 있다.

상기 제1 이상 개체 검출 모델을 업데이트시키는 단계는, 상기 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터를 상기 제1 이상 개체 검출 모델에 적용하여 상기 제1 이상 개체 검출 모델을 업데이트시킬 수 있다.

상기 제1 오류 이벤트 발생 영상을 학습 서버로 전송하는 단계는, 기 설정된 시간 동안 상기 이상 개체의 검출 횟수가 기 설정된 임계치보다 크면 상기 오류 이벤트가 발생하였다고 판단할 수 있다.

상기 이상 개체 검출 장치가 일정 기간 동안의 영상을 데이터베이스에 저장하는 단계를 더 포함할 수 있다.

상기 사용자 단말이, 상기 데이터베이스에 저장된 영상을 수신하는 단계, 상기 사용자 단말이, 사용자로부터 상기 데이터베이스에 저장된 영상 중 이상 개체 미검출 영역을 선택받아 제2 오류 이벤트 발생 영상을 생성하는 단계, 그리고 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력받는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 이상 개체 검출 장치는 개체에 대한 정보가 포함된 영상을 딥러닝 기반의 제1 이상 개체 검출 모델에 적용하여 이상 개체를 검출하고, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 제1 오류 이벤트 발생 영상을 사용자 단말로 전송하며, 상기 제1 오류 이벤트 발생 영상과 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보에 기초한 제2 이상 개체 검출 모델의 학습 결과를 통해 상기 제1 이상 개체 검출 모델을 업데이트시킨다.

상기 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터를 상기 제1 이상 개체 검출 모델에 적용하여 상기 제1 이상 개체 검출 모델을 업데이트시킬 수 있다.

기 설정된 시간 동안 상기 이상 개체의 검출 횟수가 기 설정된 임계치보다 크면 상기 오류 이벤트가 발생하였다고 판단할 수 있다.

일정 기간 동안의 영상을 데이터베이스에 저장할 수 있다.

제2 오류 이벤트 발생 영상과 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보에 기초한 상기 제2 이상 개체 검출 모델의 학습 결과를 통해 상기 제1 이상 개체 검출 모델을 업데이트시키되, 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보는, 상기 사용자 단말이 상기 데이터베이스에 저장된 영상을 수신하고, 사용자로부터 상기 데이터베이스에 저장된 영상 중 이상 개체 미검출 영역을 선택받아 제2 오류 이벤트 발생 영상을 생성하고, 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력 받을 수 있다.

실시 예에 따르면, 이상 개체의 검출 정확도를 향상시킬 수 있다.

또한, 오류가 발생한 데이터에 대한 수정을 통해 학습 데이터의 신뢰도를 향상시킬 수 있다.

본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 이상 개체 검출 시스템의 제1 실시예를 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 이상 개체 검출 시스템의 제2 실시예를 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 이상 개체 검출 시스템의 제3 실시예를 개략적으로 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 촬상 장치의 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 이상 개체 검출 장치의 구성을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 사용자 단말의 구성을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 학습 서버의 구성을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 전문가 단말의 구성을 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 이상 개체 검출 방법의 제1 실시예에 따른 순서도이다.
도 10은 본 발명의 실시예에 따른 이상 개체 검출 방법의 제2 실시예에 따른 순서도이다.
도 11은 본 발명의 실시예에 따른 제1 이상 개체 검출 모델의 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.

그리고, 어떤 구성 요소가 다른 구성요소에 ‘연결’, ‘결합’ 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’ 또는 ‘접속’ 되는 경우도 포함할 수 있다.

또한, 각 구성 요소의 “상(위) 또는 하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.

우선, 도 1 내지 도 3을 통해 본 발명의 실시예에 따른 이상 개체 검출 시스템에 대해 살펴보도록 한다.

본 발명의 실시예에 따른 이상 개체 검출 시스템은 사육장 내 개체 중 이상 개체를 검출하는 시스템이다. 여기서, 사육장은 가축을 사육하는 축사를 의미하며, 개체는 가축을 의미할 수 있다. 가축은 닭, 오리 등의 가금류뿐만 아니라, 소, 돼지 등 축사 내에서 집단으로 사육되는 다양한 종류의 동물일 수 있다.

구체적으로, 이상 개체 검출 시스템은 촬상 장치(100)의 계측 정보를 알고리즘을 이용하여 분석하고, 분석 결과를 통해 사육장 내 이상 개체를 검출하여 사용자에게 전송한다. 이상 개체는 질병, 임신 등으로 인해 정상 상태가 아닌 개체를 의미할 수 있다. 이때, 이상 개체를 검출하는 알고리즘의 검출 정확도를 향상시키기 위하여 이상 개체를 검출한 정보와 이에 대한 검토 정보를 학습 서버(400)에 전송하여 알고리즘을 학습시킬 수 있다. 또한, 이상 개체 검출 결과에 오류가 발생한 경우 오류 정보에 대한 피드백 정보를 사용자 및 전문가에게 제공 받고, 피드백 정보를 이용하여 알고리즘을 학습시킴으로써 이상 개체를 검출하는 알고리즘의 검출 정확도를 향상시킬 수 있다.

아래의 도 1 내지 도 3은 이와 같은 이상 개체 검출 시스템의 실시예들을 나타낸다.

도 1은 본 발명의 실시예에 따른 이상 개체 검출 시스템의 제1 실시예를 개략적으로 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 이상 개체 검출 시스템은 촬상 장치(100), 이상 개체 검출 장치(200), 사용자 단말(300) 및 학습 서버(400)를 포함한다.

우선, 촬상 장치(100)는 사육장 내 복수 개체를 촬영하여 영상을 생성하는 장치이다. 예를 들어, 촬상 장치(100)는 카메라나 캠코더와 같은 장치로 구현될 수 있다. 촬상 장치(100)는 이상 개체 검출 장치(200)와 유선 또는 무선으로 통신할 수 있으며, 생성된 영상을 이상 개체 검출 장치(200)로 전송할 수 있다.

촬상 장치(100)는 사육장 내 복수로 배치될 수 있다. 복수의 촬상 장치(100)는 각각이 이상 개체 검출 장치(200)와 통신하여 영상을 이상 개체 검출 장치(200)로 전송할 수 있다. 이와 달리 복수의 촬상 장치(100) 중 어느 하나의 촬상 장치(100)가 이외의 촬상 장치(100)와 유선 또는 무선으로 통신 연결되어, 어느 하나의 촬상 장치(100)가 이외의 촬상 장치(100)로부터 영상을 수신하고, 수신된 영상을 이상 개체 검출 장치(200)로 전송할 수도 있다.

사육장 내부의 상태를 정밀하게 분석하기 위하여 촬상 장치(100)의 영상은 고화질, 고용량의 특성을 가질 수 있다. 따라서, 복수의 촬상 장치(100)에서 촬영된 영상을 실시간으로 이상 개체 검출 장치(200)로 전송하기 위하여서는 큰 대역폭이 요구될 수 있으며, 그렇지 않은 경우 데이터 전송 속도가 저하될 수 있다. 따라서, 촬상 장치(100)는 영상을 수집하여 인코딩 한 후 이상 개체 검출 장치(200)로 전송함으로써 통신 대역폭을 저감시키고, 전송 속도를 향상시킬 수 있다. 또는, 촬상 장치(100)는 영상을 이용하여 사육장 상태를 분석하기 위한 1차 분석을 수행한 후, 가공된 데이터를 이상 개체 검출 장치(200)에 전송할 수 있다. 즉, 촬상 장치(100)는 사육장의 상태 분석을 위하여 필요한 영상만을 선별하여 이상 개체 검출 장치(200)에 전송함으로써 통신 자원을 효율적으로 관리할 수 있다.

다음으로, 이상 개체 검출 장치(200)는 촬상 장치(100)로부터 수신한 영상을 분석하여 이상 개체를 검출하고, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 제1 오류 이벤트 발생 영상을 사용자 단말(300)로 전송한다. 또한, 이상 개체 검출 장치(200)는 제1 오류 이벤트 발생 영상뿐만 아니라, 이상 개체가 검출된 영상 중 오류 이벤트가 발생하지 않은 영상 및 이상 개체가 검출되지 않은 영상을 사용자 단말(300)로 전송할 수도 있다. 이상 개체 검출 장치(200)는 제1 오류 이벤트 발생 영상뿐만 아니라 이상 개체가 검출된 영상 중 오류 이벤트가 발생하지 않은 영상 및 이상 개체가 검출되지 않은 영상을 일정 기간 동안 데이터베이스에 저장할 수 있다. 그리고, 이상 개체 검출 장치(200)는 이상 개체를 검출한 결과, 즉 이상 개체 검출 정보와 이에 대응하는 영상을 학습 서버(400)로 전송할 수 있다.

이상 개체 검출 장치(200)는 딥러닝 기반의 제1 이상 개체 검출 모델, 즉, 이상 개체를 검출하기 위한 알고리즘을 통해 영상에서 이상 개체를 검출한다.

이상 개체 검출 장치(200)는 퍼스널 컴퓨터(personal computer, PC), 태블릿 PC, 서버 등을 통해 구현될 수 있으며, 데이터의 송수신을 위해 촬상 장치(100), 사용자 단말(300) 및 학습 서버(400)와 유선 또는 무선으로 통신을 수행할 수 있다.

다음으로, 사용자 단말(300)은 이상 개체 검출 장치(200)로부터 수신한 제1 오류 이벤트 발생 영상을 사용자에게 제공하고, 제1 오류 이벤트 발생 영상에 대한 사용자의 오류 검토 정보를 입력 받는다. 여기서, 오류 검토 정보란 사용자가 제1 오류 이벤트 발생 영상에 대한 이상 개체 검출 정보가 오류인지 아닌지를 검토한 결과, 즉, 오검출 여부에 대한 판단 결과를 의미한다. 사용자 단말(300)은 사용자의 오류 검토 정보를 학습 서버(400)로 전송하며, 이때, 검토의 대상이 된 제1 오류 이벤트 발생 영상 및 이에 대응하는 이상 개체 검출 정보를 함께 전송할 수 있다.

또한, 사용자 단말(300)은 이상 개체가 검출된 영상 중 오류 이벤트가 발생하지 않은 영상 및 이상 개체가 검출되지 않은 영상을 사용자에게 제공할 수도 있다. 사용자는 이상 개체 검출 장치(200)가 이상 개체가 검출된 영상 중 오류 이벤트가 발생하지 않은 영상에서 이상 개체 검출 결과에 오류가 있음에도 불구하고 오류 이벤트 발생을 판단하지 못하였거나 이상 개체가 검출되지 않은 영상에서 이상 개체가 있음에도 불구하고 이상 개체를 검출하지 못하였는지를 검토한 후, 이에 따른 오류 검토 정보를 사용자 단말(300)에 입력할 수 있다. 검토 결과에 따라, 사용자 단말(300)은 제2 오류 이벤트 발생 영상을 생성하며, 제2 오류 이벤트 발생 영상 및 이에 대응하는 오류 검토 정보를 학습 서버(400)로 전송할 수 있다.

위에서 살펴본 바와 같이, 제1 오류 이벤트 발생 영상은 이상 개체의 오검출이 발생한 영상을 의미할 수 있으며, 제2 오류 이벤트 발생 영상은 이상 개체 또는 오류의 미검출이 발생한 영상을 의미할 수 있다. 이러한 오검출이나 미검출이 발생함을 판단하기 위해서는 일정 시간 이상 재생되는 영상이어야 하며, 가축이 이상 행동을 유지하는 시간이 서로 다를 수 있으므로 영상의 데이터 크기가 서로 다를 수 있다.

그러면, 학습 서버(400)는 이상 개체 검출 장치(200)로부터 수신한 이상 개체를 검출한 결과와 해당 영상에 기초하여 제2 이상 개체 검출 모델을 학습시킨다. 그리고, 사용자 단말(300)로부터 수신한 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상 및 오류 검토 정보에 기초하여 제2 이상 개체 검출 모델을 학습시킨다. 또한, 학습 서버(400)는 이상 개체 검출 장치(200)로부터 수신한 이상 개체를 검출한 결과와 이에 대응하는 영상에 기초하여 제2 이상 개체 검출 모델을 학습시킬 수 있다. 이때, 제2 이상 개체 검출 모델은 제1 이상 개체 검출 모델과 동일한 알고리즘으로 구현될 수 있다.

학습 서버(400)는 학습된 제2 이상 개체 검출 모델로부터 업데이트 정보를 생성하여 이상 개체 검출 장치(200)로 전송한다.

도 2는 본 발명의 실시예에 따른 이상 개체 검출 시스템의 제2 실시예를 개략적으로 도시한 도면이다.

도 2에 도시된 바와 같이, 이상 개체 검출 시스템은 촬상 장치(100), 이상 개체 검출 장치(200), 사용자 단말(300) 및 학습 서버(400)를 포함하며, 전문가 단말(500)을 더 포함할 수 있다.

촬상 장치(100) 및 이상 개체 검출 장치(200)의 경우, 도 1에서 설명한 바와 동일한 바 상세한 설명은 생략하도록 한다.

사용자 단말(300)은 상기의 도 1에서 살펴본 바와 같이, 제1 오류 이벤트 발생 영상에 대한 오류 검토 정보나 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 사용자로부터 입력 받는다. 다만, 사용자 단말(300)은 도 1에서 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상, 오류 검토 정보 등을 학습 서버(400)로 전송하는 것과 달리, 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상, 오류 검토 정보 등을 전문가 단말(500)로 전송한다.

전문가 단말(500)은 사용자 단말(300)로부터 수신한 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상, 오류 검토 정보 등에 대한 전문가 검토 정보를 입력 받고, 전문가 검토 정보에 따라 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상, 오류 검토 정보를 학습 서버(400)로 전송한다. 여기서, 전문가란 축산 전문가와 같은 사육장에 가축들에 대한 전문적 지식을 가진 사람 또는 집단을 의미하며, 전문가 단말(500)은 이러한 사람들 또는 집단이 이용하는 단말 장치를 의미한다.

그러면, 학습 서버(400)는 이상 개체 검출 장치(200)로부터 수신한 이상 개체를 검출한 결과와 해당 영상에 기초하여 제2 이상 개체 검출 모델을 학습시킨다. 그리고, 전문가 단말(500)로부터 수신한 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상 및 오류 검토 정보에 기초하여 제2 이상 개체 검출 모델을 학습시킨다. 또한, 학습 서버(400)는 이상 개체 검출 장치(200)로부터 수신한 이상 개체를 검출한 결과와 이에 대응하는 영상에 기초하여 제2 이상 개체 검출 모델을 학습시킬 수 있다. 이때, 제2 이상 개체 검출 모델은 제1 이상 개체 검출 모델과 동일한 알고리즘으로 구현될 수 있다.

학습 서버(400)는 학습된 제2 이상 개체 검출 모델로부터 업데이트 정보를 생성하여 이상 개체 검출 장치(200)로 전송한다.

도 3은 본 발명의 실시예에 따른 이상 개체 검출 시스템의 제3 실시예를 개략적으로 도시한 도면이다.

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 이상 개체 검출 시스템은 촬상 장치(100), 이상 개체 검출 장치(200), 사용자 단말(300), 학습 서버(400) 및 전문가 단말(500)을 포함한다.

도 3에 도시된 이상 개체 검출 시스템은 이상 개체 검출 장치(200)가 촬상 장치(100)에 포함되어 구현된다는 점을 제외하고 도 2에 도시된 이상 개체 검출 시스템과 동일한 바 상세한 설명은 생략하도록 한다. 도 3에 도시된 이상 개체 검출 시스템에서, 이상 개체 검출 장치(200)는 프로그램 형태로 구현될 수 있으며, 촬상 장치(100)에 구비된 컴퓨터 프로세서, 메모리, 통신 프로세서 등을 통해 구현될 수 있다.

한편, 도 1 내지 도3에서 학습 서버(400)는 많은 데이터를 통해 제2 이상 개체 검출 모델을 학습시켜야 하므로, 고용량/고성능의 서버나 클라우드(cloud)를 통해 구현될 수 있다. 또한, 학습 서버(400)는 복수의 농장에 배치된 이상 개체 검출 장치(200) 및 이에 대응하는 사용자 단말(300) 및 전문가 단말(500)과 각각 데이터를 송수신할 수 있다. 따라서, 학습 서버(400)는 복수 농장에서 생성되는 다양한 학습 데이터를 통해 알고리즘의 정확도를 향상시킬 수 있다.

도 4는 본 발명의 실시예에 따른 촬상 장치의 구성을 나타낸 도면이다.

도 4를 참조하면, 이상 개체 검출 장치(200)는 촬영부(110), 인코딩부(120), 제1 데이터베이스(130), 제1 통신부(140), 제1 제어부(150), 팬틸트부(160)를 포함할 수 있다. 여기서, 촬영부(110)는 렌즈 및 이미지 센서를 포함하도록 구현될 수 있고, 인코딩부(120) 및 제어부 중 적어도 하나는 컴퓨터 프로세서 또는 칩에 의하여 구현될 수 있으며, 데이터베이스는 메모리와 혼용될 수 있고, 제1 통신부(140)는 안테나 또는 통신 프로세서 등과 혼용될 수 있다.

촬영부(110)는 하나 또는 복수의 촬영 유닛을 포함할 수 있다. 예를 들어, 촬영부(110)는 사육장의 상부에 배치된 적어도 하나의 상부 촬영 유닛 및 사육장의 측부에 배치된 적어도 하나의 측부 촬영 유닛을 포함할 수 있다. 상부 촬영 유닛 및 측부 촬영 유닛 각각은 유선 또는 무선으로 통신이 가능하여 실시간 영상의 송출이 가능한 IP 카메라일 수 있다.

촬영부(110)는 복수의 개체를 포함하는 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 본 발명의 실시예에서 복수의 개체는 사육장 내에서 사육되는 가금류를 의미할 수 있다. 본 명세서에서, 촬영부(110)에 의하여 촬영된 영상 데이터는 원본 데이터, 원본 영상, 촬영 영상 등과 혼용될 수 있다.

촬영부(110)는 순차적으로 촬영되는 복수 개의 이미지를 이용하여 복수 개의 영상 데이터를 생성할 수 있다. 예를 들면, 촬영부(110)는 복수의 개체를 포함하는 제1 이미지를 촬영하여 제1 영상 데이터를 생성할 수 있으며, 복수의 개체를 포함하는 제 2이미지를 촬영하여 제2 영상 데이터를 생성할 수 있다. 제1 이미지 및 제2 이미지는 각각 시간상으로 연속적으로 촬영된 이미지일 수 있으며, 하나의 영상 데이터는 단일 프레임을 의미할 수 있다. 촬영부(110)는 순차적으로 촬영되는 제1 이미지 및 제2 이미지를 이용하여 제1 영상 데이터 및 제2 영상 데이터를 생성할 수 있다.

촬영부(110)는 CMOS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 이미지 센서일 수 있다. 이때, 입력되는 영상 프레임은 렌즈를 통해 촬영부(110) 내의 CMOS 모듈 또는 CCD 모듈로 제공되고, CMOS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(영상 데이터)로 변환하여 출력한다.

촬영부(110)는 시야각이 넓은 어안렌즈 또는 광각렌즈를 포함할 수 있다. 이에 따라, 하나의 촬영부(110)가 사육장 내부의 전체 공간을 촬영하는 것도 가능하다.

또한, 촬영부(110)는 깊이 카메라일 수 있다. 촬영부(110)는 다양한 깊이 인식 방식 중 어느 하나의 방식으로 구동될 수 있으며, 촬영부(110)를 통하여 촬영된 영상에는 깊이 정보가 포함될 수 있다. 촬영부(110)는 예를 들어, 키넥트 센서일 수 있다. 키넥트 센서는 구조광 투영 방식의 깊이 카메라로서, 프로젝터나 레이저를 이용하여 정의된 패턴 영상을 투영시키고 카메라를 통하여 패턴이 투영된 영상을 획득함으로써 장면의 삼차원 정보를 획득할 수 있다. 이러한 키넥트 센서는 적외선 레이저를 이용해 패턴을 조사하는 적외선 방사체, 및 적외선 영상을 촬영하는 적외선 카메라를 포함하며, 일반적인 웹캠과 같은 기능을 하는 RGB 카메라가 적외선 방사체와 적외선 카메라 사이에 배치되어 있다. 이 외에도, 키넥트 센서에는 마이크 배열과 카메라의 각도를 조절하는 팬틸트부(160)가 더 구성될 수 있다.

키넥트 센서의 기본적인 원리는, 적외선 방사체에서 조사된 레이저 패턴이 물체에 투영되어 반사되면, 반사 지점에서의 패턴의 위치 및 크기를 이용해 물체 표면까지의 거리를 구하게 된다. 이러한 원리에 따라, 촬영부(110)는 사육장 내 공간으로 레이저 패턴을 조사하고, 개체에서 반사된 레이저 패턴을 센싱하여 개체 별 깊이 정보를 포함하는 영상 데이터를 생성할 수 있다.

인코딩부(120)는 촬영부(110)에서 촬영한 영상 데이터 또는 제어부를 통하여 가공된 가공 영상 데이터를 디지털 신호로 부호화한다. 예를 들면, 인코딩부(120)는 H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준에 따라 영상 데이터를 인코딩할 수 있다.

제1 데이터베이스(130)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 이상 개체 검출 장치(200)는 인터넷(internet) 상에서 데이터베이스의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.

제1 데이터베이스(130)는 촬영부(110)에서 촬영한 영상 데이터를 저장할 수 있으며, 과거 일정 기간 동안의 영상 데이터를 저장할 수 있다.

또한, 제1 데이터베이스(130)는, 이상 개체 검출 장치(200)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있으며, 제어부가 이상 개체 정보를 추출하기 위해 필요한 알고리즘 및 이에 적용되는 파라미터를 저장할 수 있다.

또한, 데이터베이스는, 다양한 사용자 인터페이스(User Interface: UI) 또는 그래픽 사용자 인터페이스(Graphic User Interface: GUI)를 저장할 수 있다.

제1 통신부(140)는 이상 개체 검출 장치(200)나 타 촬상 장치(100) 중 적어도 하나와 데이터 통신을 수행할 수 있다. 예를 들면, 통신부는 무선랜(Wireless LAN: WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등의 원거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.

또는, 제1 통신부(140)는 블루투스, RFID(RadioFrequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비, 인접 자장 통신(NFC) 등이 포함될 수 있다. 또한, 유선 통신 기술로는, USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등의 근거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.

예를 들면, 제1 통신부(140)는 근거리 통신 기술을 사용하여 타 촬상 장치(100)와 데이터 통신을 수행하고, 원거리 통신 기술을 사용하여 이상 개체 검출 장치(200), 사용자 단말(300) 또는 학습 서버(400)와 데이터 통신을 수행할 수 있다, 그러나 이에 한정되는 것은 아니고, 사육장의 제반 사항 등을 고려하여 다양한 통신 기술이 사용될 수 있다.

제1 통신부(140)는 촬영부(110)에서 촬영한 영상 데이터를 이상 개체 검출 장치(200)에 전송할 수 있다. 이상 개체 검출 장치(200)가 촬상 장치(100) 내에 구현되는 경우, 통신부는 제1 오류 이벤트 발생 영상을 사용자 단말(300) 및 학습 서버(400)로 전송할 수 있다.

제1 통신부(140)를 통하여 전송되는 데이터는 인코딩부(120)를 통하여 인코딩된 압축 데이터일 수 있다.

제1 제어부(150)는 촬상 장치(100)를 전반적으로 제어한다. 특히, 본 발명의 실시예에 따르면, 제어부는 예를 들면, 데이터베이스에 저장된 명령을 수행하여 촬상 장치(100)의 동작을 수행할 수도 있다.

또는, 제1 제어부(150)는 관리자 단말로부터 수신한 명령을 이용하여 이상 개체 검출 장치(200)의 각종 동작을 제어할 수도 있다.

제1 제어부(150)는 촬영부(110)를 제어하여 이상 개체가 있는 특정 영역을 추적 촬영할 수도 있다. 추적 촬영 대상은 이상 개체 검출 장치(200)의 제어 명령을 통하여 설정될 수 있다. 제1 제어부(150)는 촬영부(110)를 제어하여 이상개체가 있는 특정 영역을 추적 촬영하여 영상 데이터를 생성하게 함으로써 지속적인 모니터링을 수행할 수 있게 한다.

이때, 제1 제어부(150)는 이상 개체 검출 장치(200)의 팬틸트부(160)를 제어하여 추적 촬영을 수행할 수 있다. 팬틸트부(160)는 팬(Pan, 수평방향) 및 틸트(Tilt, 수직 방향) 2개의 모터를 구동하여 촬영부(110)의 촬영 영역을 제어할 수 있다. 팬틸트부(160)는 제어부의 제어에 따라 특정 영역을 촬영하기 위하여 촬영부(110)의 지향 방향을 조절할 수 있다. 또한, 팬틸트부(160)는 제어부의 제어에 따라 특정 개체를 트래킹하기 위하여 촬영부(110)의 지향 방향을 조절할 수 있다.

도 5는 본 발명의 실시예에 따른 이상 개체 검출 장치의 구성을 나타낸 도면이다.

도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 이상 개체 검출 장치(200)는 제2 통신부(210), 검출부(220), 오류 판단부(230) 및 업데이트부(240)를 포함한다.

우선, 제2 통신부(210)는 촬상 장치(100), 사용자 단말(300) 및 학습 서버(400) 중 적어도 하나와 데이터 통신을 수행할 수 있다. 제2 통신부(210)는 촬상 장치(100)로부터 영상을 전송받을 수 있으며, 학습 서버(400)로 이상 개체 검출 정보 및 이에 대응하는 영상을 전송할 수 있다. 또한, 제2 통신부(210)는 제1 오류 이벤트 발생 영상이나 제2 데이터베이스에 저장된 영상을 사용자 단말(300)로 전송할 수 있다. 제2 통신부(210)가 데이터 통신을 수행하기 위하여 사용하는 통신 기술은 제1 통신부(140)와 동일한 바 상세한 설명은 생략하도록 한다.

다음으로, 검출부(220)는 촬상 장치(100)로부터 수신한 개체에 대한 정보가 포함된 영상으로부터 이상 개체를 검출한다. 검출부(220)는 딥러닝 기반의 제1 이상 개체 검출 모델에 개체에 대한 정보가 포함된 영상을 적용하여 영상 내 이상 개체를 검출한다. 제1 이상 개체 검출 모델을 이용한 영상 내 이상 개체를 검출하는 과정에 대해서는 아래에서 도면을 참조하여 상세하게 살펴보도록 한다.

다음으로, 오류 판단부(230)는 이상 개체 검출 결과에 오류 이벤트의 발생 여부를 판단한다. 예를 들어, 오류 판단부(230)는 일정한 시간 동안 기 설정된 횟수 이상으로 이상 개체가 반복 검출되거나, 일정 시간 동안 기 설정된 수 이상으로 이상 개체의 검출 개수가 증가하는 경우 오류 이벤트가 발생한 것으로 판단할 수 있다.

또한, 오류 판단부(230)는 일정 시간 이상 영상 내 이상 개체로 검출된 부분에서 이상 개체가 검출되지 않으면 오류 이벤트가 발생한 것으로 판단할 수 있다. 예를 들어, 영상 내 3분 이상 이상 개체가 검출되던 부분에서 갑자기 이상 개체가 검출되지 않는 경우, 이는 타 개체의 움직임에 의해 이상 개체 검출 결과에 오류가 발생한 것일 수 있다. 다만, 갑자기 오류가 검출되지 않는 영역에서 일정 시간 이내에 다시 이상 개체가 검출되는 경우에는 오류 이벤트가 발생하지 않은 것으로 판단할 수 있다. 예를 들어, 영상 내 A영역에서 10분간 이상 개체가 검출되다가 갑자기 이상 개체가 검출되지 않는 경우, 오류 판단부(230)는 A영역에서 오류 이벤트가 발생한 것으로 판단할 수 있다. 하지만, 1분 뒤 A영역에서 다시 이상 개체가 검출되면, 오류 판단부(230)는 A영역에서 오류 이벤트가 발생하지 않은 것으로 판단할 수 있다.

한편, 오류 판단부(230)는 오류 이벤트의 발생 여부를 확률 값으로 산출하여 판단할 수 있다. 예를 들어, 특정 영상에서 오류 이벤트가 발생한 확률은 75%라는 형태로 오류 이벤트 발생 여부를 판단할 수도 있다.

다음으로, 업데이트부(240)는 제2 이상 개체 검출 모델의 학습 결과에 기초하여 제1 이상 개체 검출 모델을 업데이트시킨다. 구체적으로, 업데이트부(240)는 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터를 학습 서버(400)로부터 수신한 후, 제1 이상 개체 검출 모델에 적용하여 제1 이상 개체 검출 모델을 업데이트시킬 수 있다. 이때, 학습 파라미터는 텐서(tensor)로 구현될 수 있다.

예를 들어, 학습 파라미터는 제2 이상 개체 검출 모델에 포함된 레이어(layer)를 구성하는 각 노드들이 가지는 파라미터의 집합일 수 있다. 따라서, 업데이트부(240)는 학습 파라미터를 대응하는 각 노드들에 적용함으로써 제1 이상 개체 검출 모델을 업데이트 시킬 수 있다.

도 5에는 도시되지 않았으나, 이상 개체 검출 장치(200)는 제2 데이터베이스를 더 포함할 수 있으며, 제2 데이터베이스는 촬상 장치(100)로부터 수신한 영상을 일정한 기간 동안 저장할 수 있다. 예를 들어, 제2 데이터베이스는 가축의 출하까지 기간 동안 해당 가축 등을 촬영한 영상을 저장할 수 있다. 이때, 제2 데이터베이스는 영상에 대응하는 이상 개체 검출 정보를 함께 저장할 수 있다. 제2 데이터베이스에 저장된 데이터는 차후 가축 전염병 등이 발병하였을 경우 발병원을 추적하는데 이용될 수 있다.

도 6은 본 발명의 실시예에 따른 사용자 단말의 구성을 나타낸 도면이다.

도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 사용자 단말(300)은 제3 통신부(310), 제1 표시부(320), 제1 입력부(330) 및 제2 제어부(340)를 포함한다.

우선, 제3 통신부(310)는 이상 개체 검출 장치(200), 전문가 단말(500) 및 학습 서버(400) 중 적어도 하나와 데이터 통신을 수행할 수 있다. 제3 통신부(310)는 이상 개체 검출 장치(200)로부터 제1 오류 이벤트 발생 영상을 수신할 수 있으며, 제2 데이터베이스에 저장된 이상 개체가 검출된 영상 중 오류 이벤트가 발생하지 않은 영상 및 이상 개체가 검출되지 않은 영상을 수신할 수도 있다. 또한, 제3 통신부(310)는 제1 입력부(330)를 통해 입력된 오류 검토 정보와 이에 대응하는 영상을 학습 서버(400)나 전문가 단말(500)로 전송할 수 있다. 제3 통신부(310)가 데이터 통신을 수행하기 위하여 사용하는 통신 기술은 제1 통신부(140)와 동일한 바 상세한 설명은 생략하도록 한다.

다음으로, 제1 표시부(320)는 영상을 출력하여 사용자에게 제공한다. 예를 들어, 제1 표시부(320)는 사용자 단말(300)의 액정 화면을 통해 이상 개체 검출 장치(200)로부터 수신한 제1 오류 이벤트 발생 영상을 출력할 수 있다. 이때, 제1 표시부(320)는 제1 오류 이벤트 발생 영상과 함께 수신된 이상 개체 검출 정보 및 오류 이벤트 정보를 함께 출력할 수 있다. 한편, 제1 표시부(320)는 제1 오류 이벤트 발생 영상을 실시간으로 출력할 수 있을 뿐만 아니라, 타임라인의 형태로 출력하여 사용자가 제1 입력부(330)를 선택하여 볼 수 있도록 표시할 수도 있다. 또한, 표시부는 제2 데이터베이스에 저장된 영상, 즉, 이상 개체가 검출된 영상 중 오류 이벤트가 발생하지 않은 영상 및 이상 개체가 검출되지 않은 영상을 출력할 수도 있다. 따라서, 제1 표시부(320)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이외에도, 제1 표시부(320)는 이상 개체 검출 장치(200)로부터 영상이 수신되었음을 음향이나 촉각을 통해 표시할 수도 있다. 따라서, 제1 표시부(320)는 스피커와 같은 음향 출력 장치나 진동벨과 같은 진동 발생 장치를 포함할 수도 있다.

다음으로, 제1 입력부(330)는 사용자로부터 오류 검토 정보를 입력 받는다. 예를 들어, 제1 오류 이벤트 발생 영상에 대한 이상 개체 검출 정보가 오검출이라고 판단되면, 제1 입력부(330)는 사용자로부터 오류 검토 정보로 오검출이라는 정보를 입력 받을 수 있다. 뿐만 아니라, 제1 입력부(330)는 이상 개체 검출 장치(200)의 동작을 위한 다양한 명령을 입력 받을 수 있다. 예를 들어, 제1 입력부(330)는 사용자로부터 오류 검토 정보를 입력받은 후, 입력받은 오류 검토 정보를 전문가 단말(500)로 전송할 것인지, 학습 서버(400)로 전송할 것인지를 사용자로부터 입력받을 수 있다. 또한, 제1 입력부(330)는 이상 개체가 검출된 영상 중 오류 이벤트가 발생하지 않은 영상 및 이상 개체가 검출되지 않은 영상을 표시부에 출력하도록 하는 명령을 입력 받을 수 있다.

이를 위하여, 제1 입력부(330)는 오류 검토 정보 및 다양한 명령을 입력받기 위한 다양한 사용자 인터페이스 또는 그래픽 사용자 인터페이스를 액정 화면에 출력할 수 있다. 제1 입력부(330)는 키 패드, 돔 스위치, 터치 패드, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 제1 표시부(320)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 제1 표시부(320)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.

제2 제어부(340)는 사용자 단말(300)의 전반적인 동작을 제어한다. 예를 들어, 제2 제어부(340)는 제3 통신부(310)를 통해 수신된 영상이 표시부가 출력하도록 제어하거나, 제3 통신부(310)가 제1 입력부(330)를 통해 입력된 오류 검토 정보와 이에 대응하는 영상을 학습 서버(400)나 전문가 단말(500)로 전송하도록 제어할 수 있다. 이를 위해, 제2 제어부(340)는 중앙 처리 장치(Central Processing Unit, CPU)나 마이크로 제어 장치(Micro Control Unit, MCU)와 같은 연산 장치를 포함할 수 있다.

도 7은 본 발명의 실시예에 따른 학습 서버의 구성을 나타낸 도면이다.

도 7에 도시된 바와 같이, 본 발명의 실시예에 따른 학습 서버(400)는 제4 통신부(410), 전처리부(420), 학습부(430) 및 업데이트 정보 생성부(440)를 포함한다.

우선, 제4 통신부(410)는 이상 개체 검출 장치(200), 사용자 단말(300) 및 전문가 단말(500) 중 적어도 하나와 데이터 통신을 수행할 수 있다. 제4 통신부(410)는 이상 개체 검출 장치(200)로부터 이상 개체 검출 정보 및 이에 대응하는 영상을 수신할 수 있으며, 이상 개체 검출 장치(200)로 학습 파라미터, 즉 업데이트 정보를 전송할 수 있다. 또한, 제4 통신부(410)는 사용자 단말(300) 또는 전문가 단말(500)로부터 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상, 오류 검토 정보 및 전문가 검토 정보를 수신할 수 있다. 제4 통신부(410)가 데이터 통신을 수행하기 위하여 사용하는 통신 기술은 제1 통신부(140)와 동일한 바 상세한 설명은 생략하도록 한다.

다음으로, 전처리부(420)는 이상 개체 검출 장치(200)로부터 수신한 영상 및 수신한 영상에 대응하는 이상 개체 검출 정보와 제1 오류 이벤트 발생 영상, 제1 오류 이벤트 발생 영상에 대응하는 이상 개체 검출 정보 및 오류 검토 정보를 이용하여 학습부(430)가 사용할 학습용 데이터를 추출한다.

다음으로, 학습부(430)는 전처리부(420) 추출한 학습용 데이터를 사용하여 제2 이상 개체 검출 모델을 학습시킨다. 여기서, 제2 이상 개체 검출 모델은 이상 개체 검출 장치(200)의 제1 이상 개체 검출 모델과 동일한 알고리즘으로 구현될 수 있다.

다음으로, 업데이트 정보 생성부(440)는 학습된 제2 이상 개체 검출 모델로부터 학습 파라미터를 추출하여 업데이트 정보를 생성한다. 업데이트 정보는 실시간으로 생성되거나 일정한 시간 간격으로 생성될 수 있다.

도 8은 본 발명의 실시예에 따른 전문가 단말의 구성을 나타낸 도면이다.

도 8에 도시된 바와 같이, 본 발명의 실시예에 따른 전문가 단말(500)은 제5 통신부(510), 제2 표시부(520), 제2 입력부(530) 및 제3 제어부(540)를 포함한다.

우선, 제5 통신부(510)는 사용자 단말(300) 및 학습 서버(400) 중 적어도 하나와 데이터 통신을 수행할 수 있다. 제5 통신부(510)는 사용자 단말(300)로부터 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상 및 오류 검토 정보를 수신할 수 있다. 또한, 제5 통신부(510)는 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상 및 전문가 검토 정보를 학습 서버(400)로 전송할 수 있다. 제5 통신부(510)가 데이터 통신을 수행하기 위하여 사용하는 통신 기술은 제1 통신부(140)와 동일한 바 상세한 설명은 생략하도록 한다.

다음으로, 제2 표시부(520)는 영상을 출력하여 전문가에게 제공한다. 예를 들어, 제2 표시부(520)는 전문가 단말(500)의 액정 화면을 통해 사용자 단말(300)로부터 수신한 제1 오류 이벤트 발생 영상 또는 제2 오류 이벤트 발생 영상을 출력할 수 있다. 이때, 표시부는 제1 오류 이벤트 발생 영상, 제2 오류 이벤트 발생 영상과 함께 수신된 이상 개체 검출 정보 및 오류 이벤트 정보를 함께 출력할 수 있다. 따라서, 제2 표시부(520)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이외에도, 제2 표시부(520)는 이상 개체 검출 장치(200)로부터 영상이 수신되었음을 음향이나 촉각을 통해 표시할 수도 있다. 따라서, 제2 표시부(520)는 스피커와 같은 음향 출력 장치나 진동벨과 같은 진동 발생 장치를 포함할 수도 있다.

다음으로, 제2 입력부(530)는 전문가로부터 전문가 검토 정보를 입력 받는다. 구체적으로, 제2 입력부(530)는 제1 오류 이벤트 발생 영상 및 이에 대응하는 사용자의 오류 검토 정보에 대한 전문가 검토 정보를 입력받거나, 제2 오류 이벤트 발생 영상 및 이에 대응하는 사용자의 오류 검토 정보에 대한 전문가 검토 정보를 입력받을 수 있다. 예를 들어, 제2 오류 이벤트 발생 영상에 대한 사용자의 오류 검토 정보가 잘못된 것이라고 판단되면, 제2 입력부(530)는 전문가로부터 오류 검토 정보를 학습 서버(400)로 전송하지 않을 것이라는 전문가 검토 정보를 입력받을 수 있다.

이를 위하여, 제2 입력부(530)는 오류 검토 정보 및 다양한 명령을 입력받기 위한 다양한 사용자 인터페이스 또는 그래픽 사용자 인터페이스를 액정 화면에 출력할 수 있다. 제2 입력부(530)는 키 패드, 돔 스위치, 터치 패드, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 표시부와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 표시부는 출력 장치 이외에 입력 장치로도 사용될 수 있다.

제3 제어부(540)는 전문가 단말(500)의 전반적인 동작을 제어한다. 또한, 제3 제어부(540)는 입력된 전문가 검토 정보에 따라 오류 검토 정보를 학습 서버(400)로 전송할 것인지 전송하지 않을 것인지를 제어할 수 있다. 이를 위해, 제3 제어부(540)는 중앙 처리 장치(Central Processing Unit, CPU)나 마이크로 제어 장치(Micro Control Unit, MCU)와 같은 연산 장치를 포함할 수 있다.

도 9는 본 발명의 실시예에 따른 이상 개체 검출 방법의 제1 실시예에 따른 순서도이다.

도 9는 도 1에 도시된 이상 개체 검출 시스템을 이용한 이상 개체 검출 방법을 도시하고 있다.

도 9를 참조하면, 이상 개체 검출 장치(200)는 촬상 장치(100)로부터 수신된 개체에 대한 정보가 포함된 영상을 획득하며(S100), 획득한 영상으로부터 이상 개체를 검출한다(S102). 여기서, 하나의 영상 데이터는 단일 프레임을 의미할 수 있으며, 촬상 장치(100)는 순차적으로 촬영되는 영상을 이용하여 복수 개의 영상 데이터를 생성할 수 있다. 이때, 이상 개체 검출 장치(200)는 미리 저장된 알고리즘 및 이에 적용되는 파라미터를 이용하여 이상 개체 정보를 추출할 수 있다. 여기서, 미리 저장된 알고리즘은 제1 이상 개체 검출 모델로서, 영상 데이터 내에서 객체가 위치한다고 판단되는 영역을 표시하도록 학습된 제1 알고리즘 및 옵티컬 플로우(optical flow)를 활용하여 모션을 검출하도록 학습된 제2 알고리즘을 이용하여 객체 중 움직임이 없는 객체를 표시하는 알고리즘을 의미할 수 있다. 여기서, 제1 알고리즘은 객체가 존재하는 영역을 표시하는 알고리즘을 활용한 실시간 객체 검출 방법을 이용할 수 있다, 또는, 제1 알고리즘은 객체의 분포 정보, 즉 객체가 위치하는 영역의 밀도 정보를 나타내는 방법을 이용할 수도 있다.

그리고, 이상 개체 검출 장치(200)는 이상 개체 검출 결과에 오류 이벤트가 발생하였는지 여부를 판단한다(S104). 예를 들어, 이상 개체 검출 장치(200)는 일정한 시간 동안 기 설정된 횟수 이상으로 이상 개체가 반복 검출되거나, 일정 시간 동안 기 설정된 수 이상으로 이상 개체의 검출 개수가 증가하는 경우 오류 이벤트가 발생한 것으로 판단할 수 있다.

이상 개체 검출 장치(200)는 오류 이벤트가 발생한 제1 오류 이벤트 발생 영상을 사용자 단말(300)로 전송한다(S106). 이때, 이상 개체 검출 장치(200)는 이상 개체를 검출한 정보를 함께 전송할 수 있다. 그리고, 이상 개체 검출 장치(200)는 이상 개체 검출 결과를 학습 서버(400)로 전송한다(S108). 이때, 이상 개체 검출 장치(200)는 대응하는 영상을 함께 전송할 수 있다.

사용자 단말(300)은 제1 오류 이벤트 발생 영상과 이상 개체를 검출한 정보를 사용자에게 제공하고, 사용자로부터 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력 받는다(S110). 그리고, 사용자 단말(300)은 제1 오류 이벤트 발생 영상 및 이상 개체를 검출한 정보와 함께 오류 검토 정보를 학습 서버(400)로 전송한다(S112).

그러면, 학습 서버(400)는 이상 개체 검출 장치(200)로부터 수신한 영상 및 수신한 영상에 대응하는 이상 개체 검출 정보와 제1 오류 이벤트 발생 영상, 제1 오류 이벤트 발생 영상에 대응하는 이상 개체 검출 정보 및 오류 검토 정보를 이용하여 학습용 데이터를 추출한다(S114). 예를 들어, 학습 서버(400)는 이상 개체 검출 장치(200)로부터 수신한 영상 및 수신한 영상에 대응하는 이상 개체 검출 정보로부터 학습용 데이터를 추출할 수 있다. 또한, 학습 서버(400)는 제1 오류 이벤트 발생 영상, 제1 오류 이벤트 발생 영상에 대응하는 이상 개체 검출 정보 및 오류 검토 정보부터 학습용 데이터를 추출할 수 있다.

그리고, 학습 서버(400)는 학습용 데이터를 이용하여 제2 이상 개체 검출 모델을 학습시킨다(S116). 학습 서버(400)는 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터, 즉 업데이트 정보를 이상 개체 검출 장치(200)로 전송한다(S118). 그러면, 이상 개체 검출 장치(200)는 학습 파라미터를 제1 이상 개체 검출 모델에 적용하여 업데이트시킨다(S120).

한편, S106 단계에서, 이상 개체 검출 장치(200)는 S102 내지 S106 단계를 수행하는 대신 제2 데이터베이스에 저장된 영상을 사용자 단말(300)로 전송할 수 있다. 그러면, 사용자 단말(300)은 수신한 제2 데이터베이스에 저장된 영상을 사용자에게 제공할 수 있다. 그리고, S110 단계를 수행하는 대신, 이상 개체 검출 장치(200)는 사용자로부터 제공된 영상에서 이상 개체가 미검출 된 영역을 선택받아 제2 오류 이벤트 발생 영상을 생성하고, 이에 대응하는 오류 검토 정보를 입력 받을 수 있다. 제2 오류 이벤트 발생 영상 및 이에 대응하는 오류 검토 정보는 학습 서버(400)로 전송되고 알고리즘 학습에 이용될 수 있다.

도 10은 본 발명의 실시예에 따른 이상 개체 검출 방법의 제2 실시예에 따른 순서도이다.

도 10은 도 2 및 도 3에 도시된 전문가 단말(500)이 포함된 이상 개체 검출 시스템을 이용한 이상 개체 검출 방법을 도시하고 있다.

도 10의 S200 내지 S210 단계는 도 9의 S100 내지 S110 단계와 동일한 바 상세한 설명은 생략하도록 한다.

S210 단계에서 사용자로부터 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력 받으면, 사용자 단말(300)은 제1 오류 이벤트 발생 영상 및 이에 대응하는 오류 검토 정보를 전문가 단말(500)로 전송한다(S212).

전문가 단말(500)은 제1 오류 이벤트 발생 영상 및 이에 대응하는 오류 검토 정보를 전문가에게 제공하고, 전문가로부터 오류 검토 정보에 대응하는 전문가 검토 정보를 입력 받는다(S214). 그리고, 전문가 단말(500)은 제1 오류 이벤트 발생 영상 및 오류 검토 정보를 전문가 검토 정보에 따라 학습 서버(400)로 전송한다(S216). 예를 들어, 오류 검토 정보가 잘못된 것이라는 전문가 검토 정보가 입력되면, 전문가 단말(500)은 제1 오류 이벤트 발생 영상 및 오류 검토 정보를 학습 서버(400)로 전송하지 않을 수 있다.

S218 내지 S224 단계는 도 9의 S114 내지 S120 단계와 동일하고, 제2 오류 이벤트 발생 영상에 대한 부분 역시 동일한 바 상세한 설명은 생략하도록 한다.

도 11은 본 발명의 실시예에 따른 제1 이상 개체 검출 모델의 블록도이다.

도 11을 참조하면, 제1 이상 개체 검출 모델은 제1 특징 추출 유닛(600), 제2 특징 추출 유닛(602) 및 이상 개체 정보 생성 유닛(604)을 포함한다.

제1 특징 추출 유닛(600)은 촬영부(110)에 의하여 촬영된 영상에 대한 영상 데이터 내 복수의 개체의 위치 분포를 추출하고, 제2 특징 추출 유닛(602)은 영상 데이터 내 복수의 개체의 움직임을 추출한다. 그리고, 이상 개체 정보 생성 유닛(604)은 제1 특징 추출 유닛(600)에 의하여 추출된 위치 분포 및 제2 특징 추출 유닛(602)에 의하여 추출된 움직임에 기초하여 이상 개체 정보, 예를 들어 픽셀 별 이상 개체 확률을 추정한다.

구체적으로, 제1 특징 추출 유닛(600)은 영상 데이터를 이용하여 복수의 개체의 위치 분포를 나타내는 위치 분포 데이터를 생성할 수 있다. 여기서, 복수의 개체의 위치 분포는 위치 별 객체의 밀도 분포를 의미할 수 있으며, 위치 분포 데이터는 밀도 맵과 혼용될 수 있다. 전술한 바와 같이, 제1 특징 추출 유닛(600)은 영상 데이터 내에서 객체가 위치한다고 판단되는 영역을 제안하도록 학습된 제1 알고리즘, 즉 영역 제안 알고리즘을 활용한 실시간 객체 검출 방법을 이용할 수 있다. 제1 특징 추출 유닛(600)은 예를 들면, 복수의 개체를 포함하여 생성된 제1영상 데이터를 이용하여 복수의 개체의 위치 분포를 나타내는 제1 위치 분포 데이터를 생성하고, 복수의 개체를 포함하여 생성된 제2영상 데이터를 이용하여 복수의 개체의 위치 분포를 나타내는 제2 위치 분포 데이터를 생성할 수 있다. 여기서, 제1 위치 분포 데이터 및 제2 위치 분포 데이터는 시계열적으로 생성된 영상 데이터에 대한 위치 분포 데이터일 수 있다.

본 발명의 실시예에서 위치 분포 데이터란, 개별 개체 위치를 표시하는 것이 아니라, 영상 데이터의 구분된 영역 또는 블록 별로 해당되는 영역 또는 블록에 개체, 몸통 또는 머리가 존재할 수 있는 확률을 나타내는 데이터이다. 위치 분포 데이터는 각 픽셀에 개체가 존재할 확률을 다른 색으로 표현하는 히트맵일 수 있다.

또한, 제1 특징 추출 유닛(600)은 개체 검출 분류기를 이용하여 영상 데이터에서 동물 개체를 검출할 수 있다. 이때, 개체 검출 분류기는 동물 개체의 자세나 외부 환경을 달리하여 기촬영한 동물 개체의 영상들로부터 훈련 DB 를 구축하여 학습된 것으로서, 이러한 개체 검출 분류기는 SVM(Support Vector Machine), 신경망, AdaBoost 알고리즘 등을 포함하는 다양한 학습 알고리즘을 통해 동물 개체의 DB 를 생성한다. 구체적으로, 제1 특징 추출 유닛(600)은 기 촬영된 사육장 내 배경의 영상 데이터에서 전경에 해당하는 개체의 에지를 검출하고, 영상 데이터에서 검출된 전경 개체의 에지를 적용하고, 전경 개체의 에지가 적용된 영상 데이터의 영역에 개체 검출 분류기를 적용하여 동물 개체를 검출할 수 있다.

제2 특징 추출 유닛(602)은 영상 데이터를 이용하여 복수의 개체 중 동작 개체의 움직임을 나타내는 동작 데이터를 생성할 수 있다. 여기서, 동작 데이터는 개별 개체의 움직임을 표시하는 것이 아니라, 영상 데이터의 구분된 영역 또는 블록 별로 해당되는 영역 또는 블록에 움직임이 존재했는지 여부를 나타내는 데이터이고, 동작 데이터는 동작 맵과 혼용될 수 있다. 동작 데이터는 픽셀 별로 해당되는 픽셀에 움직임이 존재했는지 여부를 나타내는 데이터일 수도 있다. 전술한 바와 같이, 제2 특징 추출 유닛(602)은 옵티컬 플로우(optical flow)를 활용하여 모션을 검출하도록 학습된 제2 알고리즘을 이용할 수 있다. 제2 특징 추출 유닛(602)은 단일 영상 데이터 또는 복수개의 연속된 영상 데이터를 이용하여 분포도 상의 특정 지점, 특정 개체 또는 특정 픽셀에서의 움직임을 검출할 수 있다.

제2 특징 추출 유닛(602)은 예를 들면, 제1영상 데이터를 이용하여 복수의 개체 중 동작 개체의 움직임을 나타내는 제1동작 데이터를 생성하고, 제2 영상 데이터를 이용하여 복수의 개체 중 동작 개체의 움직임을 나타내는 제2 동작 데이터를 생성할 수 있다. 여기서, 제1 동작 데이터 및 제2 동작 데이터는 시계열적으로 생성된 복수 개의 영상 데이터에 대한 동작 데이터일 수 있다.

제2 특징 추출 유닛(602)은 Dense Optical Flow방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 영상 데이터 상의 모든 픽셀에 대해서 모션 벡터(Motion Vector)를 연산하여 각 픽셀에 대한 움직임을 검출할 수 있다. Dense Optical Flow방식의 경우 모든 픽셀에 대하여 모션 벡터를 연산하기 때문에 검출 정확도는 향상되지만 상대적으로 연산량은 증가하게 된다. 따라서, Dense Optical Flow방식은 이상상황이 발생된 것으로 의심되는 사육장이나 개체 숫자가 매우 많은 사육장 등 검출 정확도가 매우 높게 요구되는 특정 영역에 적용될 수 있다.

또는 제2 특징 추출 유닛(602)은 Sparse Optical Flow방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 영상 내 에지와 같은 움직임 추적이 쉬운 특징적인 일부 픽셀에 대해서만 모션 벡터를 연산하여 움직임을 검출할 수 있다. Sparse Optical Flow방식은 연산량이 감소하지만 한정적인 픽셀에 대한 결과만 얻을 수 있다. 따라서, Sparse Optical Flow방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.

또는 제2 특징 추출 유닛(602)은 Block Matching을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 영상을 균등하게 또는 비균등하게 분할하여 분할 영역에 대해 모션 벡터를 연산하여 움직임을 검출할 수 있다. Block Matching은 분할 영역별로 모션 벡터를 연산하기 때문에 연산량이 감소하지만 영역별 모션 벡터에 대한 결과를 산출하기 때문에 검출 정확도가 상대적으로 낮을 수 있다. 따라서, Block Matching방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.

또는 제2 특징 추출 유닛(602)은 Continuous Frame Difference 방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 연속하는 영상 프레임을 픽셀 별로 비교하고, 그 차이만큼의 값을 연산하여 움직임을 검출할 수 있다. Continuous Frame Difference 방식은 프레임간 차이값을 이용하여 움직임을 검출하기 때문에, 전체적인 연산량은 감소하지만 부피가 큰 개체 또는 중복되어 나타나는 개체에 대한 검출 정확도가 상대적으로 낮을 수 있다. 또한, Continuous Frame Difference 방식은 배경 영상과 움직이지 않는 개체를 구분할 수 없어 정확도가 상대적으로 낮을 수 있다. 따라서, Continuous Frame Difference 방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.

또는 제2 특징 추출 유닛(602)은 Background Subtraction 방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 배경 영상을 초기에 학습한 상태에서 연속하는 영상 프레임을 픽셀 별로 비교하고, 그 차이만큼의 값을 연산하여 움직임을 검출할 수 있다. Background Subtraction 방식은 배경 영상을 미리 학습하고 있기 때문에 배경 영상과 움직이지 않는 개체를 구분할 수 있다. 따라서, 배경 영상을 필터링하는 별도의 과정이 필요하여 연산량은 증가하지만 정확도는 향상된다. 따라서, Background Subtraction 방식은 이상상황이 발생된 것으로 의심되는 사육장이나 개체 숫자가 매우 많은 사육장 등 검출 정확도가 매우 높게 요구되는 특정 영역에 적용될 수 있다. Background Subtraction 방식에서 배경 영상은 지속적으로 업데이트 될 수 있다.

제2 특징 추출 유닛(602)은 사육장 내의 환경과 외부의 설정에 따라 적절한 방식을 이용하여 분포도 상에서 움직임을 검출한다. 위의 움직임 검출 방식은 예시일 뿐, 프레임 내 움직임이 발생한 영역(예를들어 픽셀/블록)을 표시할 수 있는 방법들이 사용될 수 있다.

제1 특징 추출 유닛(600)이 위치 분포 데이터를 생성하는 과정과 제2 특징 추출 유닛(602)이 동작 데이터를 생성하는 과정은 동시에 이루어지거나, 병렬적으로 이루어지거나, 순차적으로 이루어질 수 있다. 즉, 제1 특징 추출 유닛(600)이 위치 분포 데이터를 생성하는 과정과 제2 특징 추출 유닛(602)이 동작 데이터를 생성하는 과정은 서로 독립적으로 처리됨을 의미할 수 있다.

이상 개체 정보 생성 유닛(604)은 영상 데이터의 위치 분포 데이터 및 동작 데이터를 영역 별, 블록 별 또는 픽셀 별로 비교하여 이상 개체를 나타내는 이상 개체 데이터를 영역 별, 블록 별 또는 픽셀 별로 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 예를 들면, 제1위치 분포 데이터 및 제1동작 데이터를 비교하여 이상 개체를 나타내는 제1이상 개체 데이터를 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 제1위치 분포 데이터와 제1동작 데이터를 비교하여, 제1위치 분포 데이터 상에서 움직임이 검출되지 않은 개체에 대한 정보를 나타내는 제1이상 개체 데이터를 생성할 수 있다. 즉, 이상 개체 정보 생성 유닛(604)은 개체의 위치를 나타내는 제1위치 분포 데이터 상에서 움직임이 검출되지 않은 개체를 질병에 걸린 것으로 추정하고, 이에 대한 제1이상 개체 데이터를 생성할 수 있다. 즉, 제1이상 개체 데이터는 단일 영상 데이터에 대한 개체의 위치 분포와 움직임 검출 정보를 이용하여 개체의 질병 여부를 판단한 결과 데이터를 의미할 수 있다. 또는 이상 개체 정보 생성 유닛(604)은 복수 개의 영상 데이터에 대한 위치 분포 데이터 및 동작 데이터를 비교하여 복수의 개체의 움직임 검출 누적 횟수와 움직임 비검출 누적 횟수를 연산하고, 상기 움직임 검출 누적 횟수와 상기 움직임 비검출 누적 횟수에 따라 이상 개체 데이터를 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 예를 들면, 제1이상 개체 데이터, 제2위치 분포 데이터 및 제2 동작 데이터를 비교하여 제2 이상 개체 데이터를 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 제1이상 개체 데이터를 제2위치 분포 데이터 및 제2동작 데이터와 비교하여 복수 개체의 움직임 검출 누적 횟수와 복수 개체의 움직임 비검출 누적 횟수를 연산하고, 움직임 검출 누적 횟수와 움직임 비검출 누적 횟수에 따라 제2이상 개체 데이터를 생성할 수 있다. 즉, 제2이상 개체 데이터는 복수 개의 영상 데이터에 대하여 누적된 개체의 위치 정보와 움직임 검출 정보를 이용하여 개체의 질병 여부를 판단한 결과 데이터를 의미할 수 있다.

이상 개체 정보 생성 유닛(604)은 이상 개체 데이터의 움직임 검출 누적 횟수와 움직임 비검출 누적 횟수에 따라 영상 데이터 상에서 복수개의 개체에 대한 픽셀 표시를 제어할 수도 있다. 이상 개체 정보 생성 유닛(604)은 예를 들면, 제2이상 개체 데이터에 따라 영상 데이터 상에서 상기 복수개의 개체에 대한 픽셀 표시를 제어할 수 있다. 여기서, 픽셀의 표시란 픽셀의 채도, 픽셀의 명암, 픽셀의 색상, 픽셀의 윤곽선, 마크 표시 등 임의의 지점에 대응되는 픽셀을 다른 픽셀과 구분하여 표시하기 위한 모든 개념을 포함할 수 있다. 본 발명의 실시예에서는 픽셀값의 조절을 통하여 픽셀의 표시를 제어할 수 있다. 픽셀값은 단계적으로 조절될 수 있으며, 픽셀값이 높은 픽셀의 경우, 픽셀값이 낮은 픽셀 보다 시각적으로 강조되어 표시될 수 있다. 그러나 이에 한정되는 것은 아니고, 픽셀값이 낮은 픽셀이 픽셀값이 높은 픽셀보다 강조되어 표시되는 것으로 설정할 수 있다. 여기서, 픽셀값은 픽셀 별 이상 개체 확률을 의미할 수 있다.

이하에서는 움직임이 검출된 픽셀과 개체를 동일시하여 설명하기 위하여 하나의 픽셀은 하나의 개체를 표현하는 것으로 한다. 이는 설명의 편의를 위한 것이며 실제로는 복수개의 픽셀이 하나의 개체를 표현하게 된다. 즉, 가금류의 일부 신체 영역의 움직임만을 검출하여 이상 상황을 판단하기 위하여서는 픽셀별로 움직임을 검출하여 픽셀의 표시를 제어하는 방식이 사용될 것이다.

이상 개체 정보 생성 유닛(604)은 특정 개체의 움직임이 검출되지 않을수록 이상개체로 분류하고, 움직임이 검출될수록 정상개체로 분류하여 픽셀값을 다르게 표시할 수 있다.

여기서, 제1 특징 추출 유닛(600), 제2 특징 추출 유닛(602) 및 이상 개체 정보 생성 유닛(604) 각각은 학습 서버(400)로부터 학습 파라미터인 제1 업데이트 정보, 제2 업데이트 정보 및 제3 업데이트 정보를 수신할 수 있고, 제1 업데이트 정보, 제2 업데이트 정보 및 제3 업데이트 정보 각각은 제1 특징 추출 유닛(600), 제2 특징 추출 유닛(602) 및 이상 개체 정보 생성 유닛(604) 각각에 적용될 수 있다.

Claims (21)

1. 개체에 대한 정보가 포함된 영상을 딥러닝 기반의 제1 이상 개체 검출 모델에 적용하여 이상 개체를 검출하고, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 상기 오류 이벤트가 발생한 제1 오류 이벤트 발생 영상을 사용자 단말로 전송하는 이상 개체 검출 장치, 그리고
   상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 수신하고, 상기 제1 오류 이벤트 발생 영상과 상기 오류 검토 정보에 기초하여 딥러닝 기반의 제2 이상 개체 검출 모델을 학습시키는 학습 서버를 포함하되,
   상기 이상 개체 검출 장치는,
   상기 제2 이상 개체 검출 모델의 학습 결과에 기초하여 상기 제1 이상 개체 검출 모델을 업데이트시키는 이상 개체 검출 시스템.
2. 제1항에 있어서,
   상기 사용자 단말은 상기 제1 오류 이벤트 발생 영상을 사용자에게 제공하며, 상기 사용자로부터 상기 제1 오류 이벤트 발생 영상에 대응하는 상기 오류 검토 정보를 입력받는 이상 개체 검출 시스템.
3. 제2항에 있어서,
   상기 사용자 단말은,
   상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보를 전문가 단말로 전송하고,
   상기 전문가 단말은, 상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보에 대한 전문가 검토 정보를 입력받고, 상기 전문가 검토 정보에 따라 상기 오류 검토 정보를 상기 학습 서버로 전송하는 이상 개체 검출 시스템.
4. 제1항에 있어서,
   상기 이상 개체 검출 장치는,
   카메라, 센서, 컴퓨터 및 서버 중 적어도 하나를 포함하는 이상 개체 검출 시스템.
5. 제1항에 있어서,
   상기 이상 개체 검출 장치는,
   상기 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터를 상기 제1 이상 개체 검출 모델에 적용하여 상기 제1 이상 개체 검출 모델을 업데이트시키는 이상 개체 검출 시스템.
6. 제1항에 있어서,
   상기 이상 개체 검출 장치는,
   기 설정된 시간 동안 상기 이상 개체의 검출 횟수가 기 설정된 임계치보다 크면 상기 오류 이벤트가 발생하였다고 판단하는 이상 개체 검출 시스템.
7. 제1항에 있어서,
   상기 이상 개체 검출 장치는,
   일정 기간 동안의 영상을 데이터베이스에 저장하는 이상 개체 검출 시스템.
8. 제7항에 있어서,
   상기 사용자 단말은,
   상기 데이터베이스에 저장된 영상을 수신하며, 사용자로부터 상기 데이터베이스에 저장된 영상 중 이상 개체 미검출 영역을 선택받아 제2 오류 이벤트 발생 영상을 생성하고, 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력받는 이상 개체 검출 시스템.
9. 이상 개체 검출 장치가, 개체에 대한 정보가 포함된 영상을 딥러닝 기반의 제1 이상 개체 검출 모델에 적용하여 이상 개체를 검출하는 단계,
   상기 이상 개체 검출 장치가, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 상기 오류 이벤트가 발생한 제1 오류 이벤트 발생 영상을 사용자 단말로 전송하는 단계,
   학습 서버가, 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 수신하는 단계,
   상기 학습 서버가, 상기 제1 오류 이벤트 발생 영상과 상기 오류 검토 정보에 기초하여 딥러닝 기반의 제2 이상 개체 검출 모델을 학습시키는 단계, 그리고
   상기 이상 개체 검출 장치가, 상기 제2 이상 개체 검출 모델의 학습 결과에 기초하여 상기 제1 이상 개체 검출 모델을 업데이트시키는 단계를 포함하는 이상 개체 검출 방법.
10. 제9항에 있어서,
    상기 사용자 단말이, 상기 제1 오류 이벤트 발생 영상을 사용자에게 제공하는 단계, 그리고
    상기 사용자 단말이, 상기 사용자로부터 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력받는 단계를 더 포함하는 이상 개체 검출 방법.
11. 제10항에 있어서,
    상기 사용자 단말이, 상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보를 전문가 단말로 전송하는 단계,
    상기 전문가 단말이 상기 제1 오류 이벤트 발생 영상 및 상기 오류 검토 정보에 대한 전문가 검토 정보를 입력받는 단계, 그리고
    상기 전문가 단말이, 상기 전문가 검토 정보에 따라 상기 오류 검토 정보를 상기 학습 서버로 전송하는 단계를 더 포함하는 이상 개체 검출 방법.
12. 제9항에 있어서,
    상기 이상 개체 검출 장치는,
    카메라, 센서, 컴퓨터 및 서버 중 적어도 하나를 포함하는 이상 개체 검출 방법.
13. 제9항에 있어서,
    상기 제1 이상 개체 검출 모델을 업데이트시키는 단계는,
    상기 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터를 상기 제1 이상 개체 검출 모델에 적용하여 상기 제1 이상 개체 검출 모델을 업데이트시키는 이상 개체 검출 방법.
14. 제9항에 있어서,
    상기 제1 오류 이벤트 발생 영상을 학습 서버로 전송하는 단계는,
    기 설정된 시간 동안 상기 이상 개체의 검출 횟수가 기 설정된 임계치보다 크면 상기 오류 이벤트가 발생하였다고 판단하는 이상 개체 검출 방법.
15. 제9항에 있어서,
    상기 이상 개체 검출 장치가 일정 기간 동안의 영상을 데이터베이스에 저장하는 단계를 더 포함하는 이상 개체 검출 방법.
16. 제15항에 있어서,
    상기 사용자 단말이, 상기 데이터베이스에 저장된 영상을 수신하는 단계,
    상기 사용자 단말이, 사용자로부터 상기 데이터베이스에 저장된 영상 중 이상 개체 미검출 영역을 선택받아 제2 오류 이벤트 발생 영상을 생성하는 단계, 그리고
    상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력받는 단계를 더 포함하는 이상 개체 검출 방법.
17. 개체에 대한 정보가 포함된 영상을 딥러닝 기반의 제1 이상 개체 검출 모델에 적용하여 이상 개체를 검출하고, 이상 개체 검출 결과에 오류 이벤트가 발생하였다고 판단되면 제1 오류 이벤트 발생 영상을 사용자 단말로 전송하며,
    상기 제1 오류 이벤트 발생 영상과 상기 제1 오류 이벤트 발생 영상에 대응하는 오류 검토 정보에 기초한 제2 이상 개체 검출 모델의 학습 결과를 통해 상기 제1 이상 개체 검출 모델을 업데이트시키는 이상 개체 검출 장치.
18. 제17항에 있어서,
    상기 제2 이상 개체 검출 모델의 학습 결과에 따라 생성된 학습 파라미터를 상기 제1 이상 개체 검출 모델에 적용하여 상기 제1 이상 개체 검출 모델을 업데이트시키는 이상 개체 검출 장치.
19. 제17항에 있어서,
    기 설정된 시간 동안 상기 이상 개체의 검출 횟수가 기 설정된 임계치보다 크면 상기 오류 이벤트가 발생하였다고 판단하는 이상 개체 검출 장치.
20. 제17항에 있어서,
    일정 기간 동안의 영상을 데이터베이스에 저장하는 이상 개체 검출 장치.
21. 제20항에 있어서,
    제2 오류 이벤트 발생 영상과 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보에 기초한 상기 제2 이상 개체 검출 모델의 학습 결과를 통해 상기 제1 이상 개체 검출 모델을 업데이트시키되,
    상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보는,
    상기 사용자 단말이 상기 데이터베이스에 저장된 영상을 수신하고, 사용자로부터 상기 데이터베이스에 저장된 영상 중 이상 개체 미검출 영역을 선택받아 제2 오류 이벤트 발생 영상을 생성하고, 상기 제2 오류 이벤트 발생 영상에 대응하는 오류 검토 정보를 입력받는 이상 개체 검출 장치.

Images