KR101891439B1 - 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치 - Google Patents

영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치 Download PDF

Info

Publication number
KR101891439B1
KR101891439B1 KR1020170068947A KR20170068947A KR101891439B1 KR 101891439 B1 KR101891439 B1 KR 101891439B1 KR 1020170068947 A KR1020170068947 A KR 1020170068947A KR 20170068947 A KR20170068947 A KR 20170068947A KR 101891439 B1 KR101891439 B1 KR 101891439B1
Authority
KR
South Korea
Prior art keywords
frame
image
difference
motion
type
Prior art date
Application number
KR1020170068947A
Other languages
English (en)
Inventor
정용화
김희곤
사재원
박병관
Original Assignee
고려대학교 세종산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 세종산학협력단 filed Critical 고려대학교 세종산학협력단
Priority to KR1020170068947A priority Critical patent/KR101891439B1/ko
Application granted granted Critical
Publication of KR101891439B1 publication Critical patent/KR101891439B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06K9/00335—
    • G06K9/38—
    • G06K9/6202—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법 및 장치가 제시된다. 본 발명에서 제안하는 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법은 카메라를 통해 촬영된 영상에 표시되는 객체에 대한 이진영상을 획득하는 단계, 획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 단계 및 변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 단계를 포함한다.

Description

영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법 및 장치{Method and Apparatus for Video-based Detection of Coughing Pig using Dynamic Time Warping}
본 발명은 영상처리 기술 분야에 관한 것으로, 더욱 상세하게는 영상을 1차원 시계열 데이터로 변환하고 변환한 시계열 데이터에 DTW(Dynamic Time Warping)기법을 적용하여 돈방 내에서 기침하는 돼지를 특정하는 방법 및 장치에 관한 것이다.
국내외에서 돈방 안의 돼지 객체들에 대한 개별 분리와 돼지 객체 추적에 대한 연구가 진행 중에 있다. 종래기술로는 좁은 공간 내의 밀집사육(예를 들어, 20마리 이상)에 대한 완벽한 돼지 객체의 개별 분리 및 돼지 객체 추적에 어려움이 있다.
이와 관련하여 소리 정보를 사용하여 질병의 종류를 판별하는 돼지 기침 판별에 관한 연구가 존재한다. 기침을 하는 돼지를 확인하기 위해서는 소리 정보가 필요하다. 하지만, 돈사 내의 돈방 안에는 약 20마리가 동시에 존재하기 때문에 기침하는 돼지를 특정하기는 쉽지 않다. 또한, 소리 정보는 영상에서 확인 불가능한 영상 범위 밖에 있는 소리 정보도 수집하게 된다. 따라서, 영상 안에 있는 돼지 중에서 기침하는 돼지를 특정하기 위한 방안이 필요하다.
DTW(Dynamic Time Warping)는 음성인식에서 처음 사용된 방법으로, 두 시퀀스 데이터를 시간의 길이를 고려하지 않고, 두 시퀀스 데이터 간의 유사성을 인식할 수 있는 방법이다. 두 시퀀스 데이터가 길이가 다르거나 부분적인 길이만 다르더라도 같은 시퀀스 데이터로 인식 할 수 있게 된다.
본 발명에서는 이러한 DTW 기법을 음성이 아닌 영상에 적용하여, 영상의 움직임 정보를 1차원 시계열 데이터로 변환하고, 변환된 시계열 데이터를 이용하여 기침에 대한 움직임과 일반 움직임을 구분하기 위한 방법을 제안한다.
본 발명이 이루고자 하는 기술적 과제는 소리 정보만을 이용하여 영상 내 특정 움직임을 보이는 객체(다시 말해, 돼지)를 확인 것에 어려움이 있는 종래의 객체 탐지 방법을 개선하기 위해, 영상을 1차원 시계열 데이터로 변환하고 변환한 시계열 데이터에 DTW 기법을 적용하여 영상 내 객체 중 특정 움직임으로 보이는 객체를 탐지하기 위한 방법 및 장치를 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법은 카메라를 통해 촬영된 영상에 표시되는 객체에 대한 이진영상을 획득하는 단계, 획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 단계 및 변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 단계를 포함한다.
획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 단계는 이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제1 프레임의 객체 형태를 비교하기 위해 프레임 차(Frame Difference)기법을 이용하여 제1 형태 차이 이미지를 획득하는 단계, 이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제2 프레임의 객체 형태를 비교하기 위해 프레임 차 기법을 이용하여 제2 형태 차이 이미지를 획득하는 단계, 획득된 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하는 단계, 획득된 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산하는 단계 및 제1 차이 픽셀 수와 2 차이 픽셀 수를 이용하여 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율을 계산하고, 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환하는 단계를 포함한다.
변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 단계는 변환된 시계열 데이터에 DTW(Dynamic Time Warping) 기법을 이용하여 특정 움직임을 보이는 객체와 특정 움직임을 보이지 않는 객체를 구분한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 장치는 카메라를 통해 촬영된 영상에 표시되는 객체에 대한 이진영상을 획득하는 영상 획득부, 획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 데이터 처리부 및 변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 객체 움직임 탐지부를 포함한다.
데이터 처리부는 이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제1 프레임의 객체 형태를 비교하기 위해 프레임 차(Frame Difference)기법을 이용하여 제1 형태 차이 이미지를 획득하고, 이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제2 프레임의 객체 형태를 비교하기 위해 프레임 차(Frame Difference)기법을 이용하여 제2 형태 차이 이미지를 획득한다.
데이터 처리부는 획득된 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하고, 획득된 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산한다.
데이터 처리부는 제1 차이 픽셀 수와 2 차이 픽셀 수를 이용하여 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율을 계산하여, 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환한다.
객체 움직임 탐지부는 변환된 시계열 데이터에 DTW(Dynamic Time Warping) 기법을 이용하여 특정 움직임을 보이는 객체와 특정 움직임을 보이지 않는 객체를 구분한다.
본 발명의 실시예들에 따르면 영상을 1차원 시계열 데이터로 변환하고 변환한 시계열 데이터에 DTW 기법을 적용하여 영상 내 객체 중 특정 움직임으로 보이는 객체를 탐지함으로써, 돈방 내에서 기침하는 돼지를 특정 할 수 있기 때문에 호흡기 질병에 대한 대처를 즉각적으로 할 수 있고 보다 쉽게 돈방 내 돼지들을 관리 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 형태 차이 이미지를 획득하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 DTW 기법을 사용하여 특정 움직임을 보이는 돼지를 탐지하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 장치의 구성을 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 영상에서 소리 정보 이외에 움직임 정보를 사용하여 돈사 내 돈방에 있는 기침하는 돼지를 특정할 수 있다. 기침하는 돼지를 특정하기 위하여 현재 프레임의 돼지 형태와 이전 프레임의 돼지 형태를 비교하고, 두 프레임 간의 형태 차이 이미지인 가로 및 세로의 2차원 영상 정보를 1차원의 시계열 데이터로 변환시킨다. 변환된 시계열 데이터는 DTW(Dynamic Time Warping)를 사용하여 기침하는 돼지인지 일반적인 움직임을 보이는 돼지인지 구분 할 수 있다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법을 설명하기 위한 흐름도이다.
제안하는 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법은 카메라를 통해 촬영된 영상에 표시되는 객체(다시 말해, 돼지)에 대한 이진영상을 획득하는 단계(110), 획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 단계(120) 및 변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 단계(130)를 포함한다.
단계(110)에서, 카메라를 통해 촬영된 영상에 표시되는 객체에 대한 이진영상을 획득한다. 예를 들어, 돈사 내 돈방 5m 높이에 영상 수집을 위한 8 FPS(Frame Per Second)의 카메라를 설치하고, 돈방 내 돼지들을 촬영하여 영상을 획득할 수 있다. 이때, 설치된 카메라를 통해 획득한 돈방 내의 영상에서 돼지들은 각각의 돼지가 개별적으로 분리되어 있다고 가정한다.
단계(120)에서, 획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환한다. 기침하는 돼지를 특정하기 위하여 현재 프레임의 돼지 형태와 이전 프레임의 돼지 형태를 비교하고, 두 프레임 간의 형태 차이 이미지인 가로 및 세로의 2차원 영상 정보를 1차원의 시계열 데이터로 변환시킨다.
다시 말해, 프레임 차 기법(Frame Difference)을 이용하여 현재 프레임의 객체 형태와 제1 프레임의 객체 형태 간의 제1 형태 차이 이미지를 획득하고, 프레임 차 기법을 이용하여 현재 프레임의 객체 형태와 제2 프레임의 객체 형태 간의 제2 형태 차이 이미지를 획득한다. 그리고, 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하고, 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산한다. 이후, 제1 차이 픽셀 수와 제2 차이 픽셀 수를 이용하여 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환한다. 단계(120)에 관하여 도 2를 참조하여 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 방법을 설명하기 위한 흐름도이다.
앞서 설명된 획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 단계(120)는 프레임 차 기법을 이용하여 현재 프레임의 객체 형태와 제1 프레임의 객체 형태 간의 제1 형태 차이 이미지를 획득하는 단계(210), 프레임 차 기법을 이용하여 현재 프레임의 객체 형태와 제2 프레임의 객체 형태 간의 제2 형태 차이 이미지를 획득하는 단계(220), 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하는 단계(230), 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산하는 단계(240) 및 제1 차이 픽셀 수와 제2 차이 픽셀 수를 이용하여 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환하는 단계(250)를 포함한다.
단계(210)에서, 이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제1 프레임의 객체 형태를 비교하기 위해 프레임 차 기법을 이용하여 제1 형태 차이 이미지를 획득하고, 단계(220)에서, 프레임 차 기법을 이용하여 현재 프레임의 객체 형태와 제2 프레임의 객체 형태 간의 제2 형태 차이 이미지를 획득한다. 여기에서, 제1 프레임은 현재 프레임으로부터 4 프레임 전(다시 말해, 8 FPS의 카메라를 통해 촬영된 영상에 대하여 과거 0.5초)의 프레임을 의미하고, 제2 프레임은 현재 프레임으로부터 7 프레임 전(다시 말해, 8 FPS의 카메라를 통해 촬영된 영상에 대하여 과거 1초)의 프레임을 의미한다. 4 프레임 전의 프레임 및 7 프레임 전의 프레임은 실시예일뿐 한정되지 않는다. 도 3을 참조하여 형태 차이 이미지를 획득하는 과정을 더욱 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 형태 차이 이미지를 획득하는 과정을 설명하기 위한 도면이다.
예를 들어, 8 FPS의 카메라를 통해 촬영된 영상(310)에 표시되는 돼지에 대한 이진영상을 획득하고, 획득된 영상(320)에서 구분된 각 돼지들에 대한 움직임이 발생 한 경우, 4 프레임 전의 돼지 형태(322)와 현재 프레임(321)의 돼지 형태 간의 차이 이미지(331)를 획득하기 위해 프레임 차(Frame Difference)기법을 이용한다. 또한, 7 프레임 전의 돼지 형태(323)와 현재 프레임(321)의 돼지 형태 간의 차이 이미지(332)를 획득하기 위해 프레임 차(Frame Difference)기법을 이용한다.
4 프레임 전의 돼지 형태를 사용한 것은 통상적으로 돼지의 기침은 기침 시작 후부터 기침이 종료될 때까지 1초가 걸리기 때문이다. 또한, 기침을 한 돼지는 기침 시작 전과 기침 종료 후의 형태가 거의 유사하고, 기침 시작 후 0.5초 이후의 형태는 기침 시작 전과 가장 큰 차이를 보인다. 따라서, 0.5초 전인 4프레임 이전 형태는 기침하기 전의 형태와 가장 큰 차이를 보인다.
다시 도 2를 참조하면, 단계(230)에서 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하고, 단계(240)에서 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산한다. 앞서 설명된 바와 같이, 제1 형태 차이 이미지는 4 프레임 전의 돼지 형태와 현재 프레임의 돼지 형태 간의 차이 이미지를 의미하고, 제2 형태 차이 이미지는 7 프레임 전의 돼지 형태와 현재 프레임의 돼지 형태 간의 차이 이미지를 의미한다. 4 프레임 전의 프레임 및 7 프레임 전의 프레임은 실시예일뿐 한정되지 않는다.
예를 들어, 돼지에 대한 움직임이 발생 한 경우 상대적인 돼지의 움직임 차이를 계산하기 위하여 4 프레임 전 프레임과 현재 프레임 간의 차이 픽셀 수(diff4)와 7 프레임 전 프레임과 현재 프레임 간의 차이 픽셀 수를 계산한다. 즉, 4 프레임 이전과 현재 프레임과의 차이 픽셀 수(diff4)와 7 프레임 이전과 현재 프레임과의 차이 픽셀 수(diff7)를 수학식(1)과 같이 계산한다.
Figure 112017052948662-pat00001
수학식(1)
여기에서, m은 이진영상에서 y좌표의 길이, n은 2차원 이진영상에서 x좌표의 길이, i는 이진영상에서 픽셀의 x좌표, j는 이진영상에서 픽셀의 y좌표, I는 이진영상 이미지, t는 시간을 나타낸다.
이와 같이 제1 차이 픽셀 수 및 제2 차이 픽셀 수를 계산한 후, 단계(250)에서 제1 차이 픽셀 수와 2 차이 픽셀 수를 이용하여 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율을 계산하고, 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환한다. 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율(DiffRate)을 수학식(2)와 계산한다.
Figure 112017052948662-pat00002
수학식(2)
여기에서, diff7(0) = 0 인 경우는 7 프레임 전의 돼지 형태와 현재 프레임의 돼지 형태가 동일한 이상적인(ideal) 경우를 정의한다. 하지만, 실질적으로는 노이즈 등의 문제로 인하여 7 프레임 전의 돼지 형태와 현재 프레임의 돼지 형태가 동일한 경우는 발생하지 않을 수 있다.
이와 같이, 객체의 움직임에 따른 형태 차이 이미지를 이용하여 움직임 차이 비율을 계산하고, 하나의 수치로 변환 할 수 있다. 다시 말해, 단계(120)을 통해 가로 및 세로로 이루어진 2차원 데이터를 1차원의 시계열 데이터로 변환할 수 있다.
다시 도 1을 참조하면, 단계(130)에서는 단계(120)을 통해 변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지한다. 본 발명의 실시예에 따르면, 변환된 시계열 데이터에 DTW 기법을 이용하여 특정 움직임을 보이는 객체와 특정 움직임을 보이지 않는 객체를 구분한다. DTW 기법은 음성 신호로부터 추출한 음성 특징 벡터 열을 대상으로 두 특징 벡터 열 간의 유사도를 측정하는 방법이다. 도 4를 참조하여 DTW 기법을 사용하여 특정 움직임을 보이는 돼지를 탐지하는 과정을 더욱 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 DTW 기법을 사용하여 특정 움직임을 보이는 돼지를 탐지하는 과정을 설명하기 위한 도면이다.
DTW 기법은 음성 신호로부터 추출한 음성 특징 벡터 열을 대상으로 두 특징 벡터 열 간의 유사도를 측정하는 방법이다. 예를 들어, 동일인이 같은 단어를 반복하여 발성하는 경우 특별한 훈련을 받지 않으면 발성할 때마다 길이가 일정하지 않을 수 있다. 따라서, 동일인이 같은 단어를 다른 길이로 발성하더라도 이들 간의 유사성을 탐지하지 위해 특정 길이의 표준패턴이 필요하다. 이러한 특정 길이의 표준패턴을 만들기 위해 동일인이 발성한 같은 단어이지만 다양한 길이를 갖는 발성들 사이에 음향학적으로 같은 특성을 가지는 구간끼리 겹치도록 시간축을 조정하는 방법이다.
도 4(a)는 기침하는 돼지의 기침 움직임에 대한 표준패턴을 나타낸다. 예를 들어, 표준패턴은 본 발명의 일 실시예에 따른 학습을 통해 미리 획득되고 저장된 정보일 수 있다. 도 4(b)는 기침하는 돼지의 기침 움직임에 대한 측정패턴을 나타낸다. 도 4(c)는 이동하는 돼지의 이동 움직임에 대한 측정패턴을 나타낸다. 도 4(d)는 제자리에서 움직이는 돼지의 움직임에 대한 측정패턴을 나타낸다. 각 그래프의 x축은 시간(t)을 나타내고, y축은 움직임 차이 비율(DiffRate)을 나타낸다.
도 4(b)에 나타낸 기침하는 돼지의 기침 움직임에 대한 측정패턴, 다시 말해 움직임 차이 비율은 도 2에 설 설명된 과정을 통해 구할 수 있고, 이를 이용하여 DTW를 계산할 수 있다. 본 발명의 실시예에 따른 기침하는 돼지의 기침 움직임에 대한 측정패턴과 돼지의 기침 움직임에 대한 표준패턴을 비교한 DTW 결과는 2.12로 계산되었다.
도 4(c)에 나타낸 이동하는 돼지의 이동 움직임에 대한 측정패턴, 다시 말해 움직임 차이 비율은 도 2에 설 설명된 과정을 통해 구할 수 있고, 이를 이용하여 DTW를 계산할 수 있다. 본 발명의 실시예에 따른 이동하는 돼지의 이동 움직임에 대한 측정패턴과 돼지의 기침 움직임에 대한 표준패턴을 비교한 DTW 결과는 6.19로 계산되었다.
도 4(d)에 나타낸 제자리에서 움직이는 돼지의 움직임에 대한 측정패턴, 다시 말해 움직임 차이 비율은 도 2에 설 설명된 과정을 통해 구할 수 있고, 이를 이용하여 DTW를 계산할 수 있다. 본 발명의 실시예에 따른 제자리에서 움직이는 돼지의 움직임에 대한 측정패턴과 돼지의 기침 움직임에 대한 표준패턴을 비교한 DTW 결과는 4.50로 계산되었다.
여기에서 DTW는 결과 값이 작을 수록 표준패턴과의 유사도가 큰 것을 의미한다. 따라서, 도 4(b)에 나타낸 기침하는 돼지의 기침 움직임에 대한 측정패턴이 도 4(a)에 나타낸 돼지의 기침 움직임에 대한 표준패턴과 가장 유사한 것을 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 장치의 구성을 나타내는 도면이다.
영상 기반의 DTW를 이용한 기침하는 돼지 탐지 장치(500)는 영상 획득부(510), 데이터 처리부(520) 및 객체 움직임 탐지부(530)를 포함한다. 영상 획득부(510), 데이터 처리부(520) 및 객체 움직임 탐지부(530)는 도 1의 단계들(110~130)을 수행하기 위해 구성될 수 있다.
영상 획득부(510)는 카메라를 통해 촬영된 영상에 표시되는 객체에 대한 이진영상을 획득한다. 예를 들어, 돈사 내 돈방 5m 높이에 영상 수집을 위한 8 FPS(Frame Per Second)의 카메라를 설치하고, 돈방 내 돼지들을 촬영하여 영상을 획득할 수 있다. 이때, 설치된 카메라를 통해 획득한 돈방 내의 영상에서 돼지들은 각각의 돼지가 개별적으로 분리되어 있다고 가정한다.
데이터 처리부(520)는 획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환한다. 기침하는 돼지를 특정하기 위하여 현재 프레임의 돼지 형태와 이전 프레임의 돼지 형태를 비교하고, 두 프레임 간의 형태 차이 이미지인 가로 및 세로의 2차원 영상 정보를 1차원의 시계열 데이터로 변환시킨다.
다시 말해, 프레임 차 기법(Frame Difference)을 이용하여 현재 프레임의 객체 형태와 제1 프레임의 객체 형태 간의 제1 형태 차이 이미지를 획득하고, 프레임 차 기법을 이용하여 현재 프레임의 객체 형태와 제2 프레임의 객체 형태 간의 제2 형태 차이 이미지를 획득한다. 그리고, 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하고, 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산한다. 이후, 제1 차이 픽셀 수와 제2 차이 픽셀 수를 이용하여 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환한다.
먼저, 데이터 처리부(520)는 이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제1 프레임의 객체 형태를 비교하기 위해 프레임 차 기법을 이용하여 제1 형태 차이 이미지를 획득하고, 프레임 차 기법을 이용하여 현재 프레임의 객체 형태와 제2 프레임의 객체 형태 간의 제2 형태 차이 이미지를 획득한다. 여기에서, 제1 프레임은 현재 프레임으로부터 4 프레임 전(다시 말해, 8 FPS의 카메라를 통해 촬영된 영상에 대하여 과거 0.5초)의 프레임을 의미하고, 제2 프레임은 현재 프레임으로부터 7 프레임 전(다시 말해, 8 FPS의 카메라를 통해 촬영된 영상에 대하여 과거 1초)의 프레임을 의미한다. 4 프레임 전의 프레임 및 7 프레임 전의 프레임은 실시예일뿐 한정되지 않는다. 형태 차이 이미지를 획득하는 과정은 도 3을 참조하여 상세히 설명되었다.
이후, 데이터 처리부(520)는 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하고, 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산한다. 앞서 설명된 바와 같이, 제1 형태 차이 이미지는 4 프레임 전의 돼지 형태와 현재 프레임의 돼지 형태 간의 차이 이미지를 의미하고, 제2 형태 차이 이미지는 7 프레임 전의 돼지 형태와 현재 프레임의 돼지 형태 간의 차이 이미지를 의미한다. 4 프레임 전의 프레임 및 7 프레임 전의 프레임은 실시예일뿐 한정되지 않는다.
예를 들어, 돼지에 대한 움직임이 발생 한 경우 상대적인 돼지의 움직임 차이를 계산하기 위하여 4 프레임 전 프레임과 현재 프레임 간의 차이 픽셀 수(diff4)와 7 프레임 전 프레임과 현재 프레임 간의 차이 픽셀 수를 계산한다. 즉, 4 프레임 이전과 현재 프레임과의 차이 픽셀 수(diff4)와 7 프레임 이전과 현재 프레임과의 차이 픽셀 수(diff7)는 앞서 설명된 수학식(1)과 같이 계산된다.
이와 같이 제1 차이 픽셀 수 및 제2 차이 픽셀 수를 계산한 후, 데이터 처리부(520)는 제1 차이 픽셀 수와 2 차이 픽셀 수를 이용하여 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율을 계산하고, 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환한다. 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율(DiffRate)는 앞서 설명된 수학식(2)와 같이 계산된다.
이와 같이, 객체의 움직임에 따른 형태 차이 이미지를 이용하여 움직임 차이 비율을 계산하고, 하나의 수치로 변환 할 수 있다. 다시 말해, 데이터 처리부(520)는 가로 및 세로로 이루어진 2차원 데이터를 1차원의 시계열 데이터로 변환할 수 있다.
객체 움직임 탐지부(530)는 데이터 처리부(520)를 통해 변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지한다. 본 발명의 실시예에 따르면, 변환된 시계열 데이터에 DTW 기법을 이용하여 특정 움직임을 보이는 객체와 특정 움직임을 보이지 않는 객체를 구분한다.
제안하는 영상 기반의 DTW를 이용한 기침하는 돼지 탐지 방법 및 장치는 2차원 영상을 1차원 시계열 데이터로 변환하고 변환한 시계열 데이터에 DTW 기법을 적용하여 영상 내 객체 중 특정 움직임으로 보이는 객체를 탐지함으로써, 돈방 내에서 기침하는 돼지를 특정 할 수 있다.
대다수 가축 호흡기 전염병의 증상으로는 기침 증상이 있다. 본 발명이 실제 시장에 적용 될 경우 호흡기 질병이 걸린 특정 돼지에 대한 기침 횟수를 바탕으로 해당 돼지의 호흡기 질병의 징후를 알 수 있고, 좁은 공간에 집단으로 사육되는 이유자돈들의 호흡기 전염병을 조기에 발견하여 빠르게 대처 할 수 있게 되므로 돼지 사육 농가의 피해를 최소화 할 수 있는 효과를 기대할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 카메라를 통해 촬영된 영상에 표시되는 객체에 대한 이진영상을 획득하는 단계;
    획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 단계; 및
    변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 단계
    를 포함하고,
    획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 단계는,
    이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제1 프레임의 객체 형태를 비교하기 위해 프레임 차(Frame Difference) 기법을 이용하여 제1 형태 차이 이미지를 획득하는 단계; 및
    이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제2 프레임의 객체 형태를 비교하기 위해 프레임 차 기법을 이용하여 제2 형태 차이 이미지를 획득하는 단계
    를 포함하는 객체 탐지 방법.
  2. 삭제
  3. 제1항에 있어서,
    획득된 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하는 단계; 및
    획득된 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산하는 단계
    를 더 포함하는 객체 탐지 방법.
  4. 제3항에 있어서,
    제1 차이 픽셀 수와 2 차이 픽셀 수를 이용하여 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율을 계산하고, 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환하는 단계
    를 더 포함하는 객체 탐지 방법.
  5. 제1항에 있어서,
    변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 단계는,
    변환된 시계열 데이터에 DTW(Dynamic Time Warping) 기법을 이용하여 특정 움직임을 보이는 객체와 특정 움직임을 보이지 않는 객체를 구분하는
    객체 탐지 방법.
  6. 카메라를 통해 촬영된 영상에 표시되는 객체에 대한 이진영상을 획득하는 영상 획득부;
    획득된 이진영상에서 복수의 프레임들 간의 객체 형태를 비교하여, 객체의 움직임에 따른 정보를 시계열 데이터로 변환하는 데이터 처리부; 및
    변환된 시계열 데이터를 이용하여 객체의 움직임에 대한 시간 길이에 관계없이 객체의 특정 움직임을 탐지하는 객체 움직임 탐지부
    를 포함하고,
    데이터 처리부는,
    이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제1 프레임의 객체 형태를 비교하기 위해 프레임 차(Frame Difference) 기법을 이용하여 제1 형태 차이 이미지를 획득하고;
    이진영상에 포함된 복수의 프레임들 중 현재 프레임의 객체 형태와 제2 프레임의 객체 형태를 비교하기 위해 프레임 차 기법을 이용하여 제2 형태 차이 이미지를 획득하는
    객체 탐지 장치.
  7. 삭제
  8. 제6항에 있어서,
    데이터 처리부는,
    획득된 제1 형태 차이 이미지에서 현재 프레임과 제1 프레임 간의 제1 차이 픽셀 수를 계산하고;
    획득된 제2 형태 차이 이미지에서 현재 프레임과 제2 프레임 간의 제2 차이 픽셀 수를 계산하는
    객체 탐지 장치.
  9. 제8항에 있어서,
    데이터 처리부는,
    제1 차이 픽셀 수와 2 차이 픽셀 수를 이용하여 현재 프레임에 대한 제1 프레임의 객체와 제2 프레임의 객체 간의 움직임 차이 비율을 계산하여, 객체의 움직임에 따른 정보를 1차원의 시계열 데이터로 변환하는
    객체 탐지 장치.
  10. 제6항에 있어서,
    객체 움직임 탐지부는,
    변환된 시계열 데이터에 DTW(Dynamic Time Warping) 기법을 이용하여 특정 움직임을 보이는 객체와 특정 움직임을 보이지 않는 객체를 구분하는
    객체 탐지 장치.
KR1020170068947A 2017-06-02 2017-06-02 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치 KR101891439B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170068947A KR101891439B1 (ko) 2017-06-02 2017-06-02 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170068947A KR101891439B1 (ko) 2017-06-02 2017-06-02 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101891439B1 true KR101891439B1 (ko) 2018-08-23

Family

ID=63454856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170068947A KR101891439B1 (ko) 2017-06-02 2017-06-02 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101891439B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111110211A (zh) * 2020-01-08 2020-05-08 中国农业大学 母猪呼吸频率及心率检测装置和方法
CN111860415A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 咳嗽检测方法、装置、存储介质及电子装置
KR20210007608A (ko) 2019-07-12 2021-01-20 경상대학교산학협력단 돼지 사육장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101440441B1 (ko) * 2012-11-30 2014-09-17 경북대학교 산학협력단 제스처 인식 장치 및 그 방법
KR101522554B1 (ko) * 2008-05-27 2015-05-26 삼성전자주식회사 비디오 시퀀스의 움직이는 객체들의 중심들을 추정하는 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522554B1 (ko) * 2008-05-27 2015-05-26 삼성전자주식회사 비디오 시퀀스의 움직이는 객체들의 중심들을 추정하는 시스템 및 방법
KR101440441B1 (ko) * 2012-11-30 2014-09-17 경북대학교 산학협력단 제스처 인식 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210007608A (ko) 2019-07-12 2021-01-20 경상대학교산학협력단 돼지 사육장치
CN111110211A (zh) * 2020-01-08 2020-05-08 中国农业大学 母猪呼吸频率及心率检测装置和方法
CN111860415A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 咳嗽检测方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
JP6622894B2 (ja) 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP5722381B2 (ja) ビデオ解析
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
US10146992B2 (en) Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
JP6590609B2 (ja) 画像解析装置及び画像解析方法
KR101891439B1 (ko) 영상 기반의 dtw를 이용한 기침하는 돼지 탐지 방법 및 장치
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
WO2016031314A1 (ja) 個人識別装置、個人識別方法、及び、個人識別プログラム
WO2016139868A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
US9256945B2 (en) System for tracking a moving object, and a method and a non-transitory computer readable medium thereof
WO2012063544A1 (ja) 画像処理装置、画像処理方法及び記録媒体
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
JP2010199865A (ja) 異常検知システム、異常検知方法及び異常検知プログラム
JPWO2019016879A1 (ja) 物体検出装置、及び、物体検出手法
US8670598B2 (en) Device for creating and/or processing an object signature, monitoring device, method and computer program
JP2009301242A (ja) 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
JP5877725B2 (ja) 画像監視装置
JP5465594B2 (ja) 対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラム
JP7048347B2 (ja) 位置関係決定装置
JPH11328365A (ja) 画像監視装置及びその方法
JP6866182B2 (ja) ベッド位置特定装置
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant