KR20200050553A - 움직임 추적 시스템 및 방법 - Google Patents

움직임 추적 시스템 및 방법 Download PDF

Info

Publication number
KR20200050553A
KR20200050553A KR1020180133264A KR20180133264A KR20200050553A KR 20200050553 A KR20200050553 A KR 20200050553A KR 1020180133264 A KR1020180133264 A KR 1020180133264A KR 20180133264 A KR20180133264 A KR 20180133264A KR 20200050553 A KR20200050553 A KR 20200050553A
Authority
KR
South Korea
Prior art keywords
tracking
model
motion
elliptical
skin
Prior art date
Application number
KR1020180133264A
Other languages
English (en)
Other versions
KR102186875B1 (ko
Inventor
이언석
최홍준
김민기
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020180133264A priority Critical patent/KR102186875B1/ko
Publication of KR20200050553A publication Critical patent/KR20200050553A/ko
Application granted granted Critical
Publication of KR102186875B1 publication Critical patent/KR102186875B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 움직임 추적 시스템은 카메라에 의해 촬영된 복수의 비디오 영상을 획득하는 영상 촬영부; 상기 비디오 영상으로부터 움직임 추적 대상의 객체를 검출하고, 상기 검출된 객체의 표적 영역에 대응하는 비선형 모델로 정의되는 타원형 추적 모델을 생성하는 객체 인식부; 및 상기 타원형 추적 모델을 이용한 움직임 분석을 통해 상기 객체의 표적 영역의 움직임을 추적하는 움직임 분석부를 포함한다.

Description

움직임 추적 시스템 및 방법{MOTION TRACKING SYSTEM AND METHOD}
본 발명의 실시예들은 객체의 움직임을 추적하여 행동 패턴을 관찰할 수 있으며, 이를 통해 육안 검사의 불편함 없이 뇌질환 등의 뇌 질병을 검사할 수 있는 움직임 추적 시스템 및 방법에 관한 것이다.
영상 객체의 검출 및 추적이란 입력 영상으로부터 의미 있는 단일 혹은 다중 영상 객체의 영역을 배경으로부터 분리하여 의미를 부여하는 과정을 의미한다. 비주얼 추적 알고리즘을 사용하면 수작업 방식과 비교하여 오랫동안 객관적이고 일관된 방식으로 마우스 동작을 연구할 수 있다.
동작을 수동으로 기록하는 것은 저렴한 비용으로 구현할 수 있지만 너무 많은 객체 간의 상호 작용과 같은 특정 동작에서는 비주얼 추적 알고리즘이 상당한 이점을 가질 수 있다. 관찰자가 오랫동안 실험을 들여다 볼 필요가 없다는 점에서 보다 객관적이고 일관성 있는 분석이 가능하다. 따라서 객체의 행동을 이해하는 컴퓨터 비전 알고리즘(특히 자동 추적 시스템)은 다양한 분야에서 매우 중요하다.
그런데 기존의 비디오 비전 분야에서 개발된 비디오 추적 알고리즘은 객체의 행동을 분석하기 위해 고비용 실험 장비, 특수 목적 카메라 및 실험 동물에 마커를 부착하는 것이 너무 많은 제약이 있으며, 특히 수동 기록 방법의 경우 시간이 많이 걸리고 힘든 작업과 객관적이고 일관된 측정이 어려워 만족스러운 결과를 얻을 수 없는 문제가 있다.
관련 선행기술로는 대한민국 공개특허공보 제10-2004-0041297호(발명의 명칭: 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및 움직임을 추적하고 표시하는 방법, 공개일자: 2004.05.17)가 있다.
본 발명의 일 실시예는 객체의 움직임을 추적하여 행동 패턴을 관찰할 수 있으며, 이를 통해 육안 검사의 불편함 없이 뇌질환 등의 뇌 질병을 검사할 수 있는 움직임 추적 시스템 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 움직임 추적 시스템은 카메라에 의해 촬영된 복수의 비디오 영상을 획득하는 영상 촬영부; 상기 비디오 영상으로부터 움직임 추적 대상의 객체를 검출하고, 상기 검출된 객체의 표적 영역에 대응하는 비선형 모델로 정의되는 타원형 추적 모델을 생성하는 객체 인식부; 및 상기 타원형 추적 모델을 이용한 움직임 분석을 통해 상기 객체의 표적 영역의 움직임을 추적하는 움직임 분석부를 포함한다.
상기 객체 인식부는 상기 비디오 영상으로부터 상기 객체의 피부 표면을 검출하여 상기 피부 표면의 가우스 분포를 생성하고, 상기 생성된 가우스 분포에 기초하여 가우시안 피부 모델을 생성하는 피부 모델 생성부; 상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역을 검출하는 타겟 검출부; 및 확장형 칼만 필터를 이용하여 상기 타원형 추적 모델을 생성하는 추적 모델 생성부를 포함할 수 있다.
상기 피부 모델 생성부는 상기 비디오 영상으로부터 배경의 일부가 아닌 순수한 피부만을 포함하는 동일한 크기의 샘플 이미지를 자르기 하여 상기 가우스 분포를 생성할 수 있다.
상기 타겟 검출부는 상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역의 경계 지점으로 설정되는 관측 벡터를 획득하고, 비선형 관측 모델의 함수를 이용하여 상기 획득된 관측 벡터를 상기 객체의 상태 벡터와 연관시킬 수 있다.
상기 상태 벡터는 상기 객체의 전체 모양을 나타내기 위한 상기 타원형 추적 모델에 관한 복수의 매개 변수로 구성되되, 상기 매개 변수는 상기 객체의 전체 모양에 해당하는 타원의 중심점, 장축 길이, 단축 길이, 회전각 및 일정 속도를 포함할 수 있다.
상기 움직임 분석부는 상기 타원형 추적 모델을 이용하여 시간에 따른 상기 상태 벡터를 추정하고, 상기 추정된 상태 벡터를 기반으로 상기 객체의 속도 및 이동 거리를 계산하여 상기 객체의 표적 영역의 움직임을 추적할 수 있다.
상기 움직임 분석부는 상기 추정된 상태 벡터를 기반으로 상기 객체의 스트레칭 아웃(stretching out), 허들 업(huddle up), 스탠드 업(stand up) 중 적어도 하나를 포함하는 동작을 분석하여 상기 동작의 차이를 수량화하고, 상기 수량화의 결과에 기초하여 상기 객체의 표적 영역의 움직임을 추적할 수 있다.
본 발명의 일 실시예에 따른 움직임 추적 방법은 움직임 추적 시스템의 영상 촬영부가 카메라에 의해 촬영된 복수의 비디오 영상을 획득하는 단계; 상기 움직임 추적 시스템의 객체 인식부가 상기 비디오 영상으로부터 움직임 추적 대상의 객체를 검출하고, 상기 검출된 객체의 표적 영역에 대응하는 비선형 모델로 정의되는 타원형 추적 모델을 생성하는 단계; 및 상기 움직임 추적 시스템의 움직임 분석부가 상기 타원형 추적 모델을 이용한 움직임 분석을 통해 상기 객체의 표적 영역의 움직임을 추적하는 단계를 포함한다.
상기 타원형 추적 모델을 생성하는 단계는 상기 비디오 영상으로부터 상기 객체의 피부 표면을 검출하여 상기 피부 표면의 가우스 분포를 생성하고, 상기 생성된 가우스 분포에 기초하여 가우시안 피부 모델을 생성하는 단계; 상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역을 검출하는 단계; 및 확장형 칼만 필터를 이용하여 상기 타원형 추적 모델을 생성하는 단계를 포함할 수 있다.
상기 가우시안 피부 모델을 생성하는 단계는 상기 비디오 영상으로부터 배경의 일부가 아닌 순수한 피부만을 포함하는 동일한 크기의 샘플 이미지를 자르기 하여 상기 가우스 분포를 생성하는 단계를 포함할 수 있다.
상기 객체의 표적 영역을 검출하는 단계는 상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역의 경계 지점으로 설정되는 관측 벡터를 획득하는 단계; 및 비선형 관측 모델의 함수를 이용하여 상기 획득된 관측 벡터를 상기 객체의 상태 벡터와 연관시키는 단계를 포함할 수 있다.
상기 객체의 표적 영역의 움직임을 추적하는 단계는 상기 타원형 추적 모델을 이용하여 시간에 따른 상기 상태 벡터를 추정하는 단계; 및 상기 추정된 상태 벡터를 기반으로 상기 객체의 속도 및 이동 거리를 계산하여 상기 객체의 표적 영역의 움직임을 추적하는 단계를 포함할 수 있다.
상기 객체의 표적 영역의 움직임을 추적하는 단계는 상기 추정된 상태 벡터를 기반으로 상기 객체의 스트레칭 아웃(stretching out), 허들 업(huddle up), 스탠드 업(stand up) 중 적어도 하나를 포함하는 동작을 분석하여 상기 동작의 차이를 수량화하고, 상기 수량화의 결과에 기초하여 상기 객체의 표적 영역의 움직임을 추적하는 단계를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 객체의 움직임을 추적하여 행동 패턴을 관찰할 수 있으며, 이를 통해 육안 검사의 불편함 없이 뇌질환 등의 뇌 질병을 검사할 수 있다.
도 1은 본 발명의 일 실시예에 따른 움직임 추적 시스템을 설명하기 위해 도시한 블록도이다.
도 2는 도 1의 객체 인식부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 움직임 추적 방법을 설명하기 위해 도시한 도면이다.
도 7 내지 도 9는 실측 자료(적색 별), 수동 추적(녹색 원), 추적 알고리즘(청색 삼각형) 각각에 기반한 마우스의 움직임 경로를 나타낸 그래프이다.
도 10 및 도 11은 이동 거리와 이동 속도의 오류에 관한 평균 및 표준편차를 나타낸 그래프이다.
도 12 내지 도 14는 실제 비디오에서 추적 알고리즘(적색 별)과 수동 추적(녹색 원)에 따른 전체 움직임 경로를 나타낸 그래프이다.
도 15 및 도 16은 추적 알고리즘을 사용하여 얻은 값과 수동 추적을 사용하여 얻은 값의 에러에 관한 평균 및 표준편차를 나타낸 그래프이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 움직임 추적 시스템을 설명하기 위해 도시한 블록도이고, 도 2는 도 1의 객체 인식부(120)의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 움직임 추적 시스템(100)은 영상 촬영부(110), 객체 인식부(120), 움직임 분석부(130), 및 제어부(140)를 포함할 수 있다.
상기 영상 촬영부(110)는 카메라에 의해 촬영된 복수의 비디오 영상을 획득할 수 있다. 여기서, 상기 카메라는 디지털 카메라를 포함할 수 있으며, 하나 또는 2개 이상으로 구성될 수 있다.
상기 객체 인식부(120)는 상기 비디오 영상으로부터 움직임 추적 대상의 객체를 검출하고, 상기 검출된 객체의 표적 영역에 대응하는 비선형 모델로 정의되는 타원형 추적 모델을 생성할 수 있다.
구체적으로, 상기 객체 인식부(120)는 도 2에 도시된 바와 같이 피부 모델 생성부(210), 타겟 검출부(220), 및 추적 모델 생성부(230)를 포함하여 구성될 수 있다.
상기 피부 모델 생성부(210)는 상기 비디오 영상으로부터 상기 객체의 피부 표면을 검출하여 상기 피부 표면의 가우스 분포를 생성하고, 상기 생성된 가우스 분포에 기초하여 가우시안 피부 모델을 생성할 수 있다.
이때, 상기 피부 모델 생성부(210)는 상기 비디오 영상으로부터 배경의 일부가 아닌 순수한 피부만을 포함하는 동일한 크기의 샘플 이미지를 자르기 하고, 상기 샘플 이미지를 바탕으로 하여 상기 가우스 분포를 생성할 수 있다.
상기 타겟 검출부(220)는 상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역을 검출할 수 있다.
상기 타겟 검출부(220)는 상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역의 경계 지점으로 설정되는 관측 벡터를 획득하고, 비선형 관측 모델의 함수를 이용하여 상기 획득된 관측 벡터를 상기 객체의 상태 벡터와 연관시킬 수 있다.
여기서, 상기 상태 벡터는 상기 객체의 전체 모양을 나타내기 위한 상기 타원형 추적 모델에 관한 복수의 매개 변수로 구성되되, 상기 매개 변수는 상기 객체의 전체 모양에 해당하는 타원의 중심점, 장축 길이, 단축 길이, 회전각 및 일정 속도 등을 포함할 수 있다.
상기 추적 모델 생성부(230)는 확장형 칼만 필터를 이용하여 상기 타원형 추적 모델을 생성할 수 있다. 추적 문제에서 복잡한 환경으로 인해 발생하는 복잡한 동적/관측 모델은 비 가우시안 모델을 생성한다. 동적/관측 모델이 비선형 모델인 경우, 칼만 필터의 최적 특성은 추적 문제에 적용되지 않는다. 따라서, 분석 근사, 즉 상기 확장형 칼만 필터가 물체를 추적하는 데 사용되는 것이 바람직하다.
상기 확장형 칼만 필터의 동적/관측 모델은 다음의 수학식 1, 2와 같이 표현될 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
여기서, 변수 x는 시간 t에서의 목표의 상태 벡터이고, 마우스의 전체 모양을 나타내기 위해 7개의 매개 변수로 구성된다. 변수 y는 마우스의 경계 지점을 수집하는 감지 단계에서 얻을 수 있는 관측 벡터이다. 랜덤 변수 wt-1 및 vt는 각각 프로세스 및 관측 잡음을 나타낸다. 비선형 함수 모델 f는 표적의 상태 변수를 진화시키는 함수이고, 비선형 함수 관측 모델 h는 상태 벡터와 관측 벡터 yt를 연관시키는 함수이다. 만약 f와 h 함수가 선형이면, 칼만 필터 기법을 사용하여 계산을 수행할 수 있다. 그러나 f와 h가 비선형 함수라면, 확장형 칼만 필터 기법을 사용하여 상태 변수를 추정할 수 있다. 상기 확장형 칼만 필터는 예측 분포, 사후 분포 및 한계 우도 분포를 근사화함으로써 얻을 수 있다.
상기 타원형 추적 모델은 상기 객체의 전체 모양을 나타내는 데 사용될 수 있다. 상기 객체의 전체 모양을 추적하면 몸을 구부리거나 세우기, 몸을 펴는 것과 같은 행동의 다양한 변화를 구별할 수 있다. 또한, 상기 타원형 추적 모델을 사용하여 평균 변화율 및 각 상태 벡터의 상대 빈도를 포함하여, 시간에 따라 추정된 타원의 상태 벡터를 기반으로 상기 객체의 속도와 이동 거리를 계산할 수 있다. 동작 중 상기 객체의 모양, 크기 및 속도에 대한 대략적인 값은 상기 객체의 동작에 대한 정보를 얻는 데 유용한 상대 주파수에서 얻을 수 있다.
한편, 상기 관측 벡터는 상기 상태 벡터와 밀접히 연관되어 있으며, 간단한 점 검출 알고리즘(simple point detection algorithm)을 사용해서 얻을 수 있는 타원의 경계점으로 설정될 수 있다. 상기 상태 벡터와 상기 관측 벡터 사이의 관계 모델은 아래의 수학식 3과 같다.
[수학식 3]
Figure pat00003
여기서, 변수 θ는 0에서 2π까지의 값을 취하고,
Figure pat00004
는 x축 주위의 회전각이다. 관측 벡터의 우도 함수는 아래의 수학식 4와 같은 가우시안 모델을 사용하여 근사할 수 있다.
[수학식 4]
Figure pat00005
여기서, 가우시안 표준 편차 σ는 실험 설계자에 의해 설정될 수 있다. Dt는 대상의 예측된 관측 벡터 y와 검출 단계에서 얻은 관측 벡터 간의 유클리드 거리이다. 그 모델의 방정식은 아래의 수학식 5와 같다.
[수학식 5]
Figure pat00006
따라서, 그 모델은 확장형 칼만 필터 프레임워크에 적용될 수 있다.
이하에서는 객체를 검출하는 과정의 일 실시예로서 마우스(mouse)로 그 대상을 한정하여 설명하기로 한다. 이는 설명의 편의 및 용이한 이해를 위한 것일 뿐 본 발명의 권리범위를 한정하기 위함이 아니다.
객체를 추적하기 가장 어려운 문제는 복잡한 환경뿐만 아니라 예측할 수 없는 빠른 움직임과 일정하지 않은 모양이다. 꼬리와 배경(케이지)을 포함한 마우스의 전체 모양을 추적하는 모델 제시는 정확한 추적에 큰 장벽이다. 따라서 마우스를 성공적으로 추적하기 위해, 반복되는 검출과 추적 단계로 구성되는 마우스 추적 모델을 제안한다. 이 간단한 탐지 방법의 한계는 마우스의 피부 색과 배경 색이 유사한 상황에서는 제대로 작동하지 않는다는 것이다. 매우 변형 가능한 객체를 추적할 때 추적된 객체의 데이터를 배경과 분리하면 추적기의 견고성이 높아진다.
따라서, 첫 번째 단계는 마우스 피부 표면의 가우스 분포를 만드는 것이다. 특히, 가우시안 분포는 배경의 일부가 아닌 순수한 피부만을 포함하는 동일한 크기의 30*30 샘플 이미지를 수동으로 자르기 하여 생성될 수 있다. 일단 피부 모델이 생성되면 마우스에서 예측된 영역은 평균으로부터의 마하라 노비스 거리를 계산하여 입력 이미지의 각 픽셀에 대해 계산한다. 그런 다음 피부 우도 값을 회색 음영 이미지로 표시할 수 있다. 흰색 영역은 피부 영역이 될 확률이 높다. 우도 값(0에서 1까지 변화함)이 각 픽셀에 대해 계산된 후, 우도 값이 임계 값보다 높은 모든 픽셀 값은 1로 설정되고 나머지 픽셀은 0으로 설정된다. 초기 임계 값은 추적 절차를 시작하거나 프로그램에 의해 자동으로 계산된 다음 세 가지 형태의 작업, 즉 침식, 확장 및 채우기를 사용하여 추적에 대한 장벽인 마우스의 꼬리와 귀를 나타내는 영역을 제거한다.
이진 이미지의 마우스 꼬리는 이진 영역의 경계에서 픽셀 레이어를 벗겨낼 수 있는 작은 사각형(임의로 초기 사각형 크기를 n*n으로 설정)을 이용한 상기 침식으로 제거할 수 있다. 상기 확장은 확장과 반대의 효과를 가지며, 영역의 경계에 픽셀 레이어를 추가한다. 또한, 상기 채우기는 이미지에 구멍이 존재하는 경우 이진 영역의 구멍을 채우는 것으로 실현 가능하다. 이러한 방법을 적절히 사용함으로써 추적의 정확성을 증가시킬 수 있으며, 복잡한 환경에서 배경으로부터 마우스를 구별할 수 있다.
상기 움직임 분석부(130)는 상기 타원형 추적 모델을 이용한 움직임 분석을 통해 상기 객체의 표적 영역의 움직임을 추적할 수 있다.
구체적으로, 상기 움직임 분석부(130)는 상기 타원형 추적 모델을 이용하여 시간에 따른 상기 상태 벡터를 추정하고, 상기 추정된 상태 벡터를 기반으로 상기 객체의 속도 및 이동 거리를 계산하여 상기 객체의 표적 영역의 움직임을 추적할 수 있다.
나아가, 상기 움직임 분석부(130)는 상기 추정된 상태 벡터를 기반으로 상기 객체의 스트레칭 아웃(stretching out), 허들 업(huddle up), 스탠드 업(stand up) 중 적어도 하나를 포함하는 동작을 분석하여 상기 동작의 차이를 수량화하고, 상기 수량화의 결과에 기초하여 상기 객체의 표적 영역의 움직임을 추적할 수 있다.
상기 제어부(140)는 본 발명의 일 실시예에 따른 움직임 추적 시스템(100), 즉 상기 영상 촬영부(110), 상기 객체 인식부(120), 상기 움직임 분석부(130) 등의 동작을 전반적으로 제어할 수 있다.
이상에서 설명된 장치는 하드웨어 구성 요소, 소프트웨어 구성 요소, 및/또는 하드웨어 구성 요소 및 소프트웨어 구성 요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성 요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 움직임 추적 방법을 설명하기 위해 도시한 도면이다.
여기서 설명하는 움직임 추적 방법은 본 발명의 하나의 실시예에 불과하며, 그 이외에 필요에 따라 다양한 단계들이 부가될 수 있고, 하기의 단계들도 순서를 변경하여 실시될 수 있으므로, 본 발명이 하기에 설명하는 각 단계 및 그 순서에 한정되는 것은 아니다.
먼저 도 1 내지 도 4를 참조하면, 단계(310)에서 움직임 추적 시스템(100)의 영상 촬영부(110)는 카메라에 의해 촬영된 복수의 비디오 영상을 획득할 수 있다.
다음으로 도 1 내지 도 3, 도 5를 참조하면, 단계(320)에서 상기 움직임 추적 시스템(100)의 피부 모델 생성부(210)는 상기 비디오 영상으로부터 상기 객체의 피부 표면을 검출하여 상기 피부 표면의 가우스 분포를 생성한 다음, 단계(330)에서 상기 생성된 가우스 분포에 기초하여 가우시안 피부 모델을 생성할 수 있다.
다음으로 도 1 내지 도 3, 도 5를 참조하면, 단계(340)에서 상기 움직임 추적 시스템(100)의 타겟 검출부(220)는 상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역을 검출할 수 있다.
다음으로 도 1 내지 도 3, 도 6을 참조하면, 단계(350)에서 상기 움직임 추적 시스템(100)의 추적 모델 생성부(230)는 확장형 칼만 필터를 이용하여, 상기 타원형 추적 모델을 생성할 수 있다. 그런 다음, 단계(360)에서 상기 움직임 추적 시스템(100)의 움직임 분석부(130)는 상기 타원형 추적 모델을 이용한 움직임 분석을 통해 상기 객체의 표적 영역의 움직임을 추적할 수 있다.
도 7 내지 도 9는 실측 자료(적색 별), 수동 추적(녹색 원), 추적 알고리즘(청색 삼각형) 각각에 기반한 마우스의 움직임 경로를 나타낸 그래프이다. 녹색 움직임 경로(수동 추적)는 8마리의 실험 쥐로부터 얻은 값의 평균을 가리킨다. 도 10 및 도 11은 이동 거리와 이동 속도의 오류에 관한 평균 및 표준편차를 나타낸 그래프이다. 도 7 내지 도 11의 그래프에 따르면 제안된 추적 알고리즘이 수동 추적에 비해 훨씬 더 정확하다는 것을 확인할 수 있다.
도 12 내지 도 14는 실제 비디오에서 추적 알고리즘(적색 별)과 수동 추적(녹색 원)에 따른 전체 움직임 경로를 나타낸 그래프이다. 전체 움직임 경로가 유사함에도 불구하고 두 방법은 차이가 있다. 추적 알고리즘을 사용하여 얻은 값과 수동 추적을 사용하여 얻은 값의 에러에 관한 평균 및 표준편차가 도 15 및 도 16에 도시되어 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
110: 영상 촬영부
120: 객체 인식부
130: 움직임 분석부
140: 제어부
210: 피부 모델 생성부
220: 타겟 검출부
230: 추적 모델 생성부

Claims (13)

  1. 카메라에 의해 촬영된 복수의 비디오 영상을 획득하는 영상 촬영부;
    상기 비디오 영상으로부터 움직임 추적 대상의 객체를 검출하고, 상기 검출된 객체의 표적 영역에 대응하는 비선형 모델로 정의되는 타원형 추적 모델을 생성하는 객체 인식부; 및
    상기 타원형 추적 모델을 이용한 움직임 분석을 통해 상기 객체의 표적 영역의 움직임을 추적하는 움직임 분석부
    를 포함하는 것을 특징으로 하는 움직임 추적 시스템.
  2. 제1항에 있어서,
    상기 객체 인식부는
    상기 비디오 영상으로부터 상기 객체의 피부 표면을 검출하여 상기 피부 표면의 가우스 분포를 생성하고, 상기 생성된 가우스 분포에 기초하여 가우시안 피부 모델을 생성하는 피부 모델 생성부;
    상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역을 검출하는 타겟 검출부; 및
    확장형 칼만 필터를 이용하여 상기 타원형 추적 모델을 생성하는 추적 모델 생성부
    를 포함하는 것을 특징으로 하는 움직임 추적 시스템.
  3. 제2항에 있어서,
    상기 피부 모델 생성부는
    상기 비디오 영상으로부터 배경의 일부가 아닌 순수한 피부만을 포함하는 동일한 크기의 샘플 이미지를 자르기 하여 상기 가우스 분포를 생성하는 것을 특징으로 하는 움직임 추적 시스템.
  4. 제2항에 있어서,
    상기 타겟 검출부는
    상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역의 경계 지점으로 설정되는 관측 벡터를 획득하고, 비선형 관측 모델의 함수를 이용하여 상기 획득된 관측 벡터를 상기 객체의 상태 벡터와 연관시키는 것을 특징으로 하는 움직임 추적 시스템.
  5. 제4항에 있어서,
    상기 상태 벡터는
    상기 객체의 전체 모양을 나타내기 위한 상기 타원형 추적 모델에 관한 복수의 매개 변수로 구성되되, 상기 매개 변수는 상기 객체의 전체 모양에 해당하는 타원의 중심점, 장축 길이, 단축 길이, 회전각 및 일정 속도를 포함하는 것을 특징으로 하는 움직임 추적 시스템.
  6. 제4항에 있어서,
    상기 움직임 분석부는
    상기 타원형 추적 모델을 이용하여 시간에 따른 상기 상태 벡터를 추정하고, 상기 추정된 상태 벡터를 기반으로 상기 객체의 속도 및 이동 거리를 계산하여 상기 객체의 표적 영역의 움직임을 추적하는 것을 특징으로 하는 움직임 추적 시스템.
  7. 제6항에 있어서,
    상기 움직임 분석부는
    상기 추정된 상태 벡터를 기반으로 상기 객체의 스트레칭 아웃(stretching out), 허들 업(huddle up), 스탠드 업(stand up) 중 적어도 하나를 포함하는 동작을 분석하여 상기 동작의 차이를 수량화하고, 상기 수량화의 결과에 기초하여 상기 객체의 표적 영역의 움직임을 추적하는 것을 특징으로 하는 움직임 추적 시스템.
  8. 움직임 추적 시스템의 영상 촬영부가 카메라에 의해 촬영된 복수의 비디오 영상을 획득하는 단계;
    상기 움직임 추적 시스템의 객체 인식부가 상기 비디오 영상으로부터 움직임 추적 대상의 객체를 검출하고, 상기 검출된 객체의 표적 영역에 대응하는 비선형 모델로 정의되는 타원형 추적 모델을 생성하는 단계; 및
    상기 움직임 추적 시스템의 움직임 분석부가 상기 타원형 추적 모델을 이용한 움직임 분석을 통해 상기 객체의 표적 영역의 움직임을 추적하는 단계
    를 포함하는 것을 특징으로 하는 움직임 추적 방법.
  9. 제8항에 있어서,
    상기 타원형 추적 모델을 생성하는 단계는
    상기 비디오 영상으로부터 상기 객체의 피부 표면을 검출하여 상기 피부 표면의 가우스 분포를 생성하고, 상기 생성된 가우스 분포에 기초하여 가우시안 피부 모델을 생성하는 단계;
    상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역을 검출하는 단계; 및
    확장형 칼만 필터를 이용하여 상기 타원형 추적 모델을 생성하는 단계
    를 포함하는 것을 특징으로 하는 움직임 추적 방법.
  10. 제9항에 있어서,
    상기 가우시안 피부 모델을 생성하는 단계는
    상기 비디오 영상으로부터 배경의 일부가 아닌 순수한 피부만을 포함하는 동일한 크기의 샘플 이미지를 자르기 하여 상기 가우스 분포를 생성하는 단계
    를 포함하는 것을 특징으로 하는 움직임 추적 방법.
  11. 제9항에 있어서,
    상기 객체의 표적 영역을 검출하는 단계는
    상기 가우시안 피부 모델을 이용하여 상기 객체의 표적 영역의 경계 지점으로 설정되는 관측 벡터를 획득하는 단계; 및
    비선형 관측 모델의 함수를 이용하여 상기 획득된 관측 벡터를 상기 객체의 상태 벡터와 연관시키는 단계
    를 포함하는 것을 특징으로 하는 움직임 추적 방법.
  12. 제11항에 있어서,
    상기 객체의 표적 영역의 움직임을 추적하는 단계는
    상기 타원형 추적 모델을 이용하여 시간에 따른 상기 상태 벡터를 추정하는 단계; 및
    상기 추정된 상태 벡터를 기반으로 상기 객체의 속도 및 이동 거리를 계산하여 상기 객체의 표적 영역의 움직임을 추적하는 단계
    를 포함하는 것을 특징으로 하는 움직임 추적 방법.
  13. 제12항에 있어서,
    상기 객체의 표적 영역의 움직임을 추적하는 단계는
    상기 추정된 상태 벡터를 기반으로 상기 객체의 스트레칭 아웃(stretching out), 허들 업(huddle up), 스탠드 업(stand up) 중 적어도 하나를 포함하는 동작을 분석하여 상기 동작의 차이를 수량화하고, 상기 수량화의 결과에 기초하여 상기 객체의 표적 영역의 움직임을 추적하는 단계
    를 더 포함하는 것을 특징으로 하는 움직임 추적 방법.
KR1020180133264A 2018-11-02 2018-11-02 움직임 추적 시스템 및 방법 KR102186875B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180133264A KR102186875B1 (ko) 2018-11-02 2018-11-02 움직임 추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180133264A KR102186875B1 (ko) 2018-11-02 2018-11-02 움직임 추적 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200050553A true KR20200050553A (ko) 2020-05-12
KR102186875B1 KR102186875B1 (ko) 2020-12-04

Family

ID=70679474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180133264A KR102186875B1 (ko) 2018-11-02 2018-11-02 움직임 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102186875B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312981A (zh) * 2021-05-07 2021-08-27 联通(广东)产业互联网有限公司 机房鼠类图像识别方法、***和存储介质
KR102510429B1 (ko) * 2022-05-06 2023-03-15 주식회사 그라인더 비디오의 객체, 동작, 및 맥락 기반의 메타데이터 생성 및 비디오 탐색 장치
WO2024111795A1 (ko) * 2022-11-25 2024-05-30 삼성전자주식회사 이미지 프레임들 내에서 피사체를 크롭하기 위한 전자 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111044A (ko) * 2008-04-21 2009-10-26 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
JP2010141668A (ja) * 2008-12-12 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090111044A (ko) * 2008-04-21 2009-10-26 중앙대학교 산학협력단 평균 이동 클러스터 및 초기 색상 갱신을 이용한 색상 기반객체 추적 장치 및 방법
JP2010141668A (ja) * 2008-12-12 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312981A (zh) * 2021-05-07 2021-08-27 联通(广东)产业互联网有限公司 机房鼠类图像识别方法、***和存储介质
CN113312981B (zh) * 2021-05-07 2024-05-28 联通(广东)产业互联网有限公司 机房鼠类图像识别方法、***和存储介质
KR102510429B1 (ko) * 2022-05-06 2023-03-15 주식회사 그라인더 비디오의 객체, 동작, 및 맥락 기반의 메타데이터 생성 및 비디오 탐색 장치
WO2024111795A1 (ko) * 2022-11-25 2024-05-30 삼성전자주식회사 이미지 프레임들 내에서 피사체를 크롭하기 위한 전자 장치 및 그 방법

Also Published As

Publication number Publication date
KR102186875B1 (ko) 2020-12-04

Similar Documents

Publication Publication Date Title
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US10402985B2 (en) Collision prediction
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
US8503726B2 (en) Image processing device, object tracking device, and image processing method
CN104103030B (zh) 图像分析方法、照相机装置、控制装置及控制方法
KR102186875B1 (ko) 움직임 추적 시스템 및 방법
Pundlik et al. Time to collision and collision risk estimation from local scale and motion
JP2020515974A (ja) 歩行者追跡の方法および電子デバイス
JP2019062527A (ja) エッジ演算を用いる多カメラシステムでのリアルタイムの対象再識別
JP7266599B2 (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
US11256911B2 (en) State recognition apparatus, state recognition method, and non-transitory computer-readable medium storing program
KR101648786B1 (ko) 객체 인식 방법
Valente et al. Holistically Nested Edge Detection and particle filtering for subtle vibration extraction
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
Shimasaki et al. HFR-video-based image pattern recognition using pixel-level temporal frequency response matching
JP2022516466A (ja) 情報処理装置、情報処理方法、並びにプログラム
KR20140123399A (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
KR102141946B1 (ko) 구조물의 모드 파라미터 식별 장치 및 방법
KR101320922B1 (ko) 가중 탐색 영역을 이용한 움직임 추적 및 아바타 제어 방법
JP2021077177A (ja) 動作認識装置、動作認識方法及び動作認識プログラム
KR101777948B1 (ko) 엔트로피와 배경변화율 차이점을 이용한 주요 객체 자동 검출 장치
KR102204582B1 (ko) 피검체의 관절의 관절각을 측정하는 방법 및 이를 이용한 장치

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant