KR101023951B1 - 행동인식 시스템 및 방법 - Google Patents

행동인식 시스템 및 방법 Download PDF

Info

Publication number
KR101023951B1
KR101023951B1 KR1020090022584A KR20090022584A KR101023951B1 KR 101023951 B1 KR101023951 B1 KR 101023951B1 KR 1020090022584 A KR1020090022584 A KR 1020090022584A KR 20090022584 A KR20090022584 A KR 20090022584A KR 101023951 B1 KR101023951 B1 KR 101023951B1
Authority
KR
South Korea
Prior art keywords
image
foreground
behavior recognition
distance data
behavior
Prior art date
Application number
KR1020090022584A
Other languages
English (en)
Other versions
KR20100104272A (ko
Inventor
양현승
채영남
김영호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090022584A priority Critical patent/KR101023951B1/ko
Publication of KR20100104272A publication Critical patent/KR20100104272A/ko
Application granted granted Critical
Publication of KR101023951B1 publication Critical patent/KR101023951B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

이 발명은 비디오카메라로 촬영된 영상에 포함된 인간의 행동을 실시간에 인식하는 시스템 및 방법에 관한 것이다.
이 발명의 행동인식 시스템은, 대상체와 배경을 포함한 영상이미지를 연속적으로 획득하는 비디오카메라와, 상기 대상체와 배경에 대해 각도에 따른 거리데이터를 연속적으로 획득하는 레이저스캐너와, 상기 영상이미지와 상기 거리데이터로부터 전경 영역을 추출하는 전경추출부와, 상기 전경추출부에서 추출된 전경 영상이미지로부터 상기 대상체의 움직임 특징을 추출하고 상기 전경추출부에서 추출된 전경 거리데이터로부터 상기 대상체의 움직임 방향을 추출하는 특징추출부와, 상기 대상체의 움직임 방향으로 학습되어진 행동인식모듈에 상기 대상체의 움직임 특징을 적용하여 상기 대상체의 행동을 인식하는 행동인식부를 포함한다.
Figure R1020090022584
비디오카메라, 레이저스캐너, 행동인식, MLP, MHI, EMO, 움직임 방향

Description

행동인식 시스템 및 방법 {motion recognition system and method}
이 발명은 행동인식 시스템 및 방법에 관한 것으로서, 보다 상세하게는 비디오카메라로 촬영된 영상에 포함된 인간의 행동을 실시간에 인식하는 시스템 및 방법에 관한 것이다.
지능형 비디오 감시시스템 등과 같은 보안관련분야, 인간과의 상호교류 수행능력을 지닌 지능형 로봇, 지능형 가전제품 등 많은 분야에서 인간의 행동인식 기술이 적용된다.
종래의 행동인식 기술로서, Bobick, A. F외 1인이 발표한 논문 ["The Recognition of Human Movement Using Temporal Templates", IEEE Transactions on pattern Analysis and Machine Intelligence, 2001]이 있다. 이 논문에서는 시간에 따라 정면에 있는 사람의 실루엣을 가중 누적한 MHI(motion history image)를 이용하여 행동을 인식하는 기술이 개시된다. 그러나, 이 기술은 고정된 한 대의 비디오카메라를 이용하기 때문에, 비디오카메라가 촬영한 영상에서의 인간의 움직 임 방향이 행동인식기가 학습한 방향과 일치하지 않으면 행동인식을 수행할 수 없는 문제점이 있다.
이러한 문제점을 해결하기 위한 종래의 행동인식 기술로서, Weinland, D.외 2인이 발표한 논문 ["Free Viewpoint Action Recognition using Motion History Volumes", Computer Vision and Image Understanding, 2006]이 있다. 이 논문에 개시된 기술은 4대의 카메라로부터 입력되는 영상을 정합하여 3차원 모델을 생성하기 때문에, 시점으로부터 자유로운 행동인식이 가능한 잇점이 있다. 그러나, 4대의 카메라 데이터를 정합하는 과정은 복잡한 계산을 필요로 하므로 실시간 동작이 불가능한 문제점이 있다. 또한, 이 종래기술은 4대의 카메라가 모두 대상체를 포착하여야만 행동인식이 가능하고, 한 대의 카메라라도 대상체를 포착하지 못한 상태에서는 행동인식을 수행할 수 없는 문제점이 있다. 또한, 행동인식을 하고자 하는 모든 공간마다 4대의 카메라를 설치해야 하므로 행동인식 시스템을 구축하는데 너무 많은 비용이 소요되는 문제점이 있다.
상기한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 레이저스캐너를 이용하여 인간의 움직임 방향을 측정하고 그 측정된 움직임 방향으로 학습된 행동인식모듈을 이용하여 인간의 행동인식을 수행하는 행동인식 시스템 및 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 이 발명에 따른 행동인식 시스템은, 대상체와 배경을 포함한 영상이미지를 연속적으로 획득하는 비디오카메라와, 상기 대상체와 배경에 대해 각도에 따른 거리데이터를 연속적으로 획득하는 레이저스캐너와, 상기 영상이미지와 상기 거리데이터로부터 전경 영역을 추출하는 전경추출부와, 상기 전경추출부에서 추출된 전경 영상이미지로부터 상기 대상체의 움직임 특징을 추출하고 상기 전경추출부에서 추출된 전경 거리데이터로부터 상기 대상체의 움직임 방향을 추출하는 특징추출부와, 상기 대상체의 움직임 방향으로 학습되어진 행동인식모듈에 상기 대상체의 움직임 특징을 적용하여 상기 대상체의 행동을 인식하는 행동인식부를 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 행동인식 방법은, 대상체와 배경을 포함한 영상이미지를 연속적으로 획득하는 영상이미지획득단계와, 상기 대상체와 배경에 대해 각도에 따른 거리데이터를 연속적으로 획득하는 거리데이터획득단계와, 상기 영상이미지와 상기 거리데이터로부터 전경 영역을 추출하는 전경추출단계와, 상기 전경추출단계에서 추출된 전경 영상이미지로부터 상기 대상체의 움직임 특징을 추출하고 상기 전경추출단계에서 추출된 전경 거리데이터로부터 상기 대상체의 움직임 방향을 추출하는 특징추출단계와, 상기 대상체의 움직임 방향으로 학습되어진 행동인식모듈에 상기 대상체의 움직임 특징을 적용하여 상기 대상체의 행동을 인식하는 행동인식단계를 포함한 것을 특징으로 한다.
이상과 같이 이 발명에 따르면, 레이저스캐너를 이용하여 움직임 방향을 측정하고, 측정된 움직임 방향으로 학습된 행동인식모듈로 대상체의 행동인식을 하기 때문에 대상체의 움직임 방향에 무관한 행동인식이 가능한 잇점이 있다. 또한, 한 대의 비디오카메라가 촬영한 한 개의 비디오영상으로부터 대상체의 MHI를 추출하여 신호처리함으로써 행동인식을 하기 때문에 처리되는 정보량이 적어서 실시간 처리가 가능한 잇점이 있다. 또한, 한 대의 레이저스캐너와 한 대의 비디오카메라를 이용하여 한 공간에서의 인간의 행동을 인식할 수 있기 때문에 행동인식 시스템 구현 비용이 저렴한 잇점이 있다.
이하, 첨부된 도면을 참조하여 이 발명의 한 실시예에 따른 행동인식 시스템 및 방법을 보다 상세하게 설명한다.
도 1은 이 발명의 한 실시예에 따른 행동인식 시스템을 도시한 기능 블록도이다.
이 발명의 행동인식 시스템은 대상체를 포함한 영상이미지를 연속적으로 획득하는 비디오카메라(110)와, 각도에 따른 거리데이터를 연속적으로 획득하는 레이저스캐너(120)와, 영상이미지와 거리데이터를 측정하여 동기화하는 측정부(130)와, 영상이미지와 거리데이터로부터 전경 영역을 추출하는 전경추출부(140)와, 전경추출부(140)에서 추출된 전경 영상이미지로부터 대상체의 움직임 특징을 추출하고 전경 거리데이터로부터 대상체의 움직임 방향을 추출하는 특징추출부(150)와, 대상체의 움직임 방향으로 학습되어진 행동인식모듈에 대상체의 움직임 특징을 적용하여 대상체의 행동을 인식하는 행동인식부(160)를 포함한다.
전경추출부(141)는 영상이미지와 거리데이터에 대해 각각 전경 영역을 추출하는 제1전경추출모듈(141)과 제2전경추출모듈(142)로 이루어진다. 제1전경추출모듈(141)은 영상이미지의 전경 영역을 추출하는 바, 배경을 촬영한 영상이미지를 저장하고, 비디오카메라(110)로부터 입력되는 대상체를 포함한 영상이미지와 배경 영상이미지의 차이를 계산하고, 그 차이가 큰 부분을 전경 영상이미지로 추출한다. 도 2a는 비디오카메라에서 획득한 비디오영상을 도시하고, 도 2b는 비디오영상으로부터 추출된 전경 영상이미지를 도시한다.
이와 마찬가지로, 제2전경추출모듈(142)은 거리데이터의 전경 영역을 추출하는 바, 배경에서의 각도별 거리데이터를 저장하고, 레이저스캐너(120)로부터 입력되는 각도별 거리데이터와 배경 거리데이터의 차이를 계산하고, 그 차이가 큰 부분 을 전경 거리데이터로 추출한다. 도 3은 레이저스캐너에서 획득한 각도별 거리데이터를 도시한 도면이다.
특징추출부(150)는 연속되는 전경 영상이미지로부터 MHI(Motion History Image)를 추출하는 MHI추출모듈(151)과, 전경 거리데이터의 변화량으로부터 대상체의 움직임 방향을 추출하는 EMO(Extract Moving Orientation)모듈(152)로 이루어진다.
MHI추출모듈(151)은 도 4에 도시된 바와 같이 연속되는 전경 영상이미지의 실루엣을 시간에 따라 다른 가중치를 부여하여 합한 이미지를 출력한다. 즉, 오래전 실루엣에는 작은 가중치를 부여하고 최근 실루엣에는 높은 가중치를 부여하여 합한다. 그러면 행동의 시간에 따른 실루엣의 변화가 하나의 이미지로 표현되며, 이로써 행동인식모듈이 행동인식을 할 수 있게 된다.
EMO모듈(152)은 대상체의 움직임 방향을 추출하는데, EMO모듈(152)의 원리는 도 5에 도시된 바와 같다. 도 5는 비디오카메라(110)와 레이저스캐너(120)가 일측벽의 중앙에 설치된 경우의 예시이다. 즉, 도 5의 원점에 레이저스캐너(120)가 장착된 경우로서, x축의 좌측선이 기준선으로 설정된다. 대상체가 좌표들((X11,Y11) 내지 (X1n,Y1n)) 및 좌표들((X21,Y21) 내지 (X2m,Y2m))의 위치로 이동할 경우, 예전의 전경 거리데이터의 좌표들((X11,Y11) 내지 (X1n,Y1n))에서 대상체가 추출되고, 최근의 전경 거리데이터의 좌표들((X21,Y21) 내지 (X2m,Y2m))에서 대상체가 추출된다. 이때, 대상체의 움직임 방향은 좌표들((X11,Y11) 내지 (X1n,Y1n))로부터 좌표들((X21,Y21) 내지 (X2m,Y2m))로의 벡터이다. 이 대상체의 움직임 방향을 기 준선과의 사이각도로 표현하면 θgoal이다.
좌표들((X11,Y11) 내지 (X1n,Y1n))로부터 좌표들((X21,Y21) 내지 (X2m,Y2m))를 이용하여 θgoal을 구하는 식은 아래의 수학식 1과 같다.
Figure 112009016054302-pat00001
여기서, d1은 원점으로부터 좌표(X11,Y11) 내지 좌표(X1n,Y1n)까지의 거리의 평균값으로서, 예전의 전경 거리데이터로부터 얻어지는 레이저스캐너와 대상체까지의 거리의 평균값을 의미한다. d2는 원점으로부터 좌표(X21,Y21) 내지 좌표(X2m,Y2m)까지의 거리의 평균값으로서, 최근 전경 거리데이터로부터 얻어지는 레이저스캐너와 대상체까지의 거리의 평균값을 의미한다. θ1은 원점을 중심으로 기준선과 좌표(X11,Y11) 내지 좌표(X1n,Y1n)이 이루는 각도의 평균값이고, θ2은 원점을 중심으로 기준선과 좌표(X21,Y21) 내지 좌표(X2m,Y2m)이 이루는 각도의 평균값이다. 위 d1, d2, θ1, θ2를 수식으로 표현하면 아래의 수학식 2와 같다.
Figure 112009016054302-pat00002
여기서, d11은 원점과 좌표(X11,Y11) 사이의 거리이고, d12는 원점과 좌 표(X12,Y12) 사이의 거리이고, ..., d1n은 원점과 좌표(X1n,Y1n) 사이의 거리이다. d21은 원점과 좌표(X21,Y21) 사이의 거리이고, d22는 원점과 좌표(X22,Y22) 사이의 거리이고, ..., d2m은 원점과 좌표(X2m,Y2m) 사이의 거리이다. θ11은 원점을 중심으로 기준선과 좌표(X11,Y11) 사이의 각도이고, θ12는 원점을 중심으로 기준선과 좌표(X12,Y12) 사이의 각도이고, ..., θ1n은 원점을 중심으로 기준선과 좌표(X1n,Y1n) 사이의 각도이다. θ21은 원점을 중심으로 기준선과 좌표(X21,Y21) 사이의 각도이고, θ22는 원점을 중심으로 기준선과 좌표(X22,Y22) 사이의 각도이고, ..., θ2m은 원점을 중심으로 기준선과 좌표(X2m,Y2m) 사이의 각도이다.
행동인식부(160)는 MHI추출모듈(151)에서 추출된 MHI를 기반으로 행동을 인식하도록 학습되어진 적어도 2개 이상의 행동인식모듈들(161~164)과, EMO모듈(152)에서 추출된 대상체의 움직임 방향 정보를 이용하여 다수의 행동인식모듈들(161~164) 중 하나를 선택하여 MHI추출모듈(151)에서 추출된 대상체의 MHI를 제공하는 선택모듈(165)로 이루어진다. 다수의 행동인식모듈들(161~164)은 각각 다른 움직임 방향의 행동을 인식하도록 학습되어진다.
이 발명의 실시예에서는 4개의 행동인식모듈들(161~164)로 이루어진 행동인식부(160)를 예시하는 바, 제1행동인식모듈(161)은 0°/180° 행동인식모듈로서 0°/180°의 움직임 방향의 행동을 인식하도록 학습되어지고, 제2행동인식모듈(162)은 45°행동인식모듈로서 45°의 움직임 방향의 행동을 인식하도록 학습되어지며, 제3행동인식모듈(163)은 90°행동인식모듈로서 90°의 움직임 방향의 행동을 인식하도록 학습되어지고, 제4행동인식모듈(164)은 135°행동인식모듈로서 135°의 움 직임 방향의 행동을 인식하도록 학습되어진다.
선택모듈(165)은 대상체의 움직임 방향 즉, EMO모듈(152)에서 추출된 θgoal을 기반으로 이 θgoal과 가장 유사한 움직임 방향으로 학습된 행동인식모듈을 선택하여 대상체의 MHI를 제공한다. 각 행동인식모듈들(161~164)은 MLP(Multi Layer Perceptron) 기반 인식기로서, 하나의 움직임 방향에서의 샘플대상체의 MHI를 기반으로 행동을 인식하도록 학습이 이루어져 있으며, 선택모듈로부터 제공받은 대상체의 MHI를 이용하여 대상체가 현재 행하고 있는 행동을 인식한다. 이 행동인식모듈의 행동학습 및 행동인식은 간행물 ["패턴인식", 오일석, 교보문고, 4장]에 상세하게 기술되어 있다.
상술한 이 발명의 행동인식 시스템의 동작을 설명한다.
먼저, 비디오카메라(110)는 대상체와 배경을 포함한 영상이미지를 연속적으로 획득한다[영상이미지획득단계]. 레이저스캐너(120)는 대상체와 배경에 대해 각도에 따른 거리데이터를 연속적으로 획득한다[거리데이터획득단계]. 측정부(130)는 비디오카메라(110)에서 획득된 영상이미지와 레이저스캐너(120)에서 획득된 거리데이터에 대해 시간과 각도를 동기시킨다.
다음, 영상이미지획득단계와 거리데이터획득단계에서 획득된 영상이미지 및 거리데이터와, 배경 영상이미지 및 배경 거리데이터와의 차이를 구하여 그 차이가 임계값 이상인 영역을 전경 영역으로 추출한다[전경추출단계]. 다음, MHI추출모듈(151)은 전경추출단계에서 추출된 전경 영상이미지로부터 상기 대상체의 MHI(motion history image)를 추출하고[MHI추출단계], EMO(extract moving orientation)모듈(152)은 전경추출단계에서 추출된 전경 거리데이터로부터 상기 대상체의 움직임 방향을 추출한다[EMO단계].
다음, 행동인식부는 대상체의 움직임 방향으로 학습되어진 행동인식모듈에 상기 대상체의 MHI를 적용하여 상기 대상체의 행동을 인식한다[행동인식단계].
이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
도 1은 이 발명의 한 실시예에 따른 행동인식 시스템을 도시한 기능 블록도,
도 2a는 비디오카메라에서 획득한 비디오영상을 도시한 도면, 도 2b는 비디오영상으로부터 추출된 전경 영상이미지를 도시한 도면,
도 3은 레이저스캐너에서 획득한 각도별 거리데이터를 도시한 도면,
도 4는 MHI추출모듈에서 출력되는 대상체의 MHI를 도시한 도면,
도 5는 EMO모듈에서 대상체의 움직임 방향을 추출하는 원리를 설명하기 위하여 도시한 도면이다.
※ 도면의 주요 부분에 대한 부호의 간단한 설명 ※
110 : 비디오카메라 120 : 레이저스캐너
130 : 측정부 140 : 전경추출부
150 : 특징추출부 160 : 행동인식부

Claims (13)

  1. 대상체와 배경을 포함한 영상이미지를 연속적으로 획득하는 비디오카메라와,
    상기 대상체와 배경에 대해 각도에 따른 거리데이터를 연속적으로 획득하는 레이저스캐너와,
    상기 영상이미지와 상기 거리데이터로부터 전경 영역을 추출하는 전경추출부와,
    상기 전경추출부에서 추출된 전경 영상이미지로부터 상기 대상체의 움직임 특징을 추출하고, 상기 전경추출부에서 추출된 전경 거리데이터로부터 상기 대상체의 움직임 방향을 추출하는 특징추출부와,
    상기 대상체의 움직임 방향으로 학습되어진 행동인식모듈에 상기 대상체의 움직임 특징을 적용하여 상기 대상체의 행동을 인식하는 행동인식부를 포함한 것을 특징으로 하는 행동인식 시스템.
  2. 제 1 항에 있어서, 상기 비디오카메라에서 획득된 영상이미지와 상기 레이저스캐너에서 획득된 거리데이터를 측정하여 동기화하는 측정부를 더 포함한 것을 특징으로 하는 행동인식 시스템.
  3. 제 1 항에 있어서, 상기 전경추출부는 상기 대상체와 배경이 모두 포함된 영상이미지 및 거리데이터와, 상기 배경의 영상이미지 및 거리데이터와의 차가 임계값 이상인 영역을 상기 전경 영역으로 추출하는 것을 특징으로 하는 행동인식 시스템.
  4. 제 1 항에 있어서, 상기 특징추출부는 상기 전경 영상이미지로부터 상기 대상체의 MHI(motion history image)를 추출하는 MHI추출모듈과, 상기 전경 거리데이터의 변화량으로부터 상기 대상체의 움직임 방향을 추출하는 EMO(Extract Moving Orientation)모듈을 포함한 것을 특징으로 하는 행동인식 시스템.
  5. 제 4 항에 있어서, 상기 행동인식부는 다수의 움직이는 샘플 이미지의 MHI를 기반으로 상기 샘플의 행동을 인식하도록 학습되어진 적어도 2개 이상의 행동인식모듈들과, 상기 EMO모듈에서 추출된 상기 대상체의 움직임 방향을 이용하여 상기 다수의 행동인식모듈들 중 하나를 선택하고 상기 선택된 행동인식모듈에 상기 대상체의 MHI를 제공하는 선택모듈을 포함한 것을 특징으로 하는 행동인식 시스템.
  6. 제 5 항에 있어서, 상기 다수의 행동인식모듈들은 각각 서로 다른 움직임 방향의 행동을 인식하도록 학습되어진 것을 특징으로 하는 행동인식 시스템.
  7. 제 6 항에 있어서, 상기 선택모듈은 상기 대상체의 움직임 방향과 가장 유사한 움직임 방향으로 학습된 행동인식모듈을 선택하는 것을 특징으로 하는 행동인식 시스템.
  8. 대상체와 배경을 포함한 영상이미지를 연속적으로 획득하는 영상이미지획득단계와,
    상기 대상체와 배경에 대해 각도에 따른 거리데이터를 연속적으로 획득하는 거리데이터획득단계와,
    상기 영상이미지와 상기 거리데이터로부터 전경 영역을 추출하는 전경추출단계와,
    상기 전경추출단계에서 추출된 전경 영상이미지로부터 상기 대상체의 움직임 특징을 추출하고, 상기 전경추출단계에서 추출된 전경 거리데이터로부터 상기 대상체의 움직임 방향을 추출하는 특징추출단계와,
    상기 대상체의 움직임 방향으로 학습되어진 행동인식모듈에 상기 대상체의 움직임 특징을 적용하여 상기 대상체의 행동을 인식하는 행동인식단계를 포함한 것을 특징으로 하는 행동인식 방법.
  9. 제 8 항에 있어서, 상기 영상이미지와 상기 거리데이터를 측정하여 동기화한 후 상기 전경추출단계로 진행하는 것을 특징으로 하는 행동인식 방법.
  10. 제 8 항에 있어서, 상기 전경추출단계는 상기 대상체와 배경이 모두 포함된 영상이미지 및 거리데이터와, 상기 배경의 영상이미지 및 거리데이터와의 차가 임계값 이상인 영역을 상기 전경 영역으로 추출하는 것을 특징으로 하는 행동인식 방법.
  11. 제 8 항에 있어서, 상기 특징추출단계는 상기 전경 영상이미지로부터 상기 대상체의 MHI(motion history image)를 추출하는 MHI추출단계와, 상기 전경 거리데이터의 변화량으로부터 상기 대상체의 움직임 방향을 추출하는 EMO(Extract Moving Orientation)단계를 포함한 것을 특징으로 하는 행동인식 방법.
  12. 제 11 항에 있어서, 상기 행동인식단계는,
    복수의 움직이는 샘플 이미지의 MHI를 기반으로 상기 샘플의 행동을 인식하도록 학습되어진 적어도 2개 이상의 행동인식모듈들에 대해, 상기 EMO모듈에서 추출된 상기 대상체의 움직임 방향을 이용하여 상기 다수의 행동인식모듈들 중 하나를 선택하고 상기 선택된 행동인식모듈에 상기 대상체의 MHI를 제공하는 것을 특징으로 하는 행동인식 방법.
  13. 제 12 항에 있어서, 상기 다수의 행동인식모듈들은 각각 서로 다른 움직임 방향의 행동을 인식하도록 학습되어진 것을 특징으로 하는 행동인식 방법.
KR1020090022584A 2009-03-17 2009-03-17 행동인식 시스템 및 방법 KR101023951B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090022584A KR101023951B1 (ko) 2009-03-17 2009-03-17 행동인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090022584A KR101023951B1 (ko) 2009-03-17 2009-03-17 행동인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20100104272A KR20100104272A (ko) 2010-09-29
KR101023951B1 true KR101023951B1 (ko) 2011-03-28

Family

ID=43008541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090022584A KR101023951B1 (ko) 2009-03-17 2009-03-17 행동인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101023951B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099292A1 (ko) * 2015-12-11 2017-06-15 연세대학교 산학협력단 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
KR20200024675A (ko) * 2018-08-28 2020-03-09 한국전자통신연구원 휴먼 행동 인식 장치 및 방법
KR102344278B1 (ko) 2021-09-17 2021-12-27 이종석 차량 제어장치
KR20220057389A (ko) 2020-10-29 2022-05-09 주식회사 딥비전스 행동 인식 장치 및 방법
KR20220109622A (ko) 2021-01-29 2022-08-05 서강대학교산학협력단 동영상 기반 행동인식 장치 및 이의 동작방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136303A (ko) 2013-05-20 2014-11-28 삼성전자주식회사 하이브리드 신체 인식을 위한 장치 및 방법
KR102010129B1 (ko) 2017-05-26 2019-08-12 한국과학기술원 로봇의 행동 모방 장치 및 그 방법
KR102644164B1 (ko) * 2020-09-16 2024-03-07 한국생산기술연구원 단위행동 딥러닝 모델의 학습 방법과 이를 이용한 로봇 제어 방법
CN112733676A (zh) * 2020-12-31 2021-04-30 青岛海纳云科技控股有限公司 一种基于深度学习的电梯内垃圾检测识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184780A (ja) 2006-01-06 2007-07-19 Ihi Aerospace Co Ltd 遠隔監視装置
KR100847143B1 (ko) * 2006-12-07 2008-07-18 한국전자통신연구원 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184780A (ja) 2006-01-06 2007-07-19 Ihi Aerospace Co Ltd 遠隔監視装置
KR100847143B1 (ko) * 2006-12-07 2008-07-18 한국전자통신연구원 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017099292A1 (ko) * 2015-12-11 2017-06-15 연세대학교 산학협력단 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
KR20200024675A (ko) * 2018-08-28 2020-03-09 한국전자통신연구원 휴먼 행동 인식 장치 및 방법
KR102152717B1 (ko) * 2018-08-28 2020-09-07 한국전자통신연구원 휴먼 행동 인식 장치 및 방법
US10789458B2 (en) 2018-08-28 2020-09-29 Electronics And Telecommunications Research Institute Human behavior recognition apparatus and method
KR20220057389A (ko) 2020-10-29 2022-05-09 주식회사 딥비전스 행동 인식 장치 및 방법
KR20220109622A (ko) 2021-01-29 2022-08-05 서강대학교산학협력단 동영상 기반 행동인식 장치 및 이의 동작방법
KR102344278B1 (ko) 2021-09-17 2021-12-27 이종석 차량 제어장치
US12012041B2 (en) 2021-09-17 2024-06-18 Chong Suk LEE Vehicle control system

Also Published As

Publication number Publication date
KR20100104272A (ko) 2010-09-29

Similar Documents

Publication Publication Date Title
KR101023951B1 (ko) 행동인식 시스템 및 방법
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
EP2858008B1 (en) Target detecting method and system
CN108447078B (zh) 基于视觉显著性的干扰感知跟踪算法
US9462160B2 (en) Color correction device, method, and program
US9697420B2 (en) Information processing system, information processing method, and computer-readable recording medium
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
US11270461B2 (en) System and method for posture sequence on video from mobile terminals
EP2555159A1 (en) Face recognition device and face recognition method
Kim et al. Skeleton-based action recognition of people handling objects
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
EP4137901A1 (en) Deep-learning-based real-time process monitoring system, and method therefor
KR100572768B1 (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
US20220366570A1 (en) Object tracking device and object tracking method
Martínez-González et al. Residual pose: A decoupled approach for depth-based 3D human pose estimation
Weinrich et al. Appearance-based 3D upper-body pose estimation and person re-identification on mobile robots
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
KR102614895B1 (ko) 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
CN112465860A (zh) 一种用于门的运行状态检查方法及检查设备
ElSayed et al. Body and visual sensor fusion for motion analysis in Ubiquitous healthcare systems
Lablack et al. Analysis of human behaviour in front of a target scene

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 10