KR20150065370A - 행동 인식 장치 및 그 방법 - Google Patents

Abstract

본 발명은 임의의 사람이 카메라와 같은 촬영장치 앞에서 취하는 일련의 행동을 인식하는 장치 및 그 방법에 관한 것이다. 행동 인식 장치는 촬영 장치로부터 깊이 영상을 지속적으로 수신하는 영상 수신부, 영상 수신부에서 수신하는 연속된 깊이 영상들을 이용하여 모션 스토리 맵을 생성하는 맵 생성부, 특정 시점에 생성된 모션 스토리 맵에 대해서 행동 인식에 사용되는 특징을 추출하는 특징 추출부, 특징 추출부에서 추출한 특징과, 이전에 저장된 각 등록 행동들의 서브 비디오 특징을 서브 비디오 단위로 매칭하는 매칭부, 서브 비디오 단위로 매칭한 결과를 이용하여 유사도를 산출하는 유사도 산출부 및 유사도를 산출부에서 산출한 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식 행동으로 결정하는 최종 행동 인식부를 포함한다.

Description

행동 인식 장치 및 그 방법{APPARATUS AND METHOD FOR RECOGNIZING HUMAN ACTIONS}

본 발명은 행동 인식 장치 및 그 방법에 관한 것으로, 특히 임의의 사람이 카메라와 같은 촬영장치 앞에서 취하는 일련의 행동을 인식하는 장치 및 그 방법에 관한 것이다.

촬영장치 예를 들어, 카메라가 획득한 비디오 영상에서 사람의 행동(action)을 인식하는 방법에 관한 연구는 오랫동안 수행되어 왔으며, 그 활용 분야 또한 다양하다.

사람의 자세 및 행동에 관한 연구는 동영상(video)의 색인(indexing), 편집(editing), 검색(searching)등에 주로 활용되며, 침입, 배회, 폭행, 실신 등의 비정상적인 행동패턴을 인식하여 경고 메시지를 발생하는 CCTV 감시분야에서도 널리 활용되고 있다. 또한 마이크로소프트의 키넥트(Kinect)라는 저가의 3차원 카메라가 소개된 이후로 3D 영상에서 사람의 행동을 인식하려는 연구가 활발하게 진행되고 있다.

사람의 행동을 인식하려는 연구에 있어서 해결해야 하는 핵심문제는 크게 두가지로 요약될 수 있다.

첫째, 동일한 행동에 대하여 사람마다 다른 다양한 행동 패턴을 가지고 있음에도 불구하고 어떻게 이 행동을 잘 인식할 수 있을 것인가라는 문제이다.

예를 들어, 야구공을 던지는 행동을 인식하고자 할 때, 사람마다 각기 던지는 동작, 자세, 궤적 등의 패턴이 다를 수가 있다. 이러한 다양한 행동 패턴에도 불구하고 행동 인식 장치는 임의의 사람이 취하는 야구공을 던지는 행동을 인식 대상 리스트에 있는 다른 행동(예를 들어, 공을 치는 행동, 테니스 서브를 넣는 행동, 박수를 치는 행동 등)과 구별하여 잘 인식할 수 있어야 한다.

둘째, 학습(또는 등록)된 데이터의 부족 문제이다.

행동 인식 장치가 특정 행동을 인식하고자 한다면, 사전에 그 행동이 어떠한 패턴을 가지는지 학습하는 단계를 반드시 거쳐야 한다. 즉, 야구공을 던지는 행동을 인식하려면, 공을 던지는 연속 영상(비디오)을 행동 인식 장치에 미리 제공해줘야 한다. 여러 사람이 행하는 다양한 행동 패턴을 많이 행동 인식 장치에 제공해줄수록 그 행동 인식 장치의 인식 능력은 증가한다

하지만, 행동 인식에 있어서 다양한 행동 비디오를 확보하기란 쉬운 일이 아니다. 예를 들어, 수화와 같이 대상 행동이 명확하게 정해져 있는 경우에는 비용을 들여 대용량의 행동 비디오 데이터베이스를 확보할 수도 있다. 하지만 공을 던지거나, 컵으로 물을 마시거나, 길을 가다가 넘어진다거나 하는 일상 행동들은 너무나 다양하여 그 대상을 미리 규정지을 수가 없기 때문에 대용량 행동 비디오를 미리 확보할 수가 없다.

일반적으로 인식 대상에 대한 행동 리스트는 행동 인식 장치를 사용하는 응용에 의하여 결정되므로, 행동 리스트에 행동은 용이하게 추가되거나 삭제될 수 있어야 한다. 많은 응용들은 간단하게 몇 개의 비디오만으로 학습을 하고 행동 인식이 잘 되기를 바랄 것이며, 다양한 학습 비디오를 수집하기 위한 비용을 감수하려 하지 않을 것이다. 더구나 어떠한 행동을 추가할 때마다 다양한 비디오를 수집한다는 것은 현실적으로 불가능하다.

행동 인식 장치는 동일한 행동에 대한 다양한 행동 패턴 문제와 학습 데이터의 부족 문제를 효과적으로 해결할 수 있어야 한다. 많은 행동 인식 장치 및 방법들이 언급한 문제들을 해결하기 위하여 다양한 방법들을 시도하고 있다.

예를 들어, 한국공개특허 제2013-0103213호는 감시 대상 지역에 대한 영상에 기초하여, 다중 객체의 움직임 중 비정상 군중 행동을 탐지 및 분석하는 기술에 관하여 기재하고 있다.

이와 같이, 종래의 행동 인식 방법은 연속된 영상으로 이루어진 하나의 행동 비디오가 입력되면, 비디오를 대표할 수 있는 하나의 특징 벡터를 추출한다. 다음, 복수개의 학습 비디오에 대하여 복수개의 학습용 특징 벡터를 추출하고 이를 SVM 이나 신경회로망 같은 통계적 방법으로 학습을 한다. 인식 단계에서도 같은 방법으로 인식 대상 행동 비디오에 대하여 하나의 특징 벡터를 추출하고 이를 학습된 분류기에 입력하여 최종 인식 결과를 산출한다.

또 다른 방법은 하나의 행동 비디오가 입력되면, 이 행동을 구성하는 대표적인 몇 개의 핵심 자세(key posture)들을 추출하고, 이 추출된 자세들이 시간의 경과에 따라 다음 자세로 어떠한 확률로 변해가는지를 확률모델을 사용하여 학습을 한다. 인식 시에도 추출된 핵심 자세들의 자세 전이상태가 확률 값으로 산출되며 가장 높은 확률 값을 갖는 학습 행동이 최종인식 결과로 산출된다.

이러한 종래의 행동 인식 방법은 앞에서 기재한 핵심문제를 해결하기 위하여 서로 다른 행동들의 구별에 용이한 좋은 특징을 추출하는 일에 초점을 두고 있다. 좋은 특징을 추출하는 것은 분명 문제 해결의 중요한 요소이다. 하지만, 학습된 행동과 등록된 행동을 어떻게 효과적으로 매칭하여 분류할 것인가 하는 문제 또한 매우 중요하다.

본 발명의 목적은 임의의 사람이 카메라와 같은 촬영장치 앞에서 취하는 일련의 행동을 인식하는 장치 및 그 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 행동 인식 장치는

촬영 장치로부터 깊이 영상을 지속적으로 수신하는 영상 수신부; 상기 영상 수신부에서 수신하는 연속된 깊이 영상들을 이용하여 모션 스토리 맵을 생성하는 맵 생성부; 특정 시점에 생성된 모션 스토리 맵에 대해서 행동 인식에 사용되는 특징을 추출하는 특징 추출부; 상기 특징 추출부에서 추출한 특징과, 이전에 저장된 각 등록 행동들의 서브 비디오 특징을 서브 비디오 단위로 매칭하는 매칭부; 상기 서브 비디오 단위로 매칭한 결과를 이용하여 유사도를 산출하는 유사도 산출부; 및

상기 유사도를 산출부에서 산출한 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식 행동으로 결정하는 최종 행동 인식부를 포함한다.

본 발명에 따르면, 행동 인식 장치 및 그 방법은 사람의 행동을 인식함에 있어서, 동일한 행동에서의 행동 패턴의 다양성 및 학습 데이터의 부족으로 인해 발생할 수 있는 인식률 저하 문제를 효과적으로 해결하고, 궁극적으로 행동 인식률을 향상 시킬 수 있다.

또한, 본 발명은 좋은 특징 추출에 중점을 두고 있던 종래의 기술들과 다르게 학습된 행동과 인식 대상 행동을 서브 비디오 단위로 효과적으로 매칭하여 분류하는 방법에 초점을 두고 있으므로, 종래의 특징 추출 방법들과의 결합이 용이하며, 효과적으로 융합될 경우 행동 인식 장치의 성능 개선 폭을 배가시킬 수 있다.

도 1은 본 발명의 실시예에 따른 행동 인식 장치가 적용되는 환경을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 행동 인식 장치를 개략적으로 나타내는 구성도이다.
도 3은 바닥에 있는 물건을 주워서 던지는 행동에 대한 유사도를 산출하는 방법을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 행동 인식 장치에서 수신하는 깊이 영상을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 행동 인식 장치에서 생성하는 모션 히스토리 맵을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 행동 인식 방법을 나타내는 흐름도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예 따른 행동 인식 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 실시예에 따른 행동 인식 장치가 적용되는 환경을 나타내는 도면이고, 도 2는 본 발명의 실시예에 따른 행동 인식 장치를 개략적으로 나타내는 구성도이다. 또한, 도 3은 본 발명의 실시예에 따른 행동 인식 장치를 설명하는데 필요한 참고도이다.

도 1을 참고하면, 본 발명의 실시예에 따른 행동 인식 장치(200)는 인식 대상을 촬영하는 촬영 장치(100)와 연동하여 동작한다. 여기서, 촬영 장치(100)는 3D 카메라일 수 있으며, 이에 한정되지 않는다.

도 2를 참고하면, 행동 인식 장치(200)는 영상 수신부(210), 맵 생성부(220), 특징 추출부(230), 매칭부(240), 모델 저장부(250), 유사도 산출부(260) 및 최종 행동 인식부(270)를 포함한다.

영상 수신부(210)는 촬영 장치(100)로부터 깊이 영상을 지속적으로 수신한다.

맵 생성부(220)는 영상 수신부(210)가 수신하는 연속된 깊이 영상들을 이용하여 모션 스토리 맵(motion history map, MHM)을 생성한다. 여기서, 모션 스토리 맵(MHM)은 인접한 깊이 영상 사이에서 깊이 값의 변화(= 모션)가 발생한 픽셀을 발생한 시간 정보와 함께 표시한 맵에 해당하는 것으로, 수학식 1과 같이 나타낸다.

[수학식 1]

수학식 1을 참고하면, MHM(i,j,t)는 t시점에서의 (i,j) 이미지 좌표에서 모션 히스토리 값이다. 또한, D(i,j,t)는 t시점에서의 (i,j) 이미지 좌표에서 깊이값이다.

수학식 1은 (i,j) 픽셀에서의 인접한 깊이 영상 간의 깊이 값의 차가 모션 발생 임계치(δ)보다 크면 모션 히스토리 값으로 τ를 할당하고, 그렇지 않으면 이전 모션 히스토리 값에서 1을 뺀값과 0 중에서 큰 값을 할당하는 것을 나타내고 있다. 여기서, τ는 t시점에서 모션 히스토리 맵을 생성할 때 필요한 이전 프레임의 수 즉, 서브 비디오의 크기를 의미한다.

예를 들어, 도 4는 영상 수신부(210)에서 수신한 깊이 영상에 해당한다. 즉, 맵 생성부(220)는 도 4와 같은 깊이 영상을 수학식 1에 적용함으로써, 도 5와 같은 모션 히스토리 맵을 생성할 수 있다.

도 5를 참고하면, 최근에 모션이 발생한 픽셀일수록 더 밝게 표시되며, 이전에 모션이 발생했던 픽셀에서 다시 모션이 발생하지 않으면(다음 프레임이 더 입력될 수록) 점점 더 어둡게 표시된다. 또한, 모션이 아예 발생하지 않았거나, 모션이 발생한 후 τ만큼의 프레임이 더 입력되어도 같은 위치에서 모션이 발생하지 않게 되면 결국 0으로 표시된다.

특징 추출부(230)는 특정 시점(t)에 생성된 모션 히스토리 맵(MHM)에 대해서 행동인식에 적합한 특징을 추출한다. 특징 추출부(230)에서 추출된 특징은 모션 히스토리 맵(MHM)을 생성하는데 사용된 τ개의 이전 프레임으로 구성된 서브 비디오를 대표하는 특징에 해당한다.

매칭부(240)는 특징 추출부(230)에서 추출된 특징과 모델 저장부(250)에 저장된 각 등록 행동들의 서브 비디오 특징을 서브 비디오 단위로 매칭한다.

예를 들어, 도 3과 같은 바닥에 있는 물건을 주워서 던지는 행동(Pickup&Throw)이 미리 학습되어 모델 저장부(250)에 등록되어 있는 상태에서, 매칭부(240)는 질의 비디오가 입력되었을 경우에, 질의 비디오에 대응하는 특징과 모델 저장부(250)에 저장된 등록 비디오 1, 등록 비디오 2, 등록 비디오 3, ......매칭한다.

도 3과 같은 바닥에 있는 물건을 주워서 던지는 행동(Pickup&Throw)은 각기 다른 사람들이 수행하여 같은 행동이라고 하더라도 다양한 행동 패턴을 보이고 있따. 또한, 3개의 등록 비디오 만으로 학습을 수행하였기 때문에 학습데이터가 매우 부족한 상태이다.

이와 같은 경우, 종래의 방법들은 3개의 학습 비디오에서 추출된 특징 벡터와 질의 비디오에서 추출된 특징 벡터를 비교하여 유사도를 산출한다. 즉, 입력된 질의 비디오와 3개의 등록 비디오를 비디오 단위로 각각 비교하여 3개의 유사도(도 3의 SM_PT1, SM_PT2, SM_PT3)를 산출한다. 만약, 모델 저장부에 총 M개의 행동이 각각 3개씩의 학습 비디오를 가지고 있다고 가정하면, 종래에는 총 Mx3회의 비디오간 매칭을 수행하여, Mx3개의 유사도를 산출하고, 이들 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식된 행동으로 결정하였다.

그러나, 본 발명의 실시예에 따른 행동 인식 장치(200)의 매칭부(240)는 앞에서 설명한 종래의 방법과 다르게 서브 비디오 단위로 비교를 수행한다.

유사도 산출부(260)는 매칭부(240)에서 매칭한 결과 즉, 서브 비디오 단위로 특징 추출부(230)에서 추출된 특징과 모델 저장부(250)에 저장된 각 등록 행동들의 서브 비디오 특징을 비교한 결과를 이용하여 유사도를 측정한다. 이때, 유사도 산출부(260)는 서브 비디오 특징간의 매징을 위하여 다양한 거리 측정자 및 유사도 산출자를 적용할 수 있으며, 이에 한정되지 않는다.

도 3을 참고하면, 서브 비디오에서 산출된 유사도의 합(sm_pt1+sm_pt2+sm_pt3)을 질의 행동과 등록된 행동 사이의 최종 유사도 SM_PT로 취한다.

최종 행동 인식부(270)는 유사도 산출부(260)에서 산출한 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식 행동으로 결정한다.

따라서, 유사도 산출부(260)에서는 M개의 행동이 등록된 경우에 총 M개의 유사도를 산출하고, 최종 행동 인식부(270)에서는 유사도 산출부(260)에서 산출한 M개의 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식 행동으로 결정할 수 있다.

다음, 임의의 사람이 카메라와 같은 촬영장치 앞에서 취하는 일련의 행동을 인식하는 방법을 도 6을 참조하여 상세하게 설명한다.

도 6은 본 발명의 실시예에 따른 행동 인식 방법을 나타내는 흐름도이다.

도 6을 참고하면, 행동 인식 장치(200)는 촬영 장치(100)로부터 깊이 영상을 지속적으로 수신한다(S100). 여기서, 깊이 영상은 도 4와 같은 영상이다.

행동 인식 장치(200)는 S100 단계에서 수신한 연속된 깊이 영상들을 이용하여 모션 스토리 맵(motion history map, MHM)을 생성한다(S200). 여기서, 모션 스토리 맵(MHM)은 인접한 깊이 영상 사이에서 깊이 값의 변화(= 모션)가 발생한 픽셀을 발생한 시간 정보와 함께 표시한 맵에 해당한다. 또한, 모션 스토리 맵은 수학식 1과 같다.

행동 인식 장치(200)는 특정 시점(t)에 생성된 모션 히스토리 맵(MHM)에 대해서 행동인식에 적합한 특징을 추출한다(S300). 여기서, 추출된 특징은 모션 히스토리 맵(MHM)을 생성하는데 사용된 τ개의 이전 프레임으로 구성된 서브 비디오를 대표하는 특징에 대응한다.

행동 인식 장치(200)는 이전에 저장된 각 등록 행동들의 서브 비디오 특징을 추출한다(S400).

행동 인식 장치(200)는 S300 단계에서 추출한 특징과, S400 단계에서 추출한 서브 비디오 특징을 서브 비디오 단위로 매칭한다(S500).

행동 인식 장치(200)는 S500 단계에서 서브 비디오 단위로 매칭한 결과를 토대로 유사도를 산출한다(S600).

행동 인식 장치(200)는 S600 단계에서 산출한 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식 행동으로 결정한다.

즉, 행동 인식 장치(200)는 M개의 행동이 등록된 경우에 총 M개의 유사도를 산출하고, 산출한 M개의 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식 행동으로 결정할 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 촬영 장치 200; 행동 인식 장치
210; 영상 수신부 220; 맵 생성부
230; 특징 추출부 240; 매칭부
250; 모델 저장부 260; 유사도 산출부
270; 최종 행동 인식부

Claims (1)

1. 촬영 장치로부터 깊이 영상을 지속적으로 수신하는 영상 수신부;
   상기 영상 수신부에서 수신하는 연속된 깊이 영상들을 이용하여 모션 스토리 맵을 생성하는 맵 생성부;
   특정 시점에 생성된 모션 스토리 맵에 대해서 행동 인식에 사용되는 특징을 추출하는 특징 추출부;
   상기 특징 추출부에서 추출한 특징과, 이전에 저장된 각 등록 행동들의 서브 비디오 특징을 서브 비디오 단위로 매칭하는 매칭부;
   상기 서브 비디오 단위로 매칭한 결과를 이용하여 유사도를 산출하는 유사도 산출부; 및
   상기 유사도를 산출부에서 산출한 유사도 중에서 가장 큰 유사도를 가지는 행동을 최종 인식 행동으로 결정하는 최종 행동 인식부
   를 포함하는 행동 인식 장치.

Images