KR102572782B1 - 사용자 행동 유형 판단 시스템 및 방법 - Google Patents

Abstract

본 발명은 비교적 가벼운 리소스를 이용하여 사용자를 인식하는 기술에 관한 것으로서, 보유한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신하는 복수의 비콘 수신기 및 상기 사용자를 촬영한 영상에서 사용자 객체를 식별하고 식별된 사용자 객체의 영상 좌표를 산출하는 객체탐지모듈, 상기 복수의 비콘 수신기에 수신된 비콘신호들을 이용하여 상기 비콘 송신기의 공간 좌표를 산출하는 위치탐지모듈, 상기 영상 좌표와 상기 공간 좌표를 이용하여 상기 비콘 송신기 사용자의 신원을 판별하는 사용자인식모듈을 포함하는 분석 장치를 포함할 수 있다.

Description

사용자 행동 유형 판단 시스템 및 방법{SYSTEM AND METHOD FOR IDENTIFYING THE TYPE OF USER BEHAVIOR}

본 발명은 비교적 가벼운 리소스를 이용하여 사용자를 인식하는 기술에 관한 것으로, 더욱 상세하게는 영상으로부터 식별된 사용자 객체의 영상 좌표와, 사용자가 보유한 비콘 송신기로부터 수신받은 비콘 신호를 통해 산출된 공간 좌표를 이용하여 비콘 송신기를 보유한 사용자의 신원을 판별할 수 있는 사용자 인식 시스템 및 방법 에 관한 것이다.

최근에는 교육시설에서 학생의 행동패턴을 확인하거나 보안 분야에서 침입자의 탐지, 물품의 보안을 위한 출입자의 이상 행동을 감시하는 등 비정상적인 상황을 모티터링하는 각종 서비스의 요구가 증가하고 있다.

하지만 현재의 기술로는 관리자가 현장의 영상을 직접 모니터링하여 상황 정보를 수동적으로 수집하는 것에 그치고 있기 때문에 인력 소요에 따른 비용이 발생하고 있다.

이에 따라, 영상처리 기법 기반으로 객체를 탐지하여 현장의 영상을 직접 모니터링하는 기술이 개발되고 있으나, 이러한 영상처리 기법 기반은 단일 프레임의 정지된 이미지를 대상으로 객체 자체를 탐지할 뿐 객체가 어떤 행동을 하고 있는지 또는 객체가 어떤 상황에 처해 있는지 까지는 판단할 수 없다.

뿐만 아니라, 영상처리 기법을 기반으로 이상 행동을 분석하려면 여러 사람들 중 분석대상이 되는 사람을 정확하게 식별해야 하는데 영상 속에서 그 대상의 신원을 판별하려면 영상 전체를 프로세싱하여 객체를 매우 정확하게 식별하고, 다시 그 객체의 안면인식과 같은 방식을 거쳐 신원을 판별해야하기 때문에 이미지 프로세싱을 위한 매우 무거운 하드웨어 사양이 요구되는 단점이 있다.

미국 공개특허공보 제2006-0190419호

따라서, 본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로서, 영상으로부터 식별된 사용자 객체의 영상 좌표와, 사용자가 보유한 비콘 송신기로부터 수신받은 비콘 신호를 통해 산출된 공간 좌표를 이용하여 비콘 송신기를 보유한 사용자의 신원을 판별할 수 있는 사용자 인식 시스템 및 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 신원이 판별된 사용자를 추적하여 사용자의 행동을 감시할 수 있는 사용자 인식 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이하에 서술되는 실시예를 통하여 더욱 명확해질 것이다.

본 발명의 제1 측면에 따른 사용자 인식 시스템은 사용자가 보유한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신하는 복수의 비콘 수신기 및 상기 사용자를 촬영한 영상에서 사용자 객체를 식별하고 식별된 사용자 객체의 영상 좌표를 산출하는 객체탐지모듈, 상기 복수의 비콘 수신기에 수신된 비콘신호들을 이용하여 상기 비콘 송신기의 공간 좌표를 산출하는 위치탐지모듈, 상기 영상 좌표와 상기 공간 좌표를 이용하여 상기 비콘 송신기 사용자의 신원을 판별하는 사용자인식모듈을 포함하는 분석 장치를 포함할 수 있다.

상기 분석 장치는, 신원이 판별된 사용자의 이동을 트래킹하여 행동을 감시하는 상황판단모듈을 더 포함할 수 있다.

상기 상황판단모듈은, 상기 영상 속에 위치된 고정 물체를 미리 식별하여 등록하고, 신원이 판별된 사용자가 상기 고정 물체로 이동하거나 상기 고정 물체와 인접한 위치에서 머문 시간을 체크하여 사용자의 행동을 판단할 수 있다.

상기 비콘 수신기와 사용자를 촬영하기 위한 카메라가 안정장비를 착용한 상태에서만 출입이 허용되는 위험구역에 설치된 경우, 상기 객체탐지모듈은 사용자의 안전장비 객체를 식별하고, 상기 상황판단모듈은 안전장비 객체의 식별 여부에 따라 위험 상황을 판단할 수 있다.

본 발명의 제2 측면에 따른 사용자 인식 방법은 분석 장치가 비콘 수신기를 통해 사용자가 보유한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신하는 단계와, 상기 분석 장치가 사용자를 촬영한 영상에서 사용자 객체를 식별하고 식별된 사용자 객체의 영상 좌표를 산출하는 단계와, 상기 분석 장치가 상기 복수의 비콘 수신기에 수신된 비콘신호들을 이용하여 상기 비콘 송신기의 공간 좌표를 산출하는 단계와, 상기 분석 장치가 상기 영상 좌표와 공간 좌표를 이용하여 상기 비콘 송신기 사용자의 신원을 판별하는 단계를 포함할 수 있다.

상기 분석 장치가 신원이 판별된 사용자의 이동을 트래킹하여 행동을 감시하는 단계를 더 포함하는 할 수 있다.

상기 행동을 감시하는 단계에서 상기 분석 장치는, 상기 영상 속에 위치된 고정 물체를 미리 식별하여 등록하고, 신원이 판별된 사용자가 상기 고정 물체로 이동하거나 상기 고정 물체와 인접한 위치에서 머문 시간을 체크하여 사용자의 행동을 판단할 수 있다.

상기 비콘 수신기와 사용자를 촬영하기 위한 카메라가 안정장비를 착용한 상태에서만 출입이 허용되는 위험구역에 설치된 경우, 상기 행동을 감시하는 단계에서 상기 분석 장치는, 안전장비 객체의 식별 여부에 따라 위험 상황을 판단할 수 있다.

본 발명에 의하면, 영상으로부터 식별된 사용자 객체의 영상 좌표와, 사용자가 보유한 비콘 송신기로부터 수신받은 비콘 신호를 통해 산출된 공간 좌표를 이용하여 비콘 송신기를 보유한 사용자의 신원을 판별하기 때문에 비교적 가벼운 리소스를 이용하여 사용자를 인식할 수 있는 효과가 있다.

또한, 본 발명은 신원이 판별된 사용자를 추적하여 사용자의 행동을 감시할 수 있는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 제1 실시예에 따른 사용자 인식 시스템을 개략적으로 도시한 개략도.
도 2는 본 발명의 제1 실시예에 따른 사용자 인식 시스템의 구성을 도시한 블록도.
도 3은 본 발명의 제2 실시예에 따른 사용자 인식 시스템의 구성을 도시한 블록도.
도 4 및 도 5는 제2 실시예의 사용자 인식 시스템이 사용자의 행동을 판단하는 일 예를 도시한 도면.
도 6은 본 발명의 제3 실시예에 따른 사용자 인식 방법을 도시한 흐름도.
도 7은 본 발명의 제4 실시예에 따른 사용자 인식 방법을 도시한 흐름도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.

또한 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

[제1 실시예]

이하 본 발명의 제1 실시예에 따른 사용자 인식 시스템에 대하여 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 제1 실시예에 따른 사용자 인식 시스템을 개략적으로 도시한 개략도이다.

도 1을 참조하면, 제1 실시예의 사용자 인식 시스템은 비콘 신호를 이용하여 비콘 송신기를 보유한 사용자의 공간 좌표를 산출하고, 그 공간 좌표와 영상에서 식별된 사용자 객체의 영상 좌표를 이용하여 사용자의 신원을 판별한다.

예컨대, 영상처리 기법을 기반으로 객체를 탐지하고 그 객체의 신원을 판별하려면 영상 전체를 프로세싱하여 객체를 매우 정확하게 식별하고, 다시 그 객체의 안면인식과 같은 방식으로 신원을 판별해야하기 때문에 이미지 프로세싱을 위해 매우 무거운 하드웨어 사양을 요구한다.

본 발명의 사용자 인식 시스템은 비교적 가벼운 방식으로 영상속에서 객체를 탐지하고 탐지된 객체에 대한 영상 좌표를 비콘 신호를 통해 산출된 사용자 객체의 공간 좌표 및 비콘 신호에 포함된 식별자를 매칭시켜 비교적 적은 리소스로 신속하고 간단하게 사용자의 신원을 판별하는 것이 가능하다.

또한, 사용자 인식 시스템은 공간 내에서 신원이 판별된 사용자의 행동을 추적 감시하여 사용자의 행동 패턴, 사용자의 이상 행동 등을 분석할 수 있다. 예를 들면, 신원이 판별된 사용자가 어린이집과 같은 교육기관에 등원한 어린 아이일 때, 아이의 행동을 추적하고 아이가 책상에 일정 시간 머무르면 공부 또는 독서를 한 것으로 분석할 수 있다. 그리고 해당 사용자가 책상에 머무른 이후에 놀이 시설 등 다른 곳에 머무른 시간 등을 분석하여 사용자의 행동 패턴을 분석할 수 있다.

그리고 특정 물체가 보안 금고와 같은 보안 물체인 경우 사용자가 보안 금고에 미리 설정된 시간 이상 머무르면 이상 행동(보안 위반 행위)을 취한 것으로 분석할 수 있다.

도 2는 본 발명의 제1 실시예에 따른 사용자 인식 시스템의 구성을 도시한 블록도이다.

도 1 및 도 2를 참조하면, 사용자 인식 시스템은 비콘 수신기(11) 및 분석 장치(100)를 포함한다.

비콘 수신기(11)는 공간 내에서 미리 설정된 복수의 위치에 설치된다. 비콘 수신기(11)는 비콘의 송수신 범위를 감안하여 공간 내부에 여러대 설치되거나 또는 미리 선별된 주요 위치에만 설치될 수 있다.

그리고 비콘 수신기(11)는 각 설치 위치마다 해당 공간 내에서의 좌표가 미리 세팅된다. 여기서 공간이라 함은 건물의 내부를 통칭하는 것으로서, 어린이집 내부, 회사 내부, 복도, 사무실, 실내 건축 현장, 플랜트 설비 현장 등을 포함할 수 있다.

비콘 수신기(11)는 공간 내에 출입한 사용자가 보유한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신한다. 비콘 송신기는 핸드폰, 명찰, 목걸이 사원증, 사원명패, 어린이용 악세서리 등으로 구현되어 사용자가 용이하게 보유할 수 있다. 비콘 송신기에서 송신되는 비콘신호에는 사용자의 신원 정보가 입력된 식별자가 포함된다.

공간 내에서 비콘 수신기(11)와 인접한 위치에는 사용자를 촬영하기 위한 복수의 카메라(12)가 설치된다. 카메라(12)는 상시 동작되어 공간 내부를 촬영하거나 또는 비콘 수신기(11)와 연동되어 비콘 수신기(11)가 비콘 신호를 수신 받을 때 동작되어 공간 내부를 촬영할 수도 있다. 본 실시예에서 카메라(12)는 공간 내부 상황을 기본적으로 RGB 영상으로 촬영하나, 열 열상으로 촬영하는 것도 가능하다. 또한, 공간에는 RGB 영상 촬영용 카메라와 열 열상 촬영용 카메라가 모두 설치되어 RGB 영상 및 열 열상을 모두 촬영하는 것도 가능하다.

분석 장치(100)는 사용자를 촬영한 영상에서 식별된 사용자 객체의 영상 좌표와, 사용자가 보유한 비콘 송신기로부터 수신받은 비콘 신호를 통해 산출한 공간 좌표를 이용하여 비콘 송신기를 보유한 사용자의 신원을 판별한다.

분석 장치(100)는 객체탐지모듈(110), 위치탐지모듈(120) 및 사용자인식모듈(130)을 포함한다.

객체탐지모듈(110)은 카메라(12)가 사용자를 촬영한 영상에서 사용자 객체를 식별하고 식별된 사용자 객체의 영상 좌표를 산출한다.

객체탐지모듈(110)은 RGB 영상 및 열 영상으로부터 객체를 탐지하기 위해 컨볼루션 뉴럴 네트워크(Convolution Neural Network; CNN)를 이용할 수 있다.

CNN은 입력된 영상 데이터로부터 합성곱 연산을 통해 특징을 추출하고, 추출된 특징을 통해 영상 데이터에 포함된 객체를 탐지하는 네트워크로서, 객체의 특징정보를 추출하는 특징 추출 계층(feature extraction layers)과, 추출된 특징정보를 이용하여 객체를 분류하는 전체 연결 계층(fully connected layers)으로 구성된다. 다시 말해 CNN은 영상 데이터에 포함된 특정 객체의 크기나 위치 등의 기하학적 정보를 도출(localization)하고 상기 특정 객체를 분류(classification)하는 객체 탐지(object detection) 기술 중 하나로 정의될 수 있다.

특징 추출 계층은 복수 개의 컨볼루션 계층으로 구성되며, 어느 일 단계의 컨볼루션 계층은 입력 데이터(영상 데이터, 특징 맵)와 필터의 역할을 담당하는 합성 커널의 합성곱 연산을 통해 새로운 특징 맵(feature map)을 생성하고, 생성된 특징 맵을 다음 단계의 컨볼루션 계층에 입력한다. 각 컨볼루션 계층은 학습에 따라 값이 변하는 파라미터인 가중치, 바이어스로 구성되며 색상, 형태, 윤곽선 등과 같이 객체 탐지에 유용한 정보를 추출하도록 학습 과정에서 합성 커널의 값이 자동으로 조정된다.

전체 연결 계층은 특징 추출 계층에서 추출된 다차원 특징 맵을 1차원으로 변환하는 편평화 계층(flatten layer)과 멀티 계층 퍼셉트론(multi-layer perceptron, MLP)으로 구성된다. 1차원으로 변환된 특징 맵을 학습 알고리즘인 MLP에 입력함으로써 영상 데이터의 파라미터를 조정한다.

객체탐지모듈(110)은 RGB 영상 및 열 열상 각각에 대하여 CNN의 특징 추출 계층을 수행하되, 센서 융합이 적용된 편평화 계층을 멀티 계층 퍼셉트론에 입력하는 방식으로 전체 연결 계층을 수행함으로써 각 영상의 특징(feature)에 대한 신뢰성을 재평가한 후, 신뢰성이 높은 특징으로 객체를 최종 탐지한다. 그리고 객체탐지모듈(110)은 식별된 사용자 객체의 영상 좌표를 미리 설정된 좌표에 기초하여 산출한다.

위치탐지모듈(120)은 복수의 비콘 수신기(11)에 수신된 비콘신호들을 이용하여 비콘 송신기의 공간 좌표를 산출한다. 예컨대, 비콘 수신기(11)는 각 설치 위치마다 해당 공간 내에서의 좌표가 미리 세팅되고, 위치탐지모듈(120)은 이를 이용하여 삼각측량기법을 통해 비콘 송신기의 공간 좌표를 산출할 수 있다.

삼각측량기법(Triangulation)은 삼각법을 적용해 거리를 구하는 방법으로서, 삼각형의 한 변의 길이와 두 개의 끼인각을 알면 그 삼각형의 나머지 두 변의 길이를 알 수 있다는 원리를 이용하여 지형을 측량하는 방법이다. 삼각측량기법은 지표면의 한 점까지의 거리를 직접 측정하지 않고 각을 측정함으로써 결정한다.

사용자인식모듈(130)은 영상 좌표와 공간 좌표를 이용하여 비콘 송신기 사용자의 신원을 판별한다. 예컨대, 사용자인식모듈(130)은 객체탐지모듈(110)에서 산출된 사용자 객체의 영상 좌표와 위치탐지모듈(120)에서 산출된 비콘 송신기의 공간 좌표 및 비콘 신호에 포함된 식별자를 매칭시켜 비콘 송신기를 보유한 사용자의 신원을 판별한다.

[제2 실시예]

제2 실시예는 제1 실시예의 사용자 인식 시스템에서 신원이 판별된 사용자를 추적하여 사용자의 행동을 감시하는 기술이 추가된 것이다.

도 3은 본 발명의 제2 실시예에 따른 사용자 인식 시스템의 구성을 도시한 블록도이고, 도 4 및 도 5는 제2 실시예의 사용자 인식 시스템이 사용자의 행동을 판단하는 일 예를 도시한 도면이다.

도 3을 참조하면, 사용자 인식 시스템은 비콘 수신기(13), 카메라(14) 및 분석 장치(200)를 포함한다. 분석 장치(200)는 객체탐지모듈(210), 위치탐지모듈(220), 사용자인식모듈(230) 및 상황판단모듈(240)로 이루어진다.

제2 실시예의 비콘 수신기(13), 카메라(14), 객체탐지모듈(210) 및 위치탐지모듈(220)은 제1 실시예의 비콘 수신기(13), 카메라(14), 객체탐지모듈(210), 위치탐지모듈(220), 사용자인식모듈(230)과 동일하므로 중복된 설명을 생략한다.

상황판단모듈(240)은 분석 장치(200)에서 신원이 판별된 사용자의 이동을 트래킹하여 사용자의 행동을 감시/분석한다.

상황판단모듈(240)은 카메라(14)에서 촬영된 영상 속에 위치된 고정 물체를 미리 식별하여 데이터베이스에 등록하고, 신원이 판별된 사용자가 미리 식별된 고정 물체로 이동하거나 고정 물체와 인접한 위치에서 머문 시간을 체크한다. 그리고 상황판단모듈(240)은 사용자가 고정 물체로 이동하거나 고정 물체에 머문 시간에 기초하여 사용자의 행동을 판단한다.

예컨대, 상황판단모듈(240)은 객체탐지모듈(210)에서 CNN과 같은 객체 탐지 네트워크로 식별된 객체를 찾으면, 그 객체가 포함된 특정 영역의 영상만을 시계열적으로 분석하여 그 사람의 행동이 어떤 행위를 의미하는지를 판단한다.

특히 단일 프레임의 정지 영상 (image)으로 사람의 행위를 판단하기는 어려운데, 예를 들면, CNN과 같은 객체 탐지 네트워크를 이용하여 책장 앞에 서 있는 사람(객체)를 탐지했다 하더라도 책장 앞에 서 있는 한 컷의 정지 영상만으로는 그 사람이 책장 앞에 가만히 서있는 것인지 책장에서 책을 꺼내는 것인지 판단하기가 어렵다. 따라서 객체탐지모듈(210)이 객체 탐지 네트워크를 통해 우선 사람(객체)을 탐지하고, 상황판단모듈(240)이 탐지 영역의 단일 이미지 프레임이 아닌 시계열적으로 연속되는 여러 장의 이미지 프레임을 대상으로 사람의 행동의 맥락(sequence)을 분석함으로써 책을 꺼내는 등의 움직임의 유형을 판단한다.

시계열적으로 연속되는 여러 장의 이미지 프레임을 시계열 데이터라 정의할 때, 시계열 데이터는 시간에 따라 가변적인 길이를 가지며 데이터의 특성이 변화하는 동적(dynamic) 데이터이다. 특히 긴 시간 동안의 시계열 데이터를 분석하기 위해서는 데이터가 취득된 시점에서부터 마지막 시점까지의 데이터를 대상으로 문맥(sequence)을 파악해야 하며 기존의 MLP, CNN을 활용하는 경우 긴 시간 동안의 시계열 데이터의 문맥을 파악하는 데에 한계점이 존재한다.

따라서, 본 발명에서는 CNN이 탐지한 객체의 비디오의 여러 장의 프레임을 효과적으로 분석하기 위한 일례의 알고리즘으로 순환 신경망(Recurrent Neural Network, RNN)을 사용할 수 있다. RNN은 순차적으로 입력되는 시계열 데이터를 분석함으로써 객체의 상황 즉, 객체의 상황을 판단한다.

이하 도 4 및 도 5를 참조하여 상황판단모듈(240)이 사용자의 행동을 판단하는 예를 설명한다.

도 4에서 보듯, 공간에는 식별정보가 포함된 복수의 고정 물체가 위치된다. 여기서 고정 물체는 회사에 구비된 보안 금고, 보안 서류가 수납된 책장 및 책상 중 적어도 하나를 포함한다.

상황판단모듈(240)은 신원이 판별된 사용자가 보안 금고 앞에 머무르면 해당 영역의 영상을 시계열적으로 분석한다. 상황판단모듈(240)은 해당 영상을 시계열적으로 분석하여 단순히 보안 금고 앞에 머무르고 있는 것인지 보안 금고에서 보안 서류를 꺼내는 것인지를 판단한다. 만약, 상황판단모듈(240)에서 보안 등급이 낮은 사용자가 보안 금고에서 보안 서류를 꺼낸 것으로 판단되면 즉시 보안 취약 신호를 통제실 또는 관리자에게 전송할 수 있다.

도 5에서 보듯, 공간에는 식별정보가 포함된 복수의 고정 물체가 위치된다. 여기서 고정 물체는 어린이집과 같은 교육기관에 구비된 공부 책상, 놀이시설, 식탁 중 어느 하나를 포함할 수 있다.

상황판단모듈(240)은 신원이 판별된 사용자(예를 들어, 원생)가 공부 책상, 놀이시설, 식탁 등에 머무르면 해당 영역의 영상을 시계열적으로 분석한다. 상황판단모듈(240)은 해당 영상을 시계열적으로 분석하여 공부 책상에서 공부를 하는지, 식탁에서 식사를 하는지 등을 판단한다.

그리고 상황판단모듈(240)은 일과 시간에 대한 원생의 행동 패턴을 종합 분석하여 리포트를 생성하고 관리자(또는 부모)에게 제공할 수 있다. 상황판단모듈(240)에서 생성된 리포트는 원생이 주로 공부하는 시간, 식사 후 즐겨하는 습관(공부 또는 놀이) 등과 같은 행동 패턴으로서 리포트를 제공받은 부모는 리포트를 참고하여 가정 내에서도 아이의 행동을 예측할 수 있다.

한편, 도면에는 도시되지 않았지만, 상황판단모듈(240)은 위험지역에 출입한 사용자의 안전장비 착용 여부를 감시/분석한다.

상기에서 설명한 비콘 수신기(13)와 카메라(14)가 위험구역에 설치되고, 안전장비를 착용한 상태에서만 위험구역의 출입이 허용된 경우, 객체탐지모듈(210)은 영상속에서 사용자 객체를 탐지하면 그 사용자 객체에서 안전장비 객체를 추가로 탐지한다. 여기서, 위험구역이라 함은 실내 건축 현장, 플랜트 설비 현장 등을 포함한다.

상황판단모듈(240)은 신원이 선별된 사용자를 시계열적으로 분석하여 그 사람의 행동을 감시한다. 즉, 상황판단모듈(240)은 사용자가 위험구역에 출입할 때 안전장비를 착용했지는와 위험구역 내에서 안전장비의 착용을 해제하는지 등의 행동을 감시한다.

또한, 위험구역에 두 명 이상의 작업자가 동행한 경우에만 출입이 허용될 경우, 객체탐지모듈(210)은 위험구역에 출입하 두 명의 객체를 탐지하고, 두 객체 간의 이격 거리를 산출한다.

상황판단모듈(240)은 두 객체 간의 이격 거리가 기준치 이상 벗어날 경우 위험 상황으로 판단하여 상황을 관리자에게 전달하고, 관리자를 통해 작업에게 주의를 요할 수 있다.

[제3 실시예]

제3 실시예는 제1 실시예의 사용자 인식 시스템에서 수행되는 사용자 인식 방법에 관한 기술이다.

이하 본 발명의 제3 실시예에 따른 사용자 인식 방법에 대하여 도면을 참조하여 상세히 설명한다.

도 6은 본 발명의 제3 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.

도 6을 참조하면 제3 실시예의 사용자 인식 방법은 비콘신호를 수신하는 단계(S100), 영상 좌표를 산출하는 단계(S200), 공간 좌표를 산출하는 단계(S300), 신원을 판별하는 단계(S400)를 포함한다.

비콘신호를 수신하는 단계(S100)는 분석 장치가 비콘 수신기를 통해 사용자가 보유한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신한다.

비콘 수신기는 공간 내에서 미리 설정된 복수의 위치에 설치된다. 비콘 수신기는 비콘의 송수신 범위를 감안하여 공간 내부에 여러대 설치되거나 또는 미리 선별된 주요 위치에만 설치될 수 있다.

그리고 비콘 수신기는 각 설치 위치마다 해당 공간 내에서의 좌표가 미리 세팅된다. 여기서 공간이라 함은 건물의 내부를 통칭하는 것으로서, 어린이집 내부, 회사 내부, 복도, 사무실, 실내 건축 현장, 플랜트 설비 현장 등을 포함할 수 있다.

비콘 수신기는 공간 내에 출입한 사용자가 보유한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신한다. 비콘 송신기는 핸드폰, 명찰, 목걸이 사원증, 사원명패, 어린이용 악세서리 등으로 구현되어 사용자가 용이하게 보유할 수 있다. 비콘 송신기에서 송신되는 비콘신호에는 사용자의 신원 정보가 입력된 식별자가 포함된다.

영상 좌표를 산출하는 단계(S200)는 분석 장치가 사용자를 촬영한 영상에서 사용자 객체를 식별하고 식별된 사용자 객체의 영상 좌표를 산출한다.

공간 내에서 비콘 수신기와 인접한 위치에는 사용자를 촬영하기 위한 복수의 카메라가 설치된다. 카메라는 상시 동작되어 공간 내부를 촬영하거나 또는 비콘 수신기와 연동되어 비콘 수신기가 비콘 신호를 수신 받을 때 동작되어 공간 내부를 촬영할 수도 있다. 본 실시예에서 카메라는 공간 내부 상황을 기본적으로 RGB 영상으로 촬영하나, 열 열상으로 촬영하는 것도 가능하다. 또한, 공간에는 RGB 영상 촬영용 카메라와 열 열상 촬영용 카메라가 모두 설치되어 RGB 영상 및 열 열상을 모두 촬영하는 것도 가능하다.

분석 장치는 RGB 영상 및 열 영상으로부터 객체를 탐지하기 위해 컨볼루션 뉴럴 네트워크(Convolution Neural Network; CNN)를 이용할 수 있다.

CNN은 입력된 영상 데이터로부터 합성곱 연산을 통해 특징을 추출하고, 추출된 특징을 통해 영상 데이터에 포함된 객체를 탐지하는 네트워크로서, 객체의 특징정보를 추출하는 특징 추출 계층(feature extraction layers)과, 추출된 특징정보를 이용하여 객체를 분류하는 전체 연결 계층(fully connected layers)으로 구성된다. 다시 말해 CNN은 영상 데이터에 포함된 특정 객체의 크기나 위치 등의 기하학적 정보를 도출(localization)하고 상기 특정 객체를 분류(classification)하는 객체 탐지(object detection) 기술 중 하나로 정의될 수 있다.

특징 추출 계층은 복수 개의 컨볼루션 계층으로 구성되며, 어느 일 단계의 컨볼루션 계층은 입력 데이터(영상 데이터, 특징 맵)와 필터의 역할을 담당하는 합성 커널의 합성곱 연산을 통해 새로운 특징 맵(feature map)을 생성하고, 생성된 특징 맵을 다음 단계의 컨볼루션 계층에 입력한다. 각 컨볼루션 계층은 학습에 따라 값이 변하는 파라미터인 가중치, 바이어스로 구성되며 색상, 형태, 윤곽선 등과 같이 객체 탐지에 유용한 정보를 추출하도록 학습 과정에서 합성 커널의 값이 자동으로 조정된다.

전체 연결 계층은 특징 추출 계층에서 추출된 다차원 특징 맵을 1차원으로 변환하는 편평화 계층(flatten layer)과 멀티 계층 퍼셉트론(multi-layer perceptron, MLP)으로 구성된다. 1차원으로 변환된 특징 맵을 학습 알고리즘인 MLP에 입력함으로써 영상 데이터의 파라미터를 조정한다.

분석 장치는 RGB 영상 및 열 열상 각각에 대하여 CNN의 특징 추출 계층을 수행하되, 센서 융합이 적용된 편평화 계층을 멀티 계층 퍼셉트론에 입력하는 방식으로 전체 연결 계층을 수행함으로써 각 영상의 특징(feature)에 대한 신뢰성을 재평가한 후, 신뢰성이 높은 특징으로 객체를 최종 탐지한다. 그리고 분석 장치는 식별된 사용자 객체의 영상 좌표를 미리 설정된 좌표에 기초하여 산출한다.

공간 좌표를 산출하는 단계(S300)는 분석 장치가 상기 복수의 비콘 수신기에 수신된 비콘신호들을 이용하여 상기 비콘 송신기의 공간 좌표를 산출한다.

예컨대, 비콘 수신기는 각 설치 위치마다 해당 공간 내에서의 좌표가 미리 세팅되고 이를 이용하여 분석 장치는 삼각측량기법을 통해 비콘 송신기의 공간 좌표를 산출할 수 있다.

삼각측량기법(Triangulation)은 삼각법을 적용해 거리를 구하는 방법으로서, 삼각형의 한 변의 길이와 두 개의 끼인각을 알면 그 삼각형의 나머지 두 변의 길이를 알 수 있다는 원리를 이용하여 지형을 측량하는 방법이다. 삼각측량기법은 지표면의 한 점까지의 거리를 직접 측정하지 않고 각을 측정함으로써 결정한다.

신원을 판별하는 단계(S400)는 분석 장치가 상기 영상 좌표와 공간 좌표를 이용하여 상기 비콘 송신기 사용자의 신원을 판별한다.

예컨대, 분석 장치는 산출된 사용자 객체의 영상 좌표와 비콘 송신기의 공간 좌표 및 비콘 신호에 포함된 식별자를 매칭시켜 비콘 송신기를 보유한 사용자의 신원을 판별한다.

상기와 같은 방법으로 사용자의 신원이 판별되면 공간 내에서 사용자의 행동을 감시하여 사용자의 행동 패턴, 사용자의 이상 행동 등을 분석하는데 적용될 수 있다. 예를 들면, 신원이 판별된 사용자(예를 들면, 어린 아이)가 책상에 일정 시간 머무르면 공부 또는 독서를 한 것으로 분석할 수 있다. 그리고 해당 사용자가 책상에 머무른 이후에 놀이 시설에 머무른 시간 등을 분석하여 사용자의 행동 패턴을 분석할 수 있다.

[제4 실시예]

제4 실시예는 제3 실시예의 사용자 인식 방법에서 신원이 판별된 사용자의 행동을 감시하는 기술이 추가된 것이다.

도 7은 본 발명의 제4 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.

도 7을 참조하면, 제4 실시예의 사용자 인식 방법은 비콘신호를 수신하는 단계(S100), 영상 좌표를 산출하는 단계(S200), 공간 좌표를 산출하는 단계(S300), 신원을 판별하는 단계(S400) 및 행동을 감시하는 단계(S500)를 포함한다.

제4 실시예의 비콘신호를 수신하는 단계(S100), 영상 좌표를 산출하는 단계(S200), 공간 좌표를 산출하는 단계(S300), 신원을 판별하는 단계(S400)는 제3 실시예의 비콘신호를 수신하는 단계(S10), 영상 좌표를 산출하는 단계(S20), 공간 좌표를 산출하는 단계(S30), 신원을 판별하는 단계(S40)와 동일하므로 중복된 설명을 생략한다.

행동을 감시하는 단계(S500)는 분석 장치에서 신원이 판별된 사용자의 이동을 트래킹하여 사용자의 행동을 감시/분석한다.

분석 장치는 카메라에서 촬영된 영상 속에 위치된 고정 물체를 미리 식별하여 데이터베이스에 등록하고, 신원이 판별된 사용자가 고정 물체로 이동하거나 고정 물체와 인접한 위치에서 머문 시간을 체크한다. 그리고 분석 장치는 고정 물체로 이동하거나 고정 물체에 머문 시간에 기초하여 사용자의 행동을 판단한다.

예컨대, 분석 장치는 분석 장치에서 CNN과 같은 객체 탐지 네트워크로 식별된 객체를 찾으면, 그 객체가 포함된 특정 영역의 영상만을 시계열적으로 분석하여 그 사람의 행동이 어떤 행위를 의미하는지를 판단한다.

특히 단일 프레임의 정지 영상 (image)으로 사람의 행위를 판단하기는 어려운데, 예를 들면, CNN과 같은 객체 탐지 네트워크를 이용하여 책장 앞에 서 있는 사람(객체)를 탐지했다 하더라도 책장 앞에 서 있는 한 컷의 정지 영상만으로는 그 사람이 책장 앞에 가만히 서있는 것인지 책장에서 책을 꺼내는 것인지 판단하기가 어렵다. 따라서 분석 장치가 객체 탐지 네트워크를 통해 우선 사람(객체)을 탐지하고, 분석 장치가 탐지 영역의 단일 이미지 프레임이 아닌 시계열적으로 연속되는 여러 장의 이미지 프레임을 대상으로 사람의 행동의 맥락(sequence)을 분석함으로써 책을 꺼내는 등의 움직임의 유형을 판단한다.

시계열적으로 연속되는 여러 장의 이미지 프레임을 시계열 데이터라 정의할 때, 시계열 데이터는 시간에 따라 가변적인 길이를 가지며 데이터의 특성이 변화하는 동적(dynamic) 데이터이다. 특히 긴 시간 동안의 시계열 데이터를 분석하기 위해서는 데이터가 취득된 시점에서부터 마지막 시점까지의 데이터를 대상으로 문맥(sequence)을 파악해야 하며 기존의 MLP, CNN을 활용하는 경우 긴 시간 동안의 시계열 데이터의 문맥을 파악하는 데에 한계점이 존재한다.

따라서, 본 발명에서는 CNN이 탐지한 객체의 비디오의 여러 장의 프레임을 효과적으로 분석하기 위한 일례의 알고리즘으로 순환 신경망(Recurrent Neural Network, RNN)을 사용할 수 있다. RNN은 순차적으로 입력되는 시계열 데이터를 분석함으로써 객체의 상황 즉, 객체의 상황을 판단한다.

이하 분석 장치가 사용자의 행동을 판단하는 예를 설명한다.

첫 번째 예로, 공간에는 식별정보가 포함된 복수의 고정 물체가 위치된다. 여기서 고정 물체는 회사에 구비된 보안 금고, 보안 서류가 수납된 책장 및 책상 중 적어도 하나를 포함한다.

분석 장치는 신원이 판별된 사용자가 보안 금고 앞에 머무르면 해당 영역의 영상을 시계열적으로 분석한다. 분석 장치는 해당 영상을 시계열적으로 분석하여 단순히 보안 금고 앞에 머무르고 있는 것인지 보안 금고에서 보안 서류를 꺼내는 것인지를 판단한다. 만약, 분석 장치에서 보안 등급이 낮은 사용자가 보안 금고에서 보안 서류를 꺼낸 것으로 판단되면 즉시 보안 취약 신호를 통제실 또는 관리자에게 전송할 수 있다.

두 번째 예로, 공간에는 식별정보가 포함된 복수의 고정 물체가 위치된다. 여기서 고정 물체는 어린이집과 같은 교육기관에 구비된 공부 책상, 놀이시설, 식탁 중 어느 하나를 포함할 수 있다.

분석 장치는 신원이 판별된 사용자(예를 들어, 원생)가 공부 책상, 놀이시설, 식탁 등에 머무르면 해당 영역의 영상을 시계열적으로 분석한다. 분석 장치는 해당 영상을 시계열적으로 분석하여 공부 책상에서 공부를 하는지, 식탁에서 식사를 하는지 등을 판단한다.

그리고 분석 장치는 일과 시간에 대한 원생의 행동 패턴을 종합 분석하여 리포트를 생성하고 관리자(또는 부모)에게 제공할 수 있다. 분석 장치에서 생성된 리포트는 원생이 주로 공부하는 시간, 식사 후 즐겨하는 습관(공부 또는 놀이) 등과 같은 행동 패턴으로서 리포트를 제공받은 부모는 리포트를 참고하여 가정 내에서도 아이의 행동을 예측할 수 있다.

세 번째 예로, 분석 장치는 위험지역에 출입한 사용자의 안전장비 착용 여부를 감시/분석한다.

상기에서 설명한 비콘 수신기와 카메라가 위험구역에 설치되고, 안전장비를 착용한 상태에서만 위험구역의 출입이 허용된 경우, 분석 장치는 영상속에서 사용자 객체를 탐지하면 그 사용자 객체에서 안전장비 객체를 추가로 탐지한다. 여기서, 위험구역이라 함은 실내 건축 현장, 플랜트 설비 현장 등을 포함한다.

분석 장치는 신원이 선별된 사용자를 시계열적으로 분석하여 그 사람의 행동을 감시한다. 즉, 분석 장치는 사용자가 위험구역에 출입할 때 안전장비를 착용했지는와 위험구역 내에서 안전장비의 착용을 해제하는지 등의 행동을 감시한다.

또한, 위험구역에 두 명 이상의 작업자가 동행한 경우에만 출입이 허용될 경우, 분석 장치는 위험구역에 출입하 두 명의 객체를 탐지하고, 두 객체 간의 이격 거리를 산출한다.

분석 장치는 두 객체 간의 이격 거리가 기준치 이상 벗어날 경우 위험 상황으로 판단하여 상황을 관리자에게 전달하고, 관리자를 통해 작업에게 주의를 요할 수 있다.

이상에서는 본 발명에 관한 몇 가지 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

11: 비콘 수신기
100 분석 장치
110: 객체탐지모듈
120: 위치탐지모듈
130: 사용자인식모듈

Claims (8)

1. 사용자가 소지한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신하는 복수의 비콘 수신기; 및
   상기 사용자를 촬영한 영상에서 사용자 객체를 식별하고 식별된 사용자 객체의 영상 좌표를 산출하는 객체탐지모듈, 상기 복수의 비콘 수신기에 수신된 비콘신호들을 이용하여 상기 비콘 송신기의 공간 좌표를 산출하는 위치탐지모듈, 상기 영상 좌표와 상기 공간 좌표를 이용하여 상기 비콘 송신기 사용자의 신원을 판별하는 사용자인식모듈을 포함하는 분석장치
   를 포함하며,
   상기 분석 장치는,
   상기 촬영 영상 속에 위치된 고정 물체를 식별하고 상기 신원이 판별된 사용자가 상기 식별된 고정 물체와 인접한 위치로 이동하여 머물 경우 상기 사용자의 행동 유형을 판단하는 상황판단모듈을 더 포함하고,
   상기 상황판단모듈은,
   상기 고정 물체의 식별 결과와, 상기 사용자 객체에 대하여 시계열적으로 연속되는 여러 장의 이미지 프레임을 기초로 한 사용자 움직임 종류의 탐지 결과를 이용하여 사용자의 행동 유형을 최종 판단하는 것을 특징으로 하는
   사용자 행동 유형 판단 시스템.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 비콘 수신기와 사용자를 촬영하기 위한 카메라가 안정장비를 착용한 상태에서만 출입이 허용되는 위험구역에 설치된 경우,
   상기 객체탐지모듈은 사용자의 안전장비 객체를 식별하고,
   상기 상황판단모듈은 안전장비 객체의 식별 여부에 따라 위험 상황을 판단하는 것을 특징으로 하는 사용자 행동 유형 판단 시스템.
5. 분석 장치가 복수의 비콘 수신기를 통해 사용자가 소지한 비콘 송신기로부터 식별자가 포함된 비콘신호를 수신하는 단계;
   상기 분석 장치가 사용자를 촬영한 영상에서 사용자 객체를 식별하고 식별된 사용자 객체의 영상 좌표를 산출하는 단계;
   상기 분석 장치가 상기 복수의 비콘 수신기에 수신된 비콘신호들을 이용하여 상기 비콘 송신기의 공간 좌표를 산출하는 단계;
   상기 분석 장치가 상기 영상 좌표와 공간 좌표를 이용하여 상기 비콘 송신기 사용자의 신원을 판별하는 단계;
   상기 분석장치가 상기 촬영 영상 속에 위치된 고정 물체를 식별하는 단계; 및
   상기 분석장치가 상기 신원이 판별된 사용자가 상기 식별된 고정 물체와 인접한 위치로 이동하여 머물 경우 상기 사용자의 행동 유형을 판단하는 단계
   를 포함하며,
   상기 행동 유형 판단 단계는,
   상기 고정 물체의 식별 결과와, 상기 사용자 객체에 대하여 시계열적으로 연속되는 여러 장의 이미지 프레임을 기초로 한 사용자 움직임 종류의 탐지 결과를 이용하여 사용자의 행동 유형을 최종 판단하는 것을 특징으로 하는
   사용자 행동 유형 판단 방법.
6. 삭제
7. 삭제
8. 제5항에 있어서,
   상기 비콘 수신기와 사용자를 촬영하기 위한 카메라가 안정장비를 착용한 상태에서만 출입이 허용되는 위험구역에 설치된 경우,
   상기 행동을 감시하는 단계에서 상기 분석 장치는,
   안전장비 객체의 식별 여부에 따라 위험 상황을 판단하는 것을 특징으로 하는 사용자 행동 유형 판단 방법.