KR100983057B1 - 행동 모니터링 시스템 및 행동 모니터링 방법 - Google Patents

행동 모니터링 시스템 및 행동 모니터링 방법 Download PDF

Info

Publication number
KR100983057B1
KR100983057B1 KR1020080103977A KR20080103977A KR100983057B1 KR 100983057 B1 KR100983057 B1 KR 100983057B1 KR 1020080103977 A KR1020080103977 A KR 1020080103977A KR 20080103977 A KR20080103977 A KR 20080103977A KR 100983057 B1 KR100983057 B1 KR 100983057B1
Authority
KR
South Korea
Prior art keywords
video camera
monitoring
behavior
area
notification
Prior art date
Application number
KR1020080103977A
Other languages
English (en)
Other versions
KR20100044970A (ko
Inventor
신준호
김대환
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020080103977A priority Critical patent/KR100983057B1/ko
Publication of KR20100044970A publication Critical patent/KR20100044970A/ko
Application granted granted Critical
Publication of KR100983057B1 publication Critical patent/KR100983057B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 모니터링 대상 지역을 촬영하고 촬영 데이터를 송신하는 비디오 카메라; 모니터링 대상자의 신체에 부착되어 모니터링 대상자의 행동을 인지하고 행동 인지 데이터를 송신하는 행동 인지 장치; 및 모니터링 서버를 포함하는 행동 모니터링 시스템으로서, 모니터링 서버는 모니터링 대상자가 비디오 카메라의 촬영 가능 영역 내에 있는 경우에는 비디오 카메라가 촬영한 촬영 데이터를 수신하고, 모니터링 대상자가 비디오 카메라의 촬영 가능 영역을 벗어나 있는 경우에는 모니터링 대상자가 부착하고 있는 행동 인지 장치로부터 모니터링 대상자에 대한 행동 인지 데이터를 수신한다.
비디오 카메라, 모니터링, 센서 노드

Description

행동 모니터링 시스템 및 행동 모니터링 방법{BEHAVIOR MONITORING SYSTEM AND METHOD THEREOF}
본 발명은 사용자 감시 시스템에 관한 것으로서, 더 구체적으로는 부착형 인간 행동 인지(認知) 장치를 사용하여 비디오 감시 지역 내의 감시 범위와 효과를 높이는 것이다.
기술이 발달하고 산업화가 급속도로 진전됨에 따라서 특정한 구역에 대하여, 일정 수준 이상의 보안을 요하는 경우도 늘어가고 있다.
또한, 증가하는 범죄나 위험에 노출될 우려와 함께, 특정 지역 또는 특정인에 대한 감시의 필요와 그 정확성에 대한 요구도 늘어가고 있다. 예컨대 교도 시설 등에서 교도 대상자에 대한 일정 정도의 감시가 필요한 경우를 생각할 수 있다.
현재 특정한 보안 구역, 또는 감시 구역 내에서의 감시 시스템 또는 모니터링 시스템의 경우는, 비디오 카메라를 기반으로 구축되어 있다. 이런 비디오 카메라를 이용한 모니터링 시스템은 해당 감시 지역 내에서 사용자가 가장 빈번하게 이동하는 경로나 주로 활동하는 영역을 중점적으로 감시한다.
즉, 빈번한 이동 경로를 따라서 비디오 카메라를 설치하거나, 주활동 영역에 비디오 카메라를 설치하고, 이 카메라를 통해 화상으로 데이터를 전송받음으로써, 모니터링 대상자의 행동, 모니터링 대상자의 이동 경로, 모니터링 대상자 사이에 이루어지는 행동 등을 확인할 수 있다.
하지만, 종래의 모니터링 시스템은 비디오 카메라를 기반으로 구축되어 있기 때문에, 자연스럽게 촬영이 어려운 감시사각(監視死角)지대가 생기게 된다.
이 사각지대를 없애기 위해, 추가로 비디오 카메라를 설치할 수도 있으나, 기존의 모니터링 사각 지대를 모두 커버할 수 있도록 비디오 카메라를 설치하는 것은 비용을 감안하면 효율적이지 않다.
또한, 비디오 카메라를 사용하는 모니터링 시스템에 의하면, 단순히 비디오 카메라가 촬영할 수 있는 촬영 범위의 한계로 인한 사각(死角) 외에도, 비디오 카메라가 설치된 환경에서 조명의 변화 또는 주야간(晝夜間)의 광량 변화 등이 있는 경우에 동일인을 다른 사람으로 판별할 우려가 있다.
아울러, 비디오 카메라와의 거리가 멀어질수록 비디오 카메라가 포착한 모니터링 대상자의 영상이, 대상을 정확하게 인식할 수 있는 최소 영상 크기보다도 작아지는 문제가 생길 수 있다.
현재 특정한 보안 구역이나 감시 구역에 대하여, 해당 구역 내의 사람들을 감시하거나 관찰하는 모니터링 시스템은, 상술한 바와 같이 비디오 카메라에 기반하여 구축되어 있다. 따라서 자연적으로 비디오 촬영이 어려운 사각지대가 생기게 된다.
본 발명은 이러한 촬영 사각지대에 모니터링 대상자가 있는 경우에도 효과적으로 대상자의 행동을 모니터링할 수 있는 방법을 제공한다.
뿐만 아니라, 본 발명은 모니터링 대상 구역의 제약, 예컨대 대상 지역이 어둡기 때문에, 촬영한 비디오 영상을 통해 대상자를 모니터링하기 어려워지는 등의 문제를 해소할 수 있는 방법을 제공한다.
또한 본 발명은 모니터링 대상자를 지속적으로 모니터링하고 상세한 데이터를 추출함으로서 대상자의 행동을 정확하게 패터닝할 수 있는 방법을 제공한다.
상술한 바와 같은 문제를 해결하기 위해, 본 발명은 모니터링 대상 지역을 촬영하고 촬영 데이터를 송신하는 비디오 카메라; 모니터링 대상자의 신체에 부착되어 모니터링 대상자의 행동을 인지하고 행동 인지 데이터를 송신하는 행동 인지 장치; 및 모니터링 서버를 포함하는 행동 모니터링 시스템을 제공하며, 모니터링 서버는 모니터링 대상자가 비디오 카메라의 촬영 가능 영역 내에 있는 경우에는 비디오 카메라가 촬영한 촬영 데이터를 수신하고, 모니터링 대상자가 비디오 카메라 의 촬영 가능 영역을 벗어나 있는 경우에는 모니터링 대상자가 부착하고 있는 행동 인지 장치로부터 모니터링 대상자에 대한 행동 인지 데이터를 수신한다.
또한 본 발명의 행동 모니터링 시스템에서, 비디오 카메라는, 모니터링 대상자가 촬영 가능 영역을 벗어난 경우에, 모니터링 대상자가 부착하고 있는 행동 인지 장치에 인지 개시 통지를 송신하고, 행동 인지 장치는 비디오 카메라로부터 인지 개시 통지를 수신한 경우에, 모니터링 대상자에 대한 행동 인지 데이터를 수집하여 모니터링 서버에 송신할 수도 있다.
또한, 본 발명의 행동 모니터링 시스템에서, 비디오 카메라는, 모니터링 대상자가 촬영 가능 영역을 벗어난 경우에, 모니터링 서버에 영역 이탈 통지를 송신하고, 모니터링 서버는, 비디오 카메라로부터 영역 이탈 통지를 수신한 경우에, 모니터링 대상자가 부착하고 있는 행동 인지 장치에 인지 개시 통지를 송신하며, 행동 인지 장치는, 모니터링 서버로부터 인지 개시 통지를 수신한 경우에, 모니터링 대상자에 대한 행동 인지 데이터를 수집하여 모니터링 서버에 송신하기 시작할 수도 있다.
또한, 본 발명의 행동 모니터링 시스템에서, 행동 인지 장치는, 모니터링 대상자가 비디오 카메라의 촬영 가능 영역으로 들어간 경우에, 비디오 카메라에 인지 개시 통지를 송신하고, 비디오 카메라는 행동 인지 장치로부터 인지 개시 통지를 수신한 경우에, 모니터링 대상자에 대한 촬영 데이터를 모니터링 서버에 송신하기 시작할 수도 있다.
또한, 본 발명의 행동 모니터링 시스템에서, 행동 인지 장치는, 모니터링 대 상자가 비디오 카메라의 촬영 가능 영역으로 들어간 경우에, 모니터링 서버에 영역 진입 통지를 송신하고, 모니터링 서버는, 행동 인지 장치로부터 영역 진입 통지를 수신한 경우에, 비디오 카메라에 인지 개시 통지를 송신하며, 비디오 카메라는, 모니터링 서버로부터 인지 개시 통지를 수신한 경우에, 모니터링 대상자에 대한 촬영 데이터를 모니터링 서버에 송신하기 시작할 수도 있다.
또한, 본 발명의 행동 모니터링 시스템에서, 행동 인지 장치는, 서로 다른 방향에 대한 가속도를 감지하는 센서를 적어도 3개 포함할 수도 있다.
본 발명은 비디오 카메라와 행동 인지 장치의 데이터를 초기화하는 단계; 비디오 카메라의 촬영 가능 영역 내에 모니터링 대상자가 존재하는지 판단하는 단계; 모니터링 대상자가 비디오 카메라의 촬영 가능 영역 내에 있는 경우에는 비디오 카메라가 모니터링 대상자를 촬영하고, 모니터링 대상자가 비디오 카메라의 촬영 가능 영역을 벗어나 있는 경우에는 행동 인지 장치가 모니터링 대상자의 행동을 인지 검출하는 단계; 및 촬영되거나 인지 검출된 모니터링 대상자에 관한 데이터를 모니터링 서버에 송신하는 단계를 포함하는 행동 모니터링 방법을 제공한다.
또한, 본 발명의 행동 모니터링 방법은 상기 판단 단계와 상기 촬영/검출 단계 사이에, 모니터링 대상자의 존재 여부를 판단한 결과, 모니터링 대상자가 비디오 카메라의 촬영 가능 영역을 벗어나 있다고 판단되면, 비디오 카메라가 행동 인지 장치에 인지 개시 통지를 송신하는 단계를 더 포함할 수도 있다.
또한, 본 발명의 행동 모니터링 방법은, 상기 판단 단계와 상기 촬영/검출 단계 사이에, 모니터링 대상자의 존재 여부를 판단한 결과, 모니터링 대상자가 비 디오 카메라의 촬영 가능 영역을 벗어나 있다고 판단되면, 비디오 카메라가 모니터링 서버에 영역 이탈 통지를 송신하는 단계; 및 영역 이탈 통지를 수신한 모니터링 서버가 행동 인지 장치에 인지 개시 통지를 송신하는 단계를 더 포함할 수도 있다.
또한, 본 발명의 행동 모니터링 방법은, 상기 판단 단계와 상기 촬영/검출 단계 사이에, 모니터링 대상자의 존재 여부를 판단한 결과, 모니터링 대상자가 비디오 카메라의 촬영 가능 영역에 있다고 판단되면, 행동 인지 장치가 비디오 카메라에 인지 개시 통지를 송신하는 단계를 더 포함할 수도 있다.
또한, 본 발명의 행동 모니터링 방법은, 상기 판단 단계와 상기 촬영/검출 단계 사이에, 모니터링 대상자의 존재 여부를 판단한 결과, 모니터링 대상자가 비디오 카메라의 촬영 가능 영역에 있다고 판단되면, 행동 인지 장치가 모니터링 서버에 영역 진입 통지를 송신하는 단계; 및 영역 진입 통지를 수신한 모니터링 서버가 비디오 카메라에 인지 개시 통지를 송신하는 단계를 더 포함할 수도 있다.
본 발명에 의하면, 비디오 카메라를 기반으로 구축된 모니터링 시스템에서 비디오 촬영의 사각 지대에 대해서도 대상자의 행동을 모니터링할 수 있다.
본 발명에 의하면, 기존의 비디오 카메라 기반 모니터링 시스템을 활용할 수 있으므로, 새로운 모니터링 시스템을 구축하는 비용을 절감할 수 있다.
본 발명에 의하면, 대상자가 비디오 촬영 가능 구역을 이탈한 경우에도, 자동적으로 모니터링이 이어지게 됨으로써, 대상자의 행동 패턴을 연속적으로 모니터링할 수 있다.
본 발명에 의하면, 대상자의 행동을 3차원적으로 패터닝할 수 있으므로, 정해진 시간 동안 대상자가 취한 행동을 구체적으로 분석할 수 있다.
본 발명에 의하면, 비디오 카메라와 부착형 센서 노드를 함께 사용함으로써, 모니터링 구역 내에 급격한 환경 변화가 있는 경우에도 대상자의 행동을 정확하게 파악할 수 있다.
본 발명은 모니터링 대상자에게 행동을 인지하는 센서 노드를 부착함으로써, 비디오 감시 장치의 커버리지(coverage) 이외의 구간에서도 모니터링 대상자의 행동을 파악할 수 있을 뿐 아니라, 비디오 감시 장치와 부착형 센서 노드가 상호 보완하여 모니터링 시스템을 이루고 있기 때문에, 보다 정확하고 풍부한 데이터를 기반으로 대상자의 행동을 모니터링하고 분석할 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명의 실시 형태에 대하여 구체적으로 설명한다.
도 1은 본 발명에 따른 행동 모니터링 시스템에서 모니터링 대상 영역과 비디오 카메라의 촬영 가능 영역을 개략적으로 도시한 것이다.
도시된 바와 같이, 모니터링 대상 영역(10)을 비디오 카메라(11a, 11b, 11c, 11d)를 기반으로 모니터링하는 경우에는, 비디오 카메라(11a, 11b, 11c, 11d)로 촬영이 가능한 영역(13)과 촬영할 수 없는 영역(15)이 나타나게 된다.
본 발명에서는 모니터링 대상자가 모니터링 대상 영역(10)에서, 비디오 카메라(11a, 11b, 11c, 11d)의 촬영 가능 영역(13)에 있는 경우에는 비디오 카메 라(11a, 11b, 11c, 11d)가 모니터링 대상자를 모니터링하고, 모니터링 대상자가 비디오 카메라(11a, 11b, 11c, 11d)가 촬영할 수 없는 영역(15)에 있는 경우에는 모니터링 대상자가 부착하고 있는 행동 인지 장치(미도시)가 모니터링 대상자의 행동을 모니터링한다.
도 2는 본 발명에 따른 행동 모니터링 시스템에서 모니터링 대상자의 행동을 인지하고 모니터링하는 방법을 도시한 플로우차트이다.
행동 모니터링 시스템은, 모니터링 대상 구역을 촬영하는 비디오 카메라와, 모니터링 대상자의 신체에 부착되는 행동 인식 장치 그리고 시스템을 제어하는 모니터링 서버를 포함한다.
시스템에 전원을 인가하여, 시스템의 가동을 개시하면(S1 단계), 비디오 카메라와 행동 인지 장치는 자체적으로 혹은 모니터링 서버의 제어에 의해 초기화 된다(S2 단계).
행동 인지 장치는 후술하는 바와 같이, 모니터링 대상자의 행동을 감지하는 센서부, 감지된 행동 데이터를 아날로그 값에서 디지털 값으로 변환하는 A/D(Analog to Digital) 변환기, 데이터를 연산 처리하는 제어부, 데이터를 저장하는 저장부, 데이터를 송신하는 무선 송수신부를 포함한다.
행동 인지 장치의 초기화, 즉, 상술한 바와 같은 내부 장치들이 초기화되면 각각의 설정값들이 초기치로 재설정된다. 저장부는 기존의 저장 데이터를 삭제하고 저장 공간을 확보한다. 센서부는 제어부에 의해 초기화되며, 저장부 또는 제어부에 설정된 사용자의 설정값을 불러와 활용한다. 비디오 카메라의 경우, 전원이 인가되 면, 즉시 모니터링 대상 구역 내에 있는 모니터링 대상자의 촬영을 개시해도 된다.
비디오 카메라는 모니터링 서버 또는 행동 인지 장치와 통신이 가능한 무선 송수신부를 구비하고 있다. 후술하는 바와 같이, 본 발명의 실시예에서는 비디오 카메라와 행동 인지 장치, 그리고 시스템 서버 혹은 시스템 서버의 센서노드에 예컨대 IEEEE 802.15.4 기반의 Zigbee Phy 모듈과 같은 통신 모듈을 탑재하여, 이들로 이루어지는 근거리 저전력의 무선 통신 네트워크를 구축한다.
초기화에 의해, 비디오 카메라의 무선 송수신부도 촬영 데이터를 모니터링 서버에 송신할 수 있도록 가동하기 시작한다.
가동 후 행동 모니터링 시스템은 비디오 카메라의 촬영 가능 영역에 모니터링 대상자가 있는지 여부를 판단한다(S4 단계). 필요에 따라서는 그 전에, 전체 모니터링 대상 영역 내에 모니터링 대상자가 있는지 여부를 먼저 판단해도 된다(S3 단계).
모니터링 대상 영역에 모니터링 대상자가 존재하는지 여부를 판단하기 위해, 모니터링 서버는 모니터링 대상 영역으로부터 행동 인지 장치의 무선 송수신부에서 보내오는 신호가 존재하는지 여부를 근거로 하거나, 비디오 카메라에서 보내온 영상 데이터에 모니터링 대상자가 있는지 그리고 비디오 카메라가 촬영할 수 없는 영역에서 보내진 행동 인지 장치의 신호가 있는지 등을 고려하여 모니터링 대상자의 존재 여부를 판단할 수 있다.
모니터링 대상 영역에 모니터링 대상자가 없다고 판단한 경우에는 모니터링 서버는 행동 모니터링 시스템을 종료한다(S5). 이를 통해, 모니터링 대상자가 존재 하지 않는 경우에도 모니터링 시스템을 가동함으로써 불필요하게 에너지를 소모하게 되는 것을 방지할 수 있다.
시스템이 종료한 경우에는, 사용자가 직접 시스템을 다시 시작(S1 단계)하도록 해도 되고, 미리 설정된 일정한 시간이 경과한 후에 시스템이 자동적으로 다시 시작(S1 단계)되도록 해도 되며, 저전력으로 유지되는 비디오 카메라에 움직임이 감지되면 시스템이 자동적으로 시작(S1 단계)되도록 해도 된다.
모니터링 대상 구역에 모니터링 대상자가 존재한다고 판단한 경우에는 비디오 카메라의 촬영 가능 영역 내에 모니터링 대상자가 있는지를 판단한다(S4 단계).
비디오 카메라의 촬영 가능 영역 내에 모니터링 대상자가 존재하는 경우에는, 비디오 카메라를 통해 모니터링 대상자의 행동을 인지하고 파악한다(S6 단계). 비디오 카메라의 촬영 가능 영역 내에 모니터링 대상자가 존재하지 않는 경우에는 모니터링 대상자가 부착하고 있는 행동 인지 장치를 통해 대상자의 행동을 인지하고 파악한다(S7 단계).
비디오 카메라가 촬영한 영상에 모니터링 대상자가 존재하면, 이를 자동적으로 인식하여, 모니터링 대상자가 촬영 가능 영역에 있는 것으로 판단해서 비디오 카메라를 통해 행동을 인지하고 파악한다.
촬영 영상 내에 모니터링 대상자가 존재하지 않으면, 모니터링 대상자가 촬영 가능 영역을 벗어난 것으로 판단하여 행동 인지 장치를 통해 모니터링 대상자의 행동을 인지하고 파악한다.
이 경우, 비디오 카메라로부터 행동 인지 장치로 인지 개시 통지를 송신함으 로써 행동 인지 장치가 인지를 개시하도록 해도 되고, 비디오 카메라로부터 모니터링 서버로 영역 이탈 통지를 송신하고, 영역 이탈 통지를 수신한 모니터링 서버가 행동 인지 장치에 인지 개시 통지를 송신함으로써 행동 인지 장치가 인지를 개시하도록 해도 된다.
혹은, 모니터링 대상자의 신체에 부착된 행동 인지 장치 내에 위치 센서를 탑재하고, 위치 센서에 의해 모니터링 대상자가 촬영 가능 영역에 존재한다는 것이 확인되면, 비디오 카메라를 통해 모니터링 대상자의 행동을 인지하며, 위치 센서를 통해 촬영 가능 영역을 벗어나 있다는 것이 확인되면, 행동 인지 장치를 통해 모니터링 대상자의 행동을 인지할 수도 있다.
이 경우에는, 행동 인지 장치로부터 비디오 카메라에 인지 개시 통지를 송신함으로써, 비디오 카메라가 모니터링 대상자의 행동을 인지하도록 해도 되고, 행동 인지 장치로부터 모니터링 서버로 영역 진입 통지를 송신하고, 영역 진입 통지를 수신한 모니터링 서버가 비디오 카메라에 인지 개시 통지를 송신함으로써 비디오 카메라가 행동 인지를 개시하도록 해도 된다.
비디오 카메라 또는 행동 인지 장치가 행동을 인지한 모니터링 대상자의 데이터는, 각각의 장치에 내장된 무선 송수신부를 통해 모니터링 서버로 전송된다(S8 단계).
비디오 카메라는 모니터링 서버로 영상 데이터만을 전송할 수도 있고, 촬영한 영상을 자체적으로 분석한 데이터를 모니터링 서버에 전송할 수도 있다. 후자의 경우, 예컨대 행동 인지 장치와 동일한 유형의 데이터를 포함하여 전송함으로써, 모니터링 대상자를 모니터하는 주체가 비디오 카메라에서 행동 인지 장치로, 혹은 행동 인지 장치에서 비디오 카메라로 변경되는 경우에도, 모니터링 서버가 보다 효율적으로 데이터를 처리하게 할 수도 있다.
비디오 카메라와 행동 인지 장치의 무선 송수신부는 IEEE 802.15.4 기반의 Zigbee PHY 모듈을 포함하고 있으며, Zigbee Phy 기반의 모니터링 서버와 근거리 네트워크를 이룬다.
따라서, 비디오 카메라와 행동 인지 장치는 모니터링 서버의 센서 노드를 감지하고 인지한 모니터링 대상자의 데이터를 모니터링 서버에 전송한다.
필요에 따라서는 비디오 카메라와 행동 인지 장치 사이에만 Zigbee Phy 기반의 근거리 네트워크를 구축하고, 비디오 카메라와 모니터링 서버 사이는 유선으로 연결하여, 비디오 카메라가 행동 인지 장치와 모니터링 서버 사이의 연결을 매개하도록 할 수도 있다.
또한, 행동 인지 장치와 비디오 카메라를 동시에 사용하여, 모니터링 대상자의 행동을 모니터링하도록 할 수도 있다. 이 경우에는 행동 인지 장치로부터 인식되는 (후술할) 사용자 ID와 비디오 카메라의 영상에 의해 인지되는 모니터링 대상자를 대비함으로써, 보다 정확하게 모니터링을 수행할 수 있게 된다. 예를 들면, 영상 속의 모니터링 대상자와 행동 인지 장치의 사용자 ID가 일치하지 않는 것으로 나타나는 경우에는 서버에 이를 통지함으로써, 발생 가능한 위험 상황들을 점검하도록 할 수도 있으며, 조명과 같은 시스템 환경의 변화에 의해 그런 오류가 발생했다고 판명된 경우에는 행동 인지 장치의 사용자 ID에 매칭될 수 있도록 비디오 카 메라나 조명 등 시스템의 설정을 재조정하거나 영상을 보정하는 알고리즘을 작동시키게 할 수도 있다.
행동 모니터링 시스템은 상술한 과정을 반복함으로써, 모니터링 대상자의 행동 패턴을 실시간으로 모니터링할 수 있으며, 모니터링 서버는 비디오 카메라 또는 행동 인지 장치로부터 송신된 데이터를 축적하여, 일정 시간 동안 모니터링 대상자가 취한 행동을 구체적으로 파악할 수 있다.
도 3은 본 발명에 따른 행동 인지 장치(30)의 내부 구성을 개략적으로 도시한 블록도이다.
행동 인지 장치의 가속도 센서부(31)는 서로 다른 방향의 가속도를 감지하는 적어도 세개 이상의 센서(31a, 31b, 31c)를 포함한다. 센서는 지면을 기준으로 하여 지면에 수직인 Z축과 이 Z축에 수직이며 또한 서로 수직인 두 방향을 각각 X, Y 축으로 설정하여, 이 X, Y, Z 세 방향의 가속도를 감지하는 X축 가속도 센서(31a), Y축 가속도 센서(31b), Z축 가속도 센서(31c)이어도 되며, 그 외에 3차원 공간을 구성할 수 있는 임의의 방향에 대하여 가속도를 감지하는 센서여도 된다.
A/D(Analog to Digital) 변환부(33)는 가속도 센서부(31)가 측정한 아날로그 데이터를 디지털 데이터로 변환한다.
제어부(35)는 A/D 변환부(33)를 통해 변환된 가속도의 디지털 데이터를 무선 송수신부(39)를 통해 송신하거나, 저장부(37)에 저장한다.
제어부(35)는 무선 송수신부(39)를 통해, 모니터링 서버 또는 비디오 카메라와 통신한다. 무선 송수신부(39)는 IEEE 802.15.4 기반의 Zigbee 파이(PHY) 모듈을 포함하고 있으며, 모니터링 서버의 센서 노드와 비디오 카메라도 역시 IEEE 802.15.4 기반의 Zigbee 파이(PHY) 모듈을 포함하고 있다.
이처럼, 본 발명에서는 IEEE 802.15.4 기반의 Zigbee 기술을 이용하여, 행동 모니터링 시스템의 행동 인지 장치와 비디오 카메라 그리고 모니터링 서버 사이에서 통신이 이루어진다.
Zigbee 기술의 특성상 최소한의 전력으로 무선 통신을 할 수 있으므로, 행동 인지 장치와 비디오 카메라의 소형화, 경량화 및 장수명화를 도모활 수도 있다.
제어부(39)는 디지털 변환된 가속도 데이터를 무선 송수신부(39)를 통해 자동 전송한다. 제어부(35)가 모니터링 서버의 센서 노드를 검색하지 못한 경우, 제어부(35)는 비디오 카메라에 데이터를 전송해서 모니터링 서버에 데이터가 전달되도록 할 수도 있고, 저장부(37)에 해당 데이터를 저장하고, 일정한 시간이 경과하면 모니터링 서버의 센서 노드를 재검색하여 데이터를 송신할 수도 있다.
또한, 제어부(35)는 미리 설정된 가속도의 기준값과 A/D 변환부(33)에서 디지털 변환된 가속도 데이터를 비교하여, 가속도 데이터가 가속도의 기준값보다 크거나 같은 경우에만, 이를 모니터링 서버에 전송하거나 저장부(37)에 저장할 수도 있다. 이 경우, 가속도의 기준값은 제어부(35)나 저장부(37)에 미리 설정될 수 있다. 따라서 모니터링 대상자의 행동 중에 의미 있는 행동들만을 모니터링할 수 있게 된다.
또한, 행동 인지 장치는, 도시되지 않았으나, 외부로부터 데이터를 입력 받을 수 있는 데이터 입력부를 추가로 구비할 수도 있으며, 이 입력부를 통해, 원하 는 가속도 조건이 새롭게 설정될 수도 있다.
또한, 제어부(35)는 A/D 변환부(33)로부터 넘겨받은 서로 다른 방향에 대한 가속도의 디지털 값들에 대하여, 각각의 방향에 대한 평균값, 최대값과 그 주기, 발생 시간 등의 주요 데이터를 연산할 수도 있으며, 이를 위해 제어부(35) 또는 저장부(37)에 필요한 연산 규칙을 미리 설정해도 된다.
저장부(37)로는 플래시 메모리를 비롯해 다양한 소형 메모리가 사용될 수 있으며, 외부 서버로 전송할 디지털화된 가속도 데이터 외에도, 미리 설정되었거나 입력부를 통해 새롭게 설정되는 값, 예컨대, 데이터로서 전송 또는 보관된 가속도를 선별하는 가속도 기준값, 모니터링 대상자의 키나 보폭 같은 신체 조건, 모니터링 서버를 검색하는 시간 주기, 검출 주기 및 회당 샘플링 횟수 등 다양한 설정값을 저장할 수 있다.
무선 송수신부(39)는 IEEE 802.15.4 기반의 Zigbee PHY 모듈을 포함하고 있다. 무선 송수신부는(39)는 이 Zigbee Phy 모듈을 통해, 모니터링 서버 또는 비디오 카메라와 통신한다.
무선 송수신부(39)가 근거리 저전력 통신에 효과적인 Zigbee 통신 모듈을 포함하고 있기 때문에, 이를 이용하여 보다 효과적으로 대상자를 모니터링할 수 있다.
구체적으로, 동일한 모니터링 대상자의 서로 다른 신체 부위에 복수의 행동 인지 장치를 부착할 수도 있다.
상이한 신체 부위에 부착된 행동 인지 장치는 각각의 부위에서 측정된 가속 도 데이터를 각각의 무선 송수신부(39)를 통해 전송한다.
이때 제어부(35)가 측정된 가속도 데이터와 비교하는 가속도 기준값은 부착된 신체 부위에 따라서 행동 인지 장치마다 상이하게 설정될 수 있다.
모니터링 서버는 동일한 모니터링 대상자에 대하여 복수의 신체 부위로부터 검출된 인지 데이터를 송신받아서, 대상자의 행동을 보다 폭넓게 분석할 수 있다.
도 4는 본 발명에 따른 행동 모니터링 시스템에서 모니터링 서버로 전송되는 메시지 포맷의 일례를 도시한 것이다.
메지시 포맷의 최선단에는 센서 ID가 존재한다. 센서 ID는 이 데이터가 부착형 센서 노드, 즉 행동 인지 장치에서 입력된 데이터인지, 비디오 카메라로 촬영한 영상을 통해 추출된 데이터인지를 구분하는 필드이다. 예컨대, 행동 인지 장치에서 입력된 데이터인 경우에는 센서 ID가 WSN(Wearable Sensor Node)로, 비디오 카메라쪽으로부터 얻어진 데이터인 경우에는 VSN(Vedio Sensor Node)로 각각 표시될 수 있다.
타임 스탬프(Time Stamp)는 부착형 센서 노드나 비디오에서 데이터를 받아들인 시간을 표시한다. 정확한 행동 패턴의 모니터링을 위해, 연도:월:일(YY:MM:DD)-시:분:초(HH:MM:SS)와 같은 방식으로, 연월일뿐만 아니라 시분초까지 기록되는 구조를 가지게 된다.
다음에 수반되는 Null 데이터는 데이터를 정렬하기 위해서 들어가게 된다.
사용자 ID는 모니터링 대상자별로 할당된 ID이다. 다수의 대상자를 동시에 모니터링하는 경우에, 모니터링 서버는 각각의 행동 인지 장치 및 비디오 카메라로 부터 전송된 데이터를 이 사용자 ID를 통해서, 모니터링 대상자별로 저장 분석할 수 있게 된다.
모니터링 대상자의 구체적인 행동 패턴을 파악하기 위해 부착형 센서 노드, 즉 행동 인지 장치가 복수개 사용되었다면, 해당 부착 부위별로 할당된 하위 ID가 저장된다. 즉, 모니터링 대상자 A에 대하여, 상체와 하체에 각각 행동 인지 장치가 부착되어 있다면, A의 상체와 하체에 각각 부여된 사용자 ID가 여기에 저장된다.
그 다음의 Null 데이터는 차후에 추가적인 정보를 위한 예약 공간으로 할당되어 있다.
행동 유형 필드는 부착형 센서노드, 즉 행동 인지 장치 또는 비디오 카메라를 통해서 판단된 모니터링 대상자의 행동 인식 결과가 위치하게 된다.
행동 인식의 결과는 미리 정해진 일정한 값을 기준으로 판단된 것으로서, 예컨대, 미리 통계적인 방법으로 보행시의 신체 부위의 가속도 기준값 또는 가속도 구간값을 정해두고, 각각의 방향에 대해 측정된 가속도 값이 상기 기준이나 구간에 대응하면, 모니터링 대상자의 행위를 보행으로 판단하고, 행동 유형을 Walk로 표시한다. 마찬가지로, 다양한 행동 유형에 대응하는 가속도 기준값이나 구간값을 설정하고, 측정된 가속도 값과 대비함으로써 모니터링 대상자가 어떤 행동 유형을 취하고 있는지 판단할 수 있게 된다.
마지막으로 인식 확률 필드를 구비할 수도 있다. 인식 확률 필드는 사용자의 행동 인식 결과의 인식율을 나타내는 것으로서, 행동 유형 필드에서 표시한 행동 유형의 신뢰도를 표시한다. 예를 들면, 미리 구해진 통계치 분포를 이용하여, 실제 모니터링 대상자의 행동이 표시된 행동 유형과 동일하다고 신뢰할 수 있는 정도를 수치적으로 표시하는 것이다.
도 4와 같은 구성의 데이터 포맷은 일정 시간을 주기적으로 반복하여 모니터링 서버에 전송된다. 도 4에는 상술한 바와 같은 특정 데이터만을 도시하고 있으나, 이는 본 발명의 일 실시예에 불과하며, 도시된 데이터 외에 다양한 데이터가 추출 전송될 수 있다.
모니터링 서버는 일정 시간에 대하여 주기적으로 전송되는 데이터를 축적하여, 해당 시간 동안 모니터링 대상자가 어떤 행동을 취하였는지 구체적이고 연속적인 행동 패턴을 파악할 수 있으며, 이를 통해 다양한 행동 분석이 가능하게 된다.
이상과 같이, 본 발명의 기술적 사상을 바람직한 실시 형태를 통해 구체적으로 기술하였으나, 상기 실시 행태는 본 발명의 기술적 사상을 설명하기 위한 것으로서, 본 발명은 이에 국한되지 않는다. 또한, 본 발명 또는 본 발명과 유사한 기술 분야의 통상의 기술자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
도 1은 본 발명에 따른 행동 모니터링 시스템에서 모니터링 대상 영역과 비디오 카메라의 촬영 가능 영역을 개략적으로 도시한 것이다.
도 2는 본 발명에 따른 행동 모니터링 시스템에서 모니터링 대상자의 행동을 인지하고 모니터링하는 방법을 도시한 플로우차트이다.
도 3은 본 발명에 따른 행동 인지 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 4는 본 발명에 따른 행동 모니터링 시스템에서 모니터링 서버로 전송되는 메시지 포맷의 일례를 도시한 것이다.

Claims (11)

  1. 모니터링 대상 지역을 촬영하고 촬영 데이터를 송신하는 비디오 카메라;
    모니터링 대상자의 신체에 부착되어 모니터링 대상자의 행동을 인지하고 행동 인지 데이터를 송신하는 행동 인지 장치; 및
    모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역 내에 있는 경우에는 상기 비디오 카메라가 촬영한 촬영 데이터를 수신하고, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역을 벗어나 있는 경우에는 상기 모니터링 대상자가 부착하고 있는 행동 인지 장치로부터 모니터링 대상자에 대한 행동 인지 데이터를 수신하는 모니터링 서버를 포함하며,
    상기 비디오 카메라는, 모니터링 대상자가 촬영 가능 영역을 벗어나 있는 경우에, 상기 모니터링 대상자가 부착하고 있는 행동 인지 장치에 인지 개시 통지를 송신하고,
    상기 행동 인지 장치는 상기 비디오 카메라로부터 인지 개시 통지를 수신한 경우에, 상기 모니터링 대상자에 대한 행동 인지 데이터를 수집하여 상기 모니터링 서버에 송신하기 시작하는, 행동 모니터링 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 비디오 카메라는, 모니터링 대상자가 촬영 가능 영역을 벗어나 있는 경우에, 상기 모니터링 서버에 영역 이탈 통지를 송신하고,
    상기 모니터링 서버는, 상기 비디오 카메라로부터 영역 이탈 통지를 수신하고, 상기 모니터링 대상자가 부착하고 있는 행동 인지 장치에 인지 개시 통지를 송신하며,
    상기 행동 인지 장치는, 상기 모니터링 서버로부터 인지 개시 통지를 수신한 경우에, 상기 모니터링 대상자에 대한 행동 인지 데이터를 수집하여 상기 모니터링 서버에 송신하기 시작하는, 행동 모니터링 시스템.
  4. 제1항에 있어서,
    상기 행동 인지 장치는, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역에 있는 경우에, 상기 비디오 카메라에 인지 개시 통지를 송신하고,
    상기 비디오 카메라는 상기 행동 인지 장치로부터 인지 개시 통지를 수신한 경우에, 상기 모니터링 대상자에 대한 촬영 데이터를 상기 모니터링 서버에 송신하기 시작하는, 행동 모니터링 시스템.
  5. 제1항에 있어서,
    상기 행동 인지 장치는, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역에 있는 경우에, 상기 모니터링 서버에 영역 진입 통지를 송신하고,
    상기 모니터링 서버는, 상기 행동 인지 장치로부터 영역 진입 통지를 수신하고, 상기 비디오 카메라에 인지 개시 통지를 송신하며,
    상기 비디오 카메라는, 상기 모니터링 서버로부터 인지 개시 통지를 수신한 경우에, 상기 모니터링 대상자에 대한 촬영 데이터를 상기 모니터링 서버에 송신하기 시작하는, 행동 모니터링 시스템.
  6. 제1항, 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 행동 인지 장치는 서로 다른 방향에 대하여 가속도를 측정하는 센서를 적어도 3개 포함하는, 행동 모니터링 시스템.
  7. 비디오 카메라와 행동 인지 장치의 데이터를 초기화하는 단계;
    상기 비디오 카메라의 촬영 가능 영역 내에 모니터링 대상자가 존재하는지 판단하는 단계;
    모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역 내에 있는 경우에는 상기 비디오 카메라가 상기 모니터링 대상자를 촬영하고, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역을 벗어나 있는 경우에는 상기 행동 인지 장치가 상기 모니터링 대상자의 행동을 인지 검출하는 단계; 및
    상기 촬영되거나 인지 검출된 모니터링 대상자에 관한 데이터를 모니터링 서버에 송신하는 단계를 포함하되,
    상기 판단 단계와 상기 촬영/검출 단계 사이에,
    상기 판단 결과, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역을 벗어나 있다고 판단되면, 상기 비디오 카메라가 상기 행동 인지 장치에 인지 개시통지를 송신하는 단계를 더 포함하는,
    행동 모니터링 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 판단 단계와 상기 촬영/검출 단계 사이에,
    상기 판단 결과, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역을 벗어나 있다고 판단되면, 상기 비디오 카메라가 상기 모니터링 서버에 영역 이탈 통지를 송신하는 단계; 및
    상기 영역 이탈 통지를 수신한 모니터링 서버가, 상기 행동 인지 장치에 인지 개시 통지를 송신하는 단계를 더 포함하는, 행동 모니터링 방법.
  10. 제7항에 있어서,
    상기 판단 단계와 상기 촬영/검출 단계 사이에,
    상기 판단 결과, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역에 있다고 판단되면, 상기 행동 인지 장치가 상기 비디오 카메라에 인지 개시 통지를 송신하는 단계를 더 포함하는, 행동 모니터링 방법.
  11. 제7항에 있어서,
    상기 판단 단계와 상기 촬영/검출 단계 사이에,
    상기 판단 결과, 모니터링 대상자가 상기 비디오 카메라의 촬영 가능 영역에 있다고 판단되면, 상기 행동 인지 장치가 상기 모니터링 서버에 영역 진입 통지를 송신하는 단계; 및
    상기 영역 진입 통지를 수신한 모니터링 서버가 상기 비디오 카메라에 인지 개시 통지를 송신하는 단계를 더 포함하는, 행동 모니터링 방법.
KR1020080103977A 2008-10-23 2008-10-23 행동 모니터링 시스템 및 행동 모니터링 방법 KR100983057B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080103977A KR100983057B1 (ko) 2008-10-23 2008-10-23 행동 모니터링 시스템 및 행동 모니터링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080103977A KR100983057B1 (ko) 2008-10-23 2008-10-23 행동 모니터링 시스템 및 행동 모니터링 방법

Publications (2)

Publication Number Publication Date
KR20100044970A KR20100044970A (ko) 2010-05-03
KR100983057B1 true KR100983057B1 (ko) 2010-09-17

Family

ID=42272778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080103977A KR100983057B1 (ko) 2008-10-23 2008-10-23 행동 모니터링 시스템 및 행동 모니터링 방법

Country Status (1)

Country Link
KR (1) KR100983057B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130106082A (ko) * 2012-03-19 2013-09-27 삼성전자주식회사 아기 감시 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210042591A (ko) * 2019-10-10 2021-04-20 한화테크윈 주식회사 감시 카메라 시스템 및 그 동작 방법
CN117809416A (zh) * 2023-12-29 2024-04-02 光谷技术有限公司 一种周界智能综合安防管理平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792014B1 (ko) 2006-06-15 2008-01-04 주식회사 아트시스템 Ｕｓｎ 기반 상황 실시간 감시 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792014B1 (ko) 2006-06-15 2008-01-04 주식회사 아트시스템 Ｕｓｎ 기반 상황 실시간 감시 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130106082A (ko) * 2012-03-19 2013-09-27 삼성전자주식회사 아기 감시 방법 및 장치
KR101970962B1 (ko) * 2012-03-19 2019-04-22 삼성전자주식회사 아기 감시 방법 및 장치

Also Published As

Publication number Publication date
KR20100044970A (ko) 2010-05-03

Similar Documents

Publication Publication Date Title
JP5927691B2 (ja) エリアモニタリングシステム
US20200311378A1 (en) Drone pre-surveillance
US20190213396A1 (en) Systems and methods for efficient face recognition
WO2008016679A2 (en) Wireless detection and alarm system for monitoring human falls and entries into swimming pools by using three dimensional acceleration and wireless link energy data method and apparatus
CN105608839B (zh) 一种老人室内摔倒求救***
US11651666B2 (en) Attempted entry detection
Xefteris et al. Performance, challenges, and limitations in multimodal fall detection systems: A review
US11900774B2 (en) Camera enhanced with light detecting sensor
CN110197732B (zh) 一种基于多传感器的远程健康监控***、方法与设备
JP2004164282A (ja) 個人行動検知システム
US20210217438A1 (en) Door knock access control
KR100983057B1 (ko) 행동 모니터링 시스템 및 행동 모니터링 방법
US20210182765A1 (en) Guard tour tracking
US9336661B2 (en) Safety communication system and method thereof
KR102587369B1 (ko) 실시간 비탈면 붕괴 통합 감지 시스템
JP2002119485A (ja) 状態情報収集システム、状態情報収集装置、装着可能端末装置、状態情報収集方法、個人特性情報収集システム、媒体、および情報集合体
US11200793B2 (en) Notifications for camera tampering
WO2019076954A1 (en) METHODS AND DEVICES FOR INTRUSION DETECTION
KR100986991B1 (ko) 행동 인지 장치 및 행동 인지 시스템과 이를 이용한 행동 인지 처리 방법
KR102382517B1 (ko) 빅데이터 기반의 행동패턴 분석을 이용한 독거 생활 케어시스템
KR102303633B1 (ko) 반려동물의 감정 및 상태 분석을 이용한 스마트 홈케어 시스템
JP2002149824A (ja) 行動検知システム
CN117197998A (zh) 一种物联网的传感器集成看护***
KR20220040934A (ko) 개인정보 보호 기능을 갖는 인공지능 생활 모니터링 시스템
US20230252874A1 (en) Shadow-based fall detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160511

Year of fee payment: 6

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170913

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180911

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190904

Year of fee payment: 10