KR101735565B1 - 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법 - Google Patents

열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101735565B1
KR101735565B1 KR1020120068176A KR20120068176A KR101735565B1 KR 101735565 B1 KR101735565 B1 KR 101735565B1 KR 1020120068176 A KR1020120068176 A KR 1020120068176A KR 20120068176 A KR20120068176 A KR 20120068176A KR 101735565 B1 KR101735565 B1 KR 101735565B1
Authority
KR
South Korea
Prior art keywords
shadow
column
thermal
size
brightness
Prior art date
Application number
KR1020120068176A
Other languages
English (en)
Other versions
KR20140000821A (ko
Inventor
최은지
노승인
김지만
김대진
Original Assignee
한화테크윈 주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사, 포항공과대학교 산학협력단 filed Critical 한화테크윈 주식회사
Priority to KR1020120068176A priority Critical patent/KR101735565B1/ko
Priority to US13/887,480 priority patent/US9189863B2/en
Publication of KR20140000821A publication Critical patent/KR20140000821A/ko
Application granted granted Critical
Publication of KR101735565B1 publication Critical patent/KR101735565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법에 관한 것으로, 본 발명의 일 실시예에 따르면, 열 그림자를 제거할 수 있는 움직임 검출 시스템에 있어서, 열 그림자 특성에 대한 데이터를 온도 별로 분류 및 저장하는 데이터베이스; 상기 열 그림자 특성을 기초로 온도 별로 열 그림자의 크기 및 밝기 정보를 획득하는 학습부; 검출 대상 열 영상에서 열 그림자 영역을 제거하는 검출부; 를 포함하는 움직임 검출 시스템이 제공된다.

Description

열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법{METHOD AND SYSTEM FOR MOTION DETECTION USING ELIMINATION OF SHADOW BY HEAT}
본 발명은 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법에 관한 것이다.
최근 사회 전반적으로 영상 감시에 대한 요구가 증가하면서, 늘어나는 시스템에 비해 이를 관리하는 인력 부족 현상을 해소하기 위하여 사람을 대신해 물체를 추적하거나, 자동으로 얼굴을 인식하거나, 영상 내의 움직임을 감지하는 지능형 영상 분석 기술들이 개발되고 있다.
이러한 영상 분석 기법은 영상 정보로부터 움직이는 물체를 감지하거나 이 물체의 행동을 분석하는 기능을 포함한다. 영상 분석 기법은 침입/도난 감시, 움직이는 물체의 감시 등 보안 시스템의 관리 인력을 대체 또는 보조할 수 있어 감시 시스템의 효율성을 높이는 데 도움을 준다.
한편, 열 영상 장비(Thermal Observation Device)는 가시광선보다 긴 파장을 감지하여 영상으로 보여주기 때문에 빛이 전혀 없는 캄캄한 밤에도 사람과 물체의 위치 및 동태를 파악할 수 있고, 안 보이는 곳에서의 상황 역시 탐지할 수 있다.
본 발명은 열 영상에서 이동 물체의 열이 배경에 전달되어서 발생하는 열 그림자(shadow by heat)을 제거하여 이동 물체 검출의 정확도를 높이는 것을 일 목적으로 한다.
또한, 본 발명은 열 그림자 영역을 감지하기 위해 기존의 열 그림자 특성을 분석하여 온도에 따른 열 그림자의 크기 및 밝기를 학습하며, 학습된 정보를 기초로 열 그림자 영역을 감지한다.
본 발명의 일 실시예에 따르면, 열 그림자를 제거할 수 있는 움직임 검출 시스템에 있어서, 열 그림자 특성에 대한 데이터를 온도 별로 분류 및 저장하는 데이터베이스; 상기 열 그림자 특성을 기초로 온도 별로 열 그림자의 크기 및 밝기 정보를 획득하는 학습부; 검출 대상 열 영상에서 열 그림자 영역을 제거하는 검출부; 를 포함하는 움직임 검출 시스템이 제공된다.
본 발명에 있어서, 상기 학습부는 온도 별로 상기 열 그림자의 크기 함수를 추정하는 열 그림자 크기 획득부; 온도 별로 상기 열 그림자의 밝기 값 정보에 기초한 임계치를 설정하는 열 그림자 밝기 획득부; 를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 열 그림자 크기 획득부는 상기 열 그림자의 크기 정보를 획득할 때 각 이동 물체를 둘러싼 경계 박스 대비 열 그림자 영역의 크기에 대한 데이터를 수집하고, 온도 별 크기 파라미터를 계산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 열 그림자 크기 획득부는 회귀 분석을 통해 상기 온도 별 크기 파라미터를 계산하고, 상기 크기 파라미터에 기초하여 크기 함수를 계산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습부는 상기 열 그림자의 특성을 기초로 각 이동 물체를 둘러싼 경계 박스 대비 열 그림자 크기의 함수를 추정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 열 그림자 밝기 획득부는 상기 밝기 정보를 획득할 때 이동 물체 영역, 열 그림자 영역, 이동 물체의 엔진 영역에 대한 밝기 값 정보에 기초하여, 각 영역을 구분하는 상기 임계치를 온도 별로 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 열 그림자 밝기 획득부는 베이지안(baysian)함수를 사용하여 상기 임계치를 산출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검출부는 검출 대상 열 영상의 온도 정보를 사용하여 해당 온도에서의 열 그림자를 지정하고, 상기 지정된 열 그림자를 제거하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검출부는 상기 학습부가 획득한 열 그림자의 크기 정보에 기초하여, 검출 대상 열 영상의 온도에 대응하는 열 그림자의 크기를 추출한 후 상기 열 그림자 크기 만큼의 영역을 후보 영역으로 지정하는 후보 영역 지정부; 상기 학습부가 획득한 열 그림자의 밝기 정보에 기초하여, 상기 후보 영역 중 열 그림자 밝기의 범위 내에 있는 영역을 열 그림자로 지정하는 열 그림자 영역 지정부; 상기 지정된 열 그림자 영역을 제거하는 열 그림자 제거부; 를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 후보 영역 지정부는 상기 검출 대상 열 영상에서 이동 물체를 둘러싸는 경계 박스 크기를 측정하고, 학습부가 획득한 온도 별 열 그림자 크기 함수에서 해당 경계 박스 크기에 대응하는 열 그림자 크기를 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 후보 영역 지정부는 상기 경계 박스의 바닥에서부터 상기 열 그림자 크기 내에 존재하는 영역들을 열 그림자 후보 영역으로 지정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 열 그림자 영역 지정부는 상기 열 그림자 후보 영역에서의 밝기 값 정보에 기초하여 상기 학습부가 획득한 밝기 임계치 범위 내의 영역을 열 그림자 영역으로 지정하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 열 그림자를 제거할 수 있는 움직임 검출 방법에 있어서, 열 그림자 특성에 대한 데이터를 온도 별로 데이터베이스에 분류 및 저장하는 단계; 상기 열 그림자 특성을 기초로 온도 별로 열 그림자의 크기 및 밝기 정보를 획득하는 학습 단계; 검출 대상 열 영상에서 열 그림자 영역을 제거하는 검출 단계; 를 포함하는 움직임 검출 방법이 제공된다.
본 발명에 있어서, 상기 학습 단계는 온도 별로 상기 열 그림자의 크기 함수를 추정하는 열 그림자 크기 획득 단계; 온도 별로 상기 열 그림자의 밝기 값 정보에 기초한 임계치를 설정하는 열 그림자 밝기 획득 단계; 를 포함하는 것을 특징으로 한다.
제14항에 있어서; 상기 열 그림자 크기 획득 단계는 상기 열 그림자의 크기 정보를 획득할 때 각 이동 물체를 둘러싼 경계 박스 대비 열 그림자 영역의 크기에 대한 데이터를 수집하고, 온도 별 크기 파라미터를 계산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 열 그림자 밝기 획득 단계는 상기 밝기 정보를 획득할 때 이동 물체 영역, 열 그림자 영역, 이동 물체의 엔진 영역에 대한 밝기 값 정보에 기초하여, 각 영역을 구분하는 상기 임계치를 온도 별로 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검출 단계는 상기 학습 단계가 획득한 열 그림자의 크기 정보에 기초하여, 검출 대상 열 영상의 온도에 대응하는 열 그림자의 크기를 추출한 후 상기 열 그림자 크기 만큼의 영역을 후보 영역으로 지정하는 후보 영역 지정 단계; 상기 학습 단계가 획득한 열 그림자의 밝기 정보에 기초하여, 상기 후보 영역 중 열 그림자 밝기의 범위 내에 있는 영역을 열 그림자로 지정하는 열 그림자 영역 지정 단계; 상기 지정된 열 그림자 영역을 제거하는 열 그림자 제거 단계; 를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 열 그림자 영역 지정 단계는 상기 열 그림자 후보 영역에서의 밝기 값 정보에 기초하여 상기 학습 단계가 획득한 밝기 임계치 범위 내의 영역을 열 그림자 영역으로 지정하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 열 그림자를 제거할 수 있는 움직임 검출 시스템에 있어서, 데이터베이스 혹은 학습부로부터 열 그림자 특성을 획득하는 제어부; 상기 열 그림자 특성을 참조하여 검출 대상 열 영상에서 열 그림자 크기를 획득하는 열 그림자 크기 획득부; 열 그림자 특성을 참조하여 검출 대상 영상에서 열 그림자 밝기를 획득하는 열 그림자 밝기 획득부; 상기 열 그림자 크기 및 상기 열 그림자 밝기를 만족하는 영역을 열 그림자 영역으로 지정하는 열 그림자 지정부; 를 포함하는 움직임 검출 시스템이 제공된다.
본 발명의 일 실시예에 따르면, 열 그림자를 제거할 수 있는 움직임 검출 방법에 있어서, 데이터베이스 혹은 학습부로부터 열 그림자 특성을 획득하는 단계; 상기 열 그림자 특성을 참조하여 검출 대상 열 영상에서 열 그림자 크기를 획득하는 단계; 열 그림자 특성을 참조하여 상기 검출 대상 영상에서 열 그림자 밝기를 획득하는 단계; 상기 열 그림자 크기 및 상기 열 그림자 밝기를 만족하는 영역을 열 그림자 영역으로 지정하는 단계; 를 포함하는 움직임 검출 방법이 제공된다.
본 발명에 의하면, 열 영상에서 이동 물체의 열이 배경에 전달되어서 발생하는 열 그림자(shadow by heat)을 제거하여 이동 물체 검출의 정확도를 높일 수 있다.
또한, 본 발명은 열 그림자 영역을 감지하기 위해 기존의 열 그림자 특성을 분석하여 온도에 따른 열 그림자의 크기 및 밝기를 학습하며, 학습된 정보를 기초로 열 그림자 영역을 감지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 열 영상에서 열 그림자를 제거하여 움직임을 검출하는 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 열 영상 카메라를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 움직임 검출 서버(300)의 내부 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 열 그림자 특성을 기초로 열 그림자의 크기 정보를 획득하는 경우를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 열 그림자 특성을 이용하여 열 그림자 밝기의 임계치 집합을 도출하는 것을 예시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 움직임 검출 시스템의 동작을 순서도로 나타낸 도면이다.
도 7은 본 발명의 다른 일 실시예에 따른 움직임 검출 시스템의 동작을 순서도로 나타낸 도면이다.
도 8은 본 발명의 다른 일 실시예에 따라 검출부가 열 그림자 영역을 제거하는 것을 순서도로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
본 명세서에서 열 그림자란, 적외선 혹은 열화상 영상에서 이동 물체의 열이 배경에 전달되어서 발생하는 영상의 일부 영역을 뜻한다. 일반적으로, 이동 물체 검출 기법에서 검출 성능을 향상시키는 방법의 하나로 이동 물체에 의해 발생되는 그림자를 제거하는 기술, 즉 빛에 의해 발생되는 그림자를 제거하는 기술을 사용하였다. 그러나 기존의 그림자 제거 기술은 컬러 영상에 적용되는 것으로, 적외선 혹은 열화상 영상에 적용되는 기술은 존재하지 않았다. 빛에 의한 그림자는 이동 물체가 배경에 도달하는 빛을 차단하여 발생하는 현상으로 영상에서 일반적으로 어두워지는 특성을 나타낸다. 반대로, 열에 의한 그림자(shadow by heat)는 이동 물체의 열이 배경에 전달되어서 발생하는 현상으로 열 영상에서 일반적으로 밝아진다.
열에 의한 그림자를 본 명세서에서는 열 그림자라고 칭하며, 열 그림자는 배경 영역보다 밝은 값을 나타내며, 이동 물체 영역 좌, 우, 아래쪽에서 시작해서 이동 물체 영역에서 멀어질수록 희미해진다. 또한, 열 그림자는 이동 물체 영역의 좌, 우, 아래쪽 경계 부근에서 발생한다.
또한, 본 발명에서 열 영상이라 함은 적외선 영상 및 열화상 영상을 모두 포함하는 개념이다. 즉, 본 발명의 열 영상은 가시광선보다 긴 파장대의 영상을 지칭하는 것으로, 촬영 대상의 파장 정보, 즉 온도 정보를 알 수 있는 영상을 말한다.
도 1은 본 발명의 일 실시 예에 따른 열 영상에서 열 그림자를 제거하여 움직임을 검출하는 시스템을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 복수 개의 열 영상 카메라들(100)이 네트워크(200)를 통해 움직임 검출 서버(300)와 데이터를 주고받고 있다. 구체적으로, 열 영상 카메라들(100)은 통신 채널(DCOM)을 통하여 움직임 검출 서버(300)와 통신하면서, 영상 데이터 채널(DIMA)을 통하여 라이브 뷰 동영상 데이터를 움직임 검출 서버(300)에 전달한다. 물론 복수 개의 열 영상 카메라가 아닌 한 개의 열 영상 카메라만 움직임 검출 서버(300)와 통신할 수도 있고, 한 개의 열 영상 카메라 또는 복수 개의 열 영상 카메라들이 복수 개의 움직임 검출 서버(300)들과 통신할 수도 있는 등 다양한 변형이 가능함은 물론이다. 여기서 통신 채널(DCOM) 및 영상 데이터 채널(DIMA)을 형성하는 네트워크(200)는 유선 또는 무선으로 데이터나 명령을 송수신할 수 있는 모든 수단이 될 수 있다. 예를 들어, 네트워크(200)는 케이블을 통하여 유선으로 열 영상 카메라(100)와 움직임 검출 서버(300)를 연결할 수도 있으며, 무선 랜 등을 사용하여 무선으로 열 영상 카메라(100)와 움직임 검출 서버(300)를 연결할 수도 있다.
도 1에서는 움직임 검출 서버(300)가 컴퓨터와 유사한 형태를 갖는 것으로 도시하고 있으나 본 실시 예에 따른 열 영상 카메라(100)가 도 1에 도시된 것과 같은 움직임 검출 서버(300)와만 통신할 수 있는 것은 아니며, 디스플레이 화면을 갖는 장치라면 어떠한 것이든 가능함은 물론이다. 예를 들어, 움직임 검출 서버(300)로 개인용 컴퓨터 등이 사용될 수도 있을 것이다. 움직임 검출 서버(300)는 필요에 따라 열 영상 카메라(100)로부터의 실시간 동영상을 저장할 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 열 영상 카메라를 나타내는 블록도이다.
도 2를 참조하면, 본 실시 예에 따른 열 영상 카메라(100)는, 렌즈부(110), 촬상소자(111), 촬상소자 제어부(112), 드라이버(113), 모터(114), 사전 처리부(120), 영상 신호 처리부(121), 압축 신장부(122), CPU(130), ROM(131), RAM(132), 메모리 콘트롤러(133), 카메라 메모리(134), 카메라 조작부(140), 카메라 디스플레이부(150), 카메라 통신부(160) 등을 포함할 수 있다.
렌즈부(110)는 외부의 광 정보를 촬상소자(111)에 결상시키는 광학계 시스템으로, 피사체로부터의 광을 촬상소자(111)까지 투과시킨다. 렌즈부(110)는 초점거리를 변화시키는 줌 렌즈, 초점을 조절하는 포커스 렌즈 등의 렌즈군과 투과하는 광량을 조절하는 조리개 등으로 이루어진다.
렌즈부(110)에 포함되는 줌 렌즈, 조리개, 포커스 렌즈 등은 드라이버(113)로부터 구동신호를 인가받은 모터(114)에 의해 구동된다.
촬상소자(111)는 광전변환소자의 일례로서, 렌즈부(110)를 투과하여 입사된 영상광을 촬상하여 전기신호로 변환하는 광전 변환이 가능한 복수의 소자로 구성된다. 각 소자는 입사된 빛에 따른 전기신호를 생성하여 영상신호를 생성한다. 이때, 촬상소자(11)는 촬상소자 제어부(112)로부터의 타이밍 신호에 따라서 미리 설정된 주기로 프레임 영상을 촬상하여 영상신호를 주기적으로 생성한다. 촬상소자(111)는 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서 등을 적용할 수 있다. 촬상소자(111)는 광전변환 및 Analog/Digital 변환에 의하여 생성한 디지털 신호를 사전 처리부(120)로 출력한다. 본 발명의 일 실시예에서, 촬상소자(111)는 가시광선보다 긴 파장대의 열 영상 신호를 생성한다.
촬상소자 제어부(112)는 타이밍 신호를 생성하고, 타이밍 신호에 동기하여 상기 촬상소자(111)가 촬상하도록 제어한다.
사전 처리부(120)는 촬상소자(111)로부터 출력된 디지털 신호에 대해 처리를 하여 영상처리가 가능하게 되는 영상신호를 생성한다. 사전 처리부(120)는, 영상신호를 영상 신호 처리부(121)로 출력한다. 또한, 사전 처리부(120)는 RAM(132)으로의 영상 데이터의 읽기 및 쓰기를 제어한다.
영상 신호 처리부(121)는 사전 처리부(120)로부터 영상신호를 받아 WB 제어값, γ값, 윤곽 강조 제어값 등에 기초하여 영상 처리된 영상신호를 생성한다. 영상 처리된 영상신호는 압축 신장부(122)에 인가될 수 있다. 또는 영상 처리된 영상신호는 라이브 뷰 영상으로 사용될 수 있으며, RAM(132)을 거쳐서 카메라 디스플레이부(150)로 전송될 수도 있다.
한편, 본 실시 예에 따른 영상 신호 처리부(121)는 상술한 움직임 검출 서버(300)를 포함할 수 있다. 즉, 비록 도 1에서는 열 영상 카메라(100)와 움직임 검출 서버(300)가 분리된 것으로 표현되었지만, 움직임 검출 서버(300)가 가지는 구성은 영상 신호 처리부(121)에 포함된 구성일 수 있다.
즉, 카메라 내부에서 영상 처리를 수행할 수 있는 하드웨어(예를 들어, CPU, DSP, RAM, 영상 처리용 칩 등)가 장착된 경우, 카메라 내부에서 열 그림자를 제거하고, 움직임 영역을 검출하는 것이 가능하다. 이 밖에 열 영상 카메라 외부에, 열 영상 카메라와 네트워크로 연결되어 영상을 실시간으로 수신할 수 있는 컴퓨터(미도시)와 같은 계산 장치에 영상 신호 처리부(121)를 구비하여 열 그림자 제거를 통한 움직임 검출을 수행할 수도 있다.
압축 신장부(122)는 압축 처리 전의 영상신호를 수신하여, 예를 들면 MPEG, ACI, MOV, ASD 등의 압축 형식으로 영상신호를 압축 처리한다. 압축 신장부(122)는 압축 처리로 생성한 영상 데이터를 포함하는 영상 파일을 메모리 콘트롤러(133)로 전송한다. 또는 압축 신장부(122)는 영상 파일을 카메라 통신부(160)에 입력하고, 카메라 통신부(160)를 통하여 열 영상 카메라(110)를 제어하는 메인 서버(300) 등으로 전송할 수도 있다. 또한 압축 신장부(122)는 카메라 디스플레이부(150)를 구비하는 경우, 카메라 메모리(134)에 저장된 영상 파일을 추출한 후 신장 처리를 수행하여 카메라 디스플레이부(150)에서 재생될 수 있도록 한다.
CPU(130)는, 프로그램에 의해 연산처리장치 및 제어장치로서 기능하고, 열 영상 카메라(100) 내에 설치된 각 구성요소의 처리를 제어한다. CPU(130)는, 예를 들면 포커스 제어나 노출 제어에 기초하여 드라이버(113)로 신호를 출력하여 모터(114)를 구동시킨다. 또한, CPU(130)는 카메라 조작부(140)로부터의 신호에 기초하여 열 영상 카메라(100)의 각 구성요소를 제어한다. 또, 본 실시 예에서는, CPU(130)가 하나만으로 이루어진 구성이지만, 신호계의 명령과 조작계의 명령을 별도의 CPU에서 행하는 등 복수의 CPU로 구성되어도 된다.
ROM(read only memory, 131)은 촬영 조건 등과 관련된 사용자의 설정 데이터가 저장될 수 있다. 또한 ROM(131)은 CPU(130)에서 열 영상 카메라(100)를 제어하기 위하여 사용하는 알고리즘이 저장될 수 있다. 이러한 ROM(131)으로는 EEPROM(electrically erasable and programmable read only memory) 등이 사용될 수 있다.
RAM(random access memory, 132)은 사전 처리부(120)에서 출력된 영상신호, 영상 신호 처리부(121)에서 신호 처리 과정에서 생성되는 데이터 등, 각종 데이터를 일시적으로 저장하는 부분이다. RAM(132)으로 DRAM(dynamic RAM)을 사용할 수 있다.
메모리 컨트롤러(133)는 카메라 메모리(134)로의 영상 데이터의 기입, 또는 상기 카메라 메모리(134)에 기록된 영상 데이터나 설정 정보 등의 독출을 제어한다. 카메라 메모리(134)는, 예를 들면 광디스크(CD, DVD, 블루레이 디스크 등), 광자기 디스크, 자기 디스크, 반도체 기억 매체 등으로서, 촬영된 영상 데이터를 기록한다. 상기 영상 데이터는 압축 신장부(122)에서 생성된 영상 파일에 포함된 것일 수 있다. 메모리 콘트롤러(133), 카메라 메모리(134)는 열 영상 카메라(100)로부터 착탈 가능하게 구성되어도 좋다. 그러나 메모리 콘트롤러(133) 및 카메라 메모리(134)는 열 영상 카메라(100)에 반드시 설치되어야 하는 것은 아니며, 열 영상 카메라(100)가 네트워크(200)를 통하여 메인 서버(300)에 연결된 열 영상 카메라 등일 경우에는 열 영상 카메라(100)를 제어하는 메인 서버(300) 측에 영상 데이터 등을 저장하기 위한 서버 메모리(350)가 구비될 수 있을 것이다. 이때, 영상 데이터 등은 카메라 통신부(160)에 의하여 네트워크(200)를 통하여 열 영상 카메라(100)로부터 메인 서버(300)로 전송될 수 있을 것이다.
카메라 조작부(140)는, 예를 들면 열 영상 카메라(100)에 설치된 각종 버튼이나 레버 등을 포함하며, 사용자에 의한 조작에 기초하여 조작신호를 CPU(130) 등에 전송한다. 그러나 카메라 조작부(140)는 열 영상 카메라(100)에 반드시 설치되어야 하는 것은 아니며, 열 영상 카메라(100)가 네트워크(200)로 연결된 열 영상 카메라 등일 경우에는 열 영상 카메라(100)를 제어하는 메인 서버(300) 측에 서버 조작부(330)를 구비하고, 이를 통하여 인가되는 신호를 통하여 열 영상 카메라(100)의 동작을 제어할 수도 있을 것이다.
카메라 디스플레이부(150)는 촬영된 영상이나 촬영되어 카메라 메모리(134)에 저장된 영상, 또는 압축 신장부(122)에서 신장 처리된 영상 등을 표시한다. 또한 카메라 디스플레이부(150)는 열 영상 카메라(100)의 제어를 위한 각종 설정 화면 등이 표시될 수 있다.
카메라 통신부(160)는 열 영상 카메라(100)에서 촬영된 라이브 뷰 영상이나 촬영되어 카메라 메모리(134)에 저장된 영상을 유선 또는 무선 네트워크(200)를 통하여 외부 장치, 예를 들어 움직임 검출 서버(300)로 전송한다. 또한 카메라 통신부(160)는 네트워크(200)를 통하여 움직임 검출 서버(300)로부터 전송되는 각종 명령 신호를 수신한다.
도 3은 본 발명의 일 실시예에 따른 움직임 검출 서버(300)의 내부 구성을 나타낸 도면이다.
도 3을 참조하면, 움직임 검출 서버(300)는 제어부(310), 데이터베이스(320), 학습부(330) 및 검출부(340)를 포함하는 것을 알 수 있다.
먼저, 제어부(310)는 데이터베이스(320), 학습부(330), 검출부(340) 간의 통신을 담당하고 각 구성이 적합한 역할을 수행할 수 있도록 제어하는 역할을 수행한다. 또한, 제어부(310)는 외부로부터 움직임 검출 서버(300)의 설정을 변경하고자 하는 명령이 있을 때 해당 명령을 참조하여 데이터베이스(320) 및 학습부(330)의 데이터를 변경하는 역할을 한다.
다음으로, 데이터베이스(320)는 기온에 따른 열 그림자 특성의 변화를 분석하기 위해, 평균 온도에 따른 열 그림자 특성 데이터를 분류 및 저장한다. 본 발명의 일 실시예에서, 움직임을 검출하기 위한 열 영상은 온도에 따라 열 그림자의 크기 및 밝기가 달라지는 특징을 가진다. 따라서, 데이터베이스(320)는 일반적인 열 그림자의 특성을 온도 별로 분류 및 저장할 수 있다. 열 그림자 특성을 저장하기 위한 기준값은 관리자가 직접 입력한 값일 수 있다.
데이터베이스(320)는 평균 온도뿐만이 아니라 시간대별로 열 그림자의 특성을 저장할 수도 있다. 검출 대상 열 영상의 온도를 측정하기 곤란한 경우, 하루의 특정 시간대는 평균적으로 특정 기온을 가지는 특성을 사용하여 시간대별로 열 그림자의 특성을 저장할 수 있다. 시간대별로 열 그림자의 특성을 저장하는 경우, 후술할 학습부(330)에서 열 그림자의 크기 및 밝기 정보를 획득하는 구성 및 검출부(340)에서 실제 열 그림자를 지정하는 구성에 있어서도 시간대별로 각 기능을 수행한다.
다음으로, 학습부(330)는 데이터베이스(320)의 열 그림자 특성을 기초로 평균 기온에 따른 열 그림자의 크기 및 밝기 정보를 획득한다. 즉, 학습부(330)는 검출부(340)가 실시간으로 열 그림자를 제거하여 움직임을 검출해 낼 수 있도록 각 온도 별 조건에 따른 일반적인 열 그림자의 정보를 획득하는 역할을 수행한다. 도 3에서 볼 수 있듯이, 학습부(330)는 열 그림자 크기 획득부(331) 및 열 그림자 밝기 획득부(332)를 포함한다.
먼저, 열 그림자 크기 획득부(331)는 이동 물체 크기 대비 이동 물체 바닥에서부터의 열 그림자 영역의 높이 혹은 크기에 대한 데이터를 수집하여 크기 함수 파라미터(parameter)를 계산하고, 열 그림자 크기 함수를 추정한다.
도 4는 본 발명의 일 실시예에 따라 열 그림자 특성을 기초로 열 그림자의 크기 정보를 획득하는 경우를 예시한 도면이다.
도 4를 참조하면, 먼저 열 그림자 크기 획득부(331)는 데이터베이스(320)로부터 열 그림자 특성을 전달받아 전체 경계 박스(bounding box)에서 열 그림자 영역의 크기를 추출한다. 도 4의 위의 그림과 같이 열 그림자 영역(shadow region)은 차량의 이동 방향에 상관없이 차량의 아래쪽 방향에 존재한다.
경계 박스란 열 영상에서 움직임 검출 시 검출되는 움직임 영역의 경계면이다. 움직임 물체가 이동하면 열 그림자 영역도 함께 이동하므로, 움직임 영역을 검출하면 움직임 물체 및 열 그림자 영역이 함께 검출되는데, 이와 같이 검출된 영역 전체를 경계 박스라고 칭한다. 즉, 경계박스는 열 그림자 제거를 수행하기 전 단계의 움직임 검출 영역으로, 실제 움직임 물체 및 열 그림자 영역을 포함하는 경계이다.
열 그림자 크기 획득부(331)는 데이터베이스(320)에서 평균 온도별로 분류된 열 그림자 특성을 이용하여, 각 이동 물체의 경계 박스의 크기 대비 열 그림자 크기의 함수를 추정한다. 열 그림자 크기 획득부(331)는 추정된 함수에 의해 온도별 함수 파라미터를 획득한다. 이때, 함수를 추정하기 위해 회귀 분석을 사용할 수 있다.
도 4의 아래 그래프들은 열 그림자 크기 획득부(331)가 평균 온도별로 경계 박스 대비 열 영상의 크기를 분석하는 것을 예시한 그래프이다. 즉, 본 발명의 일 실시예에 따르면, 학습부(330)는 [0°, 4°, 8°, 13°, 18°, 27°]의 온도에 대해 각각 열 그림자의 크기 함수를 추정하고, 크기 파라미터를 획득한다. 그래프에서 곡선은 실제 측정값을 나타낸 것이고, 직선을 실제 측정값에 기초하여 회귀 분석한 결과를 나타내는 것이다.
보다 구체적인 실시에예에서, 열 그림자 크기 획득부(331)는 획득된 크기 파라미터를 이용하여 0°에서 경계 박스의 크기가 a일 때 열 그림자의 크기는 b인 함수를 생성할 수 있다. 열 그림자의 크기가 b라면, 후술할 검출부(340)는 추출된 경계 박스에서 밑에서부터 b 크기만큼의 영역이 열 그림자 영역이라 판단할 수 있다. 생성된 크기 파라미터 및 함수는 열 영상에서 실제로 열 그림자를 검출해 낼 때 사용된다.
다음으로, 열 그림자 밝기 획득부(332)는 데이터베이스(320)로부터 온도 별로 열 그림자 특성을 전달받아 이동 물체 영역, 열 그림자 영역, 이동 물체(차량)의 엔진 영역에 대한 밝기 값 정보를 각각 수집하여, 각 영역을 구분하는 임계치 값의 집합을 도출한다. 즉, 열 그림자 밝기 획득부(332)는 이동 물체, 열 그림자, 엔진 영역에 대한 밝기 값을 추출하여 밝기 함수를 추정하고, 각 영역의 분포를 나누는 두 가지 임계치 값을 설정한다. 본 발명의 일 실시예에 따르면, 이동 물체는 차량과 동일한 의미로 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따라 열 그림자 특성을 이용하여 열 그림자 밝기의 임계치 집합을 도출하는 것을 예시하는 도면이다.
도 5의 위에 그래프에서 알 수 있는 바와 같이, 열 그림자는 차량 영역에 비해 높은 밝기 값을 나타내며, 차량의 엔진 영역에 비해 낮은 밝기 값을 나타낸다. 즉 데이터베이스(320)로부터 열 그림자 특성을 전달받아 밝기에 대하여 데이터를 정렬하면, 도 5의 위 그래프와 같은 결과를 얻을 수 있다.
열 그림자 밝기 획득부(332)는 그래프에서 이동 물체 영역, 열 그림자 영역, 엔진 영역의 밝기를 구분하는 밝기의 임계치 THL과 THH을 온도 별로 획득한다. 즉, 추출된 밝기가 THL보다 작을 경우 이동 물체 영역이라 판단하고, 추출된 밝기가 THL보다 크고 THH보다 작을 경우 열 그림자 영역이라 판단하며, 추출된 밝기가 THH보다 클 경우 엔진 영역이라 판단할 수 있는 밝기의 임계치 THL과 THH를 획득한다. 열 그림자 밝기 획득부(332)는 베이지안(bayesian) 규칙을 이용하여, 세 가지 종류의 영역에 대한 분포들 각각을 가장 잘 구분하는 경계 영역을 지정하는 임계치 값을 계산한다. 또한, 열 그림자 밝기 획득부(332)는 임계치를 설정할 때 최소의 오차를 가지도록 설정할 수 있다.
열 그림자 밝기 획득부(332)는 THL과 THH을 평균 온도별로 획득한다. 상술한 바와 같이, 열 영상에서 열 그림자의 특성은 온도에 따라 달라지므로, 열 그림자 밝기 획득부(332)는 각 온도별로 임계치의 집합을 구한다. 도 5의 아래 그림은 본 발명의 일 실시예에 따라, 열 그림자 획득부가 [0°, 4°, 8°, 13°, 18°, 27°]에 대하여 각각 임계치 집합을 획득한 것을 나타내는 예이다.
본 발명의 일 실시예에서, 학습부(330)는 열 영상에서 이동 물체가 절반 이상이 드러난 경우만 크기 및 밝기 정보를 획득할 수 있다.
다음으로, 검출부(340)는 검출 대상 영상의 온도 정보를 획득하여 해당 온도에 대응하는 열 그림자의 크기 및 밝기 정보에 기초하여 열 그림자 영역을 지정한다. 도 3에서 보는 바와 같이, 검출부(340)는 후보 영역 지정부(341), 열 그림자 영역 지정부(342), 열 그림자 제거부(343)를 포함한다.
후보 영역 지정부(341)는 검출 대상 열 영상에서 이동 물체를 둘러싸는 경계 박스의 크기를 측정하고, 열 그림자 크기 획득부(331)에서 도출한 크기 파라미터 및 함수를 이용하여 해당 경계 박스 크기에 대응하는 열 그림자 크기를 추출한다.
즉, 후보 영역 지정부(341)는 검출 대상 열 영상의 온도 정보를 획득한다. 다음으로, 검출 대상 열 영상에서 검출된 이동 물체를 둘러싸는 경계 박스의 크기를 측정한다. 후보 영역 검출부(340)는 온도 정보를 사용하여 도 4의 아래 그림과 같은 그래프 중에서 해당하는 온도의 크기 파라미터 및 함수를 추출한다. 후보 영역 검출부(340)는 추출된 크기 파라미터 및 함수를 사용하여 해당 경계 박스의 크기에 대응하는 열 그림자의 크기를 추출할 수 있다.
보다 구체적인 예를 들면, 검출 대상 열 영상이 촬영된 온도가 0도이고, 경계 박스의 크기가 a일 때, 후보 영역 지정부(341)는 해당하는 크기 파라미터 및 함수를 이용하여 대응하는 열 그림자의 크기를 획득할 수 있다. 열 그림자의 크기가 획득되면, 후보 영역 지정부(341)는 경계 박스의 밑부분으로부터 해당 크기만큼의 영역을 열 그림자 후보 영역으로 지정한다.
다음으로, 열 그림자 영역 지정부(342)는 열 그림자 후보 영역에서의 밝기 값 정보에 기초하여 임계치 범위 내의 영역을 열 그림자 영역으로 지정한다. 즉, 열 그림자 영역 지정부(342)는 검출 대상 열 영상의 온도에 대응하는 열 그림자 밝기의 임계치를 선택하고, 선택된 임계치 내에 존재하는 영역을 열 그림자 영역으로 지정한다.
구체적인 예를 들면, 검출 대상 열 영상이 촬영된 온도가 0도인 경우 열 그림자 영역 지정부(342)는 해당하는 임계치로 도 5의 아래 임계치 집합 중 (THL, THH)0도 를 선택한다. 열 그림자 영역 지정부(342)는 열 그림자 후보 영역에서 밝기가 THL 이상 THH 이하인 영역을 열 그림자 영역으로 지정한다.
다음으로, 열 그림자 제거부(343)는 지정된 열 그림자 영역을 경계 박스에서 제거한다. 열 그림자 영역이 제거된 경계 박스는 순수하게 움직이는 물체만이 남는다.
도 6은 본 발명의 일 실시예에 따른 움직임 검출 시스템의 동작을 순서도로 나타낸 도면이다.
먼저, 감시용 카메라로부터 적외선 영상을 획득한다(S11).
다음으로, 평균 온도에 따른 열 그림자 특성의 변화를 분석하기 위한 데이터를 분류 및 저장한다(S12).
다음으로, 열 그림자 특성을 기초로 평균 기온에 따른 열 그림자의 크기 및 밝기 정보를 획득한다(S13).
다음으로, 검출 대상 영상의 온도 정보를 획득하여 해당 온도에 대응하는 열 그림자의 크기 및 밝기 정보에 기초하여 열 그림자 영역을 지정한다(S14).
마지막으로, 검출 대상 영상에서 지정된 열 그림자 영역을 움직임 영역에서 제거한다(S15).
도 7은 본 발명의 다른 일 실시예에 따른 움직임 검출 시스템의 동작을 순서도로 나타낸 도면이다.
먼저, 평균 온도에 따른 열 그림자 특성의 변화를 분석하기 위한 데이터를 분류 및 저장한다(S21).
다음으로, 평균 온도 별로 분류된 열 그림자의 특성 정보를 기초로 각 이동 물체를 둘러싼 경계 박스 대비 열 그림자 크기의 함수를 추정한다(S22).
다음으로, 이동 물체 영역, 열 그림자 영역, 이동 물체의 엔진 영역에 대한 밝기 값 정보에 기초하여 각 영역을 구분하는 임계치를 설정한다(S23).
다음으로, 검출 대상 영역에서 이동 물체를 둘러싸는 경계 박스 크기를 측정하고, 열 그림자 크기 함수에서 해당 경계 박스 크기에 대응하는 열 그림자 크기를 추출한다(S24).
다음으로, 검출된 각 경계 박스의 바닥에서부터 열 그림자 크기 내에 존재하는 영역들을 열 그림자 후보 영역으로 지정한다(S25).
다음으로, 상기 열 그림자 후보 영역에서의 밝기 값 정보에 기초하여 상기 임계치 범위 내의 영역을 열 그림자 영역으로 지정한다(S26).
마지막으로, 열 그림자 영역을 경계 박스에서 제거한다(S27).
도 8은 본 발명의 다른 일 실시예에 따라 검출부(340)가 열 그림자 영역을 제거하는 것을 순서도로 나타낸 도면이다.
본 발명의 데이터베이스(320) 및 학습부(330)는 관리자에 의해 오프라인(off line)으로 미리 설정될 수 있는 구성이다. 즉, 검출부(340)는 검출 대상 열 영상에 대해서 온라인(on line)으로 개별적으로 적용되어야 하는 구성임에 반해, 데이터베이스(320) 및 학습부(330)의 데이터들은 기설정된 구성으로 취급될 수 있다. 따라서 도 8에 나타난 실시예는 검출부(340)의 관점에서 열 그림자 영역을 제거하는 과정을 나타낸 순서도이다.
먼저, 감시용 카메라로부터 적외선 영상을 획득한다(S31).
다음으로, 데이터베이스(320) 혹은 학습부(330)로부터 열 그림자 특성을 획득한다(S32).
다음으로, 열 그림자 특성을 참조하여 검출 대상 영상에서 열 그림자 크기를 획득한다(S33).
다음으로, 열 그림자 특성을 참조하여 검출 대상 영상에서 열 그림자 밝기를 획득한다(S34).
다음으로, 열 그림자 크기 및 열 그림자 밝기를 만족하는 영역을 열 그림자 영역으로 지정한다(S35).
마지막으로, 지정된 열 그림자 영역을 움직임 영역에서 제거한다(S36).
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 열 영상 카메라 200: 네트워크
300: 움직임 검출 서버 310: 제어부
320: 데이터베이스 330: 학습부
331: 열 그림자 크기 획득부 332: 열 그림자 밝기 획득부
340: 검출부 341: 후보 영역 지정부
342: 열 그림자 영역 지정부 343: 열 그림자 제거부

Claims (21)

  1. 열 그림자를 제거할 수 있는 움직임 검출 시스템에 있어서,
    열 그림자 특성에 대한 데이터를 온도 별로 분류 및 저장하는 데이터베이스;
    상기 열 그림자 특성을 기초로 온도 별로 열 그림자의 크기 및 밝기 정보를 획득하는 학습부;
    검출 대상 열 영상에서 획득한 온도 정보에 대응하는 상기 학습부가 획득한 열 그림자의 크기 및 밝기 정보에 기초하여 상기 검출 대상 열 영상에서 열 그림자 영역을 지정하고, 상기 열 그림자 영역을 제거하는 검출부;
    를 포함하는 움직임 검출 시스템.
  2. 제1항에 있어서, 상기 학습부는
    온도 별로 상기 열 그림자의 크기 함수를 추정하는 열 그림자 크기 획득부;
    온도 별로 상기 열 그림자의 밝기 값 정보에 기초한 임계치를 설정하는 열 그림자 밝기 획득부; 를 포함하는 것을 특징으로 하는 움직임 검출 시스템.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제2항에 있어서;
    상기 열 그림자 크기 획득부는 상기 열 그림자의 크기 정보를 획득할 때 각 이동 물체를 둘러싼 경계 박스 대비 열 그림자 영역의 크기에 대한 데이터를 수집하고, 온도 별 크기 파라미터를 계산하는 것을 특징으로 하는 움직임 검출 시스템.
  4. 청구항 4은(는) 설정등록료 납부시 포기되었습니다.
    제3항에 있어서,
    상기 열 그림자 크기 획득부는 회귀 분석을 통해 상기 온도 별 크기 파라미터를 계산하고, 상기 크기 파라미터에 기초하여 크기 함수를 계산하는 것을 특징으로 하는 움직임 검출 시스템.
  5. 제1항에 있어서,
    상기 학습부는 상기 열 그림자의 특성을 기초로 각 이동 물체를 둘러싼 경계 박스 대비 열 그림자 크기의 함수를 추정하는 것을 특징으로 하는 움직임 검출 시스템.
  6. 제2항에 있어서,
    상기 열 그림자 밝기 획득부는 상기 밝기 정보를 획득할 때 이동 물체 영역, 열 그림자 영역, 이동 물체의 엔진 영역에 대한 밝기 값 정보에 기초하여, 각 영역을 구분하는 상기 임계치를 온도 별로 설정하는 것을 특징으로 하는 움직임 검출 시스템.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    제6항에 있어서,
    상기 열 그림자 밝기 획득부는 베이지안(baysian)함수를 사용하여 상기 임계치를 산출하는 것을 특징으로 하는 움직임 검출 시스템.
  8. 삭제
  9. 제1항에 있어서, 상기 검출부는
    상기 학습부가 획득한 열 그림자의 크기 정보에 기초하여, 검출 대상 열 영상의 온도에 대응하는 열 그림자의 크기를 추출한 후 상기 열 그림자 크기 만큼의 영역을 후보 영역으로 지정하는 후보 영역 지정부;
    상기 학습부가 획득한 열 그림자의 밝기 정보에 기초하여, 상기 후보 영역 중 열 그림자 밝기의 범위 내에 있는 영역을 열 그림자로 지정하는 열 그림자 영역 지정부;
    상기 지정된 열 그림자 영역을 제거하는 열 그림자 제거부;
    를 포함하는 것을 특징으로 하는 움직임 검출 시스템.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    제9항에 있어서,
    상기 후보 영역 지정부는 상기 검출 대상 열 영상에서 이동 물체를 둘러싸는 경계 박스 크기를 측정하고, 학습부가 획득한 온도 별 열 그림자 크기 함수에서 해당 경계 박스 크기에 대응하는 열 그림자 크기를 추출하는 것을 특징으로 하는 움직임 검출 시스템.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    제10항에 있어서,
    상기 후보 영역 지정부는 상기 경계 박스의 바닥에서부터 상기 열 그림자 크기 내에 존재하는 영역들을 열 그림자 후보 영역으로 지정하는 것을 특징으로 하는 움직임 검출 시스템.
  12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.
    제9항에 있어서,
    상기 열 그림자 영역 지정부는 상기 열 그림자 후보 영역에서의 밝기 값 정보에 기초하여 상기 학습부가 획득한 밝기 임계치 범위 내의 영역을 열 그림자 영역으로 지정하는 것을 특징으로 하는 움직임 검출 시스템.
  13. 열 그림자를 제거할 수 있는 움직임 검출 방법에 있어서,
    열 그림자 특성에 대한 데이터를 온도 별로 데이터베이스에 분류 및 저장하는 단계;
    상기 열 그림자 특성을 기초로 온도 별로 열 그림자의 크기 및 밝기 정보를 획득하는 학습 단계;
    검출 대상 열 영상에서 획득한 온도 정보에 대응하는 상기 학습 단계에서 획득한 열 그림자의 크기 및 밝기 정보에 기초하여 상기 검출 대상 열 영상에서 열 그림자 영역을 지정하고, 상기열 그림자 영역을 제거하는 검출 단계;
    를 포함하는 움직임 검출 방법.
  14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.
    제13항에 있어서, 상기 학습 단계는
    온도 별로 상기 열 그림자의 크기 함수를 추정하는 열 그림자 크기 획득 단계;
    온도 별로 상기 열 그림자의 밝기 값 정보에 기초한 임계치를 설정하는 열 그림자 밝기 획득 단계; 를 포함하는 것을 특징으로 하는 움직임 검출 방법.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    제14항에 있어서;
    상기 열 그림자 크기 획득 단계는 상기 열 그림자의 크기 정보를 획득할 때 각 이동 물체를 둘러싼 경계 박스 대비 열 그림자 영역의 크기에 대한 데이터를 수집하고, 온도 별 크기 파라미터를 계산하는 것을 특징으로 하는 움직임 검출 방법.
  16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.
    제14항에 있어서,
    상기 열 그림자 밝기 획득 단계는 상기 밝기 정보를 획득할 때 이동 물체 영역, 열 그림자 영역, 이동 물체의 엔진 영역에 대한 밝기 값 정보에 기초하여, 각 영역을 구분하는 상기 임계치를 온도 별로 설정하는 것을 특징으로 하는 움직임 검출 방법.
  17. 제13항에 있어서, 상기 검출 단계는
    상기 학습 단계가 획득한 열 그림자의 크기 정보에 기초하여, 검출 대상 열 영상의 온도에 대응하는 열 그림자의 크기를 추출한 후 상기 열 그림자 크기 만큼의 영역을 후보 영역으로 지정하는 후보 영역 지정 단계;
    상기 학습 단계가 획득한 열 그림자의 밝기 정보에 기초하여, 상기 후보 영역 중 열 그림자 밝기의 범위 내에 있는 영역을 열 그림자로 지정하는 열 그림자 영역 지정 단계;
    상기 지정된 열 그림자 영역을 제거하는 열 그림자 제거 단계;
    를 포함하는 것을 특징으로 하는 움직임 검출 방법.
  18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.
    제17항에 있어서,
    상기 열 그림자 영역 지정 단계는 상기 열 그림자 후보 영역에서의 밝기 값 정보에 기초하여 상기 학습 단계가 획득한 밝기 임계치 범위 내의 영역을 열 그림자 영역으로 지정하는 것을 특징으로 하는 움직임 검출 방법.
  19. 삭제
  20. 삭제
  21. 제1항에 있어서,
    상기 데이터베이스는 상기 열 그림자 특성에 대한 데이터를 하루의 시간에 따라 분류 및 저장하는 것을 특징으로 하는 움직임 검출 시스템.
KR1020120068176A 2012-06-25 2012-06-25 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법 KR101735565B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120068176A KR101735565B1 (ko) 2012-06-25 2012-06-25 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법
US13/887,480 US9189863B2 (en) 2012-06-25 2013-05-06 Method and system for detecting motion capable of removing shadow by heat

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120068176A KR101735565B1 (ko) 2012-06-25 2012-06-25 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20140000821A KR20140000821A (ko) 2014-01-06
KR101735565B1 true KR101735565B1 (ko) 2017-05-15

Family

ID=49774497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120068176A KR101735565B1 (ko) 2012-06-25 2012-06-25 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법

Country Status (2)

Country Link
US (1) US9189863B2 (ko)
KR (1) KR101735565B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011529A1 (en) * 2014-02-14 2017-01-12 Nec Corporation Video analysis system
US10217242B1 (en) * 2015-05-28 2019-02-26 Certainteed Corporation System for visualization of a building material
US10743389B2 (en) * 2016-09-29 2020-08-11 Signify Holding B.V. Depth queue by thermal sensing
TWI662289B (zh) * 2018-07-02 2019-06-11 廣達電腦股份有限公司 追蹤測距系統及其方法
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030067212A (ko) 2002-02-07 2003-08-14 삼성탈레스 주식회사 적외선 열상 장비를 이용한 감시 및 보안방법
US7693331B2 (en) * 2006-08-30 2010-04-06 Mitsubishi Electric Research Laboratories, Inc. Object segmentation using visible and infrared images
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
KR20090061405A (ko) 2007-12-11 2009-06-16 주식회사 메타켐 비접촉식 다중 적외선 온도센서를 이용한 자동 추적 장치및 방법
JP2009301494A (ja) 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
TW201002073A (en) * 2008-06-23 2010-01-01 Huper Lab Co Ltd Method of vehicle segmentation and counting for nighttime video frames
KR20100012992A (ko) 2008-07-30 2010-02-09 국방과학연구소 적외선 열상 장치 및 그것을 이용한 영상신호 처리방법
KR101066900B1 (ko) 2009-04-23 2011-09-27 유한대학산학협력단 씨씨티브이 카메라 영상에서의 특정 움직임 감지 장치
KR20110035335A (ko) 2009-09-30 2011-04-06 주식회사 케이티 열화상 카메라를 이용한 모니터링 방법 및 시스템
KR101704551B1 (ko) 2010-04-12 2017-02-10 주식회사 영국전자 열상 카메라를 채용하는 감시 시스템 및 이를 이용한 야간 감시 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Davis and Sharma. Robust detection of people in thermal imagery. ICPR 2004, Vol. 4. 2004년, pp. 713-716.*
김지만 외 5명. 열 영상에서의 차량 그림자 제거 기법. 한국정보과학회 2012 한국컴퓨터종합학술대회 논문집, 제39권 제1호(B), 2012년 6월 22일, pp. 369-371.*

Also Published As

Publication number Publication date
US9189863B2 (en) 2015-11-17
US20130343603A1 (en) 2013-12-26
KR20140000821A (ko) 2014-01-06

Similar Documents

Publication Publication Date Title
KR101826897B1 (ko) 화상 조정 파라미터를 결정하기 위한 방법 및 카메라
US9875409B2 (en) Abnormality detection apparatus, abnormality detection method, and recording medium storing abnormality detection program
CN102542254B (zh) 图像处理装置及图像处理方法
KR101280920B1 (ko) 화상인식장치 및 방법
KR101735565B1 (ko) 열 그림자를 제거할 수 있는 움직임 검출 시스템 및 방법
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
US20140146182A1 (en) Device and method for detecting moving objects
US20150003676A1 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US11682131B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN102196240B (zh) 摄像装置及利用其动态侦测监控对象的方法
TWI651942B (zh) 位元率控制器及用於限制輸出位元率的方法
JP6292540B2 (ja) 情報処理システム、情報処理方法及びプログラム
KR101630281B1 (ko) 영상 처리 장치
JP5544223B2 (ja) 撮像装置
CN111259723A (zh) 行动识别装置、行动识别方法
JP5747105B2 (ja) 画像処理装置
US12002279B2 (en) Image processing apparatus and method, and image capturing apparatus
KR100781170B1 (ko) 촬상장치
KR101490769B1 (ko) 휘도 및 면적 변화를 이용한 화재 감지 방법 및 장치
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP5336017B2 (ja) 撮像装置及び撮像方法
JP2009194422A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant