KR100927554B1 - 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법 - Google Patents

주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법 Download PDF

Info

Publication number
KR100927554B1
KR100927554B1 KR1020090021467A KR20090021467A KR100927554B1 KR 100927554 B1 KR100927554 B1 KR 100927554B1 KR 1020090021467 A KR1020090021467 A KR 1020090021467A KR 20090021467 A KR20090021467 A KR 20090021467A KR 100927554 B1 KR100927554 B1 KR 100927554B1
Authority
KR
South Korea
Prior art keywords
image
video
night
background
surveillance
Prior art date
Application number
KR1020090021467A
Other languages
English (en)
Inventor
김갑수
장정훈
Original Assignee
주식회사 일리시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 일리시스 filed Critical 주식회사 일리시스
Priority to KR1020090021467A priority Critical patent/KR100927554B1/ko
Application granted granted Critical
Publication of KR100927554B1 publication Critical patent/KR100927554B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 동일 감시 지역을 고정된 비디오 카메라를 통해 주간에 획득한 영상과 야간에 획득한 영상을 적절히 합성하여 야간 감시에 보다 효과적인 영상을 제공하는 시스템 및 그 방법에 관한 것이다. 주야간 영상 합성에 기반한 야간 영상 감시 방법은, (a) 주간의 소정 기간 동안 비디오 카메라로부터 수집한 감시 지역에 대한 비디오 영상 데이터로부터 주간 배경 정지 영상을 생성하는 단계, (b) 야간 감시 시에 상기 감시 지역에 대한 비디오 프레임을 입력받는 단계, (c) 상기 입력된 비디오 프레임으로부터 모션 마스크 영상을 획득하는 단계 및 (d) 상기 획득된 모션 마스크 영상에 기초하여, 상기 생성된 주간 배경 영상과 상기 입력된 비디오 프레임을 합성하는 단계를 포함한다. 이때, 상기 합성된 영상은 상기 입력된 비디오 프레임에서 움직임이 없는 픽셀들을 상기 주간 배경 정지 영상의 픽셀들로 교체한 영상이다.
카메라, 영상, 감시, 모션 마스크

Description

주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법{NIGHT VIDEO SURVEILLANCE SYSTEM AND METHOD BASED ON DAY AND NIGHT VIDEO COMPOSITION}
본 발명은 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법에 관한 것으로, 보다 구체적으로, 동일 감시 지역을 고정된 비디오 카메라를 통해 주간에 획득한 영상과 야간에 획득한 영상을 적절히 합성하여 야간 감시에 보다 효과적인 영상을 제공하는 시스템 및 그 방법에 관한 것이다.
야간에 CCTV를 이용하여 실외 감시 지역을 모니터링 할 경우, 감시 지역 전체에 대한 조명이 충분하지 않으면, 감시 지역의 지형/지물이 영상에서 대부분 매우 어둡게 나타나기 때문에 알아보기 어렵다. 따라서, 감시 요원이 여러 대의 카메라를 통해 여러 장소를 동시에 모니터링하고 있을 경우, 화면만 봐서는 어떤 장소를 보고 있는지 인지하기 어렵다. 또한, 감시 지역에 침입자 등이 출현하여도 침입자와 배경에 해당하는 지형/지물이 화면상에서 모두 어둡게 나타나기 때문에 화면을 집중해서 보고 있지 않는 이상 놓치기 쉽다. 설사 어떤 사건이 발생하였음을 인지하였어도 그 사건이 감시 지역 내의 어떤 위치에서 어떤 지형/지물과 연계하여 일어나고 있는지 인지하기 어려운 문제점이 있다.
감시 지역 내에 조명 장치를 설치할 수 없는 경우, 통상적으로 카메라 옆에 적외선 또는 레이저 투광기를 장착하여 야간 감시에 활용한다. 이런 상황에서 취득된 영상을 보면, 통상적으로 영상의 중심 부분에서만 비교적 밝게 나오는 편이며 영상의 중심에서 벗어날수록 어둡게 나오며, 또한 컬러가 아닌 흑백 영상으로 나온다. 따라서 투광기를 사용할 경우에 이동 물체 등의 감지에는 도움을 주지만, 상기 제시한 문제점들이 제대로 해결되기는 어렵다.
일반 CCTV 카메라와 투광기의 조합 대신에 열상 카메라(Thermal Imaging Camera)를 사용하는 경우도 있다. 열상 카메라를 사용할 경우, 감시 지역 내에 조명이 전혀 없더라도 화면을 통해 지형/지물을 어느 정도 인지할 수 있으며, 특히 사람과 같은 발열체가 움직이는 경우 보다 쉽게 감지할 수 있는 장점이 있다. 그러나 열상 카메라는 매우 고가의 장비이며, 지형/지물에 대한 표현이 여전히 떨어지는 문제점이 있다.
한편, 선행 기술로서 대한민국등록특허 제10-0829215호에는 "은닉물체 감지를 위한 합성 영상 시스템"이라는 명칭의 발명이 개시되어 있는바, 동일한 피사체에 대하여 일반 CCTV 카메라로부터 얻은 영상과 열상 카메라 등과 같은 특수 카메라로부터 얻은 영상을 합성하여 새로운 영상을 얻는 기술에 관한 것이다.
하지만, 상기 선행 기술은, 서로 다른 특성을 가진 두 대 이상의 카메라가 사용되는 것을 기본 전제로 하기 때문에 단일 CCTV 카메라를 이용하는 야간 감시 시스템에는 적용할 수 없으며, 영상 간의 구체적인 합성 방법은 개시되어 있지 않다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 야간에 조명이 부족한 장소에 대한 영상 감시의 수행 시에 별도의 특수 카메라를 사용하지 않고 단일 CCTV 카메라만을 이용하여 획득한 실시간 야간 비디오 영상에서 감시 지역의 배경에 해당하는 부분을 주간에 미리 취득한 배경 영상으로 교체하여, 감시 지역에 대한 이해를 높이고 사건의 발생 여부 및 사건의 발생 위치와 진행 상황 등을 쉽게 인지할 수 있는 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법을 제공한다.
전술한 목적을 달성하기 위하여, 주야간 영상 합성에 기반한 야간 영상 감시 방법에 있어서, (a) 주간의 소정 기간 동안 비디오 카메라로부터 수집한 감시 지역에 대한 비디오 영상 데이터로부터 주간 배경 정지 영상을 생성하는 단계, (b) 야간 감시 시에 상기 감시 지역에 대한 비디오 프레임을 입력받는 단계, (c) 상기 입력된 비디오 프레임으로부터 모션 마스크 영상을 획득하는 단계 및 (d) 상기 획득된 모션 마스크 영상에 기초하여, 상기 생성된 주간 배경 영상과 상기 입력된 비디오 프레임을 합성하는 단계를 포함하되, 상기 합성된 영상은, 상기 입력된 비디오 프레임에서 움직임이 없는 픽셀들을 상기 주간 배경 정지 영상의 픽셀들로 교체한 영상인 것인 야간 영상 감시 방법을 제공한다.
전술한 목적을 달성하기 위하여, 주야간 영상 합성에 기반한 야간 영상 감시 시스템에 있어서, 비디오 카메라로부터 감시 지역에 대한 실시간 비디오 영상을 획득하는 영상 획득부, 상기 감시 지역에 대한 야간 감시 시에 상기 비디오 카메라로부터 획득한 실시간 비디오 영상을 주간에 기 획득한 주간 배경 영상과 합성하여 합성 비디오 영상을 생성하는 영상 합성부, 상기 감시 지역에 대한 실시간 비디오 영상과 아울러 주간 배경 정지 영상 및 상기 실시간 영상의 각 비디오 프레임으로부터 획득한 모션 마스크 영상을 저장하는 영상 저장부, 상기 저장된 실시간 비디오 영상, 주간 배경 정지 영상 및 모션 마스크 영상을 이용하여 합성 비디오 영상을 재생성하는 영상 재생부, 상기 합성 비디오 영상을 화면에 출력하는 영상 표출부를 포함하되, 상기 합성 비디오 영상은, 상기 입력된 실시간 비디오 영상에서 움직임이 없는 픽셀들을 상기 주간 배경 영상의 픽셀들로 교체한 영상인 것인 주야간 영상 합성에 기반한 야간 영상 감시 시스템을 제공한다.
본 발명에 따른 야간 영상 감시 시스템 및 방법에 의하면, CCTV 카메라를 이용하여 야간에 조명이 부족한 장소에 대한 영상 감시의 수행 시에 주야간 합성 영상을 통해 감시자는 여러 감시 화면 중에 현재 보고 있는 감시 화면이 어떤 장소를 가리키는지 즉시 파악할 수 있는 효과가 있다.
또한, 본 발명에 따른 야간 영상 감시 시스템 및 방법에 의하면, 감시 지역에서의 사건의 발생 여부 및 그 사건이 감시 지역 내의 어떤 위치에서 어떤 지형/지물과 연계하여 일어나고 있는지 쉽게 파악할 수 있는 효과가 있다.
이하에는 도 1 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법을 설명한다. 본 실시예들을 설 명함에 있어서, 중복되는 부가적인 설명은 생략될 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 감시 시스템(100)의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 감시 시스템(100)은 비디오 카메라(110) 및 영상 처리 장치(120)를 포함한다.
비디오 카메라(110)는 일반 고정식 카메라 또는 회전/줌(Zoom)이 가능한 PTZ 카메라일 수 있으며, 비디오 신호를 출력하는 방식에 따라 NTSC/PAL 등의 아날로그 비디오 신호를 출력하는 카메라이거나 Ethernet/USB/IEEE1394 등의 디지털 인터페이스를 통해 디지털 비디오 신호를 출력하는 카메라일 수도 있다.
영상 처리 장치(120)는 비디오 카메라(110)로부터 비디오 데이터를 받아 처리하는 장치로서, 기능적으로 영상 획득부(121), 영상 합성부(122), 영상 표출부(123), 영상 저장부(124), 영상 재생부(125), 영상 전송부(126), 사용자 인터페이스(127) 및 시스템 제어부(128)를 포함한다.
영상 획득부(121)는 비디오 카메라(110)로부터 비디오 신호를 입력받아 일련의 디지털 비디오 프레임 데이터(Digital Video Frame Data)를 획득한다. 비디오 카메라(110)가 아날로그 카메라인 경우에는 아날로그 비디오 신호를 디지털 비디오 데이터로 변환하는 프레임 캡처(Frame Capture) 기능을 포함하고, 디지털 카메라인 경우에는 MPEG4/H.264등의 형식으로 인코딩(Encoding)되어 입력 된 비디오 데이터를 디코딩(Decoding)하는 기능을 포함한다.
영상 합성부(122)는 감시 지역에 대한 야간 감시 시에 비디오 카메라(110)로부터 획득한 실시간 비디오 영상을 주간에 기 획득한 감시 지역의 배경 영 상(Background Image)과 합성하여 야간 감시에 유용한 합성 비디오 영상을 생성한다.
영상 표출부(123)는 비디오 카메라(110)로부터 획득한 실시간 비디오 영상, 영상 합성부(123)를 통해 합성된 합성 비디오 영상, 영상 재생부(125)를 통해 재생되는 비디오 영상 등을 화면에 출력한다.
영상 저장부(124)는 영상 획득부(121)를 통해 획득한 비디오 영상 데이터를 인코딩하여 HDD(Hard Disk Drive) 등과 같은 저장 장치에 저장한다. 또한, 영상 저장부(124)는 영상 재생 시 합성 비디오 영상의 재생성을 위하여 필요한 요소인 주간 배경 영상 및 모션 마스크 영상을 함께 저장한다.
영상 재생부(125)는 영상 저장부(124)에 저장되어 있는 사용자가 지정한 위치의 비디오 영상 데이터를 디코딩하여 영상 표출부(123)에 전달한다. 또한, 영상 재생부(125)는 필요 시 영상 저장부(124)에 저장되어 있는 주간 배경 영상 및 모션 마스크 영상을 이용하여 합성 비디오 영상을 재생성한다.
영상 전송부(126)는 비디오 영상 데이터를 인코딩한 후, 각종 유무선 통신 수단을 통해 외부 시스템 또는 단말기에 전달한다.
사용자 인터페이스(127)는 사용자로부터 영상 처리 장치(120)의 제어를 위한 각종 명령을 입력받거나, 영상 처리 장치(120)의 처리 결과를 출력한다.
시스템 제어부(128)는 시스템 내부의 각 모듈 사이의 유기적인 연결 및 제어를 수행한다.
도 2는 영상 처리 장치(120)의 영상 합성부(122)에서 수행되는 주야간 영상 의 합성 방법을 도시한 흐름도이다.
단계(S101) 내지 단계(S105)가 수행되는 동안 비디오 카메라(110)는 고정되어 있다고 가정한다. 따라서, 비디오 카메라(110)가 PTZ 카메라인 경우에는 단계(S101) 내지 단계(S105)가 행해지는 동안 동일한 팬/틸트 각 및 줌 배율을 유지한다.
영상 처리 장치(120)는 단계(S101) 내지 단계(S102)를 주간에 수행한다.
단계(S101)에서 영상 처리 장치(120)는 감시 지역에 대한 비디오 영상 데이터를 일정 시간 동안 수집한다.
단계(S102)에서 영상 처리 장치(120)는 단계(S101)에서 수집한 비디오 영상 데이터를 처리하여 움직이는 물체들이 제거된 감시 지역의 배경 영역으로만 이루어진 주간 배경 정지 영상을 생성한다.
영상 처리 장치(120)는 단계(S103) 내지 단계(S105)를 야간에 실시간으로 반복적으로 처리한다.
단계(S103)에서 영상 처리 장치(120)는 비디오 카메라(110)로부터 감시 지역에 대한 비디오 프레임을 입력받는다.
단계(S104)에서 영상 처리 장치(120)는 상기 입력 비디오 프레임으로부터 모션 마스크 영상을 획득한다. 상기 모션 마스크 영상은 입력 비디오 프레임에서 움직임이 있는 픽셀들을 1 이상의 값으로 표시하고, 그렇지 않은 픽셀들을 0의 값으로 표시한 영상이다. 여기에서, 움직임이 있는 픽셀들은 영상에서 주로 이동 물체가 차지하는 영역에 속하는 픽셀들이다.
단계(S105)에서 영상 처리 장치(120)는 상기 입력 비디오 프레임과 상기 주간 배경 정지 영상을 상기 모션 마스크 영상을 이용하여 합성한다. 상기 합성된 영상은 상기 입력 비디오 프레임에서 움직임이 없는 픽셀들, 즉 배경에 해당하는 픽셀들을 주간 배경 정지 영상의 픽셀들로 교체한 영상이다. 상기 합성된 영상을 통해 감시자는 물체 등의 움직임이 어떤 곳에서 일어나고 있는지를 좀 더 명확하게 파악할 수 있게 된다.
도 3은 도 2의 단계(S101) 내지 단계(S102)에 해당하는 주간 배경 정지 영상을 생성하는 방법을 보다 구체적으로 도시한 흐름도이다.
단계(S201)에서 영상 처리 장치(120)는 비디오 카메라(110)로부터 비디오 프레임을 입력받는다.
단계(S202)에서 영상 처리 장치(120)는 상기 입력 비디오 프레임의 각 픽셀에 대하여 밝기 히스토그램(Histogram)을 업데이트한다. 밝기 히스토그램은 N개의 빈(Bin)으로 구성된 1차원 배열이다. 픽셀
Figure 112009015250871-pat00001
에 대응하는 밝기 히스토그램을
Figure 112009015250871-pat00002
라고 하고,
Figure 112009015250871-pat00003
의
Figure 112009015250871-pat00004
번째 빈을
Figure 112009015250871-pat00005
라고 하고, 픽셀 밝기의 최대값을
Figure 112009015250871-pat00006
라고 하고, 입력 비디오 프레임에서 픽셀
Figure 112009015250871-pat00007
의 밝기 값을
Figure 112009015250871-pat00008
라고 하면, 밝기 히스토그램
Figure 112009015250871-pat00009
는 하기 수학식 1과 같이 업데이트된다.
Figure 112009015250871-pat00010
이때 밝기 히스토그램의 각 빈의 값은 최초에 0으로 초기화되어 있다고 가정한다.
단계(S203)에서 영상 처리 장치(120)는 지정된 시간이 경과했는지를 체크한다. 지정된 시간이 경과되지 않았으면 단계(S201) 내지 단계(S202)를 반복해서 수행한다. 지정된 시간이 경과되었으면, 단계(S204)로 진행한다.
단계(S204)에서 영상 처리 장치(120)는 각 픽셀에 대한 밝기 히스토그램의 최대값을 찾아 주간 배경 정지 영상을 생성한다. 일정 시간 동안 누적된 밝기 히스토그램의 각 빈이 가지는 값은, 그 빈에 대응하는 밝기 값을 갖는 픽셀들이 출현한 빈도수를 나타낸다. 이동 물체들이 존재하는 지역을 카메라를 고정시킨 채로 일정 시간 동안 촬영할 경우, 촬영 시간이 어느 정도 충분하고, 이동 물체가 특정 장소에 머무는 시간이 촬영 시간에 대비하여 길지 않으면, 대부분의 픽셀 위치에서 촬영 시간동안 노출되는 빈도수가 가장 많은 것은 배경에 해당하는 픽셀들이다. 따라서 일정 촬영 시간이 경과한 후 각 픽셀의 밝기 히스토그램의 최대값을 갖는 빈에 대응하는 픽셀의 밝기는 그 위치에서 배경이 갖는 픽셀 값일 가능성이 매우 높다. 밝기 히스토그램
Figure 112009015250871-pat00011
의 최대값을 갖는 빈의 인덱스 값을
Figure 112009015250871-pat00012
라고 하고, 주간 배경 정지 영상에서 픽셀
Figure 112009015250871-pat00013
의 밝기 값을
Figure 112009015250871-pat00014
라고 하면, 주간 배 경 정지 영상은 하기 수학식 2와 같이 주어진다.
Figure 112009015250871-pat00015
도 4는 도 2의 단계(S103) 내지 단계(S104)에 해당하는 모션 마스크 영상 획득 방법을 보다 구체적으로 도시한 흐름도이다.
단계(S301)에서 영상 처리 장치(120)는 비디오 카메라(110)로부터 비디오 프레임을 입력받는다.
단계(S302)에서 영상 처리 장치(120)는 상기 입력 비디오 프레임을 이용하여 배경 모델(Background Model)을 업데이트한다. 배경 모델은 배경에 해당하는 픽셀의 밝기 값의 분포를 특정한 함수 등으로 모델링한 것이다. 시간이 경과해도 배경에 해당하는 픽셀의 밝기가 항상 일정하면 배경 모델을 업데이트할 필요가 없으나, 대부분의 실외 환경에서는 시간이 지남에 따라 조명 등의 변화로 배경 픽셀의 밝기 값이 변화하게 된다. 따라서 주기적인 배경 모델의 업데이트가 필요하다. 배경 픽셀의 밝기 값의 분포를 가우시안(Gaussian) 분포로 모델링하면, 배경 픽셀
Figure 112009015250871-pat00016
의 밝기 분포는 그것의 평균값
Figure 112009015250871-pat00017
과 표준편차
Figure 112009015250871-pat00018
에 의해 표현할 수 있다. 입력 비디오 프레임의 픽셀
Figure 112009015250871-pat00019
의 밝기 값을
Figure 112009015250871-pat00020
라고 하면,
Figure 112009015250871-pat00021
과
Figure 112009015250871-pat00022
는 하기의 수학식 3과 같이 업데이트된다.
Figure 112009015250871-pat00023
Figure 112009015250871-pat00024
상기 수학식 3에서
Figure 112009015250871-pat00025
는 사용자가 지정한 학습 상수(Learning Constant)이며,
Figure 112009015250871-pat00026
의 값을 갖는다.
단계(S303)에서 영상 처리 장치(120)는 상기 입력 비디오 프레임과 상기 배경 모델과의 차에 의한 초기 모션 마스크 영상을 획득한다. 모션 마스크 영상은 움직임이 발생한 영역을 표시하는 영상이다. 초기 모션 마스크 영상의 픽셀
Figure 112009015250871-pat00027
의 밝기 값을
Figure 112009015250871-pat00028
라고 하면,
Figure 112009015250871-pat00029
는 하기 수학식 4와 같이 주어진다.
Figure 112009015250871-pat00030
Figure 112009015250871-pat00031
상기 수학식 4에서
Figure 112009015250871-pat00032
는 사용자가 지정한 문턱치(Threshold Value)이다.
단계(S304)에서 영상 처리 장치(120)는 상기 초기 모션 마스크 영상에서 그림자 또는 갑작스러운 조명 변화 등에 발생하는 노이즈 픽셀들을 찾아 제거한다. 이러한 노이즈 픽셀들을 제거함으로써, 모션 마스크 영상은 이동 물체들에 발생한 모션 영역만을 좀 더 정확하게 표현하게 된다. 노이즈 픽셀의 제거 시, 이동 물체와는 달리 그림자 또는 갑작스러운 조명 변화 등에 의해 발생한 모션 영역은 입력 비디오 프레임과 배경 영상이 그 영역에서 유사한 텍스처(Texture) 성분을 갖는다는 점을 이용한다. 특정 픽셀
Figure 112009015250871-pat00033
에서 입력 비디오 프레임
Figure 112009015250871-pat00034
와 배경 영상
Figure 112009015250871-pat00035
사이의 텍스처의 유사성
Figure 112009015250871-pat00036
은 하기 수학식 5에 의해 주어진다.
Figure 112009015250871-pat00037
상기 수학식 5에서
Figure 112009015250871-pat00038
은 픽셀
Figure 112009015250871-pat00039
를 중심으로 의 윈도우 내에 들어오는 픽셀들의 집합을 의미한다. 텍스처 유사성
Figure 112009015250871-pat00040
가 일정값보다 크면 픽셀
Figure 112009015250871-pat00041
를 노이즈 픽셀로 간주하고
Figure 112009015250871-pat00042
으로 설정한다.
단계(S305)에서 영상 처리 장치(120)는 상기 모션 마스크 영상에 대하여 이진 모폴로지 연산(Binary Morphological Operation)을 적용하여 최종 모션 마스크 영상을 획득한다. 모션 마스크 영상에 모폴로지 연산을 적용함으로써 면적이 매우 작은, 홀로 떨어져 있는 모션 마스크 영역들을 제거하고, 매우 가까이 인접한 모션 마스크 영역들끼리 병합하여 보다 깔끔한 형태의 모션 마스크 영상을 생성한다.
입력 비디오 프레임
Figure 112009015250871-pat00043
, 상기 주간 배경 정지 영상
Figure 112009015250871-pat00044
, 상기 모션 마스크 영상
Figure 112009015250871-pat00045
이 주어졌을 때, 도 2의 단계(S105)에서 합성 영상
Figure 112009015250871-pat00046
는 하기 수학식 6과 같이 구할 수 있다.
Figure 112009015250871-pat00047
상기 수학식 6에 의해 생성된 합성 영상
Figure 112009015250871-pat00048
는, 모션 영역에서는 입력 비디오 프레임의 픽셀 값들이, 모션 영역 이외의 영역에서는 주간 배경 정지 영상의 픽셀 값들이 채워짐에 의해 생성된 영상이 된다. 그러나 상기 모션 마스크 영상을 그대로 사용할 경우에 합성 결과를 보면, 배경 영역과 모션 영역 사이의 경계선 부근에서 부드럽게 이어지지 않는 단점이 있다. 이러한 단점을 해결하기 위해 모션 마스크 영상에 가우시안 필터(Gaussian Filter) 등과 같은 저주파 통과 필터를 적용하여 모션 마스크 영상을 블러링(Blurring)하여 사용한다. 블러링된 모션 마스크 영상은 모션 마스크 영역의 가장자리에서
Figure 112009015250871-pat00049
의 값이 255에서 0으로 부드럽게 변하게 된다. 따라서 블러링된 모션 마스크 영상을 상기 수학식 6에 적용하여 만들 어진 합성 영상은 모션 영역의 가장자리가 배경 영역과 부드럽게 이어진다.
도 1에서 영상 처리 장치(120)의 영상 저장부(1024)는 향 후 합성 비디오 영상의 재생을 위해 도 2의 단계(S105)에서 얻은 실시간 합성 영상을 직접 저장하는 방법 대신, 단계(S102)에서 얻은 주간 배경 정지 영상과 단계(S104)에서 얻은 모션 마스크 영상을 저장하는 방법을 취한다. 즉, 하나의 고정된 비디오 카메라에 대하여 한 장의 주간 배경 정지 영상이 저장되고, 입력 되는 비디오 프레임과 그것에 대응하는 모션 마스크 영상이 쌍을 이루어 순차적으로 저장된다. 영상 재생부(1025)는 합성 비디오 영상의 재생 시, 저장되어 있던 입력 비디오 프레임, 모션 마스크 영상, 주간 배경 정지 영상을 불러와서 상기 수학식 6을 이용하여 합성 영상을 생성한다. 합성 영상의 직접적인 저장 대신 모션 마스크 영상을 저장하는 이유는, 모션 마스크 영상의 단순한 구조로 말미암아 압축해서 저장 시 압축 효율이 일반 영상에 비해 훨씬 좋기 때문이다.
이상에서, 본 발명은 첨부된 도면 및 실시예에 따라 구체적으로 설명되었으나, 첨부된 도면 및 상기의 실시예는 본 발명에 대한 당해 기술분야에서 통상의 지식을 가진 자의 이해를 돕기 위해 예시적으로 설명된 것이다. 따라서, 상기의 실시예는 제한적인 것이 아닌 예시적인 것으로 여겨져야 하며, 본 발명의 범위는 첨부된 특허청구범위에 기재된 발명에 따라 해석되어져야 하고, 그 범위는 당해 기술분야에서 통상의 지식을 가진 자에 의한 다양한 변경, 대안, 균등물을 포함한다.
도 1은 본 발명의 일 실시예에 따른 영상 감시 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 주야간 영상의 합성 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 주간 배경 정지 영상을 생성하는 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 모션 마스크 영상 획득 방법 도시한 흐름도이다.

Claims (7)

  1. 주야간 영상 합성에 기반한 야간 영상 감시 방법에 있어서,
    (a) 주간의 소정 기간 동안 비디오 카메라로부터 수집한 감시 지역에 대한 비디오 영상 데이터로부터 주간 배경 정지 영상을 생성하는 단계,
    (b) 야간 감시 시에 상기 감시 지역에 대한 비디오 프레임을 입력받는 단계,
    (c) 상기 입력된 비디오 프레임으로부터 모션 마스크 영상을 획득하는 단계 및
    (d) 상기 획득된 모션 마스크 영상에 기초하여, 상기 생성된 주간 배경 영상과 상기 입력된 비디오 프레임을 합성하는 단계를 포함하되,
    상기 합성된 영상은, 상기 입력된 비디오 프레임에서 움직임이 없는 픽셀들을 상기 주간 배경 정지 영상의 픽셀들로 교체한 영상인 것인 야간 영상 감시 방법.
  2. 제 1 항에 있어서,
    상기 주간 배경 정지 영상은, 움직이는 물체들이 제거된 감시 지역의 배경 영역으로만 이루어진 것을 특징으로 하는 야간 영상 감시 방법.
  3. 제 1 항에 있어서,
    상기 모션 마스크 영상은 상기 입력 비디오 프레임에서 움직임이 있는 픽셀 들을 1 이상의 값으로 표시하고, 움직임이 없는 픽셀들을 0의 값으로 표시한 영상이며, 상기 움직임이 있는 픽셀들은 상기 입력 비디오 프레임에서 이동 물체가 차지하는 영역에 속하는 픽셀들인 것을 특징으로 하는 야간 영상 감시 방법.
  4. 제 1 항에 있어서,
    상기 주간 배경 정지 영상을 생성하는 (a) 단계는,
    (a1) 주간의 소정 기간 동안 상기 비디오 카메라로부터 상기 감시 지역에 대한 비디오 영상을 입력받는 단계,
    (a2) 상기 입력된 비디오 영상의 각 비디오 프레임에 대하여, 각 픽셀에 대응하는 밝기 히스토그램을 최초에 초기화하고 그 이후로는 상기 픽셀의 밝기 값을 이용하여 밝기 히스토그램을 업데이트하는 단계,
    (a3) 상기 소정 기간 동안 입력받은 각 비디오 프레임에 대하여 밝기 히스토그램을 업데이트하는 상기 (a2) 단계를 반복 수행하여 각 픽셀에 대한 밝기 히스토그램을 완성하는 단계 및
    (a4) 상기 주간 배경 정지 영상의 각 픽셀의 밝기 값은 상기 (a3) 단계에서 그 픽셀에 대응하는 완성된 밝기 히스토그램의 최대값을 가지는 빈(Bin)을 찾고, 상기 최대값을 가지는 빈(Bin)이 가리키는 밝기 값을 채용하는 단계를 더 포함하는 것을 특징으로 하는 주야간 영상 합성에 기반한 야간 영상 감시 방법.
  5. 제 1 항에 있어서,
    상기 모션 마스크 영상을 획득하는 (c) 단계는,
    (c1) 상기 입력된 비디오 프레임의 배경에 해당하는 각 픽셀의 밝기값 분포를 모델링한 배경 모델을 생성하는 단계,
    (c2) 상기 입력된 비디오 프레임과 상기 배경 모델의 차에 의한 초기 모션 마스크 영상을 획득하는 단계,
    (c3) 상기 초기 모션 마스크 영상에서 노이즈 픽셀들을 제거하는 단계 및
    (c4) 상기 노이즈 픽셀이 제거된 초기 모션 마스크 영상에 모폴로지 연산을 적용하여 최종 모션 마스크 영상을 획득하는 단계를 더 포함하는 것인 야간 영상 감시 방법.
  6. 제 5 항에 있어서,
    상기 최종 모션 마스크 영상은 상기 생성된 주간 배경 영상과 상기 입력된 비디오 프레임의 합성을 위해 저주파 통과 필터를 적용하여 블러링되는 것인 야간 영상 감시 방법.
  7. 주야간 영상 합성에 기반한 야간 영상 감시 시스템에 있어서,
    비디오 카메라로부터 감시 지역에 대한 실시간 비디오 영상을 획득하는 영상 획득부,
    상기 감시 지역에 대한 야간 감시 시에 상기 비디오 카메라로부터 획득한 실시간 비디오 영상을 주간에 기 획득한 주간 배경 영상과 합성하여 합성 비디오 영상을 생성하는 영상 합성부,
    상기 감시 지역에 대한 실시간 비디오 영상과 아울러 주간 배경 정지 영상 및 상기 실시간 영상의 각 비디오 프레임으로부터 획득한 모션 마스크 영상을 저장하는 영상 저장부,
    상기 저장된 실시간 비디오 영상, 주간 배경 정지 영상, 모션 마스크 영상을 이용하여 합성 비디오 영상을 재생성하는 영상 재생부 및
    상기 합성 비디오 영상을 화면에 출력하는 영상 표출부를 포함하되,
    상기 합성 비디오 영상은, 상기 입력된 실시간 비디오 영상에서 움직임이 없는 픽셀들을 상기 주간 배경 정지 영상의 픽셀들로 교체한 영상인 것을 특징으로 주야간 영상 합성에 기반한 야간 영상 감시 시스템.
KR1020090021467A 2009-03-13 2009-03-13 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법 KR100927554B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090021467A KR100927554B1 (ko) 2009-03-13 2009-03-13 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090021467A KR100927554B1 (ko) 2009-03-13 2009-03-13 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR100927554B1 true KR100927554B1 (ko) 2009-11-20

Family

ID=41605205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090021467A KR100927554B1 (ko) 2009-03-13 2009-03-13 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100927554B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049410A (ko) * 2012-10-17 2014-04-25 에스케이텔레콤 주식회사 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치
WO2017034323A1 (ko) * 2015-08-25 2017-03-02 경북대학교 산학협력단 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980019441A (ko) * 1998-03-18 1998-06-05 이준식 영상 합성 장치 및 방법(device and method for image synthetic)
KR20060031832A (ko) * 2006-03-22 2006-04-13 뷰웨이 주식회사 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980019441A (ko) * 1998-03-18 1998-06-05 이준식 영상 합성 장치 및 방법(device and method for image synthetic)
KR20060031832A (ko) * 2006-03-22 2006-04-13 뷰웨이 주식회사 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049410A (ko) * 2012-10-17 2014-04-25 에스케이텔레콤 주식회사 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치
KR102011490B1 (ko) * 2012-10-17 2019-08-16 에스케이 텔레콤주식회사 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치
WO2017034323A1 (ko) * 2015-08-25 2017-03-02 경북대학교 산학협력단 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치
KR20170024287A (ko) * 2015-08-25 2017-03-07 경북대학교 산학협력단 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치
KR101715247B1 (ko) * 2015-08-25 2017-03-10 경북대학교 산학협력단 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치

Similar Documents

Publication Publication Date Title
KR101926490B1 (ko) 이미지 처리 장치 및 방법
US8233044B2 (en) Method, device and computer program product for demultiplexing of video images
WO2016152007A1 (ja) 画像処理装置およびこれを備えた監視システムならびに画像処理方法
CN101930535B (zh) 人脸侦测与追踪装置
KR20190014028A (ko) 화상처리장치, 화상처리방법, 및 프로그램
CA2927295C (en) Method and device for processing a video stream in a video camera
JP2004023373A (ja) 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
CN107534733B (zh) 摄像装置、该摄像装置的图像处理方法及介质
JP2002259985A (ja) 画像監視方法、画像監視装置及び記憶媒体
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
US20130162855A1 (en) Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
CN106888355B (zh) 比特率控制器和用于限制输出比特率的方法
KR20160088466A (ko) 선명한 상의 촬영이 가능한 감시 카메라
CN104113696B (zh) 运动物体的轨迹的拍摄方法及装置
ZA200506054B (en) Video analyzer
Pawłowski et al. Visualization techniques to support CCTV operators of smart city services
KR100927554B1 (ko) 주야간 영상 합성에 기반한 야간 영상 감시 시스템 및 방법
US20050007452A1 (en) Video analyzer
JP2005175970A (ja) 撮像システム
TWI389060B (zh) 智慧型監控系統及其方法
KR101920369B1 (ko) 열화상 카메라의 영상처리장치 및 영상처리방법
KR101941266B1 (ko) 초저조도용 cctv 영상 제공 시스템
KR101706221B1 (ko) 감시카메라 및 그 감시카메라의 대상 식별을 통한 알람 제어 방법
JP2009296224A (ja) 撮像手段及びプログラム
CN102724386A (zh) 一种实时视频智能***及其处理方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131112

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161103

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20181031

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 11