KR101268391B1 - 영상 처리 장치 및 그 방법 - Google Patents

영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101268391B1
KR101268391B1 KR1020100139549A KR20100139549A KR101268391B1 KR 101268391 B1 KR101268391 B1 KR 101268391B1 KR 1020100139549 A KR1020100139549 A KR 1020100139549A KR 20100139549 A KR20100139549 A KR 20100139549A KR 101268391 B1 KR101268391 B1 KR 101268391B1
Authority
KR
South Korea
Prior art keywords
image
camera
frames
image frames
delete delete
Prior art date
Application number
KR1020100139549A
Other languages
English (en)
Other versions
KR20120077553A (ko
Inventor
강홍구
류철형
백주현
유지상
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020100139549A priority Critical patent/KR101268391B1/ko
Publication of KR20120077553A publication Critical patent/KR20120077553A/ko
Application granted granted Critical
Publication of KR101268391B1 publication Critical patent/KR101268391B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 명세서는 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 제거하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 제거함으로써 영상 압축률을 향상시킬 수 있는 영상 처리 장치 및 그 방법에 관한 것이다. 이를 위하여 본 명세서의 실시예에 따른 영상 처리 장치는, 카메라를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 관심 지역에 대한 영상을 촬영하는 카메라 모듈과; 상기 촬영된 영상들을 근거로 주기적으로 반복되는 영상 프레임들을 검출하고, 상기 주기적으로 반복되는 영상 프레임들 중에서 중복되는 영상 정보를 제거하는 영상압축을 수행하는 영상 처리부를 포함할 수 있다.

Description

영상 처리 장치 및 그 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}
본 명세서는 영상 처리 장치 및 그 방법에 관한 것이다.
일반적으로, 지상 운용 감시 장비에 적용된 영상 처리 방법은, 주요 관심 지점에 감시 카메라를 설치하여 해안 및 산간지역 등과 같은 광범위한 지역을 감시한다. 이러한 지상 운용 감시 장비의 운용 특성을 살펴보면, 고정 위치에서 특정 주기를 가지고 관심 지역을 반복적으로 감시하고, 획득된 영상을 신호 처리하여 표적을 탐지/인지 및 영상 합성을 하게 된다. 이러한 탐지/인지 결과 및 합성 영상은 필요에 따라서 유/무선 통신을 이용하여 후방 통제소 또는 상급부대로 전송하게 된다.
상기 지상 운용 감시 장비에서 광범위한 관심 지역의 감시를 위한 카메라의 설정은 광각의 카메라를 이용할 수도 있지만, 광각의 카메라는 렌즈의 주변부의 외곡과 원거리 물체의 탐지/인지가 어렵다는 문제가 있으므로, 정밀성이 요구되는 지상운용 감시장비에서는 그 적용이 매우 제한적이다. 따라서, 지상 운용 감시 장비에서는 광각 렌즈의 대안으로 일반적으로 시계(FOV: Field Of View)가 10° 이하인 망원 렌즈를 채택한 하나 이상의 카메라를 좌우로 반복 이동시키면서 전체 관심 지역을 감시하게 된다. 이때, 카메라를 좌우로 반복 이동시키는데 있어서, 관측자가 영상을 직접 감시하는 고전적인 감시 장비에서는 카메라를 연속적으로 구동하는 방식이 적용되었다.
상기 카메라의 연속적 구동 방식은 카메라 이동의 제어가 비교적 용이하다는 장점이 있지만, 적외선 센서와 같이 영상 획득에 필요한 광량을 모으는데 소요되는 시간이 상대적으로 긴 경우에는 카메라의 이동으로 인하여 획득 영상이 흐려져서 정밀한 감시를 어렵게 한다. 또한, 카메라의 연속 구동에 따른 영상의 높은 품질을 보장하기 위해서는 높은 프레임률을 이용할 필요가 있는데, 이러한 높은 프레임률을 갖는 연속 영상은 그 데이터 부하가 매우 커서 탐지/인지를 위한 신호처리, 영상 합성 및 유/무선 통신을 통한 영상 전송 등의 영상 처리를 어렵게 한다. 이러한 문제점으로 인하여 지상 운용 감시 장비에서 카메라 운용은 이동 시에는 영상 획득을 중지하고, 지정된 각도에서 짧은 시간 정지하여 영상을 획득하는 스텝 구동을 사용한다.
도 1은 종래 기술의 카메라 스텝 구동에 따른 영상 처리 개념을 나타낸 예시도 이다. 즉, 도 1은 상기 스텝 구동을 사용하는 지상 운용 감시 장비의 카메라 획득 영상, 합성 영상, 압축 및 전송 등의 영상 운용 개념을 나타낸 도이다.
도1에 도시한 바와 같이, 획득된 카메라 영상은 합성을 위하여 일부 영역을 중첩하여 획득하고, 그 중첩된 영역의 데이터를 기반으로 획득된 카메라 영상을 연속적으로 연결하는 등의 합성 작업을 수행한다. 이러한 스텝 구동을 적용함으로써 정지 영상과 같은 높은 품질의 영상 획득이 가능하고, 스텝 구동에 따른 영상 프레임율의 감소로 인하여 탐지/인지를 위한 신호처리, 영상 합성을 위한 데이터 부하를 크게 줄일 수 있게 되지만, 이러한 스텝 구동으로 인한 획득 영상 또는 합성 영상은 일반적인 동영상과는 다른 특성을 갖는다. 즉, 일반적인 동영상은 높은 영상 프레임율의 적용으로 연속된 영상 프레임들 간에 서로 높은 상관관계를 갖지만, 스텝 구동으로 획득된 영상 및 합성 영상은 인접 프레임들 간에 공간적 상관 관계가 거의 나타나지 않는다. 따라서, 주기적으로 반복되는 영상은 인접된 영상 프레임들 간의 상관관계가 크지 않기 때문에, 연속된 영상 프레임 중 하나를 기준 영상 프레임으로 설정하여 영상 프레임들 간의 중복 정보를 삭제하는 일반적인 압축 방식으로는 높은 압축률 달성이 어렵다.
본 명세서의 목적은, 서로 인접된 영상 프레임들을 비교하여 비교 영상 프레임들 간의 중복 정보를 삭제하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 프레임간 중복 영상 정보를 이용함으로써 영상 압축률을 향상시킬 수 있는 영상 처리 장치 및 그 방법을 제공하는 데 있다.
본 명세서의 다른 목적은, 서로 인접된 영상 프레임들을 비교하여 비교 영상 프레임들 간의 중복 정보를 삭제하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 프레임간 중복 영상 정보를 이용함으로써 영상 트래픽 부하를 감소시킬 수 있는 영상 처리 장치 및 그 방법을 제공하는 데 있다.
본 명세서의 또 다른 목적은, 서로 인접된 영상 프레임들을 비교하여 비교 영상 프레임들 간의 중복 정보를 삭제하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 프레임간 중복 영상 정보를 이용함으로써 유/무선 통신을 이용한 영상 전송 성능을 개선할 수 있는 영상 처리 장치 및 그 방법을 제공하는 데 있다.
본 명세서의 실시예에 따른 영상 처리 장치는, 카메라를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 관심 지역에 대한 영상을 촬영하는 카메라 모듈과; 상기 촬영된 영상들을 근거로 주기적으로 반복되는 영상 프레임들을 검출하고, 상기 주기적으로 반복되는 영상 프레임들 중에서 동일 지향 방위각을 갖는 영상 프레임을 서로 비교하여 중복 영상정보를 이용하여 영상을 압축하는 영상 처리부를 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 카메라 모듈은 상기 카메라를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 상기 카메라의 지향 방위각에 따라 상기 주기적으로 반복되는 영상들을 촬영할 수 있다.
본 발명과 관련된 일 예로서, 상기 주기적으로 반복되는 영상 프레임들 각각은 상기 카메라의 지향 방위각을 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 영상 처리부는 상기 지향 방위각들을 검출하고, 상기 검출한 지향 방위각들 중에서 동일한 지향 방위각을 갖는 영상 프레임들을 서로 비교함으로써 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보를 이용하여 영상 프레임들을 압축할 수 있다.
본 발명과 관련된 일 예로서, 상기 카메라 모듈은 상기 카메라를 좌우로 반복 이동시킴으로써 상기 주기적으로 반복되는 영상들을 촬영할 수 있다.
본 발명과 관련된 일 예로서, 상기 영상 처리부는 상기 카메라 모듈로부터 상기 카메라의 지향 방위각 정보를 포함하는 영상 프레임들을 수신하고, 상기 영상 프레임들 중에서 상기 주기적으로 반복되는 영상 프레임들을 검출하고, 상기 주기적으로 반복되는 영상 프레임들을 서로 비교하여 영상 프레임 내의 중복되는 영상정보를 이용하여 영상 프레임들을 높은 영상압축률을 갖도록 압축할 수 있다.
본 발명과 관련된 일 예로서, 상기 압축된 영상 프레임을 전송하는 통신부를 더 포함할 수 있다.
본 발명과 관련된 일 예로서, 상기 카메라 모듈은 미리설정된 스탭 이동각 마다 상기 카메라를 이동시키면서 상기 영상을 촬영할 수 있다.
본 발명과 관련된 일 예로서, 상기 미리설정된 스탭 이동각은 변경 가능할 수 있다.
본 명세서의 실시예에 따른 영상 처리 장치는, 카메라를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 상기 카메라의 지향 방위각에 따라 관심 지역에 대한 영상들을 촬영하는 카메라 모듈과; 상기 촬영된 영상들로부터 상기 지향 방위각을 갖는 주기적으로 반복되는 영상 프레임들을 검출하고, 이를 서로 비교하여 중복되는 영상 정보를 이용하여 영상 프레임들을 압축하는 영상 처리부를 포함하며, 상기 영상 처리부는 상기 주기적으로 반복되는 영상 프레임들 각각에 포함된 지향 방위각을 검출하고, 상기 검출한 지향 방위각들 중에서 동일한 지향 방위각을 갖는 영상 프레임들을 서로 비교함으로써 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보를 이용할 수 있다.
본 명세서의 실시예에 따른 영상 처리 방법은, 카메라를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 관심 지역에 대한 영상을 촬영하는 단계와; 상기 촬영된 영상들을 근거로 주기적으로 반복되는 영상 프레임들을 검출하는 단계와; 상기 주기적으로 반복되는 영상 프레임들 중에서 중복되는 영상 정보를 이용하는 단계를 포함할 수 있다.
본 명세서의 실시예에 따른 영상 처리 방법은, 카메라를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 상기 카메라의 지향 방위각에 따라 관심 지역에 대한 영상들을 촬영하는 단계와; 상기 촬영된 영상들로부터 상기 지향 방위각을 갖는 주기적으로 반복되는 영상 프레임들을 검출하는 단계와; 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보를 이용하는 단계와; 주기적 영상 프레임들을 압축하는 단계를 포함하며, 여기서, 상기 중복되는 영상 프레임을 이용하는 단계는, 상기 주기적으로 반복되는 영상 프레임들 각각에 포함된 지향 방위각을 검출하는 단계와; 상기 검출한 지향 방위각들 중에서 동일한 지향 방위각을 갖는 영상 프레임들을 서로 비교함으로써 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보를 이용하여 압축하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 이용하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 이용함으로써 영상 압축률을 향상시킬 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 삭제하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 이용함으로써 영상 트래픽 부하를 감소시킬 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 삭제하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 이용함으로써 유/무선 통신을 이용한 영상 전송 성능을 개선할 수 있다.
도 1은 종래 기술의 카메라 스텝 구동에 따른 영상 처리 개념을 나타낸 예시도 이다.
도 2는 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른 지상 운용 감시 장비에 적용된 주기적 반복 영상의 상관관계를 이용한 영상 압축 방법의 동작을 설명하기 위해 나타낸 예시도 이다.
도 5a 및 5b는 본 발명의 실시예에 따른 지상 운용 감시 장비의 합성 영상 프레임 획득을 위한 카메라의 두 가지 스텝 구동 방법을 나타낸 예시도 이다.
도 6은 L개의 영상 압축 모듈을 구현할 수 있는 경우에 대한 제한된 영상(합성 영상) 압축 시스템을 설명하기 위한 예시도이다.
최근 군의 현대화를 위하여 철책선, 해안선의 무인/원격 감시를 위한 지상운용 감시장비에 대한 관심이 많이 증가하고 있다. 이러한 지상 운용 감시 장비의 기본 운용은 카메라를 고정된 위치에 설치하고, 그 카메라를 스텝 구동하여 관심 지역을 반복하여 감시하게 된다. 이때, 카메라를 통해 획득된 영상은 사용자에게 전시 및 표적의 탐지/인지를 위한 합성 영상으로 변환되며, 이 합성 영상은 전시, 탐지/인지 신호 처리 또는 유/무선 통신을 이용하여 다른 지역으로 전송하기 위하여 영상 압축 등의 다양한 영상 신호 처리를 수행하게 된다.
현재 널리 사용되는 영상 압축 기술은 영상 프레임 내 인접된 공간 간의 상관관계와 연속되는 영상 프레임들 간의 상관관계를 이용하여 높은 영상 압축률을 지원해주는데, 상기 설명한 바와 같이 지상 운용 감시 장비의 합성 영상의 경우에는 서로 인접된 영상 프레임들 간의 상관관계가 크지 않기 때문에, 연속된 영상 프레임들 중 하나를 기준 프레임으로 설정하여 영상 프레임들 간에 중복되는 영상 정보를 삭제하는 압축 방식을 적용하여도 높은 압축률 달성을 어렵게 한다. 따라서, 인접 영상 프레임들보다 동일한 지역을 지향하는 주기적인 영상 프레임들이 서로 높은 상관관계를 갖는다. 즉, 일반적인 동영상은 높은 영상 프레임율의 적용으로 연속된 영상 프레임들 간에 서로 높은 상관관계를 갖지만, 스텝 구동으로 획득된 영상 및 합성 영상은 인접 프레임들 간에 공간적 상관 관계가 거의 나타나지 않는다. 반면에, 카메라의 주기적 반복 이동에 따라서 동일한 지역을 지향하는 영상들은 서로 높은 상관관계를 갖는 특성을 보이게 된다.
이하에서는, 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 삭제하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 삭제할 수 있는 영상 처리 장치 및 그 방법을 도1 내지 도6을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 구성도이다.
도2에 도시한 바와 같이, 본 발명의 실시예에 따른 영상 처리 장치(100)는, 카메라(도시하지 않음)를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 관심 지역에 대한 영상을 촬영하는 카메라 모듈(101)과; 상기 촬영된 영상들을 근거로 주기적으로 반복되는 영상 프레임들을 검출하고, 상기 주기적으로 반복되는 영상 프레임들 중에서 중복되는 영상 정보(들)을 삭제하는 영상 처리부(102)로 구성된다.
상기 카메라 모듈(101)은 상기 카메라를 미리설정된 이동 경로로 주기적으로 반복 이동시키면서 상기 카메라의 지향 방위각에 따라 주기적으로 반복되는 영상들을 촬영한다.
상기 영상 처리부(102)는 상기 주기적으로 반복되는 영상 프레임들 중에서 동일한 지향 방위각을 갖는 영상 프레임들을 서로 비교함으로써 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보를 이용하고, 그 영상 프레임을 압축한다.
상기 영상 처리부(102)는 상기 중복된 영상 정보를 이용하여 영상 프레임들을 압축하고, 그 압축된 영상 프레임들을 통신망을 통해 서버(200)에 전송한다.
본 발명의 실시예에 따른 영상 처리 장치(100)의 저장부(103)는 카메라 모듈(101)에 의해 획득된 영상들을 저장한다.
상기 카메라 모듈(101)은 미리설정된 스탭 이동각(예를 들면, 6도) 마다 상기 카메라를 이동시킬 수도 있다.
도 3은 본 발명의 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
먼저, 상기 카메라 모듈(101)은 카메라(도시하지 않음)를 미리설정된 이동 경로로 주기적으로 반복 이동시킨다(S11). 예를 들면, 상기 카메라 모듈(101)은 미리설정된 관심 지역을 촬영하기 위해 상기 카메라를 좌우 반복 이동시킴으로써 상기 미리설정된 관심 지역을 촬영한다. 이때, 상기 카메라 모듈(101)은 상기 스텝 구동 방법으로 상기 카메라를 좌우 반복 이동시키거나 상기 카메라를 연속적으로 좌우 반복 이동시킬 수 있다. 여기서, 상기 카메라를 좌우 반복 이동시키면서 영상을 촬영함으로써 주기적으로 반복되는 영상들(영상 프레임들)이 발생한다.
상기 카메라 모듈(101)은 상기 카메라를 통해 상기 미리설정된 관심 지역을 촬영할 때 상기 카메라가 향하는 방위각(지향 방위각)을 검출하고, 그 검출한 지향 방위각을 상기 촬영된 영상 프레임들 각각의 헤더에 기록한다. 예를 들면, 상기 카메라 모듈(101)은 자이로 센서 또는 리졸버와 같은 센서를 통해 제1 지향 방위각에서 촬영된 영상 프레임의 헤더에 제1 지향 방위각을 기록하고, 제2 지향 방위각에서 촬영된 영상 프레임의 헤더에 제2 지향 방위각을 기록한다. 즉, 상기 영상 프레임들 각각은 상기 카메라의 지향 방위각 정보를 포함한다.
상기 카메라 모듈(101)은 상기 카메라의 지향 방위각 정보를 포함하는 영상 프레임들을 상기 영상 처리부(102)에 출력한다.
상기 영상 처리부(102)는 상기 카메라 모듈(101)로부터 상기 카메라의 지향 방위각 정보를 포함하는 영상 프레임들을 수신하고, 그 수신한 영상 프레임들을 합성한다(S12). 예를 들면, 상기 영상 처리부(102)는, 상기 수신한 영상 프레임들 중에서 상기 카메라가 첫 번째 이동함으로써 촬영된 영상 프레임들을 촬영된 순서대로 연속적으로 연결함으로써 제1 합성 영상 프레임(주기적으로 반복되는 영상 프레임들)을 생성하고, 상기 카메라가 두번째 이동함으로써 촬영된 영상 프레임들을 촬영된 순서대로 연속적으로 연결함으로써 제2 합성 영상 프레임(주기적으로 반복되는 영상 프레임들)을 생성한다. 즉, 상기 영상 처리부(102)는, 상기 카메라가 제1 위치에서 제2위치를 반복하여 이동한다고 가정할 때, 상기 제1 위치에서 상기 제2위치를 이동하면서 촬영된 영상 프레임들을 주기적으로 반복되는 영상 프레임들로 결정한다.
상기 영상 처리부(102)는 상기 카메라 모듈(101)로부터 수신한 영상 프레임들 중에서 상기 주기적으로 반복되는 영상 프레임들을 검출한다(S13).
상기 영상 처리부(102)는 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보를 활용하여 영상을 압축한다(S14). 예를 들면, 상기 영상 처리부(102)는 상기 주기적으로 반복되는 영상 프레임들 각각에 포함된 지향 방위각을 검출하고, 상기 검출한 지향 방위각들 중에서 서로 동일한 지향 방위각을 포함하는 영상 프레임들을 서로 비교함으로써 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보를 활용하여 영상을 압축한다.
상기 영상 처리부(102)는 상기 주기적으로 반복되는 영상 프레임들 간에 중복되는 영상 정보가 존재하면 그 중복 되는 영상 정보를 삭제(배제)한다.
상기 영상 처리부(102)는 상기 중복된 영상 정보가 삭제(배제)된 영상 정보를 근거로 영상 프레임들을 압축한다(S14). 예를 들면, 상기 영상 처리부(102)는 상기 중복된 영상 정보를 근거로 영상 프레임들을 압축함으로써 영상 압축률을 향상시킬 수 있다.
상기 영상 처리부(102)는 상기 중복된 영상 정보가 삭제된 영상 프레임들을 압축하고, 그 압축된 영상 프레임들을 통신망을 통해 상기 서버(200)에 전송한다.
한편, 본 발명의 실시예에 따른 영상 처리 장치(100)는 지상 운용 감시 장비에 적용될 수도 있다. 이하에서는, 본 발명의 실시예에 따른 영상 처리 장치가 적용된 지상 운용 감시 장비를 도4 내지 도6을 참조하여 설명한다.
도 4는 본 발명의 실시예에 따른 지상 운용 감시 장비에 적용된 주기적 반복 영상의 상관관계를 이용한 영상 압축 방법의 동작을 설명하기 위해 나타낸 예시도 이다.
일반적인 영상 압축 방법은 기준 프레임인 1번째 프레임과 인접된 연속 프레임인 2, 3, … M번째 프레임들을 서로 비교하여 중복정보를 삭제하게 되는데, 연속된 영상 프레임들 간 상관관계가 낮아 압축 효율이 저하되게 된다. 여기서, M은 영상 프레임들 간 중복정보(중복된 영상 프레임 정보) 삭제를 위하여 사용되는 비교 대상 프레임의 개수이다. 그러나, 본 발명의 실시예에 따른 영상 압축은 일반적인 영상 압축과 동일하게 1번째 프레임을 기준 프레임으로 활용을 하지만, 비교 영상 프레임을 연속적으로 인접한 영상 프레임이 아닌 N의 주기 단위로 주기적으로 반복되는 영상 프레임들을 사용한다. 여기서, N은 상기 합성 영상 프레임의 주기로서 전체 관심 지역을 나타낼 수 있는 합성 영상의 프레임의 수를 의미한다. 즉, 1번째 영상 프레임과 N+1, 2N+1, …MN+1번째 영상 프레임들과 비교를 하는데, 이들 영상 프레임들은 모두 동일 또는 유사한 지향 방위각을 갖는 지역의 영상이므로 연속된 영상 프레임들과는 다르게 매우 높은 영상 프레임들 간 상관관계를 갖는다. 또한, 2번째 프레임은 N+2, 2N+2, …MN+2번째 영상 프레임들과 비교하여 높은 영상 프레임들 간 상관관계를 보장하여 높은 영상 압축률을 지원할 수 있다. 이처럼, 상기 합성 영상프레임을 N개의 독립된 영상으로 처리하여 합성 영상 프레임들 주기 단위로 비교하여 영상 프레임들 간 영상 압축을 수행함으로써 전체 영상에 대한 높은 영상 압축률을 달성할 수 있다.
이하에서는, 상기 지향 방위각 기반의 지상 운용 감시 장비에서 영상 압축률을 높이기 위한 카메라의 스텝 구동(예를 들면, 스텝 이동각) 방식과 시스템 설계에 관하여 설명한다. 상기 지상 운용 감시 장비는 선명한 영상 획득을 위하여 카메라를 스텝 구동하게 된다. 여기에, 지상 운용 감시 장비의 영상 압축률을 더욱 높이기 위해서는 k번째 프레임(예를 들면, 1번째 프레임)과 N+k번째 영상 프레임은 항상 동일한 지역을 지향하도록 카메라를 운용할 필요가 있다.
도 5a 및 5b는 본 발명의 실시예에 따른 지상 운용 감시 장비의 합성 영상 프레임 획득을 위한 카메라의 두 가지 스텝 구동 방법을 나타낸 예시도 이다.
도 5a 및 5b에 도시한 바와 같이, 카메라의 시계(FOV: Field Of View)는 8°, 감시 영역은 360°, 카메라의 스텝 구동 각도(스텝 이동각)는 각각 7°와 6°로 가정한다. 카메라 스텝 구동 각도가 7°인 경우, 즉 전체 감시 영역 360°의 약수가 아닌 각도로 스텝구동되는 경우에 1번째 영상 프레임과 N+1번째 영상 프레임은 동일한 방위각을 지향하지 않게 된다. 하지만, 상기 카메라의 스텝 구동 각도(스텝 이동각)가 6°로서 전체 감시 영역 360°의 약수인 경우에는 1번째 영상 프레임과 N+1번째 영상 프레임이 동일 방위각을 지향함으로써 두 영상 프레임들 간의 상관관계가 가장 커지게 된다. 따라서, 합성 영상 프레임의 높은 영상 압축률을 위하여 감시 카메라의 스텝 구동 각도는 전체 감시 영역의 약수가 되면서, 중첩 각도가 영상 합성에 무리가 없도록θmin≤ θstep< θfov 와 같이 결정될 수 있다. 여기서, θstep은 θsyn의 약수이고, θmin은 영상 합성을 위한 최소 중첩 각도이고, θstep은 카메라의 스텝 구동 각도이고, θfov는 카메라의 시계(FOV)이고, θsyn는 합성 영상의 시작과 끝 범위 각도 차이이다.
상기 카메라의 지향 각도(방위각)는 자이로, 리졸버(resolver) 등과 같은 다양한 센서를 통해 획득할 수 있고, 지상운용 감시 장비에 적용된 카메라의 지향 방위각은 영상의 지향 지역과 대응되어 카메라의 지향 각도를 이용하면 주기적으로 반복되는 영상들의 상관관계를 쉽게 예측할 수 있다. 즉, 지향 방위각이 같으면 상관관계가 높은 주기적 반복 영상으로 결정하여 상기 합성 영상 압축을 위한 비교 영상 프레임으로 이용할 수 있다.
상기 지상 운용 감시 장비에 적용된 영상 처리 장치를 구현하기 위해서는 합성 영상 프레임 주기인 N개의 영상을 독립적으로 압축할 수 있는 수단이 필요하다. 이러한 다수개의 영상 압축을 위해서는 병렬 처리를 위한 하드웨어/소프트웨어의 적용이 필수적이지만, 적용 하드웨어 및 중앙 처리 장치의 처리 능력의 제약으로 인하여 N개의 독립된 영상 압축이 가능한 시스템 설계 및 구현이 어려울 수도 있다. 따라서, 제한된 범위 내에서 최대의 L개의 압축모듈을 구현할 수 있는 경우, 지상 운용 감시 장비의 합성 영상 압축 시스템 설계를 도6을 참조하여 설명한다.
도 6은 L개의 영상 압축 모듈을 구현할 수 있는 경우에 대한 제한된 영상(합성 영상) 압축 시스템을 설명하기 위한 예시도이다. 예를 들면, L개의 압축 모듈이 구현되는 환경에서, 제안된 합성 영상 압축은 L-1개의 영상 압축 모듈을 적용하고, 나머지 1개의 영상 압축 모듈은 일반적인 영상 압축 모듈을 적용할 수 있다. 여기서, L은 자연수이다. L-1개의 영상 압축 모듈들은 M개의 동일 지향 방위각을 갖는 합성 영상 프레임들에 대하여 제안된 합성 영상 압축 방법을 수행하고, 나머지 1개의 영상 압축 모듈은 모든 잔여 합성 영상 프레임들에 대하여 일반적인 영상 압축을 수행하므로 전체 영상 프레임의 압축 및 복원을 가능케 한다. 이러한, 시스템 설계 방법은 시스템 자원이 가용하면 L=N으로 시스템을 설계하여 최대의 영상 압축률 지원을 가능하도록 하고, 시스템 자원이 부족한 경우에는 영상 압축률을 희생으로 시스템 구현이 가능하도록 설계할 수 있다. 이러한 제안된 합성영상 압축 방법을 적용하기 위해서는 지향 방위각 정보를 영상의 헤더에 포함하여 카메라의 지향 방위각 정보에 따른 적절한 영상 압축 모듈이 선택되도록 설계하여야 한다.
이상에서 설명한 바와 같이, 본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 제거하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 제거함으로써 영상 압축률을 향상시킬 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 제거하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 제거함으로써 영상 트래픽 부하를 감소시킬 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치 및 그 방법은, 서로 인접된 영상 프레임들을 비교하여 중복 영상 정보를 제거하는 것이 아니라 주기적으로 반복되는 영상 프레임들을 비교하여 중복되는 영상 정보를 제거함으로써 유/무선 통신을 이용한 영상 전송 성능을 개선할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
101: 카메라 모듈 102: 영상 처리부
103: 저장부 104: 통신부

Claims (16)

  1. 관심 지역을 감시하기 위해, 카메라를 좌측에서 우측까지의 미리고정된 촬영 범위를 주기적으로 반복 이동시킴으로써 상기 좌측에서 우측까지의 다수의 영상 프레임들을 발생하는 카메라 모듈과;
    상기 카메라가 상기 좌측에서 우측으로 첫 번째 이동하면서 촬영된 영상 프레임들을 촬영된 순서대로 연속적으로 연결함으로써 제1 합성 영상 프레임을 생성하고, 상기 카메라가 상기 좌측에서 우측으로 두번째 이동함으로써 촬영된 영상 프레임들을 촬영된 순서대로 연속적으로 연결함으로써 제2 합성 영상 프레임을 생성하고, 상기 제1 합성 영상 프레임과 상기 제2 합성 영상 프레임을 비교하고, 상기 비교 결과 상기 제1 합성 영상 프레임과 상기 제2 합성 영상 프레임이 중복되면 상기 제1 합성 영상 프레임과 상기 제2 합성 영상 프레임 중 어느 하나를 삭제하고, 상기 삭제된 합성 영상 프레임을 압축하는 영상 처리부와;
    상기 압축된 합성 영상 프레임을 전송하는 통신부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서, 상기 카메라 모듈은,
    상기 카메라를 상기 주기적으로 반복 이동시키면서 상기 카메라의 지향 방위각에 따라 상기 주기적으로 반복되는 영상들을 촬영하는 것을 특징으로 하는 영상 처리 장치.
  3. 제2항에 있어서, 상기 주기적으로 반복되는 영상 프레임들 각각은 상기 카메라의 지향 방위각을 포함하는 것을 특징으로 하는 영상 처리 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020100139549A 2010-12-30 2010-12-30 영상 처리 장치 및 그 방법 KR101268391B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100139549A KR101268391B1 (ko) 2010-12-30 2010-12-30 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100139549A KR101268391B1 (ko) 2010-12-30 2010-12-30 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120077553A KR20120077553A (ko) 2012-07-10
KR101268391B1 true KR101268391B1 (ko) 2013-05-28

Family

ID=46711013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100139549A KR101268391B1 (ko) 2010-12-30 2010-12-30 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101268391B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024419A (ko) 2014-08-25 2016-03-07 국방과학연구소 Dibr 방식의 입체영상 카메라 판별 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269592A (ja) * 2001-03-07 2002-09-20 Mixed Reality Systems Laboratory Inc 画像処理装置及び方法
JP2005223485A (ja) 2004-02-04 2005-08-18 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システム及び画像処理方法
JP2008079326A (ja) 2003-12-01 2008-04-03 Samsung Electronics Co Ltd スケーラブルビデオコーディング及びデコーディング方法、並びにその装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002269592A (ja) * 2001-03-07 2002-09-20 Mixed Reality Systems Laboratory Inc 画像処理装置及び方法
JP2008079326A (ja) 2003-12-01 2008-04-03 Samsung Electronics Co Ltd スケーラブルビデオコーディング及びデコーディング方法、並びにその装置
JP2005223485A (ja) 2004-02-04 2005-08-18 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システム及び画像処理方法

Also Published As

Publication number Publication date
KR20120077553A (ko) 2012-07-10

Similar Documents

Publication Publication Date Title
CN101421747B (zh) 组合多个视频流的***和方法
US8587655B2 (en) Directed attention digital video recordation
JP4715909B2 (ja) 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
KR100883632B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
US8416298B2 (en) Method and system to perform optical moving object detection and tracking over a wide area
CN1937766A (zh) 监视摄像机装置及监视摄像机***
US20090201380A1 (en) Method and apparatus for streamlined wireless data transfer
JP2020031421A (ja) 複数のカメラからのビューを組み合わせる方法及びカメラシステム
JP2002259985A (ja) 画像監視方法、画像監視装置及び記憶媒体
KR101096157B1 (ko) 듀얼 카메라를 이용한 실시간 감시장치
US20220188973A1 (en) Systems and methods for synthetic augmentation of cameras using neural networks
KR101268391B1 (ko) 영상 처리 장치 및 그 방법
CN107231547B (zh) 视频监控***和方法
KR20110074022A (ko) 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치
US8923401B2 (en) Hybrid motion image compression
CN112131915B (zh) 人脸考勤***以及摄像机和码流设备
KR20210108691A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
CN110770649A (zh) 用于贯穿场景跟踪一或多个物体的多相机***
KR101839307B1 (ko) 어안 영상 감시 시스템
KR20090015311A (ko) 영상 감시시스템
WO2013105084A1 (en) Method and apparatus for aerial surveillance
JP4680087B2 (ja) 画像伝送装置
JP2001145091A (ja) 画像伝送方式
CN115361499B (zh) 双机协同的边防目标识别与追踪***及方法
KR20230075872A (ko) 시각 지능 기반 영상 관련 이벤트 동기화 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 7