KR102554572B1

KR102554572B1 - 크롭줌을 적용한 광학 줌 획득 영상감시 장치 및 방법

Info

Publication number: KR102554572B1
Application number: KR1020230021537A
Authority: KR
Inventors: 박재규; 박종한; 김경수; 이환웅
Original assignee: 한국씨텍(주)
Priority date: 2022-12-23
Filing date: 2023-02-17
Publication date: 2023-07-12
Also published as: KR102554572B9

Abstract

크롭줌을 적용한 광학 줌 획득 영상감시 장치 및 방법이 개시된다. 본 발명의 실시 예에 따른 크롭줌을 적용한 광학 줌 획득 영상감시장치는, IP 카메라(Internet Protocol Camera)와의 통신을 통해 영상을 수신하는 통신부, 수신된 영상으로부터 객체의 위치를 입력받는 사용자 인터페이스부, 입력받은 객체를 포함하는 크롭핑 영역을 설정하는 영역 설정부, 크롭핑 영역에 대한 중심점을 추적하는 중심점 추적부, 추적된 중심점을 기준으로 벡터 양자화를 통한 줌 배율을 결정하는 줌 배율 결정부, 결정된 줌 배율에 의한 이미지 확대 성공 여부에 따라 흔들림 보정을 수행하는 보정부, 보정된 이미지에 대한 크로핑(Cropping)을 수행하여 이미지 프레임을 확대하는 크로핑부, 및 크로핑된 영상을 출력하는 출력부를 포함한다. 이에 의해, 흔들림이 보정되고 화질이 우수한 디지털 줌의 구현이 가능하다.

Description

크롭줌을 적용한 광학 줌 획득 영상감시 장치 및 방법 {OPTICAL ZOOM ACQUISITION IMAGE SENSING DEVICE WITH CROP ZOOM, AND METHOD USING THE SAME}

본 발명은 크롭줌을 적용한 광학 줌 획득 영상감시 장치 및 방법에 관한 것으로서, 보다 상세하게는, 광학 줌의 한계를 해상도 변경을 통해 확장하면서도 영상의 화질을 보장할 수 있는 크롭줌을 적용한 광학 줌 획득 영상감시 장치 및 방법에 관한 것이다.

PTZ 카메라는 전기적 회전(Pan), 수직방향 기울기(Tilt), 및 확대(Zoom)의 조정이 가능한 카메라로, 사용자가 원하는 영역을 보여주기 위해 패닝 및 틸팅 기능을 수행하거나, 사용자가 원하는 영역을 자세하게 보고자 하는 경우 줌 기능을 수행한다.

줌 기능은 PTZ 카메라에 의해 촬영된 영상 중 사용자가 특정 영역을 전체 화면으로 확대할 수 있는 기능으로, PTZ 카메라에서 팬 및 틸트 성능도 중요하지만, 줌 성능이 PTZ 카메라의 사양에 큰 영향을 끼친다.

줌 기능에는 광학 줌과 디지털 줌이 있다. 광학 줌은 렌즈의 배열을 이용하여 하드웨어적으로 줌을 수행하는 것이고, 디지털 줌은 카메라에 내장된 프로그램을 이용하여 소프트웨어적으로 줌을 수행하는 것이다.

광학 줌은 디지털 줌보다 화질이 뛰어나지만, 하드웨어적으로 제공 가능한 배율 범위 내에서만 사용가능한 단점이 있다. 반면, 디지털 줌은 광학 줌에 비하여 더 크게 확대가 가능하지만, 영상의 품질이 저하되는 단점이 있다.

그러므로, 영상의 품질 면에서는 광학 줌을 사용하는 것이 좋으나, 광학 줌의 확장은 장비의 대형화 및 비용 문제와 직결되므로, 원하는 줌 배율을 얻기 위해 하드웨어를 추가하는 것은 쉬운 일이 아니다.

이에 따라, 하드웨어적인 광학 줌의 배율이 한계에 도달한 경우에도 광학 줌에 버금가는 영상의 품질을 제공할 수 있는 보정 기술이 필요하다.

국내공개특허공보 제10-2020-0094309호(2020. 08. 07. 공개)

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 객체를 포함하는 이미지에 대한 정확한 중심점을 찾아 영상의 확대할 영역을 설정하고, 벡터 양자화 기반으로 흔들림을 보정함으로써, 우수한 품질의 확대 영상을 획득할 수 있는 크롭줌을 적용한 광학 줌 획득 영상감시 장치 및 방법을 제시하는 데 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따른 크롭줌을 적용한 광학 줌 획득 영상감시장치는, IP 카메라(Internet Protocol Camera)와의 통신을 통해 영상을 수신하는 통신부, 수신된 영상으로부터 객체의 위치를 입력받는 사용자 인터페이스부, 입력받은 객체를 포함하는 크롭핑 영역을 설정하는 영역 설정부, 크롭핑 영역에 대한 중심점을 추적하는 중심점 추적부, 추적된 중심점을 기준으로 벡터 양자화를 통한 줌 배율을 결정하는 줌 배율 결정부, 결정된 줌 배율에 의한 이미지 확대 성공 여부에 따라 흔들림 보정을 수행하는 보정부, 보정된 이미지에 대한 크로핑(Cropping)을 수행하여 이미지 프레임을 확대하는 크로핑부, 및 크로핑된 영상을 출력하는 출력부를 포함한다.

상기 영역 설정부는, 객체를 포함하는 객체포함영역을 설정하고, 설정된 객체포함영역의 폭 방향 및 높이 방향의 최대값에 해당하는 지점을 코닉 포인트로 설정하며, 코닉 포인트로부터 객체포함영역의 외측으로 연장되는 유클리디안 영역을 설정하여, 유클리디안 거리를 이용하여 크롭핑 영역을 설정할 수 있다.

상기 영역 설정부는, 하기의 수식에 의해 유클리어 다항식에 따른 거리 비례 표면의 면적비를 산출할 수 있다:

본 발명에 따르면, 객체를 포함하는 영역에서 추적한 중심점에 의한 크롭핑 영역을 설정하여 이에 따른 줌 배율을 결정하여 이미지 확대에 적용함으로써, 광학 줌의 한계를 극복할 수 있는 디지털 줌의 구현이 가능한 크롭줌을 적용한 광학 줌 획득 영상감시 장치 및 방법을 제공하는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 흔들림 보정이 가능한 디지털 줌 구현 시스템의 네트워크 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 크롭줌을 적용한 광학 줌 획득 영상감시장치의 블록도,
도 3은 도 2에 도시한 영역 설정부의 동작을 설명하기 위한 도면,
도 4 및 도 5는 도 2에 도시한 중심점 추적부의 동작을 설명하기 위한 도면,
도 6은 도 2에 도시한 보정부의 동작을 설명하기 위한 도면, 그리고,
도 7은 본 발명의 바람직한 실시예에 따른 크롭줌을 적용한 광학 줌 획득 영상감시 방법을 설명하기 위한 흐름도이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다.

또한, 제1 엘리먼트 (또는 구성요소)가 제2 엘리먼트(또는 구성요소) 상(ON)에서 동작 또는 실행된다고 언급될 때, 제1 엘리먼트(또는 구성요소)는 제2 엘리먼트(또는 구성요소)가 동작 또는 실행되는 환경에서 동작 또는 실행되거나 또는 제2 엘리먼트(또는 구성요소)와 직접 또는 간접적으로 상호 작용을 통해서 동작 또는 실행되는 것으로 이해되어야 할 것이다.

어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.

또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명의 바람직한 실시예에 따른 흔들림 보정이 가능한 디지털 줌 구현 시스템의 네트워크 구성도이다.

도 1을 참조하여, 본 발명의 바람직한 실시예에 따른 흔들림 보정이 가능한 디지털 줌 구현 시스템은, 서로 네트워크를 통해 통신이 가능하도록 연결되는 IP 카메라(100), 및 디지털 줌 구현 장치(200)로 이루어진다.

IP 카메라(100)는 유선 혹은 무선으로 인터넷에 연결되어 PC, 모바일 기기 등의 전자기기로 영상을 송출할 수 있는 기능을 갖는 카메라이다. 본 실시예에 따른 IP 카메라(100)는 기설정된 촬영구역에 대한 영상을 촬영한 후, 소정의 네트워크를 통해 디지털 줌 구현 장치(200)로 전송한다.

IP 카메라(100)에 적용되는 카메라 종류는 어느 형태이든 무관하다. 예를 들면, 돔(Dome)형, 박스(Box)형, 뷸렛(Bullet)형, 및 PTZ(Pan Tilt Zoom)형 등이 적용될 수 있으며, 일반적으로 도로 상에는 팬, 틸트, 및 줌의 조절이 가능한 PTZ 카메라가 주로 설치된다.

디지털 줌 구현 장치(200)는 IP 카메라(100)와 소정 네트워크를 통해 통신하여 IP 카메라(100)가 촬영한 영상을 수신한다. 이후, 디지털 줌 구현 장치(200)는 IP 카메라(100)로부터 수신한 영상을 사용자(혹은 관리자)의 요구에 따라 제공할 수 있다.

또한, 디지털 줌 구현 장치(200)는 IP 카메라(100)에 의해 촬영된 영상을 그대로 제공하기도 하지만, 사용자의 요구에 맞게 줌 기능을 포함하여 다양한 기능을 제공할 수 있다.

또한, IP 카메라(100)가 실내에 설치된 경우라면 외부 환경의 영향을 크게 받지 않지만, IP 카메라(100)가 CCTV(Closed-circuit Television)의 형태로 사용될 때에는 실외에 설치되는 경우가 보통이다. 이와 같이, IP 카메라(100)가 실외에 설치되는 경우, 바람, 교각의 진동과 같은 외부 환경의 영향으로 IP 카메라(100)의 흔들림이 발생할 수 있고, IP 카메라(100)의 흔들림 발생은 IP 카메라(100)가 촬영하는 영상에도 그대로 반영되어 영상의 흔들림으로 나타난다.

그러므로, 디지털 줌 구현 장치(200)은 IP 카메라(100)가 외부 환경의 영향으로 흔들림이 발생한 영상을 촬영한 경우에 이러한 흔들림이 발생한 영상을 보정할 수 있는 기능을 제공한다. 즉, 디지털 줌 구현 장치(200)는 광학 줌의 한계를 넘어서는 디지털 줌의 기능과 더불어, 흔들림이 발생한 영상의 보정 기능까지 제공한다. 이러한, 디지털 줌 구현 장치(200)에 대하여는 후술하는 도 2에서 보다 상세히 설명하도록 한다.

본 실시예에서는, 디지털 줌 구현 장치(200)에 네트워크를 통해 연결되는 IP 카메라(100)가 한대인 것으로 도시하였으나, 이는 단순히 설명의 편의를 위한 것일 뿐 이에 한정되지 않는다. 즉, 디지털 줌 구현 장치(200)은 복수의 IP 카메라(100)와 네트워크를 통한 통신이 가능하여 다양한 지점의 영상을 수신할 수 있다.

도 2는 본 발명의 바람직한 실시예에 따른 크롭줌을 적용한 광학 줌 획득 영상감시장치의 블록도이다.

도 2를 참조하여, 본 발명의 바람직한 실시예에 따른 디지털 줌 구현 장치(200)는 통신부(210), 사용자 인터페이스부(220), 영역 설정부(230), 중심점 추적부(240), 줌 배율 결정부(250), 보정부(260), 크로핑부(270), 출력부(280), 저장부(290), 및 제어부(295)를 포함한다.

통신부(210)는 디지털 줌 구현 장치(200)의 네트워크 인터페이스를 지원하는 것으로, 본 실시예에서는 IP 카메라(100)로부터 IP 카메라(100)가 촬영한 영상을 수신할 수 있고, 사용자에 의해 입력되는 각종 제어신호를 IP 카메라(100)로 전송할 수 있다.

사용자 인터페이스부(220)는 디지털 줌 구현 장치(200)와 사용자 간의 인터페이스를 지원하는 것으로, 사용자에 의해 입력되는 각종 제어신호를 입력받을 수 있다. 이를 위해, 사용자 인터페이스부(220)는 하드웨어 입력장치인 키보드, 마우스, 및 컨트롤 키보드(조이스틱) 등을 통해 각각의 입력신호를 입력받을 수 있도록 구비될 수 있다. 일 예로, 사용자는 마우스를 움직여 객체의 위치를 입력할 수 있으며, 마우스 커서의 위치가 사용자 입력한 객체의 위치가 될 수 있다.

영역 설정부(230)는 사용자 인터페이스부(220)를 통해 입력받은 객체의 위치에 의해, 객체를 포함하는 크롭핑 영역을 설정한다. 보다 구체적으로, 영역 설정부(230)는 객체를 포함하는 객체포함영역을 설정하고, 설정된 객체포함영역의 폭 방향 및 높이 방향의 최대값에 해당하는 지점을 코닉 포인트로 설정하며, 코닉 포인트로부터 객체포함영역의 외측으로 연장되는 유클리디안 영역을 설정하여, 유클리디안 거리를 이용하여 상기 크롭핑 영역을 설정할 수 있다.

영역 설정부(230)는 수학식 1에 의해 유클리어 다항식에 따른 거리 비례 표면의 면적비를 산출할 수 있다.

여기서,

은 유클리어 다항식에 따른 거리 비례 표면의 면적비, i는 유클리어 이동거리 중심점으로의 이동좌표, j는 현재 벡터의 이동거리 좌표, M은 코닉 포인트 중심 기약 다항식 기반의 저면적 시프트 비트병렬 비교식 모델, u는 유클리어 거리 변수, v는 현재 객체의 벡터 위치이다.

중심점 추적부(240)는 영역 설정부(230)에 의해 설정된 크롭핑 영역에 대한 중심점을 추적한다. 보다 구체적으로, 중심점 추적부(240)는 크롭핑 영역을 포함하는 원을 형성하고, 이 원과 크롭핑 영역이 접촉되는 포인트를 기준점으로 정한 후, 크롭핑 영역에 해당하는 각 변의 행과 열의 최대값에 의해 중심점을 추적할 수 있다.

또한, 중심점 추적부(240)는 수학식 2에 의해, 중심점을 산출할 수 있다.

여기서,

는 중심점의 좌표, x는 이미지 방향성 벡터의 위치값, μ는 x가 중심점으로 이동될 확률 벡터, σ는 이동확률 벡터 반복문이다.

줌 배율 결정부(250)는 중심점 추적부(240)에 의해 추적된 중심점을 기준으로 벡터 양자화를 통한 줌 배율을 결정한다. 줌 배율 결정부(250)의 동작 과정에서 메모리 크로핑이 수행될 수 있다. 이때, 줌 배율 결정부(250)는 CNN(Convolutional Neural Network) 알고리즘을 이용한 벡터 양자화를 통해 줌 배율을 결정할 수 있다.

많은 딥러닝 모델 중 이미지 인식을 위해 강력한 프레임의 이해, 분해, 및 해석이 가능한 것이 CNN 알고리즘이다. CNN 알고리즘은 이미 공지된 기술이므로, 이에 대한 설명은 생략하도록 한다.

보정부(260)는 줌 배율 결정부(250)에 의해 결정된 줌 배율에 의한 이미지 확대 성공 여부에 따라 흔들림 보정을 수행한다. 이때, 보정부(260)는 이미지 확대 성공 여부를 현 과정에서 결정된 줌 배율을 이전 줌 배율과 비교하여 결정할 수 있다. 보다 구체적으로, 보정부(260)는 현재의 줌 배율이 이전 줌 배율 이하이면 이미지 확대가 실패한 것으로 판단하고, 현재의 줌 배율이 이전 줌 배율을 초과하면 이미지 확대가 성공한 것으로 판단한다. 이후, 보정부(260)는 이미지 확대가 성공한 것으로 판단되는 경우에만 흔들림 보정을 수행하도록 한다.

또한, 보정부(260)는 이미지 확대가 성공한 것으로 판단되어 흔들림 보정을 수행하고자 하는 경우, 흔들림 보정을 위한 좌표를 산출하고, 산출된 흔들림 보정을 위한 좌표를 이용하여 흔들림 보정을 수행한다. 여기서, 보정부(260)는 수학식 3에 의해 흔들림 보정을 위한 좌표를 산출할 수 있다.

여기서,

는 상기 흔들림 보정을 위한 좌표, x는 흔들리는 이미지의 방향성 벡터, k는 차원 벡터, μ는 x가 상기 중심점으로 이동될 확률에 대한 벡터, ∑는 벡터의 반복된 공 분산 행렬,

는 흔들림이 지속된 시간이다.

크로핑부(270)는 보정부(260)에 의해 보정된 이미지에 대한 크로핑(Cropping)을 수행하여 이미지 프레임을 확대한다. 크로핑은 사진 등에서 불필요한 부분을 다듬는 방법을 일컫는 용어로, 일반적으로 강조하고 싶은 객체를 드러내도록 할 수 있다.

출력부(280)는 크로핑된 영상을 출력한다. 이를 위해, 출력부(280)는 하드웨어 출력장치는 디스플레이 장치와 연결되도록 구현되어, 디스플레이 장치에 해당 영상을 출력하도록 할 수 있다.

저장부(290)는 본 디지털 줌 구현 장치(200)의 동작에 필요한 모든 정보를 저장한다. 예를 들면, 저장부(290)는 수학식 1, 수학식 2, 수학식 3을 저장하여 영역 설정부(230), 중심점 추적부(240), 및 보정부(260)의 동작이 원활하게 이루어지도록 할 수 있다.

제어부(295)는 본 디지털 줌 구현 장치(200)의 전반적인 동작을 제어한다. 즉, 제어부(295)는 통신부(210), 사용자 인터페이스부(220), 영역 설정부(230), 중심점 추적부(240), 줌 배율 결정부(250), 보정부(260), 크로핑부(270), 출력부(280), 및 저장부(290)들 간의 신호 입출력을 제어한다.

도 3은 도 2에 도시한 영역 설정부의 동작을 설명하기 위한 도면이다.

영역 설정부(230)는 사용자가 지정한 객체의 위치를 이용하여 객체포함영역(A)을 설정하고, 객체포함영역(A)에서 폭 방향 및 높이 방향의 최대값에 해당하는 지점을 코닉 포인트(Conic Point)(B)로 설정한다.

이후, 코닉 포인트(B)로부터 객체포함영역(A)의 외측으로 연장되는 유클리디안 영역(C)을 설정한다. 유클리디안 영역(C)은 두 점 사이의 거리를 계산할 때 사용하는 유클리디안 거리(Euclidian distance)를 사용하기 위하여 본 실시예에서 지정한 영역에 해당한다.

유클리디안 영역(C)은 코닉 포인트(B) 각각에서 대각선 방향으로 연장되는 선에 의해 영역이 구획되는데, 이에 의해 Ⅰ, Ⅱ, Ⅲ, Ⅳ에 해당하는 영역이 생성된다. 도시한 바와 같이, 유클리디안 영역(C)에는 유클리디안 영역(C)의 중심에 꼭지점이 위치하는 4개의 삼각형 형상의 영역이 생성될 수 있다.

결과적으로, 유클리디안 영역(C)에 해당하는 Ⅰ, Ⅱ, Ⅲ, Ⅳ 영역과, 객체포함영역(A)에 해당하는 Ⅴ 영역이 존재하게 된다. 영역 설정부(230)는 코닉 포인트(B)를 중심으로 하는 5개의 영역에 대한 면적비를 순차적으로 연산함으로써, 유클리어 다항식에 따른 거리 비례 표면의 면적비(

)를 수학식 1에 의해 산출할 수 있다.

전술한 수학식 1에서,

은 코닉 포인트(B)를 중심으로 코닉 면적 다항식에 대한 계산식을 각 영역(Ⅰ 내지 Ⅴ)별로 5번 순차 연산함을 의미한다. 또한,

는 각 영역(Ⅰ 내지 Ⅴ)의 면적에 대한 누적 값이다. 수학식 1은, 코닉 포인트(B) 중심의 기약 다항식 기반의 저면적 시프트 비트 병렬 비교식이라 할 수 있다.

최종적으로, 영역 설정부(230)는 수학식 1을 이용하여 유클리어 다항식에 따른 거리 비례 표면의 면적비(

)를 산출한 후, 이를 이용하여 객체가 포함되는 크롭핑 영역을 설정한다. IP 카메라(100)로부터 입력받은 영상에 따라서 객체의 위치가 중심이 아닐 수 있지만, 영역 설정부(230)에서는 객체의 위치과 무관하게 객체를 포함하는 크롭핑 영역을 설정하도록 한다.

도 4 및 도 5는 도 2에 도시한 중심점 추적부의 동작을 설명하기 위한 도면이다.

중심점 추적부(240)는 영역 설정부(230)에서 설정한 크롭핑 영역(D)에 대한 중심점(E)을 추적한다. 도 4에 예시한 영상에 따르면, IP 카메라(100)로부터 입력받은 영상 중앙에 객체가 존재하고, 이 경우 객체가 중앙에 오도록 크롭핑 영역(D)이 설정되었으며, 중심점 추적부(240)에서는 이러한 크롭핑 영역(D)의 중심에 해당하는 중심점(E)을 찾게 된다. 크롭핑 영역(D)는 추후 크로핑이 수행된 이후에는 D'와 같이 크롭핑될 수 있다.

도 5를 참조하여 중심점 추적부(240)의 동작을 보다 구체적으로 살펴본다. 중심점 추적부(240)는 크롭핑 영역(D)를 포함하는 원(F)을 형성하고, 이 원(F)과 크롭핑 영역(D)이 접촉되는 포인트를 기준점으로 정한 후, 크롭핑 영역(D)에 해당하는 각 변의 행과 열의 최대값에 의해 중심점(E)을 추적한다.

중심점 추적부(240)는 전술한 수학식 2에 의해 중심점을 결정할 수 있다. 수학식 2에서, 중심점의 좌표 값에 해당하는

에서

는 중심점 위치의 열(Rows)에 해당하는 값이고,

는 중심점 위치의 행(Cols)에 해당하는 값이다. 또한,

는 원주율을 중심으로 이미지의 중심을 찾기 위해 사용되며,

는 원주율을 중심으로 이미지 프레임 중심을 찾기 위한 4개의 기준점 포인트를 정하고 각 변의 행과 열의 최대값을 구하기 위해 사용된다.

도 6은 도 2에 도시한 보정부의 동작을 설명하기 위한 도면이다.

IP 카메라(100)에 바람 및 교각의 진동 등과 같은 외부 환경에 의해 흔들림이 발생하게 되면, IP 카메라(100)에 의해 촬영된 영상에도 흔들림이 발생하게 된다. 이러한 흔들림이 발생한 영상은 사용자가 원하는 영상이 아니므로, 흔들림이 없는 영상으로의 보정이 필요하다.

본 실시예에 따르면, 보정부(260)에서는 줌 배율 결정부(250)에 의해 결정된 줌 배율에 따라 이미지 확대의 성공 여부를 판단하고, 이미지 확대가 성공한 경우에는 흔들림 보정을 수행하도록 한다.

보정부(260)는 전술한 수학식 3에 의해 흔들림 보정을 위한 좌표를 산출함으로써, 산출된 흔들림 보정을 위한 좌표에 의해 흔들림 보정을 수행한다.

흔들림 보정을 위한 좌표(

)를 산출하는 수학식 3에서,

은 2K의 크롭핑된 이미지의 좌표 즉,x=x1, y=x2, w=x3, h=x4에 해당한다. 또한, 수학식 3에서 흔들리는 방향성 벡터 x가 타임라인에 따라 흔들림이 지속되는 시간이 확률 벡터

에 도달하면 시계열 무한 루프(

)가 "

"를 만족함으로 시계열 변수를

로 초기화시킨다.

은 도 6에서 도시한 화살표 방향으로 도시한 방향으로의 흔들림이 지속된 시간일 수 있다.

또한, 수학식 3에서

은 이미지 면적 벡터만큼 차원 벡터 k를 만족할 때까지 무한 반복시킨다. 또한, 수학식 3에서

은 피칭 또는 롤링되는 이미지 타임라인을 중심으로 피칭의 경우 상,하 각 1/2, 롤링의 경우 좌,우로 각 1/2로 분할하는 역할을 한다.

도 7은 본 발명의 바람직한 실시예에 따른 크롭줌을 적용한 광학 줌 획득 영상감시 방법을 설명하기 위한 흐름도이다.

본 실시예에서는 도 1 내지 도 7을 참조하여, 본 발명의 바람직한 실시예에 따른 크롭줌을 적용한 광학 줌 획득 영상감시 방법을 설명하도록 한다.

IP 카메라(100)에서 영상을 촬영하면, IP 카메라(100)는 네트워크 통신을 통해 디지털 줌 구현 장치(200)로 자신이 촬영한 영상을 전송한다. 이에 의해, 디지털 줌 구현 장치에서는 IP 카메라(100)에서 촬영한 영상을 수신한다(S300). IP 카메라(100)가 전송한 영상은 저장부(290)에 기설정된 기간 동안 저장될 수 있다.

IP 카메라(100)로부터 수신한 영상은 출력부(280)를 통해 출력되어 사용자에게 제공된다. 이러한 출력 영상을 통해 사용자는 마우스와 같은 입력장치를 조작하여 객체의 위치를 입력할 수 있다. 사용자로부터 입력되는 객체의 위치는 사용자 인터페이스부(220)를 통해 입력된다(S310). 만약, 사용자로부터 특별히 입력되는 객체의 위치 정보가 없는 경우, 기설정된 설정값에 따라 현재의 마우스 커서의 위치가 객체의 위치인 것으로 판단하도록 하거나 혹은 현재 영상의 중심을 객체의 위치인 것으로 판단할 수 있다.

영역 설정부(230)는 사용자로부터 입력받은 객체의 위치를 포함하는 크롭핑 영역(D)을 설정한다(S320). 영역 설정부(230)에서 크롭핑 영역(D)은 도 3 및 도 4에서 설명한 바에 따라 설정될 수 있다.

영역 설정부(230)에 의해 크롭핑 영역(D)이 설정되면, 중심점 추적부(240)에서는 크롭핑 영역(D)에 대한 중심점을 추적한다(S330). 중심점 추적부(240)에서 중심점을 추적하는 방법은 도 4 및 도 5에서 설명한 바와 같다.

중심점 추적부(240)에 의해 중심점이 결정되면, 줌 배율 결정부(250)에서는 줌 배율을 결정한다(S340). 이후, 보정부(260)에서는 줌 배율 결정부(250)에서 결정된 현재의 줌 배율과 이전 줌 배율을 서로 비교하여 이미지 확대의 성공 여부를 결정한다(S350).

S350 단계에서, 보정부(260)는 이미지 확대가 성공한 경우 즉, 현재 줌 배율이 이전 줌 배율을 초과하는 경우에 보정부(260)에서는 이미지의 흔들림을 보정한다(S360).

이후, 크로핑을 수행하여 현재 줌 배율에 의해 이미지 프레임을 확대한다(S370). 만약, S350 단계에서, 보정부(260)는 이미지 확대가 실패한 경우, 즉, 현재 줌 배율이 이전 줌 배율 이하인 경우에는 크로핑을 수행하지 않는다.

최종적으로, 이미지 프레임의 확대가 완료되면, 출력부(280)에서는 사용자가 확인할 수 있는 형태로 확대된 영상을 출력한다(S380).

이러한 절차에 의해, 본 발명에 따른 크롭줌을 적용한 광학 줌 획득 영상감시 방법에 의하면, 광학 줌의 한계를 크롭핑 줌을 이용하여 극복하되, 화질 저하를 불러오는 디지털 줌의 한계까지 극복할 수 있는 장점이 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

200 : 디지털 줌 구현 장치 210 : 통신부
220 : 사용자 인터페이스부 230 : 영역 설정부
240 : 중심적 추적부 250 : 줌 배율 결정부
260 : 보정부 270 : 크라핑부
280 : 출력부 290 : 저장부
295 : 제어부

Claims

IP 카메라(Internet Protocol Camera)와의 통신을 통해 영상을 수신하는 통신부;
상기 수신된 영상으로부터 객체의 위치를 입력받는 사용자 인터페이스부;
상기 입력받은 객체를 포함하는 크롭핑 영역을 설정하는 영역 설정부;
상기 크롭핑 영역에 대한 중심점을 추적하는 중심점 추적부;
상기 추적된 중심점을 기준으로 벡터 양자화를 통한 줌 배율을 결정하는 줌 배율 결정부;
상기 결정된 줌 배율에 의한 이미지 확대 성공 여부에 따라 흔들림 보정을 수행하는 보정부;
상기 보정된 이미지에 대한 크로핑(Cropping)을 수행하여 이미지 프레임을 확대하는 크로핑부; 및
상기 크로핑된 영상을 출력하는 출력부;를 포함하고,
상기 영역 설정부는,
상기 객체를 포함하는 객체포함영역을 설정하고, 상기 설정된 객체포함영역의 폭 방향 및 높이 방향의 최대값에 해당하는 지점을 코닉 포인트로 설정하며, 상기 코닉 포인트로부터 상기 객체포함영역의 외측으로 연장되는 유클리디안 영역을 설정하여, 유클리디안 거리를 이용하여 상기 크롭핑 영역을 설정하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시장치.
삭제
제 1 항에 있어서,
상기 영역 설정부는, 하기의 수식에 의해 유클리어 다항식에 따른 거리 비례 표면의 면적비를 산출하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시장치:

여기서,
은 유클리어 다항식에 따른 거리 비례 표면의 면적비, i는 유클리어 이동거리 중심점으로의 이동좌표, j는 현재 벡터의 이동거리 좌표, M은 상기 코닉 포인트 중심 기약 다항식 기반의 저면적 시프트 비트병렬 비교식 모델, u는 유클리어 거리 변수, v는 현재 객체의 벡터 위치이다.
제 1 항에 있어서,
상기 중심점 추적부는, 상기 크롭핑 영역을 포함하는 원을 형성하고, 상기 형성된 원과 상기 크롭핑 영역이 접촉되는 포인트를 기준점으로 정한 후, 상기 크롭핑 영역에 해당하는 각 변의 행과 열의 최대값에 의해, 상기 중심점을 추적하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시장치.
제 4 항에 있어서,
상기 중심점 추적부는, 하기의 수식에 의해 상기 중심점을 결정하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시장치:

여기서,
는 상기 중심점의 좌표, x는 이미지 방향성 벡터의 위치값, μ는 x가 상기 중심점으로 이동될 확률 벡터, σ는 이동확률 벡터 반복문이다.
제 1 항에 있어서,
상기 보정부는, 상기 결정된 줌 배율이 이전 줌 배율 이하이면 상기 이미지 확대가 실패한 것으로 판단하고, 상기 결정된 줌 배율이 상기 이전 줌 배율을 초과하면 상기 이미지 확대가 성공한 것으로 판단하며, 상기 이미지 확대가 성공한 것으로 판단되는 경우에만 상기 흔들림 보정을 수행하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시장치.
제 6 항에 있어서,
상기 보정부는, 상기 이미지 확대가 성공한 것으로 판단되는 경우, 흔들림 보정을 위한 좌표를 산출하고, 상기 산출된 흔들림 보정을 위한 좌표를 이용하여 상기 흔들림 보정을 수행하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시장치.
제 7 항에 있어서,
상기 보정부는, 하기의 수식에 의해 상기 흔들림 보정을 위한 좌표를 산출하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시장치:

여기서,
는 상기 흔들림 보정을 위한 좌표, x는 흔들리는 이미지의 방향성 벡터, k는 차원 벡터, μ는 x가 상기 중심점으로 이동될 확률에 대한 벡터, ∑는 벡터의 반복된 공 분산 행렬,
는 흔들림이 지속된 시간이다.
IP 카메라와 통신 가능하게 구비되는 장치에 적용되는 크롭줌을 적용한 광학 줌 획득 영상감시 방법에 있어서,
상기 IP 카메라와의 통신을 통해 영상을 수신하는 단계;
상기 수신된 영상으로부터 객체의 위치를 입력받는 단계;
상기 입력받은 객체를 포함하는 크롭핑 영역을 설정하는 단계;
상기 크롭핑 영역에 대한 중심점을 추적하는 단계;
상기 추적된 중심점을 기준으로 벡터 양자화를 통한 줌 배율을 결정하는 단계;
상기 결정된 줌 배율에 의한 이미지 확대 성공 여부에 따라 흔들림 보정을 수행하는 단계;
상기 보정된 이미지에 대한 크로핑(Cropping)을 수행하여 이미지 프레임을 확대하는 단계: 및
상기 크로핑된 영상을 출력하는 단계;를 포함하고,
상기 크롭핑 영역을 설정하는 단계는,
상기 객체를 포함하는 객체포함영역을 설정하는 단계;
상기 설정된 객체포함영역의 폭 방향 및 높이 방향의 최대값에 해당하는 지점을 코닉 포인트로 설정하는 단계; 및
상기 코닉 포인트로부터 상기 객체포함영역의 외측으로 연장되는 유클리디안 영역을 설정하여, 유클리디안 거리를 이용하여 상기 크롭핑 영역을 설정하는 단계;를 포함하는 것을 특징으로 하는 크롭줌을 적용한 광학 줌 획득 영상감시 방법.
삭제