KR102552326B1 - A making method of big landscape photographs using multiple image panoramas about an area of surveillance - Google Patents

A making method of big landscape photographs using multiple image panoramas about an area of surveillance Download PDF

Info

Publication number
KR102552326B1
KR102552326B1 KR1020230006079A KR20230006079A KR102552326B1 KR 102552326 B1 KR102552326 B1 KR 102552326B1 KR 1020230006079 A KR1020230006079 A KR 1020230006079A KR 20230006079 A KR20230006079 A KR 20230006079A KR 102552326 B1 KR102552326 B1 KR 102552326B1
Authority
KR
South Korea
Prior art keywords
image
matching
images
panoramic image
panoramic
Prior art date
Application number
KR1020230006079A
Other languages
Korean (ko)
Inventor
박승국
Original Assignee
(주)글로벌시스템스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)글로벌시스템스 filed Critical (주)글로벌시스템스
Priority to KR1020230006079A priority Critical patent/KR102552326B1/en
Application granted granted Critical
Publication of KR102552326B1 publication Critical patent/KR102552326B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 감시용 파노라마 영상을 생성할 대상인 감시 지역을 일정 수직 화각을 갖는 감시 카메라를 이용해 수평 방향으로 촬영하되, 감시 카메라의 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성하고, 생성된 복수의 단층 파노라마 영상을 수직 정합하여 감시 지역에 대한 수직 화각이 큰 복층 파노라마 영상을 생성할 수 있어, 원거리용 감시 카메라의 제한적인 수직 화각으로 인한 감시 지역에 대한 수직 방향의 제한적 감시 문제를 해결하여 원거리에 있는 감시 지역을 큰 수직 화각을 갖는 감시용 파노라마 영상을 통해 효과적으로 감시할 수 있는 효과를 제공하는 발명이다.In the present invention, a surveillance area, which is a target for generating a panoramic image for surveillance, is photographed in a horizontal direction using a surveillance camera having a certain vertical angle of view, and the horizontal direction photographing is performed multiple times while adjusting the vertical rotation angle of the surveillance camera, and the process is performed multiple times. A plurality of tomographic panoramic images are generated using the image information on the surveillance area obtained through one horizontal imaging, and a multilayer panoramic image with a large vertical angle of view is generated by vertically matching the generated plurality of tomographic panoramic images. Therefore, it solves the limited surveillance problem in the vertical direction of the surveillance area due to the limited vertical angle of view of the remote surveillance camera, and effectively monitors the remote surveillance area through the surveillance panoramic image having a large vertical angle of view. It is an invention that provides

Description

감시 지역에 대한 복층 파노라마 영상 생성 방법{A making method of big landscape photographs using multiple image panoramas about an area of surveillance}A method of creating a double layer panoramic image for a surveillance area {A making method of big landscape photographs using multiple image panoramas about an area of surveillance}

본 발명은 감시 지역에 대한 복층 파노라마 영상 생성 방법에 관한 것으로, 상세하게는 감시용 파노라마 영상을 생성할 대상인 감시 지역을 일정 수직 화각을 갖는 감시 카메라를 이용해 수평 방향으로 촬영하되, 감시 카메라의 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성하고, 생성된 복수의 단층 파노라마 영상을 수직 정합하여 감시 지역에 대한 수직 화각이 큰 복층 파노라마 영상을 생성하는 기술에 관한 것이다.The present invention relates to a method for generating a multi-story panoramic image for a surveillance area, and more specifically, a surveillance area, which is an object for generating a surveillance panoramic image, is photographed in a horizontal direction using a surveillance camera having a certain vertical angle of view, and the surveillance camera rotates vertically. While adjusting the angle, horizontal imaging is performed multiple times, a plurality of tomographic panoramic images are generated using the image information about the surveillance area obtained through the multiple horizontal imaging, and the multiple tomographic panoramic images are created vertically. It relates to a technique for generating a multilayer panoramic image having a large vertical angle of view for a surveillance area by matching.

최근 증가하는 범죄와 사고를 예방하고 개인의 안전과 공공보안을 위한 영상 감시기술이 발전하고 있으며, 이러한 영상 감시기술은 국방 분야에도 적용되어 군사적 감시 대상을 영상으로 촬영하여 감시하는 군사용 감시장치가 개발 및 보급되고 있다.Recently, video surveillance technology has been developed for preventing increasing crimes and accidents and for personal safety and public security. and is disseminated.

군사용 감시장치의 핵심은 감시 카메라이고, 최근에는 청명한 날씨에는 수십km 거리까지도 감시가 가능한 감시 카메라가 개발되어 활용되고 있다.The core of military monitoring devices is surveillance cameras, and recently, surveillance cameras capable of monitoring distances of several tens of kilometers in clear weather have been developed and used.

군사용 감시장치를 이용한 감시 지역에 대한 감시는 감시 카메라가 촬영한 감시 지역에 대한 파노라마 영상을 디스플레이에 표시하고, 디스플레이에 표시된 감시 지역에 대한 파노라마 영상에 주요 감시 표적을 매핑 표시한 후, 매핑 표시된 감시 표적에 해당하는 감시 대상을 오토 스캔 기능을 이용해 감시하는 것이다.Surveillance of a surveillance area using a military surveillance device displays a panoramic image of the surveillance area captured by a surveillance camera on a display, maps and displays major surveillance targets on the panoramic image of the surveillance area displayed on the display, and displays the mapped surveillance. The monitoring target corresponding to the target is monitored using the auto scan function.

군사용 감시장치를 이용한 감시 지역에 대한 감시에 있어서, 주요 감시 표적이 매핑 표시되는 파노라마 영상의 수직 화각이 클수록 감시 지역에 대한 효과적인 감시가 가능하다.In surveillance of a surveillance area using a military surveillance device, effective surveillance of the surveillance area is possible as the vertical angle of view of the panoramic image on which the main surveillance target is mapped and displayed increases.

즉, 군사용 감시장치를 이용해 감시하는 대상인 감시 지역은 원거리에 있어, 감시 지역에 대한 파노라마 영상의 수직 화각이 좁으면, 좁은 수직 화각에 해당하는 감시 지역만을 감시할 수 있어 효과적인 감시가 불가능하다.That is, if the surveillance area, which is the object to be monitored using the military surveillance device, is far away and the vertical angle of view of the panoramic image for the surveillance area is narrow, only the surveillance area corresponding to the narrow vertical angle of view can be monitored, making effective surveillance impossible.

한편, 원거리에 있는 감시 지역에 대한 파노라마 영상 생성과 원거리에 있는 감시 대상에 대한 감시를 위해 사용되는 감시 카메라는 원거리용 감시 카메라이고, 원거리용 감시 카메라는 수직 화각이 근거리용 감시 카메라의 1/3 수준이라 수직 화각이 큰 파노라마 영상을 생성하기 곤란하고, 이로 인해, 일정 크기 이상의 수직 화각을 갖는 파노라마 영상 생성에 제한이 따르는 문제점이 있다.On the other hand, a surveillance camera used to create a panoramic image of a surveillance area at a distance and monitor a surveillance target at a distance is a surveillance camera for a long distance, and the vertical angle of view of the surveillance camera for a long distance is 1/3 of that of a surveillance camera for a short distance. However, it is difficult to generate a panoramic image having a large vertical angle of view due to the level of the vertical field of view. As a result, there is a problem in that generation of a panoramic image having a vertical field of view of a certain size or more is limited.

따라서 수직 화각이 근거리용 감시 카메라보다 작은 원거리용 감시 카메라를 이용해, 원거리에 있는 감시 지역을 감시하는 것에 불편함이 없도록 하는 큰 수직 화각을 갖는 감시용 파노라마 영상을 생성하는 방법의 개발이 필요하다.Therefore, it is necessary to develop a method for generating a panoramic image for surveillance having a large vertical angle of view, which allows monitoring of a surveillance area at a distance using a remote surveillance camera having a smaller vertical angle of view than that of a short-range surveillance camera.

따라서 본 발명은 상기와 같은 종래의 문제점 및 필요성을 해결하도록, 감시용 파노라마 영상을 생성할 대상인 감시 지역을 일정 수직 화각을 갖는 감시 카메라를 이용해 수평 방향으로 촬영하되, 감시 카메라의 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성하고, 생성된 복수의 단층 파노라마 영상을 수직 정합하여 감시 지역에 대한 수직 화각이 큰 복층 파노라마 영상을 생성하는 기술을 제안하고자 한다. 다음은 이와 관련한 종래의 선행기술 들이다.Therefore, in order to solve the above conventional problems and needs, the present invention photographs the surveillance area, which is a target for generating a panoramic image for surveillance, in a horizontal direction using a surveillance camera having a certain vertical angle of view, and adjusts the vertical rotation angle of the surveillance camera. Horizontal direction imaging is performed multiple times, multiple tomographic panoramic images are created using the image information about the surveillance area acquired through multiple horizontal direction imaging, and the multiple tomographic panoramic images are vertically matched and monitored. A technique for generating a multilayer panoramic image with a large vertical angle of view for a region is proposed. The following are prior art related to this.

1. 대한민국 등록특허공보 제10-1677561호 영상 정합 장치 및 그것의 영상 정합 방법1. Republic of Korea Patent Registration No. 10-1677561 Image matching device and its image matching method 2. 대한민국 등록특허공보 제10-1692227호 ＦＡＳＴ를 이용한 파노라마 영상 생성 방법2. Korean Patent Registration No. 10-1692227 Panoramic image generation method using FAST 3. 대한민국 등록특허공보 제10-2138333호 파노라마 영상 생성 장치 및 방법3. Republic of Korea Patent Registration No. 10-2138333 Panoramic image generating device and method

본 발명은 감시용 파노라마 영상을 생성할 대상인 감시 지역을 일정 수직 화각을 갖는 감시 카메라를 이용해 수평 방향으로 촬영하되, 감시 카메라의 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성하고, 생성된 복수의 단층 파노라마 영상을 수직 정합하여 감시 지역에 대한 수직 화각이 큰 복층 파노라마 영상을 생성하는 것을 목적으로 한다.In the present invention, a surveillance area, which is a target for generating a panoramic image for surveillance, is photographed in a horizontal direction using a surveillance camera having a certain vertical angle of view, and the horizontal direction photographing is performed multiple times while adjusting the vertical rotation angle of the surveillance camera, and the process is performed multiple times. A plurality of tomographic panoramic images are generated using the image information on the surveillance area obtained through one horizontal shooting, and a multilayer panoramic image with a large vertical angle of view is generated by vertically matching the generated plurality of tomographic panoramic images. aims to

상기와 같은 목적을 달성하기 위해 본 발명인 감시 지역에 대한 복층 파노라마 영상 생성 방법은,In order to achieve the above object, the method for generating a multilayer panoramic image for the surveillance area of the present invention,

감시 카메라(10)가 촬영한 영상을 이용해 파노라마 영상 생성 장치(20)가 감시 지역에 대한 2개 이상의 단층 파노라마 영상을 생성하는 제1 단계(S100)와;A first step (S100) of generating two or more tomographic panoramic images of the monitoring area by the panoramic image generating device 20 using the image captured by the surveillance camera 10;

파노라마 영상 생성 장치(20)가 제1 단계(S100)를 통해 생성된 2개 이상의 단층 파노라마 영상들을 수직 방향으로 정합시켜 복층 파노라마 영상을 생성하는 제2 단계(S200)를 포함하는 것을 특징으로 한다.The panoramic image generating apparatus 20 is characterized by including a second step (S200) of generating a multi-layered panoramic image by vertically matching two or more tomographic panoramic images generated in the first step (S100).

본 발명은 감시용 파노라마 영상을 생성할 대상인 감시 지역을 일정 수직 화각을 갖는 감시 카메라를 이용해 수평 방향으로 촬영하되, 감시 카메라의 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성하고, 생성된 복수의 단층 파노라마 영상을 수직 정합하여 감시 지역에 대한 수직 화각이 큰 복층 파노라마 영상을 생성할 수 있어, 원거리용 감시 카메라의 제한적인 수직 화각으로 인한 감시 지역에 대한 수직 방향의 제한적 감시 문제를 해결하여 원거리에 있는 감시 지역을 큰 수직 화각을 갖는 감시용 파노라마 영상을 통해 효과적으로 감시할 수 있는 효과를 제공한다.In the present invention, a surveillance area, which is a target for generating a panoramic image for surveillance, is photographed in a horizontal direction using a surveillance camera having a certain vertical angle of view, and the horizontal direction photographing is performed multiple times while adjusting the vertical rotation angle of the surveillance camera, and the process is performed multiple times. A plurality of tomographic panoramic images are generated using the image information on the surveillance area obtained through one horizontal imaging, and a multilayer panoramic image with a large vertical angle of view is generated by vertically matching the generated plurality of tomographic panoramic images. Therefore, it solves the limited surveillance problem in the vertical direction of the surveillance area due to the limited vertical angle of view of the remote surveillance camera, and effectively monitors the remote surveillance area through the surveillance panoramic image having a large vertical angle of view. provides

도 1은 본 발명의 개념도
도 2는 본 발명의 순서도
도 3은 본 발명의 제1 단계 예시도
도 4는 본 발명의 제1-2 단계 설명 예시도
도 5는 본 발명의 제1-3 단계 설명 예시도
도 6은 본 발명의 제2 단계 설명 예시도 1
도 7은 본 발명의 제2 단계 설명 예시도 2
도 8은 본 발명의 제2 단계의 명도 블랜딩 예시도1 is a conceptual diagram of the present invention
2 is a flowchart of the present invention
3 is an exemplary diagram of the first step of the present invention
4 is an exemplary diagram illustrating steps 1-2 of the present invention
5 is an explanatory diagram of steps 1-3 of the present invention
6 is an exemplary diagram 1 for explaining the second step of the present invention
7 is an exemplary diagram 2 for explaining the second step of the present invention
8 is an example of brightness blending in the second step of the present invention

본 발명의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.An embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 발명인 감시 지역에 대한 복층 파노라마 영상 생성 방법(이하 본 발명)은 감시용 파노라마 영상을 생성할 대상인 감시 지역을 일정 수직 화각을 갖는 감시 카메라를 이용해 수평 방향으로 촬영하되, 감시 카메라의 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성하고, 생성된 복수의 단층 파노라마 영상을 수직 정합하여 감시 지역에 대한 수직 화각이 큰 복층 파노라마 영상을 생성할 수 있어, 원거리용 감시 카메라의 제한적인 수직 화각으로 인한 감시 지역에 대한 수직 방향의 제한적 감시 문제를 해결하여 원거리에 있는 감시 지역을 큰 수직 화각을 갖는 감시용 파노라마 영상을 통해 효과적으로 감시할 수 있는 효과를 제공하는 발명이다.The present invention method for generating a multi-story panoramic image for a surveillance area (hereinafter, the present invention) captures a surveillance area, which is a target for generating a panoramic image for surveillance, in a horizontal direction using a surveillance camera having a certain vertical angle of view, and adjusts the vertical rotation angle of the surveillance camera. While controlling, horizontal direction shooting is performed multiple times, a plurality of tomographic panoramic images are generated using the image information about the surveillance area obtained through the horizontal direction shooting that has been performed multiple times, and the plurality of tomographic panoramic images are vertically matched. It is possible to create a multi-layer panoramic image with a large vertical angle of view for the surveillance area, solving the problem of limited vertical surveillance for the surveillance area due to the limited vertical angle of view of the remote surveillance camera. It is an invention that provides an effect that can be effectively monitored through a panoramic image for surveillance having.

본 발명은 도 1에 도시된 바와 같이, 감시 카메라(10)와 파노라마 영상 생성 장치(20)를 통해 복층 파노라마 영상을 생성할 수 있다. As shown in FIG. 1 , the present invention may generate a multilayer panoramic image through the monitoring camera 10 and the panoramic image generating device 20 .

즉, 감시용 파노라마 영상을 생성할 대상인 감시 지역을 일정 수직 화각을 갖는 감시 카메라(10)를 이용해 수평 방향으로 촬영하되, 감시 카메라(10)의 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 감시 카메라(10)가 파노라마 영상 생성 장치(20)로 제공하고, 파노라마 영상 생성 장치(20)는 감시 카메라(10)가 제공한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성하고, 생성된 복수의 단층 파노라마 영상을 수직 정합하여 감시 지역에 대한 수직 화각이 큰 복층 파노라마 영상을 생성하게 된다. That is, the surveillance area, which is the target of generating the panoramic image for surveillance, is photographed in the horizontal direction using the surveillance camera 10 having a certain vertical angle of view, and the horizontal direction photographing is performed multiple times while adjusting the vertical rotation angle of the surveillance camera 10. And, the monitoring camera 10 provides the image information on the surveillance area obtained through the horizontal direction shooting performed multiple times to the panoramic image generating device 20, and the panoramic image generating device 20 provides the monitoring camera 10 A plurality of tomographic panoramic images are generated using the image information on the surveillance area provided by , and a multilayer panoramic image with a large vertical angle of view is created by vertically matching the generated plurality of tomographic panoramic images.

구체적으로, 본 발명인 감시 지역에 대한 복층 파노라마 영상 생성 방법은, 도 2에 도시된 바와 같이,Specifically, as shown in FIG. 2, the method for generating a multilayer panoramic image for the surveillance area of the present invention

감시 카메라(10)가 촬영한 영상을 이용해 파노라마 영상 생성 장치(20)가 감시 지역에 대한 2개 이상의 단층 파노라마 영상을 생성하는 제1 단계(S100)와;A first step (S100) of generating two or more tomographic panoramic images of the monitoring area by the panoramic image generating device 20 using the image captured by the monitoring camera 10;

파노라마 영상 생성 장치(20)가 제1 단계(S100)를 통해 생성된 2개 이상의 단층 파노라마 영상들을 수직 방향으로 정합시켜 복층 파노라마 영상을 생성하는 제2 단계(S200)를 포함하는 것을 특징으로 한다.The panoramic image generating apparatus 20 is characterized by including a second step (S200) of generating a multi-layered panoramic image by vertically matching two or more tomographic panoramic images generated in the first step (S100).

상기 제1 단계(S100)는 감시 카메라(10)가 촬영한 영상을 이용해 파노라마 영상 생성 장치(20)가 감시 지역에 대한 2개 이상의 단층 파노라마 영상을 생성하는 단계로, 도 1에 도시된 바와 같이, 일정 수직 화각을 갖는 감시 카메라(10)는 감시용 파노라마 영상을 생성할 대상인 감시 지역을 수평 방향으로 촬영하되, 파노라마 영상 생성 장치(20)의 제어에 따라 수직 회전 각도를 조절하면서 수평 방향 촬영을 복수 회 진행하고, 복수 회 진행한 수평 방향 촬영을 통해 획득한 감시 지역에 대한 영상 정보를 순차적으로 파노라마 영상 생성 장치(20)로 제공하고, 파노라마 영상 생성 장치(20)는 감시 카메라(10)가 순차적으로 제공한 감시 지역에 대한 영상 정보를 이용해 복수의 단층 파노라마 영상을 생성한다.The first step (S100) is a step in which the panoramic image generating device 20 generates two or more tomographic panoramic images of the surveillance area using the image captured by the surveillance camera 10, as shown in FIG. , The monitoring camera 10 having a certain vertical angle of view captures the surveillance area, which is an object for generating a panoramic image for monitoring, in the horizontal direction, while adjusting the vertical rotation angle according to the control of the panoramic image generating device 20, while shooting in the horizontal direction. The process is performed multiple times, and the image information on the surveillance area obtained through the horizontal direction shooting performed multiple times is sequentially provided to the panoramic image generating device 20, and the panoramic image generating device 20 allows the monitoring camera 10 to A plurality of tomographic panoramic images are generated using image information on the surveillance area provided sequentially.

구체적으로, 상기 제1 단계(S100)는, 도 2, 3에 도시된 바와 같이,Specifically, in the first step (S100), as shown in FIGS. 2 and 3,

파노라마 영상 생성 장치(20)의 제어에 따라 감시 카메라(10)가 수평 회전하면서 감시 지역을 촬영하고, 감시 지역을 촬영한 영상 정보를 프레임 단위로 파노라마 영상 생성 장치(20)로 제공하는 제1-1 단계(S110)와,The surveillance camera 10 horizontally rotates under the control of the panoramic image generating device 20 to photograph the surveillance area and provides image information of the surveillance area to the panoramic image generating device 20 in units of frames. Step 1 (S110),

파노라마 영상 생성 장치(20)가 프레임 단위 영상들을 이용해 수평 정합용 단위 영상을 생성하는 제1-2 단계(S120)와,A first-second step (S120) in which the panoramic image generating apparatus 20 generates a unit image for horizontal matching using frame unit images;

파노라마 영상 생성 장치(20)가 생성된 수평 정합용 단위 영상들에 대한 테두리 왜곡 보정을 하는 제1-3 단계(S130)와,1st to 3rd steps (S130) of correcting edge distortion for the unit images for horizontal registration generated by the panoramic image generating apparatus 20;

파노라마 영상 생성 장치(20)가 테두리 왜곡 보정 처리된 수평 정합용 단위 영상들을 수평 방향으로 정합시켜 단층 파노라마 영상을 생성하는 제1-4 단계(S140)와,First to fourth steps (S140) of generating a tomographic panoramic image by horizontally matching unit images for horizontal registration, which have been processed for edge distortion correction, by the panoramic image generating apparatus 20;

파노라마 영상 생성 장치(20)가 생성된 단층 파노라마 영상에 대한 명도 그라데이션 보정을 하는 제1-5 단계(S150)와,First to fifth steps (S150) of performing brightness gradation correction on the tomographic panoramic image generated by the panoramic image generating apparatus 20;

다른 단층 파노라마 영상 생성을 위해, 파노라마 영상 생성 장치(20)의 제어에 따라 감시 카메라(10)가 수평 방향 초기 위치로 복귀한 후, 수직 방향으로 설정 각도만큼 회전하는 제1-6 단계(S160)를 포함하되, 상기 각 단계를 반복하여 2개 이상의 단층 파노라마 영상을 생성하는 것을 특징으로 한다.In order to generate another tomographic panoramic image, steps 1 to 6 of rotating the surveillance camera 10 in the vertical direction by a set angle after returning to the initial position in the horizontal direction under the control of the panoramic image generating device 20 (S160) Including, characterized in that two or more tomographic panoramic images are generated by repeating each of the above steps.

상기 제1-1 단계(S110)는 파노라마 영상 생성 장치(20)의 제어에 따라 감시 카메라(10)가 수평 회전하면서 감시 지역을 촬영하고, 감시 지역을 촬영한 영상 정보를 프레임 단위로 파노라마 영상 생성 장치(20)로 제공하는 단계이다.In step 1-1 (S110), the surveillance camera 10 horizontally rotates under the control of the panoramic image generating device 20 to photograph the surveillance area, and generates a panoramic image frame by frame based on image information of the surveillance area. This step is provided to the device 20.

도 1에 도시된 바와 같이, 파노라마 영상 생성 장치(20)는 감시 카메라(10)를 제어하여 감시 카메라(10)가 설정된 속도로 수평 방향 회전하면서 감시 지역에 대한 촬영을 진행하도록 하고, 감시 카메라(10)는 수평 방향 회전하면서 감시 지역을 촬영한 영상 정보를 도 3의 A에 도시된 바와 같이, 순차적으로 프레임 단위로 파노라마 영상 생성 장치(20)로 제공한다.As shown in FIG. 1, the panoramic image generating device 20 controls the surveillance camera 10 so that the surveillance camera 10 rotates in a horizontal direction at a set speed to take pictures of the surveillance area, and the surveillance camera ( 10) sequentially provides the panoramic image generating device 20 on a frame-by-frame basis, as shown in A of FIG. 3 , while rotating in the horizontal direction.

상기 제1-2 단계(S120)는 파노라마 영상 생성 장치(20)가 프레임 단위 영상들을 이용해 수평 정합용 단위 영상을 생성하는 단계로, 파노라마 영상 생성 장치(20)는 프레임 단위로 수신되는 프레임 단위 영상을 이용해, 도 3의 B에 도시된 바와 같이, 수평 정합용 단위 영상들을 생성한다.In step 1-2 ( S120 ), the panoramic image generating device 20 generates a unit image for horizontal matching using frame unit images. Using , as shown in B of FIG. 3 , unit images for horizontal matching are generated.

구체적으로, 상기 제1-2 단계(S120)는 도 2에 도시된 바와 같이,Specifically, as shown in FIG. 2, the first and second steps (S120)

프레임 단위 영상들이 파노라마 영상 생성 장치(20)에 수신된 수신 시간을 파악하여, 수신 시간 지연이 발생한 프레임 단위 영상을 파악하는 제1-2-1 단계(S121)와,A 1-2-1 step (S121) of identifying the frame-by-frame images at which the reception time delay occurs by determining the reception time at which the frame-by-frame images are received by the panoramic image generating device 20;

수신 시간 지연이 발생하지 않은 프레임 단위 영상들에 대해서는 사전 설정된 영상 추출 정보에 따른 제1 영상 영역을 프레임 단위 영상에서 추출해 수평 정합용 단위 영상을 생성하고, 수신 시간 지연이 발생한 프레임 단위 영상들에 대해서는 사전 설정된 영상 추출 정보에 따른 제2 영상 영역을 프레임 단위 영상에서 추출해 수평 정합용 단위 영상을 생성하는 제1-2-2 단계(S122)를 포함하는 것을 특징으로 한다.For frame unit images in which reception time delay does not occur, a unit image for horizontal matching is generated by extracting a first image area according to preset image extraction information from frame unit images, and for frame unit images in which reception time delay occurs It is characterized in that it includes a 1-2-2 step (S122) of generating a unit image for horizontal matching by extracting a second image area according to preset image extraction information from frame unit images.

상기 제1-2-1 단계(S121)는 프레임 단위 영상들이 파노라마 영상 생성 장치(20)에 수신된 수신 시간을 파악하여, 수신 시간 지연이 발생한 프레임 단위 영상을 파악하는 단계이다.The 1-2-1 step (S121) is a step of determining the frame-by-frame images at which the reception time delay occurs by determining the reception time at which the frame-by-frame images are received by the panoramic image generating apparatus 20.

정상적인 경우, 도 4의 A에 도시된 바와 같이, 파노라마 영상 생성 장치(20)가 감시 카메라(10)로부터 수신하는 프레임 단위 영상들의 수신 시간은 균일한 간격을 갖는다. 예를 들어, 1초에 N개의 프레임 단위 영상을 감시 카메라(10)가 파노라마 영상 생성 장치(20)로 제공하는 경우, 파노라마 영상 생성 장치(20)는 1/N 초마다 프레임 단위 영상들을 균일하게 수신하게 된다. In a normal case, as shown in A of FIG. 4 , the receiving time of frame unit images received by the panoramic image generating device 20 from the monitoring camera 10 has a uniform interval. For example, when the monitoring camera 10 provides N frame-unit images per second to the panoramic image generating device 20, the panoramic image generating device 20 uniformly transmits the frame-unit images every 1/N second. will receive

그러나 도 4의 B에 도시된 바와 같이, 파노라마 영상 생성 장치(20)에 수신되는 프레임 단위 영상 중에는 수신 시간 지연이 발생한 프레임 단위 영상이 있을 수 있으며, 이는, 감시 카메라(10)의 촬영 메커니즘에서의 일시적 지연 현상에 기인한다.However, as shown in B of FIG. 4 , among the frame unit images received by the panoramic image generating device 20, there may be frame unit images in which a reception time delay occurs. due to a temporary delay.

즉, 파노라마 영상 생성 장치(20)는 수신되는 프레임 단위 영상들의 수신 시간을 파악하여, 수신되는 프레임 단위 영상 중, 수신 시간 지연이 발생한 프레임 단위 영상이 있는지를 파악하게 된다. 도 4의 B를 예를 들면, (t+2) 시간 구간에 수신된 프레임 단위 영상이 △t만큼 지연된 것으로 파악하게 된다.That is, the panoramic image generating apparatus 20 determines reception times of received frame-by-frame images and determines whether there is a frame-by-frame image having a reception time delay among the received frame-by-frame images. Taking B of FIG. 4 as an example, it is determined that the frame-by-frame video received in the (t+2) time interval is delayed by Δt.

상기 제1-2-2 단계(S122)는 수신 시간 지연이 발생하지 않은 프레임 단위 영상들에 대해서는 사전 저장된 영상 추출 프로그램에 따라 제1 영상 영역을 프레임 단위 영상에서 추출해 수평 정합용 단위 영상을 생성하고, 수신 시간 지연이 발생한 프레임 단위 영상들에 대해서는 사전 저장된 영상 추출 프로그램에 따라 제2 영상 영역을 프레임 단위 영상에서 추출해 수평 정합용 단위 영상을 생성하는 단계이다.In the 1-2-2 step (S122), for the frame unit images in which the reception time delay does not occur, the first image region is extracted from the frame unit images according to the pre-stored image extraction program to generate unit images for horizontal matching, This is a step of generating unit images for horizontal matching by extracting second image areas from frame unit images according to a pre-stored image extraction program for frame unit images in which reception time delay occurs.

특히, 상기 제1 영상 영역은 수신 시간 지연이 발생하지 않은 프레임 단위 영상의 중앙을 기준으로 수평 방향으로 제1 폭을 갖되, 제1 폭은 감시 카메라(10)의 수평 방향 회전 속도에 비례해 증가하거나 감소하는 것을 특징으로 하고, 상기 제2 영상 영역은 수신 시간 지연이 발생한 프레임 단위 영상의 중앙을 기준으로 수평 방향으로 제2 폭을 갖되, 제2 폭은 제1 영상 영역의 제1 폭보다 크되, 제1 폭에 비해 커지는 정도는 수신 지연 시간에 비례하는 것을 특징으로 한다.In particular, the first image area has a first width in a horizontal direction based on the center of a frame unit image in which a reception time delay does not occur, and the first width increases in proportion to the rotation speed of the surveillance camera 10 in the horizontal direction. characterized in that, the second image area has a second width in the horizontal direction based on the center of the frame unit image in which the reception time delay occurs, and the second width is greater than the first width of the first image area , the degree of increase compared to the first width is characterized in that it is proportional to the reception delay time.

구체적으로, 프레임 단위 영상에서 추출되는 수평 정합용 단위 영상(도 4의 파란색 영역)은 프레임 단위 영상 속 특정 부분(프레임 단위 영상의 중앙을 기준으로 수평 방향으로 일정 폭 부분)으로 수평 방향으로 일정 폭을 갖게 되는데, 도 4에 도시된 바와 같이, 수신 시간 지연이 발생한 프레임 단위 영상에서 추출되는 수평 정합용 단위 영상은 제2 폭을 갖는 프레임 단위 영상 속 제2 영상 영역 부분이고, 수신 시간 지연이 발생하지 않은 프레임 단위 영상에서 추출되는 수평 정합용 단위 영상은 제1 폭을 갖는 프레임 단위 영상 속 제1 영상 영역 부분이다.Specifically, the unit image for horizontal matching (blue area in FIG. 4 ) extracted from the frame-by-frame image is a specific part in the frame-by-frame image (a portion with a certain width in the horizontal direction based on the center of the frame-by-frame image) with a certain width in the horizontal direction. As shown in FIG. 4, the horizontal matching unit image extracted from the frame unit image in which the reception time delay occurs is the second image area portion in the frame unit image having the second width, and the reception time delay occurs. The unit image for horizontal matching extracted from the frame unit image that is not processed is the first image area portion in the frame unit image having the first width.

수신 시간 지연이 발생하지 않은 프레임 단위 영상에서 추출되는 제1 영상 영역은 수신 시간 지연이 발생하지 않은 프레임 단위 영상의 중앙을 기준으로 수평 방향으로 제1 폭을 갖되, 제1 폭은 감시 카메라(10)의 수평 방향 회전 속도에 비례해 증가하거나 감소하는 것을 특징으로 한다.The first image area extracted from the frame unit image in which the reception time delay does not occur has a first width in the horizontal direction based on the center of the frame unit image in which the reception time delay does not occur, and the first width is the surveillance camera 10 ) It is characterized in that it increases or decreases in proportion to the horizontal direction rotation speed.

구체적으로, 파노라마 영상 생성을 위해 감시 지역에 대한 촬영을 위해, 수평 방향으로 회전하는 감시 카메라(10)의 수평 방향 회전 속도는 기준 속도로 설정되어 있으며, 사전 저장된 영상 추출 정보에 따라 파노라마 영상 생성 장치(20)는 설정된 기준 속도에 대응되는 기준 수평 방향 폭을 갖는 제1 영상 영역을 프레임 단위 영상에서 추출하게 되며, 만일, 감시 카메라(10)의 수평 방향 회전 속도가 느려지면 기준 수평 방향 폭보다 좁은 수평 방향 폭을 갖는 제1 영상 영역을 프레임 단위 영상에서 추출하고, 감시 카메라(10)의 수평 방향 회전 속도가 빨라지면 기준 수평 방향 폭보다 넓은 수평 방향 폭을 갖는 제1 영상 영역을 프레임 단위 영상에서 추출하게 된다. 즉, 제1 영상 영역의 제1 폭은 감시 카메라(10)의 수평 방향 회전 속도에 비례하는 것이다.Specifically, in order to capture a surveillance area to generate a panoramic image, the horizontal rotation speed of the surveillance camera 10 rotating in the horizontal direction is set to a reference speed, and the device for generating a panoramic image according to pre-stored image extraction information (20) extracts a first image area having a reference horizontal direction width corresponding to the set reference speed from the frame unit image, and if the horizontal rotation speed of the monitoring camera 10 slows down, it is narrower than the reference horizontal direction width. A first image region having a horizontal width is extracted from the frame unit image, and when the horizontal rotation speed of the monitoring camera 10 increases, the first image region having a horizontal width wider than the reference horizontal width is extracted from the frame unit image. will be extracted That is, the first width of the first image region is proportional to the rotational speed of the monitoring camera 10 in the horizontal direction.

또한, 수신 시간 지연이 발생한 프레임 단위 영상에서 추출되는 제2 영상 영역은 수신 시간 지연이 발생한 프레임 단위 영상의 중앙을 기준으로 수평 방향으로 제2 폭을 갖되, 제2 폭은 제1 영상 영역의 제1 폭보다 크되, 제1 폭에 비해 커지는 정도는 수신 지연 시간에 비례하는 것을 특징으로 한다.In addition, the second image area extracted from the frame unit image in which the reception time delay occurs has a second width in a horizontal direction based on the center of the frame unit image in which the reception time delay occurs, and the second width is the second width of the first image area. It is greater than 1 width, but the degree of increase compared to the first width is characterized in that it is proportional to the reception delay time.

수신 시간 지연이 발생한 프레임 단위 영상에서 추출되는 제2 영상 영역의 제2 폭을 수신 시간 지연이 발생하지 않은 프레임 단위 영상에서 추출되는 제1 영상 영역의 제1 폭보다 크게 하는 이유는 수평 정합용 단위 영상들을 수평 정합 시, 수신 시간 지연에 의한 누락 영상 부분이 발생하지 않도록 하기 위함이며, 도 4를 참조하면, 제2 영상 영역의 제2 폭은 제1 영상 영역의 제1 폭보다 큰 것을 알 수 있다.The reason why the second width of the second image region extracted from the frame unit image in which the reception time delay occurs is larger than the first width of the first image region extracted in the frame unit image in which the reception time delay does not occur is as a horizontal matching unit. When the images are horizontally matched, this is to prevent a missing image portion due to a reception time delay from occurring. Referring to FIG. 4 , it can be seen that the second width of the second image region is greater than the first width of the first image region. there is.

만일, 수신 시간 지연이 발생한 프레임 단위 영상에서 추출되는 제2 영상 영역의 제2 폭을 수신 시간 지연이 발생하지 않은 프레임 단위 영상에서 추출되는 제1 영상 영역의 제1 폭과 동일하게 하면, 생성되는 단층 파노라마 영상에 수신 시간 지연에 대응되는 시간 구간만큼의 빈 영상 영역(아무것도 표시되지 않은 빈 영역)이 발생하여, 감시용 파노라마 영상으로 적합하지 않게 된다.If the second width of the second image region extracted from the frame-by-frame image in which the reception time delay occurs is the same as the first width of the first image region extracted from the frame-by-frame image in which the reception time delay does not occur, A blank image area (blank area where nothing is displayed) is generated in the tomographic panoramic image for a time interval corresponding to the reception time delay, making it unsuitable as a panoramic image for monitoring.

결국, 수신 시간 지연이 발생하지 않은 프레임 단위 영상에서 추출되는 제1 영상 영역의 수평 방향 폭인 제1 폭은 감시 카메라가 수평 방향 속도가 설정된 기준 속도이면 설정된 수평 방향 기준 속도에 대응되는 기준 수평 방향 폭이 되고, 감시 카메라의 수평 방향 속도가 증가하거나 감소하면 제1 영상 영역의 수평 방향 폭인 제1 폭은 이에 비례해 기준 수평 방향 폭보다 증가하거나 감소한다.As a result, the first width, which is the horizontal width of the first image area extracted from the frame unit image in which the reception time delay does not occur, is the reference horizontal width corresponding to the set horizontal reference speed when the horizontal speed of the surveillance camera is set at the reference speed. When the horizontal direction speed of the surveillance camera increases or decreases, the first width, which is the horizontal width of the first image area, increases or decreases proportionally to the reference horizontal direction width.

또한, 수신 시간 지연이 발생한 프레임 단위 영상에서 추출되는 제2 영상 영역의 수평 방향 폭은 제1 영상 영역의 제1 폭보다 크되, 제1 폭보다 커지는 정도는 수신 시간 지연에 비례해 증가하는 것이다.Further, a width in a horizontal direction of a second image region extracted from a frame-by-frame image in which a reception time delay occurs is greater than a first width of a first image region, and the extent of the width greater than the first width increases in proportion to the reception time delay.

상기 제1-3 단계(S130)는 파노라마 영상 생성 장치(20)가 생성된 수평 정합용 단위 영상들에 대한 테두리 왜곡 보정을 하는 단계로, 수평 정합용 단위 영상의 상단/중간/하단에 각각 왜곡 보정계수를 적용해 수평 정합용 단위 영상들의 테두리 왜곡을 보정한다.Steps 1 to 3 (S130) are steps of correcting edge distortion for the unit images for horizontal registration generated by the panoramic image generating device 20, respectively, at the top/middle/bottom of the unit images for horizontal registration. A correction coefficient is applied to correct the edge distortion of unit images for horizontal registration.

도 5의 A에 도시된 바와 같이, 감시 카메라(10)가 파노라마 영상 생성 장치(20)로 제공하는 프레임 단위 영상에는 카메라 렌즈 특성상 렌즈 중심과 렌즈 외각의 굴절률 차이로 프레임 단위 영상의 테두리 부분에 왜곡이 발생하게 되는데, 굴절률이 높은 광각렌즈, 망원렌즈는 왜곡 현상이 특히 심하며, 테두리 부분이 왜곡된 프레임 단위 영상으로부터 추출된 수평 정합용 단위 영상 역시 테두리 부분에 왜곡이 발생한다.As shown in A of FIG. 5 , in the frame unit image provided from the monitoring camera 10 to the panoramic image generating device 20, the edge portion of the frame unit image is distorted due to the difference in refractive index between the center of the lens and the outer lens due to the nature of the camera lens. This occurs. A wide-angle lens and a telephoto lens with a high refractive index have particularly severe distortion, and a unit image for horizontal matching extracted from a frame unit image with a distorted edge portion also has distortion at the edge portion.

상기 제1-3 단계(S130)를 통해 수평 정합용 단위 영상의 상단/중간/하단에 각각 왜곡 보정계수를 적용해 수평 정합용 단위 영상들의 테두리 왜곡을 보정 하게 되는데, 테두리 부분이 왜곡된 도 5의 A와 같은 프레임 단위 영상의 상단/중간/하단에 각각 왜곡 보정계수를 적용해 테두리 왜곡을 보정 하면, 도 5의 B와 같이, 테두리 왜곡이 보정된 수평 정합용 단위 영상을 얻게 된다.Through the above steps 1-3 (S130), distortion correction coefficients are applied to the top/middle/bottom of the unit images for horizontal matching to correct the distortion of the edges of the unit images for horizontal matching. FIG. If edge distortion is corrected by applying distortion correction coefficients to the top/middle/bottom of the frame unit image as shown in A, a unit image for horizontal matching with edge distortion corrected is obtained as shown in B of FIG.

왜곡 보정계수를 적용해 왜곡을 보정 하는 방식은 왜곡에 반대되는 정도의 왜곡을 왜곡된 부분에 대입하여 보정 하는 것으로, 예를 들어, + 5도 왜곡되었다면 - 5도만큼 왜곡시키는 것이다.The method of correcting the distortion by applying the distortion correction coefficient is to substitute a distortion of the opposite degree to the distortion to the distorted part and correct it. For example, if it is distorted by +5 degrees, it is distorted by -5 degrees.

상기 제1-4 단계(S140)는 파노라마 영상 생성 장치(20)가 테두리 왜곡 보정 처리된 수평 정합용 단위 영상들을 수평 방향으로 정합시켜 단층 파노라마 영상을 생성하는 단계이다.Steps 1 to 4 (S140) are steps in which the panoramic image generating apparatus 20 generates a tomographic panoramic image by horizontally matching the unit images for horizontal registration that have undergone edge distortion correction.

특히, 테두리 왜곡 보정 처리된 수평 정합용 단위 영상들의 수평 정합 시, 수신 시간 지연이 발생한 프레임 단위 영상에서 추출된 수평 정합용 단위 영상과 수신 시간 지연이 발생한 프레임 단위 영상에 후속하는 프레임 단위 영상에서 추출된 수평 정합용 단위 영상의 수평 방향 정합은 중첩(오버랩) 영역이 있도록 하는 정합인 것을 특징으로 한다.In particular, when horizontally matching unit images for horizontal matching that have undergone edge distortion correction, a unit image for horizontal matching extracted from a frame unit image with a reception time delay and a frame unit image following the frame unit image with a reception time delay are extracted. It is characterized in that the horizontal direction matching of the unit images for horizontal matching is matching to ensure that there is an overlapping (overlap) area.

도 4의 B에 도시된 바와 같이, 수신 시간 지연이 발생한 프레임 단위 영상에서 추출된 수평 정합용 단위 영상(t+2시간 구간의 영상)의 수평 폭인 제2 폭은 수신 시간 지연이 발생한 프레임 단위 영상에 후속하는 수신 시간 지연이 발생하지 않은 프레임 단위 영상에서 추출된 수평 정합용 단위 영상(t+3시간 구간의 영상)의 수평 폭인 제1 폭보다 크다. As shown in B of FIG. 4, the second width, which is the horizontal width of the unit image for horizontal matching (an image in the t+2 time interval) extracted from the frame unit image with the reception time delay, is the frame unit image with the reception time delay. It is greater than the first width, which is the horizontal width of a unit image for horizontal matching (an image in the t+3 time interval) extracted from a frame-by-frame image in which a reception time delay subsequent to is not generated.

만일, 제2 폭을 갖는 수신 시간 지연이 발생한 프레임 단위 영상에서 추출된 수평 정합용 단위 영상(t+2시간 구간의 영상)에 제1 폭을 갖는 수신 시간 지연이 발생하지 않은 프레임 단위 영상에서 추출된 수평 정합용 단위 영상(t+3시간 구간의 영상)을 그대로 이어 붙이는 수평 정합을 하게 되면, 생성되는 단층 파노라마 영상에는 중복되는 영상 부분(수신 시간 지연 때문에 증가하는 제2 폭의 증가 폭에 해당하는 부분의 영상 부분)이 발생하게 된다.If a unit image for horizontal matching (an image in the t+2 time interval) extracted from a frame unit image with a reception time delay having a second width is extracted from a frame unit image having a first width and no reception time delay occurring When horizontal registration is performed by attaching the horizontal registration unit images (images in the t + 3 time interval) as they are, the overlapped image part in the generated tomographic panoramic image (corresponds to the increase in the second width that increases due to the reception time delay) The video part of the part) will occur.

이를 방지하기 위해, 수신 시간 지연이 발생한 프레임 단위 영상에서 추출된 수평 정합용 단위 영상(t+2시간 구간의 영상)과 수신 시간 지연이 발생한 프레임 단위 영상에 후속하는 프레임 단위 영상에서 추출된 수평 정합용 단위 영상(t+3시간 구간의 영상)의 수평 방향 정합은 중첩(오버랩) 영역이 있도록 정합시키는 것이다.In order to prevent this, horizontal matching unit images (images in the t+2 time interval) extracted from frame-by-frame images with reception time delay and horizontal matching extracted from frame-by-frame images following the frame-by-frame images with reception time delay occurred The horizontal direction matching of unit images (images in the t+3 time interval) is matching so that there is an overlapping (overlap) area.

상기 제1-5 단계(S150)는 파노라마 영상 생성 장치(20)가 생성된 단층 파노라마 영상에 대한 명도 그라데이션 보정을 하는 단계이다.Steps 1 to 5 (S150) are steps in which the panoramic image generating apparatus 20 performs brightness gradation correction on the generated tomographic panoramic image.

도 3의 D에 도시된 바와 같이, 단층 파노라마 영상 생성을 위해 수평 정합 된 수평 정합용 단위 영상들 간에 명도 차이가 있어 시각적으로 자연스럽지 않다.As shown in D of FIG. 3 , it is not visually natural because there is a difference in brightness between horizontally matched unit images for horizontal matching to generate a tomographic panoramic image.

수평 정합용 단위 영상들 간의 명도 차이는 프레임 단위 영상 촬영 시, 조명이나 촬영 방향에 따른 외부 조도 차이에서 기인한다.The difference in brightness between unit images for horizontal matching is caused by a difference in external illumination according to lighting or a shooting direction when capturing a frame-by-frame image.

따라서 수평 정합 된 수평 정합용 단위 영상들 간의 명도 차이 해소를 위해, 제1-5 단계(S150)를 통해 생성된 단층 파노라마 영상에 대한 명도 그라데이션 보정을 하는 것이다.Therefore, in order to resolve the brightness difference between horizontally matched unit images for horizontal matching, brightness gradation correction is performed on the tomographic panoramic image generated through steps 1-5 (S150).

구체적으로, 명도 그라데이션 보정은 수평 정합으로 상호 인접한 2개의 수평 정합용 단위 영상의 정합 부분의 명도는 수평 정합한 2개의 수평 정합용 단위 영상의 각 명도의 평균 명도가 되도록 하고, 수평 정합으로 상호 인접한 2개의 수평 정합용 단위 영상 중, 명도가 상대적으로 높은 수평 정합용 단위 영상은 정합 부분으로 갈수록 명도가 점차 낮아져 정합 부분에서 평균 명도가 되도록 하고, 수평 정합으로 상호 인접한 2개의 수평 정합용 단위 영상 중, 명도가 상대적으로 낮은 수평 정합용 단위 영상은 정합 부분으로 갈수록 명도가 점차 높아져 정합 부분에서 평균 명도가 되도록 하는 것을 특징으로 한다.Specifically, in the brightness gradation correction, the brightness of the matching portion of two unit images for horizontal matching that are adjacent to each other through horizontal matching is the average brightness of each brightness of the two horizontally matched unit images for horizontal matching, Among the two horizontal matching unit images, the brightness of the horizontal matching unit image having relatively high brightness gradually decreases toward the matching portion so that it becomes the average brightness in the matching portion, and among the two mutually adjacent horizontal matching unit images for horizontal matching, , unit images for horizontal matching having a relatively low brightness are characterized in that the brightness gradually increases toward the matching portion to become the average brightness in the matching portion.

도 3의 D를 예로 들면, 수평 정합으로 상호 인접한 2개의 수평 정합용 단위 영상 #01과 #02의 명도가 각각 8과 9라고 가정하면, 상호 인접한 #01과 #02 수평 정합용 단위 영상의 정합 부분의 명도는 #01과 #02 수평 정합용 단위 영상의 각 명도의 평균 명도인 8.5가 되도록 하고, 수평 정합으로 상호 인접한 #01과 #02 수평 정합용 단위 영상 중, 명도가 상대적으로 높은 #02 수평 정합용 단위 영상은 정합 부분으로 갈수록 명도가 9에서 8.5로 점차 낮아져 정합 부분에서 평균 명도 8.5가 되도록 하고, 수평 정합으로 상호 인접한 #01과 #02 수평 정합용 단위 영상 중, 명도가 상대적으로 낮은 #01 수평 정합용 단위 영상은 정합 부분으로 갈수록 명도가 8에서 8.5로 점차 높아져 정합 부분에서 평균 명도 8.5가 되도록 하는 것이다.Taking D of FIG. 3 as an example, assuming that the brightness of two unit images #01 and #02 for horizontal matching that are adjacent to each other through horizontal registration are 8 and 9, respectively, the matching unit images for horizontal registration #01 and #02 are adjacent to each other. The brightness of the part is set to 8.5, which is the average brightness of each brightness of unit images for horizontal matching #01 and #02, and #02 has a relatively high brightness among unit images for horizontal matching #01 and #02 adjacent to each other by horizontal matching. The brightness of the unit images for horizontal registration gradually decreases from 9 to 8.5 towards the matching part, so that the average brightness is 8.5 in the matching part. #01 The unit image for horizontal matching has brightness gradually increasing from 8 to 8.5 as it goes toward the matching part, so that the average brightness is 8.5 in the matching part.

상기 제1-6 단계(S160)는 다른 단층 파노라마 영상 생성을 위해, 파노라마 영상 생성 장치(20)의 제어에 따라 감시 카메라(10)가 수평 방향 초기 위치로 복귀한 후, 수직 방향으로 설정 각도만큼 회전하는 단계이다.In steps 1 to 6 (S160), after the surveillance camera 10 returns to the initial position in the horizontal direction under the control of the panoramic image generating device 20, in order to generate another tomographic panoramic image, it is set by a set angle in the vertical direction. It is a rotation phase.

도 1에 도시된 바와 같이, 감시 카메라(10)는 하나의 단층 파노라마 영상 생성을 위해 파노라마 영상 생성 장치(20)의 제어에 따라 설정된 속도로 수평 방향 회전하면서 감시 지역에 대한 촬영을 진행하면서 촬영한 영상 정보를 순차적으로 프레임 단위로 파노라마 영상 생성 장치(20)로 제공하고, 1회차 수평 방향 촬영이 완료되면, 다른 단층 파노라마 영상 생성을 위해 수평 방향 초기 위치로 복귀한 후, 수직 방향으로 설정 각도만큼 회전한 후, 2회차 수평 방향 촬영을 진행하고, 같은 방식으로 다음 회차 수평 방향 촬영을 진행하게 된다.As shown in FIG. 1, the monitoring camera 10 rotates in a horizontal direction at a set speed under the control of the panoramic image generating device 20 to generate a single tomographic panoramic image while taking pictures of the surveillance area. Image information is sequentially provided to the panoramic image generating device 20 in frame units, and when the first horizontal shooting is completed, after returning to the initial position in the horizontal direction to generate another tomographic panoramic image, the set angle in the vertical direction increases. After the rotation, the second horizontal direction photographing is performed, and the next horizontal direction photographing is performed in the same way.

다음 회차 수평 방향 촬영을 위해 감시 카메라(10)가 수직 방향으로 회전하는 설정 각도는 사용자에 의해 임의 설정 가능하다.A set angle at which the monitoring camera 10 rotates in the vertical direction for the next horizontal direction shooting can be arbitrarily set by the user.

예를 들어, 감시 카메라(10)의 수직 화각이 10°인 경우, 설정 각도는 8°일 수 있으며, 적어도 설정 각도는 감시 카메라(10)의 수직 화각을 초과하지는 않는다.For example, when the vertical angle of view of the surveillance camera 10 is 10 °, the set angle may be 8 °, and at least the set angle does not exceed the vertical angle of view of the surveillance camera 10.

감시 카메라(10)가 수직 방향으로 회전하는 설정 각도를 감시 카메라(10)의 수직 화각을 초과하지 않도록 하는 이유는 후술할 제2 단계(S200)를 통한 수직 정합 시, 각 단층 파노라마 영상들은 수직 정합 시 중첩(오버랩)되는 영역이 필요하기 때문이며, 제2 단계(S200) 설명 부분에서 상세히 설명하기로 한다.The reason why the set angle at which the monitoring camera 10 rotates in the vertical direction does not exceed the vertical angle of view of the monitoring camera 10 is that during vertical matching through the second step (S200), which will be described later, each tomographic panoramic image is vertically aligned. This is because an overlapping (overlapping) area is required, and will be described in detail in the description of the second step (S200).

또한, 하나의 단층 파노라마 영상을 생성하기 위한 상술한 제1-1 단계(S110) ~제1-6 단계(S160)를 반복하여 2개 이상의 단층 파노라마 영상을 생성하게 된다.In addition, two or more tomographic panoramic images are generated by repeating the above-described steps 1-1 (S110) to 1-6 (S160) for generating one tomographic panoramic image.

상기 제2 단계(S200)는 파노라마 영상 생성 장치(20)가 제1 단계(S100)를 통해 생성된 2개 이상의 단층 파노라마 영상들을 수직 방향으로 정합시켜 복층 파노라마 영상을 생성하는 단계로, 구체적으로, 도 2에 도시된 바와 같이,The second step (S200) is a step in which the panoramic image generating apparatus 20 generates a multi-layered panoramic image by vertically matching two or more tomographic panoramic images generated in the first step (S100). Specifically, As shown in Figure 2,

2개 이상의 단층 파노라마 영상 중, 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있는지를 파악하는 제2-1 단계(S210)와,A 2-1 step (S210) of determining whether there are feature points for vertical matching between two tomographic panoramic images to be vertically matched among two or more tomographic panoramic images;

수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있는 경우는 제1 수직 정합 과정을 통해 수직 정합하고, 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있지 않은 경우는 제2 수직 정합 과정을 통해 수직 정합하여 복층 파노라마 영상을 생성하는 제2-2 단계(S220)를 포함하는 것을 특징으로 한다.If there are feature points for vertical matching between the two tomographic panoramic images to be vertically matched, vertical matching is performed through the first vertical matching process, and feature points for vertical matching between the two tomographic panoramic images to be vertically matched ( If there are no feature points, it is characterized in that it includes a 2-2 step (S220) of generating a multilayer panoramic image by performing vertical matching through a second vertical matching process.

상기 제2-1 단계(S210)는 2개 이상의 단층 파노라마 영상 중, 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있는지를 파악하는 단계로, 수직 정합할 2개의 단층 파노라마 영상 중, 상측 단층 파노라마 영상의 제1 영역과 하측 단층 파노라마 영상의 제2 영역에 복수의 수직 정합용 특징점(feature point)들이 공유되고 있는지를 파악하는 것을 특징으로 한다.Step 2-1 (S210) is a step of determining whether there are feature points for vertical matching between two tomographic panoramic images to be vertically matched among two or more tomographic panoramic images. Among the tomographic panoramic images, it is characterized in that whether a plurality of feature points for vertical matching are shared between the first region of the upper tomographic panoramic image and the second region of the lower tomographic panoramic image.

상기 제1 영역은 상측 단층 파노라마 영상의 하부 영역 중, 수직 오버랩 각도에 해당하는 화소 영역이고, 상기 제2 영역은 하측 단층 파노라마 영상의 상부 영역 중, 수직 오버랩 각도에 해당하는 화소 영역인 것을 특징으로 한다.The first region is a pixel region corresponding to a vertical overlap angle in the lower region of the upper tomographic panoramic image, and the second region is a pixel region corresponding to the vertical overlap angle in the upper region of the lower tomographic panoramic image. do.

수직 정합할 2개의 단층 파노라마 영상들에는 수직 오버랩 각도(감시 카메라 수직 화각 - 감시 카메라 수직 회전 각도)에 해당하는 화소 영역을 공유하고 있다. Two tomographic panoramic images to be vertically matched share a pixel area corresponding to a vertical overlap angle (surveillance camera vertical angle of view - surveillance camera vertical rotation angle).

예를 들어, 감시 카메라 수직 화각이 10°이고 감시 카메라 수직 회전 각도가 8°인 경우, 수직 오버랩 각도는 2°가 되는 것이다.For example, when the surveillance camera vertical angle of view is 10° and the surveillance camera vertical rotation angle is 8°, the vertical overlap angle is 2°.

도 6을 참조하면, 수직 정합할 2개의 단층 파노라마 영상 중, #1 단층 파노라마 영상의 하부 영역 중 수직 오버랩 각도에 해당하는 화소 영역이 제1 영역이 되고, #2 단층 파노라마 영상의 상부 영역 중 수직 오버랩 각도에 해당하는 화소 영역이 제2 영역이 된다.Referring to FIG. 6 , among the two tomographic panoramic images to be vertically matched, a pixel area corresponding to the vertical overlap angle among the lower regions of the tomographic panoramic image #1 becomes the first region, and the upper region of the tomographic panoramic image #2 is vertically aligned. A pixel area corresponding to the overlap angle becomes the second area.

상기 제2-1 단계(S210)는 2개 이상의 단층 파노라마 영상 중, 수직 정합할 2개의 단층 파노라마 영상들에 공유되고 있는 수직 오버랩 각도에 해당하는 화소 영역인 제1 영역과 제2 영역에 각각 수직 정합용 특징점(feature point)들이 있는지를 파악하는 것이다.In step 2-1 (S210), among the two or more tomographic panoramic images, the first region and the second region, which are pixel regions corresponding to the vertical overlap angle shared by the two tomographic panoramic images to be vertically matched, are perpendicular to each other. It is to determine whether there are feature points for matching.

상기 제2-2 단계(S220)는 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있는 경우는 제1 수직 정합 과정을 통해 수직 정합하고, 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있지 않은 경우는 제2 수직 정합 과정을 통해 수직 정합하여 복층 파노라마 영상을 생성하는 단계로, 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들의 유무에 따라 적합한 수직 정합 과정이 진행된다.In step 2-2 (S220), if there are feature points for vertical matching between the two tomographic panoramic images to be vertically matched, vertical matching is performed through the first vertical matching process, and the two tomographic images to be vertically matched are vertically matched. When there are no feature points for vertical matching between the panoramic images, this is a step of generating a multi-layered panoramic image by performing vertical matching through a second vertical matching process. ), a suitable vertical matching process is performed according to the presence or absence of

도 6은 상기 제1 수직 정합 과정에 대한 설명 예시도이고, 도 7은 상기 제2 수직 정합 과정에 대한 설명 예시도이다.6 is an explanatory illustration of the first vertical matching process, and FIG. 7 is an explanatory illustration of the second vertical matching process.

도 6을 참조하여 상기 제1 수직 정합 과정에 대해 설명한다.The first vertical matching process will be described with reference to FIG. 6 .

도 6을 참조하면, 상기 제2-1 단계(S210)를 통해 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있는 것으로 판단되는 경우, 제1 수직 정합 과정을 통해 수직 정합을 진행한다.Referring to FIG. 6, when it is determined that there are feature points for vertical matching between the two tomographic panoramic images to be vertically matched through the 2-1 step (S210), a first vertical matching process is performed. Perform vertical matching.

도 6의 A를 예로 들면, # 1 단층 파노라마 영상의 제1 영역(수직 오버랩 각도에 해당하는 화소 영역)에 수직 정합용 특징점(feature point) #01A와 #02A가 있고, # 2 단층 파노라마 영상의 제2 영역(수직 오버랩 각도에 해당하는 화소 영역)에 수직 정합용 특징점(feature point) #01B와 #02B가 있는 경우, 수직 정합용 특징점(feature point)들인 #01A와 #01B가 겹쳐지고, #02A와 #02B가 겹쳐지도록 수직 정합할 2개의 단층 파노라마 영상들인 # 1 단층 파노라마 영상과 # 2 단층 파노라마 영상을 수직 방향으로 정합하는 제1 수직 정합 과정을 진행한다.Taking A of FIG. 6 as an example, there are feature points #01A and #02A for vertical matching in the first area (pixel area corresponding to the vertical overlap angle) of the tomographic panoramic image #1, and the tomographic panoramic image #2 When there are feature points #01B and #02B for vertical matching in the second area (pixel area corresponding to the vertical overlap angle), the feature points #01A and #01B for vertical matching overlap, # A first vertical registration process is performed to vertically register the tomographic panoramic images #1 and #2, which are the two tomographic panoramic images to be vertically matched so that 02A and #02B overlap.

또한, # 2 단층 파노라마 영상의 제1 영역(수직 오버랩 각도에 해당하는 화소 영역)에 수직 정합용 특징점(feature point) #03B와 #04B가 있고, # 3 단층 파노라마 영상의 제2 영역(수직 오버랩 각도에 해당하는 화소 영역)에 수직 정합용 특징점(feature point) #01C와 #02C가 있는 경우, 수직 정합용 특징점(feature point)들인 #03B와 #01C가 겹쳐지고, #04B와 #02C가 겹쳐지도록 수직 정합할 2개의 단층 파노라마 영상들인 # 2 단층 파노라마 영상과 # 3 단층 파노라마 영상을 수직 방향으로 정합하는 제1 수직 정합 과정을 진행한다.In addition, there are feature points #03B and #04B for vertical matching in the first area (pixel area corresponding to the vertical overlap angle) of the #2 tomographic panoramic image, and the second area (vertical overlap) of the #3 tomographic panoramic image. If there are feature points #01C and #02C for vertical matching in the pixel area corresponding to the angle), the feature points for vertical matching #03B and #01C overlap, and #04B and #02C overlap. A first vertical registration process is performed to vertically register the tomographic panoramic images #2 and #3, which are the two tomographic panoramic images to be vertically matched so as to be vertically aligned.

상기와 같은 방식으로 나머지 단층 파노라마 영상들에 적용하면, 도 6의 B와 같은 정상적인 복층 파노라마 영상이 생성되고, 수직 정합 시, 수직 정합용 특징점(feature point)들이 어긋난 상태로 정합 되면, 도 6의 C와 같은 비정상적인 복층 파노라마 영상이 생성된다.When the above method is applied to the remaining tomographic panoramic images, a normal bilayer panoramic image as shown in B of FIG. 6 is generated, and when vertical matching feature points are misaligned, An abnormal multilayer panoramic image like C is generated.

도 7을 참조하여 상기 제2 수직 정합 과정에 대해 설명한다.The second vertical matching process will be described with reference to FIG. 7 .

도 7을 참조하면, 상기 제2-1 단계(S210)를 통해 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 없는 것으로 판단되는 경우, 제2 수직 정합 과정을 통해 수직 정합을 진행한다.Referring to FIG. 7 , when it is determined that there are no feature points for vertical matching between two tomographic panoramic images to be vertically matched through the 2-1 step (S210), a second vertical matching process is performed. Perform vertical matching.

도 7의 A를 예로 들면, # 1 단층 파노라마 영상의 제1 영역(수직 오버랩 각도에 해당하는 화소 영역)과 # 2 단층 파노라마 영상의 제2 영역(수직 오버랩 각도에 해당하는 화소 영역)에는 수직 정합용 특징점(feature point)들 존재하지 않는다.Taking A of FIG. 7 as an example, the first area (pixel area corresponding to the vertical overlap angle) of the # 1 tomographic panoramic image and the second area (pixel area corresponding to the vertical overlap angle) of the # 2 tomographic panoramic image are vertical matching. There are no feature points for

수직 정합용 특징점(feature point)이란 영상 속 이미지적 특징점을 의미하는 것으로, 도 7의 A에 도시된, # 1 단층 파노라마 영상의 제1 영역(수직 오버랩 각도에 해당하는 화소 영역)과 # 2 단층 파노라마 영상의 제2 영역(수직 오버랩 각도에 해당하는 화소 영역)은 단순한 바다 영상이어서 이미지적 특징점이라 할 수 있는 수직 정합용 특징점(feature point)이 존재하지 않고 있다.A feature point for vertical matching means an image feature point in an image, and the first area (pixel area corresponding to the vertical overlap angle) of the # 1 tomographic panoramic image shown in A of FIG. 7 and the # 2 tomographic layer The second area (pixel area corresponding to the vertical overlap angle) of the panoramic image is a simple sea image, so there is no feature point for vertical matching, which can be called an image feature point.

이 경우, 수직 정합할 # 1 단층 파노라마 영상의 제1 영역(수직 오버랩 각도에 해당하는 화소 영역)과 # 2 단층 파노라마 영상의 제2 영역(수직 오버랩 각도에 해당하는 화소 영역)이 단순 겹쳐지도록 수직 방향으로 정합하는 제2 수직 정합 과정을 진행한다.In this case, the first region of the #1 tomographic panoramic image to be vertically matched (the pixel region corresponding to the vertical overlap angle) and the second region of the #2 tomographic panoramic image (the pixel region corresponding to the vertical overlap angle) are simply overlapped vertically. A second vertical matching process for matching in the direction is performed.

상기와 같은 방식으로 나머지 단층 파노라마 영상들에 적용하면, 도 7의 B와 같은 정상적인 복층 파노라마 영상이 생성된다.When the above method is applied to the remaining tomographic panoramic images, a normal bilayer panoramic image as shown in B of FIG. 7 is generated.

또한, 상기 제2-2 단계(S220)는 수직 정합 전, 수직 정합할 2개의 단층 파노라마 영상 중, 상측 단층 파노라마 영상의 제1 영역과 하측 단층 파노라마 영상의 제2 영역의 명도를 수직 정합할 2개의 단층 파노라마 영상의 각 명도의 평균 명도가 되도록 하는 명도 블렌딩을 하는 것을 특징으로 한다.In addition, the 2-2 step (S220) is to vertically match the brightness of the first region of the upper tomographic panoramic image and the second region of the lower tomographic panoramic image among the two tomographic panoramic images to be vertically matched before vertical matching. It is characterized in that the brightness blending is performed so that the average brightness of each brightness of the two tomographic panoramic images is performed.

도 8을 예를 들면, 수직 정합할 2개의 단층 파노라마 영상 중, 상측 단층 파노라마 영상의 평균 명도가 8이고, 하측 단층 파노라마 영상의 평균 명도가 10인 경우, 수직 정합할 2개의 단층 파노라마 영상을 수직 정합하면, 도 8의 A와 같이, 제1, 2영역의 중첩(오버랩) 부분이 명도적 측면에서 어색한 복층 파노라마 영상이 얻어진다. 8, among two tomographic panoramic images to be vertically matched, when the average brightness of the upper tomographic panoramic image is 8 and the average brightness of the lower tomographic panoramic image is 10, the two tomographic panoramic images to be vertically matched are When matching, as shown in A of FIG. 8 , a multilayer panoramic image in which the overlapping (overlapping) portion of the first and second regions is awkward in terms of brightness is obtained.

이러한 문제 해결을 위해, 수직 정합 전, 수직 정합할 2개의 단층 파노라마 영상 중, 명도가 8인 상측 단층 파노라마 영상의 제1 영역과 명도가 10인 하측 단층 파노라마 영상의 제2 영역의 명도를 수직 정합할 2개의 단층 파노라마 영상의 각 명도의 평균 명도인 9가 되도록 하는 명도 블렌딩을 한 후, 수직 정합하게 되면, 도 8의 B와 같이, 제1, 2영역의 중첩(오버랩) 부분이 명도적 측면에서 어색하지 않은 복층 파노라마 영상이 얻어진다. To solve this problem, before vertical registration, among the two tomographic panoramic images to be vertically matched, the brightness of the first region of the upper tomographic panoramic image having a brightness of 8 and the second region of the lower tomographic panoramic image having a brightness of 10 are vertically matched. After brightness blending is performed so that the average brightness of each brightness of the two tomographic panoramic images to be done is 9, and then vertically matched, the overlapping (overlap) part of the first and second regions is the brightness side as shown in B of FIG. An unawkward multilayer panoramic image is obtained.

이상에서 본 발명의 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니며, 본 발명의 권리 범위는 실시예에 국한되지 않고, 이 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술 사상 범주 내에서 변형한 것까지 포함함은 자명하다 할 것이다.Although the technical idea of the present invention has been described above with the accompanying drawings, this is an illustrative example of a preferred embodiment of the present invention, but does not limit the present invention, and the scope of the present invention is not limited to the embodiments, and this It will be obvious that those skilled in the art include modifications within the scope of the technical idea of the present invention.

10 : 감시 카메라
20 : 파노라마 영상 생성 장치10: surveillance camera
20: panoramic image generating device

Claims (11)

감시 지역에 대한 복층 파노라마 영상 생성 방법에 있어서,
감시 카메라(10)가 촬영한 영상을 이용해 파노라마 영상 생성 장치(20)가 감시 지역에 대한 2개 이상의 단층 파노라마 영상을 생성하는 제1 단계(S100)와;
파노라마 영상 생성 장치(20)가 제1 단계(S100)를 통해 생성된 2개 이상의 단층 파노라마 영상들을 수직 방향으로 정합시켜 복층 파노라마 영상을 생성하는 제2 단계(S200)를 포함하되,

상기 제2 단계(S200)는,
2개 이상의 단층 파노라마 영상 중, 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있는지를 파악하는 제2-1 단계(S210)와,
수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있는 경우는 아래의 제1 수직 정합 과정을 통해 수직 정합하고, 수직 정합할 2개의 단층 파노라마 영상들 사이에 수직 정합용 특징점(feature point)들이 있지 않은 경우는 아래의 제2 수직 정합 과정을 통해 수직 정합하여 복층 파노라마 영상을 생성하는 제2-2 단계(S220)를 포함하되,

상기 제1 수직 정합 과정은,
수직 정합용 특징점(feature point)들이 겹쳐지도록 수직 정합할 2개의 단층 파노라마 영상들을 수직 방향으로 정합하는 것이고,

상기 제2 수직 정합 과정은,
수직 정합할 2개의 단층 파노라마 영상 중, 상측 단층 파노라마 영상의 제1 영역과 하측 단층 파노라마 영상의 제2 영역이 겹쳐지도록 수직 정합할 2개의 단층 파노라마 영상들을 수직 방향으로 정합하는 것이고,
상기 제1 영역은 상측 단층 파노라마 영상의 하부 영역 중, 수직 오버랩 각도에 해당하는 화소 영역이고,
상기 제2 영역은 하측 단층 파노라마 영상의 상부 영역 중, 수직 오버랩 각도에 해당하는 화소 영역인 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
In the method for generating a multilayer panoramic image for a surveillance area,
A first step (S100) of generating two or more tomographic panoramic images of the monitoring area by the panoramic image generating device 20 using the image captured by the monitoring camera 10;
A second step (S200) of generating a multi-layered panoramic image by vertically matching two or more tomographic panoramic images generated in the first step (S100) by the panoramic image generating apparatus 20,

In the second step (S200),
A 2-1 step (S210) of determining whether there are feature points for vertical matching between two tomographic panoramic images to be vertically matched among two or more tomographic panoramic images;
When there are feature points for vertical registration between the two tomographic panoramic images to be vertically registered, vertical registration is performed through the first vertical registration process below, and for vertical registration between the two tomographic panoramic images to be vertically registered. In the case where there are no feature points, a 2-2 step (S220) of generating a multi-layered panoramic image by vertical matching through a second vertical matching process below,

The first vertical matching process,
To vertically match two tomographic panoramic images to be vertically matched so that feature points for vertical matching overlap,

The second vertical matching process,
Among the two tomographic panoramic images to be vertically matched, the two tomographic panoramic images to be vertically matched are vertically matched so that the first region of the upper tomographic panoramic image and the second region of the lower tomographic panoramic image overlap,
The first region is a pixel region corresponding to a vertical overlap angle in the lower region of the upper tomographic panoramic image,
Wherein the second region is a pixel region corresponding to a vertical overlap angle among the upper regions of the lower tomographic panoramic image.
 청구항 1에 있어서,
상기 제1 단계(S100)는,
파노라마 영상 생성 장치(20)의 제어에 따라 감시 카메라(10)가 수평 회전하면서 감시 지역을 촬영하고, 감시 지역을 촬영한 영상 정보를 프레임 단위로 파노라마 영상 생성 장치(20)로 제공하는 제1-1 단계(S110)와,
파노라마 영상 생성 장치(20)가 프레임 단위 영상들을 이용해 수평 정합용 단위 영상을 생성하는 제1-2 단계(S120)와,
파노라마 영상 생성 장치(20)가 생성된 수평 정합용 단위 영상들에 대한 테두리 왜곡 보정을 하는 제1-3 단계(S130)와,
파노라마 영상 생성 장치(20)가 테두리 왜곡 보정 처리된 수평 정합용 단위 영상들을 수평 방향으로 정합시켜 단층 파노라마 영상을 생성하는 제1-4 단계(S140)와,
파노라마 영상 생성 장치(20)가 생성된 단층 파노라마 영상에 대한 명도 그라데이션 보정을 하는 제1-5 단계(S150)와,
다른 단층 파노라마 영상 생성을 위해, 파노라마 영상 생성 장치(20)의 제어에 따라 감시 카메라(10)가 수평 방향 초기 위치로 복귀한 후, 수직 방향으로 설정 각도만큼 회전하는 제1-6 단계(S160)를 포함하되,
상기 각 단계를 반복하여 2개 이상의 단층 파노라마 영상을 생성하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 1,
In the first step (S100),
The surveillance camera 10 horizontally rotates under the control of the panoramic image generating device 20 to photograph the surveillance area and provides image information of the surveillance area to the panoramic image generating device 20 in units of frames. Step 1 (S110),
A first-second step (S120) in which the panoramic image generating apparatus 20 generates a unit image for horizontal matching using frame unit images;
1st to 3rd steps (S130) of correcting edge distortion for the unit images for horizontal registration generated by the panoramic image generating apparatus 20;
First to fourth steps (S140) of generating a tomographic panoramic image by horizontally matching unit images for horizontal registration, which have been processed for edge distortion correction, by the panoramic image generating apparatus 20;
First to fifth steps (S150) of performing brightness gradation correction on the tomographic panoramic image generated by the panoramic image generating apparatus 20;
In order to generate another tomographic panoramic image, steps 1 to 6 of rotating the surveillance camera 10 in the vertical direction by a set angle after returning to the initial position in the horizontal direction under the control of the panoramic image generating device 20 (S160) Including,
A method for generating a multilayer panoramic image for a surveillance area, characterized in that for generating two or more tomographic panoramic images by repeating each of the above steps.
 청구항 2에 있어서,
상기 제1-2 단계(S120)는,
프레임 단위 영상들이 파노라마 영상 생성 장치(20)에 수신된 수신 시간을 파악하여, 수신 시간 지연이 발생한 프레임 단위 영상을 파악하는 제1-2-1 단계(S121)와,
수신 시간 지연이 발생하지 않은 프레임 단위 영상들에 대해서는 사전 저장된 영상 추출 프로그램에 따라 제1 영상 영역을 프레임 단위 영상에서 추출해 수평 정합용 단위 영상을 생성하고, 수신 시간 지연이 발생한 프레임 단위 영상들에 대해서는 사전 저장된 영상 추출 프로그램에 따라 제2 영상 영역을 프레임 단위 영상에서 추출해 수평 정합용 단위 영상을 생성하는 제1-2-2 단계(S122)를 포함하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 2,
In the first-second step (S120),
A 1-2-1 step (S121) of identifying the frame-by-frame images at which the reception time delay occurs by determining the reception time at which the frame-by-frame images are received by the panoramic image generating device 20;
For frame unit images in which reception time delay does not occur, a unit image for horizontal matching is generated by extracting the first image area from frame unit images according to a pre-stored image extraction program, and for frame unit images in which reception time delay occurs 1-2-2 step (S122) of generating a unit image for horizontal matching by extracting a second image area from a frame unit image according to a pre-stored image extraction program; method.
 청구항 3에 있어서,
상기 제1-2-2 단계(S122)에서,
상기 제1 영상 영역은,
수신 시간 지연이 발생하지 않은 프레임 단위 영상의 중앙을 기준으로 수평 방향으로 제1 폭을 갖되, 제1 폭은 감시 카메라(10)의 수평 방향 회전 속도에 비례해 증가하거나 감소하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 3,
In the 1-2-2 step (S122),
The first image area,
Surveillance characterized in that it has a first width in the horizontal direction based on the center of the frame unit image in which the reception time delay does not occur, and the first width increases or decreases in proportion to the rotation speed of the surveillance camera 10 in the horizontal direction. A method for generating a multilayer panoramic image for a region.
 청구항 3에 있어서,
상기 제1-2-2 단계(S122)에서,
상기 제2 영상 영역은,
수신 시간 지연이 발생한 프레임 단위 영상의 중앙을 기준으로 수평 방향으로 제2 폭을 갖되, 제2 폭은 제1 영상 영역의 제1 폭보다 크되, 제1 폭에 비해 커지는 정도는 수신 지연 시간에 비례하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 3,
In the 1-2-2 step (S122),
The second image area,
It has a second width in the horizontal direction based on the center of the frame unit image in which the reception time delay occurs, the second width is larger than the first width of the first image area, and the degree of increase compared to the first width is proportional to the reception delay time. A method for generating a multilayer panoramic image for a surveillance area, characterized in that for doing.
 청구항 2에 있어서,
상기 제1-3 단계(S130)는,
수평 정합용 단위 영상의 상단/중간/하단에 각각 왜곡 보정계수를 적용해 수평 정합용 단위 영상들의 테두리 왜곡을 보정 하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 2,
In the 1-3 steps (S130),
A method for generating a multi-layered panoramic image for a surveillance area, characterized by correcting edge distortion of unit images for horizontal registration by applying a distortion correction coefficient to the top/middle/bottom of the unit images for horizontal registration, respectively.
 청구항 2에 있어서,
상기 제1-4 단계(S140)는,
수신 시간 지연이 발생한 프레임 단위 영상에서 추출된 수평 정합용 단위 영상과 수신 시간 지연이 발생한 프레임 단위 영상에 후속하는 프레임 단위 영상에서 추출된 수평 정합용 단위 영상의 수평 방향 정합은 중첩(오버랩) 영역이 있도록 하는 정합인 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 2,
In the first to fourth steps (S140),
Horizontal matching between a unit image for horizontal matching extracted from a frame-by-frame image with a reception time delay and a unit image for horizontal matching extracted from a frame-by-frame image following the frame-by-frame image with a reception time delay has an overlap (overlap) area. A method for generating a multilayer panoramic image for a surveillance area, characterized in that the matching to allow.
 청구항 2에 있어서,
상기 제1-5 단계(S150)에서의 명도 그라데이션 보정은,
수평 정합으로 상호 인접한 2개의 수평 정합용 단위 영상의 정합 부분의 명도는 수평 정합한 2개의 수평 정합용 단위 영상의 각 명도의 평균 명도가 되도록 하고,
수평 정합으로 상호 인접한 2개의 수평 정합용 단위 영상 중, 명도가 상대적으로 높은 수평 정합용 단위 영상은 정합 부분으로 갈수록 명도가 점차 낮아져 정합 부분에서 평균 명도가 되도록 하고,
수평 정합으로 상호 인접한 2개의 수평 정합용 단위 영상 중, 명도가 상대적으로 낮은 수평 정합용 단위 영상은 정합 부분으로 갈수록 명도가 점차 높아져 정합 부분에서 평균 명도가 되도록 하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 2,
The lightness gradation correction in steps 1-5 (S150),
In horizontal matching, the brightness of the matching part of two adjacent unit images for horizontal matching is the average brightness of each brightness of the two horizontally matching unit images for horizontal matching,
Among two horizontal matching unit images adjacent to each other by horizontal matching, the horizontal matching unit image having a relatively high brightness gradually decreases in brightness toward the matching portion so that it becomes an average brightness in the matching portion,
Among the two horizontal matching unit images adjacent to each other by horizontal matching, the unit image for horizontal matching having a relatively low brightness gradually increases in brightness toward the matching portion so that it becomes an average brightness in the matching portion. How to create a panoramic image.
 삭제delete 청구항 1에 있어서,
상기 제2-1 단계(S210)는,
수직 정합할 2개의 단층 파노라마 영상 중, 상측 단층 파노라마 영상의 제1 영역과 하측 단층 파노라마 영상의 제2 영역에 복수의 수직 정합용 특징점(feature point)들이 공유되고 있는지를 파악하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 1,
In the 2-1 step (S210),
Surveillance characterized by determining whether a plurality of feature points for vertical matching are shared in a first region of an upper tomographic panoramic image and a second region of a lower tomographic panoramic image among two tomographic panoramic images to be vertically matched A method for generating a multilayer panoramic image for a region.
 청구항 1에 있어서,
상기 제2-2 단계(S220)는,
수직 정합 전, 수직 정합할 2개의 단층 파노라마 영상 중, 상측 단층 파노라마 영상의 제1 영역과 하측 단층 파노라마 영상의 제2 영역의 명도를 수직 정합할 2개의 단층 파노라마 영상의 각 명도의 평균 명도가 되도록 하는 명도 블렌딩을 하는 것을 특징으로 하는 감시 지역에 대한 복층 파노라마 영상 생성 방법.
The method of claim 1,
In the 2-2 step (S220),
Before vertical matching, the brightness of the first region of the upper tomographic panoramic image and the second region of the lower tomographic panoramic image among the two tomographic panoramic images to be vertically matched become the average brightness of each brightness of the two tomographic panoramic images to be vertically matched. A method for generating a multilayer panoramic image for a surveillance area, characterized in that for brightness blending.
KR1020230006079A 2023-01-16 2023-01-16 A making method of big landscape photographs using multiple image panoramas about an area of surveillance KR102552326B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230006079A KR102552326B1 (en) 2023-01-16 2023-01-16 A making method of big landscape photographs using multiple image panoramas about an area of surveillance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230006079A KR102552326B1 (en) 2023-01-16 2023-01-16 A making method of big landscape photographs using multiple image panoramas about an area of surveillance

Publications (1)

Publication Number Publication Date
KR102552326B1 true KR102552326B1 (en) 2023-07-06

Family

ID=87186035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230006079A KR102552326B1 (en) 2023-01-16 2023-01-16 A making method of big landscape photographs using multiple image panoramas about an area of surveillance

Country Status (1)

Country Link
KR (1) KR102552326B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130028022A (en) * 2011-09-08 2013-03-18 가시오게산키 가부시키가이샤 An image processing device, an image processing method, and a recording medium
KR101677561B1 (en) 2010-12-08 2016-11-18 한국전자통신연구원 Image registration device and image registration method thereof
KR101692227B1 (en) 2015-08-18 2017-01-03 광운대학교 산학협력단 A panorama image generation method using FAST algorithm
KR20190124406A (en) * 2018-04-26 2019-11-05 주식회사 텐앤투 Wide angle image providing method and system
KR102138333B1 (en) 2019-05-28 2020-07-27 한화테크윈 주식회사 Apparatus and method for generating panorama image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677561B1 (en) 2010-12-08 2016-11-18 한국전자통신연구원 Image registration device and image registration method thereof
KR20130028022A (en) * 2011-09-08 2013-03-18 가시오게산키 가부시키가이샤 An image processing device, an image processing method, and a recording medium
KR101692227B1 (en) 2015-08-18 2017-01-03 광운대학교 산학협력단 A panorama image generation method using FAST algorithm
KR20190124406A (en) * 2018-04-26 2019-11-05 주식회사 텐앤투 Wide angle image providing method and system
KR102138333B1 (en) 2019-05-28 2020-07-27 한화테크윈 주식회사 Apparatus and method for generating panorama image

Similar Documents

Publication Publication Date Title
WO2018201809A1 (en) Double cameras-based image processing device and method
US10609282B2 (en) Wide-area image acquiring method and apparatus
US9706118B2 (en) Omnistereo imaging
US9934615B2 (en) Transition between binocular and monocular views
US10713820B2 (en) System and method for adjusting brightness in multiple images
EP2571261B1 (en) Method and device for multi-camera image calibration
US20100194902A1 (en) Method for high dynamic range imaging
US10728529B2 (en) Synchronization of frame captures from multiple cameras with different fields of capture
JP2014241584A (en) Image processing method and image processing system
US20090185056A1 (en) Electronic camera
US9185389B2 (en) Imaging device and imaging method
WO2017059620A1 (en) Image processing method and device for led display screen
EP2323102A1 (en) Image capturing aid
US10805534B2 (en) Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system
CN110944101A (en) Image pickup apparatus and image recording method
JP2002077947A (en) Method for correcting stereoscopic image and stereoscopic image apparatus using the same
US6525770B1 (en) Image pickup device and method, image pickup system, image information providing device and method, video data processing device and method, and transmission medium
US8731327B2 (en) Image processing system and image processing method
CN110276714B (en) Method and device for synthesizing rapid scanning panoramic image
KR102552326B1 (en) A making method of big landscape photographs using multiple image panoramas about an area of surveillance
WO2018105097A1 (en) Image synthesis device, image synthesis method, and image synthesis program
JP2004096488A (en) Object detection apparatus, object detection method and object detection program
CN112102168A (en) Image splicing method and system based on multiple threads
WO2023036218A1 (en) Method and apparatus for determining width of viewpoint
EP3605450B1 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant