KR102223335B1 - Server, method and computer program for generating normalized video - Google Patents

Server, method and computer program for generating normalized video Download PDF

Info

Publication number
KR102223335B1
KR102223335B1 KR1020180101743A KR20180101743A KR102223335B1 KR 102223335 B1 KR102223335 B1 KR 102223335B1 KR 1020180101743 A KR1020180101743 A KR 1020180101743A KR 20180101743 A KR20180101743 A KR 20180101743A KR 102223335 B1 KR102223335 B1 KR 102223335B1
Authority
KR
South Korea
Prior art keywords
image
area
marker
markers
feature
Prior art date
Application number
KR1020180101743A
Other languages
Korean (ko)
Other versions
KR20200025019A (en
Inventor
조지은
신형철
천왕성
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020180101743A priority Critical patent/KR102223335B1/en
Publication of KR20200025019A publication Critical patent/KR20200025019A/en
Application granted granted Critical
Publication of KR102223335B1 publication Critical patent/KR102223335B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

정규화 영상을 생성하는 서버는 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 영상 수신부, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 검출부, 상기 각 마커의 제 2 특징 영역을 분석하는 분석부, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하는 생성부를 포함한다. The server for generating the normalized image includes an image receiving unit configured to receive an image of the target place in which at least three markers are arranged by a camera installed at the target place, and a control for each of the markers based on the respective markers in the received image. 1 A detection unit that detects a characteristic area and detects a second characteristic area located within the detected first characteristic area, an analysis unit that analyzes the second characteristic area of each marker, and based on the analyzed second characteristic area And a generator configured to generate a planar image of the target location and generate a normalized image from the planar image.

Description

정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램{SERVER, METHOD AND COMPUTER PROGRAM FOR GENERATING NORMALIZED VIDEO}Server, method and computer program for generating normalized video {SERVER, METHOD AND COMPUTER PROGRAM FOR GENERATING NORMALIZED VIDEO}

본 발명은 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a server, a method, and a computer program for generating a normalized image.

타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다. The time slice technique means that a plurality of cameras are installed facing the subject at various angles and taken instantaneously at the same time, and then the still motions of the subject appear as if they were taken with a movie camera by connecting the pictures using a computer. It refers to the video technique to do. Time slice not only can describe the subject in three dimensions, but also provides a feeling that transcends time and space.

이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다. With respect to such a time slice technique, Korean Patent Publication No. 2007-0000994, which is a prior art, discloses a system and method for recording and reproducing an image.

타임 슬라이스 영상을 제공하기 위해서는 카메라의 포즈를 추정하는 작업을 필요로 한다. 종래에는 사각형 패턴 또는 원형 패턴과 같은 패턴을 이용하여 카메라의 포즈를 추정하였다. 그러나 넓은 면적의 장소에서 카메라의 포즈를 추정하는 경우, 패턴이 넓은 영역을 포괄하도록 설치하는데 어려움이 따르며, 넓은 면적에 의해 카메라와 지면이 수직으로 촬영된 영상을 획득하기 어려워 카메라 포즈 추정에 오류가 발생한다는 문제점을 가지고 있다. In order to provide a time slice image, it is necessary to estimate the pose of the camera. Conventionally, the pose of the camera was estimated using a pattern such as a square pattern or a circular pattern. However, when estimating the pose of the camera in a large area, it is difficult to install the pattern so that it covers a large area, and it is difficult to obtain an image taken vertically between the camera and the ground due to the large area, which causes errors in estimating the camera pose. It has a problem that it occurs.

마커를 인식하는 방법을 통해 카메라의 이동에 따른 포즈를 쉽고 정확도 높게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다. An object of the present invention is to provide a server, a method, and a computer program for generating a normalized image that enables easy and accurate estimation of a pose according to a camera movement through a method of recognizing a marker.

하나의 마커 디자인을 이용하여 각각의 장소에 마커 디자인을 회전 배치 하여 설치함으로써, 촬영 환경에 따라 색상값 변경 등을 통해 다양한 상황에 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.A server, method, and computer program that generates normalized images that can be applied to various situations by changing color values according to the shooting environment by rotating and installing marker designs in each place using a single marker design. I want to provide.

타임 슬라이스 영상 촬영 시스템, 전역적 증강 현실, 감시 시스템과 같이 다양한 영상 응용 시스템에서 카메라 포즈 추정을 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.An object of the present invention is to provide a server, a method, and a computer program for generating a normalized image that enables camera pose estimation to be applied in various image application systems such as a time slice image capture system, global augmented reality, and surveillance system.

넓은 면적의 장소에 설치된 카메라에 대해 포즈를 쉽고 정확하게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공하고자 한다.It is intended to provide a server, a method and a computer program for generating a normalized image that enables easy and accurate estimation of a pose for a camera installed in a large area.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. However, the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 영상 수신부, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 검출부, 상기 각 마커의 제 2 특징 영역을 분석하는 분석부, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하는 생성부를 포함하는 정규화 서버를 제공할 수 있다. As a means for achieving the above-described technical problem, an embodiment of the present invention provides an image receiving unit for receiving an image photographed of the target place in which at least three markers are arranged by a camera installed at the target place, and in the received image A detection unit that detects a first feature region for each marker based on the respective markers, detects a second feature region located within the detected first feature region, and analyzes a second feature region of each marker Second, a normalization server including a generator configured to generate a planar image of the target place based on the analyzed second feature region and generate a normalized image from the planar image may be provided.

본 발명의 다른 실시예는, 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 단계, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 단계, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 단계, 상기 각 마커의 제 2 특징 영역을 분석하는 단계, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하는 단계, 상기 평면 영상으로부터 정규화 영상을 생성하는 단계를 포함하는 정규화 영상 생성 방법을 제공할 수 있다. Another embodiment of the present invention is the step of receiving, by a camera installed at the target place, an image photographed of the target place in which at least three markers are disposed, and a selection for each marker based on the respective markers in the received image. 1 detecting a feature region, detecting a second feature region located within the detected first feature region, analyzing a second feature region of each marker, based on the analyzed second feature region It is possible to provide a normalized image generation method including generating a planar image for the target place and generating a normalized image from the planar image.

본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하고, 상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하고, 상기 각 마커의 제 2 특징 영역을 분석하고, 상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다. In another embodiment of the present invention, when the computer program is executed by a computing device, a camera installed at the target place receives an image photographing the target place in which at least three markers are arranged, and Based on a marker, a first feature region for each marker is detected, a second feature region located within the detected first feature region is detected, a second feature region of each marker is analyzed, and the analyzed A computer program stored in a medium including a sequence of instructions for generating a planar image of the target location based on the second feature area and generating a normalized image from the planar image may be provided.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present invention. In addition to the above-described exemplary embodiments, there may be additional embodiments described in the drawings and detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 마커를 인식하는 방법을 통해 카메라의 이동에 따른 포즈를 쉽고 정확도 높게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. According to any one of the above-described problem solving means of the present invention, it is possible to provide a server, a method, and a computer program for generating a normalized image allowing easy and accurate estimation of a pose according to movement of a camera through a method of recognizing a marker I can.

하나의 마커 디자인을 이용하여 각각의 장소에 마커 디자인을 회전 배치 하여 설치함으로써, 촬영 환경에 따라 색상값 변경 등을 통해 다양한 상황에 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. A server, method, and computer program that generates normalized images that can be applied to various situations by changing color values according to the shooting environment by rotating and installing marker designs in each place using a single marker design. Can provide.

타임 슬라이스 영상 촬영 시스템, 전역적 증강 현실, 감시 시스템과 같이 다양한 영상 응용 시스템에서 카메라 포즈 추정을 적용할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. It is possible to provide a server, a method, and a computer program for generating a normalized image that enables camera pose estimation to be applied in various image application systems such as a time slice image capturing system, a global augmented reality, and a surveillance system.

넓은 면적의 장소에 설치된 카메라에 대해 포즈를 쉽고 정확하게 추정할 수 있도록 하는 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램을 제공할 수 있다. It is possible to provide a server, a method, and a computer program for generating a normalized image that enables easy and accurate estimation of a pose for a camera installed in a large area.

도 1은 본 발명의 일 실시예에 따른 정규화 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 정규화 서버의 구성도이다.
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 정규화 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 정규화 서버에서 정규화 영상을 생성하는 방법의 순서도이다. 1 is a block diagram of a normalization system according to an embodiment of the present invention.
2 is a block diagram of a normalization server according to an embodiment of the present invention.
3A to 3D are exemplary diagrams for explaining a process of generating a normalized image according to an embodiment of the present invention.
4 is a flowchart of a method of generating a normalized image in a normalization server according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included, and one or more other features, not excluding other components, unless specifically stated to the contrary. It is to be understood that it does not preclude the presence or addition of any number, step, action, component, part, or combination thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In the present specification, the term "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized by using two or more hardware, or two or more units may be realized by one piece of hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or device may be performed instead in a server connected to the terminal or device. Likewise, some of the operations or functions described as being performed by the server may also be performed by a terminal or device connected to the server.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 정규화 시스템의 구성도이다. 도 1을 참조하면, 정규화 시스템(1)은 카메라(110) 및 정규화 서버(120)를 포함할 수 있다. 카메라(110) 및 정규화 서버(120)는 정규화 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다. 1 is a block diagram of a normalization system according to an embodiment of the present invention. Referring to FIG. 1, the normalization system 1 may include a camera 110 and a normalization server 120. The camera 110 and the normalization server 120 exemplarily show components that can be controlled by the normalization system 1.

도 1의 정규화 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 카메라(110)는 정규화 서버(120)와 동시에 또는 시간 간격을 두고 연결될 수 있다. Each component of the normalization system 1 of FIG. 1 is generally connected through a network. For example, as shown in FIG. 1, the camera 110 may be connected to the normalization server 120 at the same time or at a time interval.

네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다. A network refers to a connection structure that enables information exchange between nodes such as terminals and servers, and is a local area network (LAN), a wide area network (WAN), and the Internet (WWW: World). Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television networks, etc. Examples of wireless data networks include 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), Wi-Fi, Bluetooth communication, infrared communication, and ultrasound. Communication, Visible Light Communication (VLC), LiFi, and the like are included, but are not limited thereto.

카메라(110)는 대상 장소(100)에 설치되어 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영할 수 있다. 여기서, 대상 장소(100)는 넓은 면적의 스포츠 경기장, 공연장 등일 수 있다. The camera 110 may be installed in the target place 100 to photograph the target place 100 on which at least three markers are disposed. Here, the target place 100 may be a large sports stadium, performance hall, or the like.

정규화 서버(120)는 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신할 수 있다. The normalization server 120 may receive an image captured by the camera 110 installed in the target place 100 of the target place 100 in which at least three markers are disposed.

정규화 서버(120)는 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출하고, 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출할 수 있다.The normalization server 120 may detect a first feature region for each marker based on each marker in the received image and detect a second feature region located within the detected first feature region.

각 마커는 적어도 하나의 색으로 구성된 테두리 영역을 포함할 수 있다. 예를 들어, 정규화 서버(120)는 기설정된 색 모델에 기초하여 수신한 영상으로부터 각 마커의 테두리 영역을 검출하고, 검출된 각 마커의 테두리 영역을 이용하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. Each marker may include a border area composed of at least one color. For example, the normalization server 120 detects a border area of each marker from an image received based on a preset color model, and detects a first feature area for each marker using the detected border area of each marker. can do.

각 마커는 패턴 영역을 더 포함할 수 있다. 여기서, 각 마커의 패턴 영역은 적어도 둘 이상으로 분할된 내부 영역(예를 들어, 4분할된 내부 영역)으로 구성되고, 각 내부 영역은 2 진 코드화된 것일 수 있다. 이 때, 각 마커의 내부 영역은 대상 장소(100)에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있는 것일 수 있다. 다른 예를 들어, 각 마커의 패턴 영역은 경계선을 기준으로 2 분할된 원 형상의 내부 영역으로 구성될 수 있다. 이 때, 각 마커는 경계선이 대상 장소의 경계에 대한 접선과 각도가 일치하도록 배치될 수 있다. Each marker may further include a pattern area. Here, the pattern area of each marker is composed of an inner area divided into at least two or more (eg, an inner area divided into four), and each inner area may be binary coded. In this case, the inner region of each marker may be binary coded differently from each other in a clockwise or counterclockwise order for each marker disposed on the target place 100. For another example, the pattern area of each marker may be composed of a circular inner area divided into two based on a boundary line. In this case, each of the markers may be arranged such that the boundary line coincides with the tangent line with respect to the boundary of the target place.

정규화 서버(120)는 검출된 제 1 특징 영역으로부터 테두리 영역을 제외시켜 패턴 영역에 해당하는 제 2 특징 영역을 검출할 수 있다. The normalization server 120 may detect the second feature region corresponding to the pattern region by excluding the edge region from the detected first feature region.

정규화 서버(120)는 각 마커의 제 2 특징 영역을 분석할 수 있다. 예를 들어, 정규화 서버(120)는 제 2 특징 영역으로 검출된 각 마커의 패턴 영역을 분석할 수 있다. The normalization server 120 may analyze the second feature region of each marker. For example, the normalization server 120 may analyze the pattern area of each marker detected as the second feature area.

정규화 서버(120)는 각 마커의 패턴 영역을 분석하여 각 마커에 대해 인덱싱할 수 있다. The normalization server 120 may index each marker by analyzing the pattern region of each marker.

정규화 서버(120)는 분석된 제 2 특징 영역에 기초하여 대상 장소에 대한 평면 영상을 생성하고, 평면 영상으로부터 정규화 영상을 생성할 수 있다. The normalization server 120 may generate a planar image for a target location based on the analyzed second feature region, and may generate a normalized image from the planar image.

정규화 서버(120)는 인덱싱된 각 마커의 중심점을 대상 장소(100)의 지면의 꼭지점 좌표와 대응시켜 평면 영상을 생성하고, 평면 영상을 와핑(warping)하여 정규화 영상을 생성할 수 있다. The normalization server 120 may generate a plane image by matching the center point of each indexed marker with the coordinates of the vertex of the ground of the target place 100 and generate a normalized image by warping the plane image.

정규화 서버(120)는 대상 장소(100)에 설치된 다른 카메라로부터 촬영된 대상 장소(100)에 대한 영상과 정규화 영상에 기초하여 다른 카메라에 대한 포즈 정보를 추정할 수 있다. 예를 들어, 정규화 서버(120)는 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점 매칭을 수행하여 연산된 매칭된 특징점에 대한 변환 매트릭스를 통해 다른 카메라에 대한 포즈 정보를 추정할 수 있다.The normalization server 120 may estimate pose information for another camera based on an image of the target place 100 photographed from another camera installed in the target place 100 and a normalized image. For example, the normalization server 120 may estimate pose information for another camera through a transformation matrix for the matched feature points calculated by performing feature point matching between the image for the target place 100 and the normalized image.

도 2는 본 발명의 일 실시예에 따른 정규화 서버의 구성도이다. 도 2를 참조하면, 정규화 서버(120)는 영상 수신부(210), 검출부(220), 분석부(230), 생성부(240) 및 추정부(250)를 포함할 수 있다. 2 is a block diagram of a normalization server according to an embodiment of the present invention. Referring to FIG. 2, the normalization server 120 may include an image receiving unit 210, a detection unit 220, an analysis unit 230, a generation unit 240, and an estimation unit 250.

영상 수신부(210)는 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신할 수 있다. 여기서, 적어도 세 개의 마커는 동일 패턴이 인쇄된 다각형 또는 원형의 기구물로 대상 장소(100)의 모서리에 패턴의 회전 순서에 따라 배치될 수 있다. The image receiving unit 210 may receive an image captured by the camera 110 installed in the target place 100 of the target place 100 on which at least three markers are disposed. Here, the at least three markers are polygonal or circular fixtures on which the same pattern is printed, and may be disposed at the corners of the target place 100 according to the rotation order of the pattern.

검출부(220)는 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출하고, 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출할 수 있다. The detector 220 may detect a first feature region for each marker based on each marker in the received image, and detect a second feature region located within the detected first feature region.

검출부(220)는 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. 여기서, 각 마커는 적어도 하나의 색으로 구성된 테두리 영역을 포함하며, 각 마커의 테두리 영역의 색상은 촬영 환경에 따라 선택적으로 구성되되, 각 마커가 설치될 바닥면의 색상과 대비되는 색상으로 구성될 수 있다. The detection unit 220 may detect a first feature region for each marker based on each marker in the image. Here, each marker includes a border area composed of at least one color, and the color of the border area of each marker is selectively configured according to the shooting environment, and each marker is composed of a color contrasting with the color of the floor surface to be installed. I can.

검출부(220)는 기설정된 색 모델에 기초하여 수신한 영상으로부터 각 마커의 테두리 영역을 검출할 수 있다. 예를 들어, 검출부(220)는 HSV(Hue Saturation Value) 색공간을 이용하여 'Hue' 영역을 테두리 영역의 범위로 제한하여 테두리 영역의 색상을 검출할 수 있다. The detection unit 220 may detect a border area of each marker from the received image based on a preset color model. For example, the detection unit 220 may detect the color of the border area by limiting the'Hue' area to the range of the border area using the Hue Saturation Value (HSV) color space.

여기서, 색상 정보를 이용하여 마커의 테두리 영역을 검출하는 이유는 대상 장소(100)에 설치된 카메라(110)가 기울어진 경우, 카메라(110)로부터 수신한 영상에서 특징 정보의 왜곡, 영상 열화 등이 발생되어 테두리 영역의 검출이 어렵게 된다. 따라서, 외부 환경의 변화에도 강인해지도록 명확한 색상 정보를 이용하여 쉽고 정확하게 테두리 영역을 추정하기 위함이다. Here, the reason for detecting the border area of the marker using color information is that when the camera 110 installed in the target place 100 is tilted, distortion of feature information and image deterioration in the image received from the camera 110 This makes it difficult to detect the edge area. Therefore, it is to easily and accurately estimate the border area by using clear color information so as to become robust against changes in the external environment.

검출부(220)는 검출된 각 마커의 테두리 영역을 이용하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. 여기서, 제 1 특징 영역은 검출된 테두리 영역이 모폴로지 과정을 거쳐 빈 영역을 클로징하여 테두리 내부까지 포함되도록 각 연결 성분들이 라벨링된 것일 수 있다. 이 때, 라벨링 작업을 통해 각 테두리 영역에 인덱스가 부여될 수 있다. The detection unit 220 may detect the first feature area for each marker by using the detected edge area of each marker. Here, the first feature region may be a label in which each of the connecting components is labeled so that the detected edge area is included in the border by closing the blank area through a morphology process. In this case, an index may be assigned to each border area through a labeling operation.

검출부(220)는 검출된 제 1 특징 영역으로부터 테두리 영역을 제외시켜 패턴 영역에 해당하는 제 2 특징 영역을 검출할 수 있다. 여기서, 각 마커는 패턴 영역을 더 포함할 수 있다. 예를 들어, 각 마커의 패턴 영역은 적어도 둘 이상으로 분할된 다각형의 내부 영역으로 구성되고, 각 내부 영역은 2 진 코드화된 것일 수 있다. 다른 예를 들어, 각 마커의 패턴 영역은 경계선을 기준으로 2 분할된 원 형상의 내부 영역으로 구성될 수 있다. 각 마커는 경계선이 대상 장소의 경계에 대한 접선과 각도가 일치하도록 배치될 수 있다. The detection unit 220 may detect a second characteristic region corresponding to the pattern region by excluding the edge region from the detected first characteristic region. Here, each marker may further include a pattern area. For example, the pattern area of each marker may be composed of a polygonal inner area divided into at least two or more, and each inner area may be binary coded. For another example, the pattern area of each marker may be composed of a circular inner area divided into two based on a boundary line. Each marker may be arranged such that the boundary line coincides with the tangent line to the boundary of the target place.

분석부(230)는 각 마커의 제 2 특징 영역을 분석할 수 있다. 예를 들어, 분석부(230)는 검출부(220)에서 제 2 특징 영역으로 검출된 각 마커의 패턴 영역을 분석할 수 있다. 분석부(230)는 각 마커의 패턴 영역을 분석하여 각 마커에 대해 인덱싱할 수 있다. The analysis unit 230 may analyze the second feature region of each marker. For example, the analysis unit 230 may analyze the pattern area of each marker detected by the detection unit 220 as the second feature area. The analysis unit 230 may index each marker by analyzing the pattern region of each marker.

각 마커의 패턴 영역은 4 분할된 내부 영역으로 구성될 수 있다. 각 마커의 내부 영역은 대상 장소(100)에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화될 수 있다. 예를 들어, 각 마커의 내부 영역은 검정 영역과 흰 영역으로 구성될 수 있으며, 검정 영역은 '0'값을 가지고, 흰 영역은 '1'값으로 하여 각 마커당 4자리의 코드로 인덱싱될 수 있다. 이를 통해, 최대 16개의 코드가 가능하며, 최대 16각형의 평면까지 추정할 수 있다. 예를 들어, 각 마커가 이진 코드화된 정사각형의 내부 영역이 균등하게 4분할되어 시계 방향으로 코드화된 경우, 좌상은 '1001', '우상은 '1100', 좌하는 '0011', 우하는 '0011'로 정의될 수 있다. 각 마커에 2 진 코드화를 하는 이유는 생성부(240)에서 평면 영상에 대한 와핑 처리 시에 와핑 오류의 발생을 방지하기 위함이다.The pattern area of each marker may be composed of 4 divided inner areas. The inner region of each marker may be binary coded differently in a clockwise or counterclockwise order for each marker disposed on the target place 100. For example, the inner area of each marker may be composed of a black area and a white area, and the black area has a value of '0' and the white area has a value of '1' to be indexed with a 4-digit code for each marker. I can. Through this, a maximum of 16 codes are possible, and a maximum of a hexagonal plane can be estimated. For example, if the inner area of a square in which each marker is binary-coded is equally divided into four and coded in a clockwise direction, the upper left is '1001', the upper right is '1100', the left is '0011', and the right is '0011. Can be defined as'. The reason why each marker is binary coded is to prevent occurrence of a warping error when the generation unit 240 warps the planar image.

생성부(240)는 분석된 제 2 특징 영역에 기초하여 대상 장소에 대한 평면 영상을 생성하고, 평면 영상으로부터 정규화 영상을 생성할 수 있다. 예를 들어, 생성부(240)는 인덱싱된 각 마커의 중심점을 대상 장소(100)의 지면의 꼭지점 좌표와 대응시켜 평면 영상을 생성하고, 평면 영상을 와핑(warping)하여 정규화 영상을 생성할 수 있다. 이를 통해, 생성부(240)는 카메라(110)의 중심과 수직이며, 카메라(110)의 중심을 지나는 공간의 좌표축인 주축의 값이 '0'에 위치한 정규화 영상을 생성할 수 있다. The generator 240 may generate a planar image of the target location based on the analyzed second feature region, and may generate a normalized image from the planar image. For example, the generation unit 240 may generate a plane image by matching the center point of each indexed marker with the coordinates of the vertex of the ground of the target place 100, and generate a normalized image by warping the plane image. have. Through this, the generator 240 may generate a normalized image in which a value of a main axis, which is a coordinate axis of a space passing through the center of the camera 110 and perpendicular to the center of the camera 110, is at '0'.

정규화 영상은 2차원 영상을 3차원 공간으로 변환한 실세계 좌표계 영상으로, 영상을 기준으로 입력되는 새 프레임의 특징 좌표를 동차 좌표계로 전환함으로써, 매칭된 정규화 영상의 좌표값을 획득하고, 연산을 통해 크기, 회전, 비틀림, 이동 등을 포함하는 행렬을 획득할 수 있게 된다. The normalized image is a real-world coordinate system image obtained by converting a two-dimensional image into a three-dimensional space, and by converting the feature coordinates of a new frame input based on the image into a homogeneous coordinate system, the coordinate values of the matched normalized image are obtained, and It is possible to obtain a matrix including size, rotation, twist, and movement.

추정부(250)는 대상 장소(100)에 설치된 다른 카메라(115)로부터 촬영된 대상 장소(100)에 대한 영상과 정규화 영상에 기초하여 다른 카메라(115)에 대한 포즈 정보를 추정할 수 있다. 예를 들어, 추정부(250)는 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점 매칭을 수행하여 연산된 매칭된 특징점에 대한 변환 매트릭스를 통해 다른 카메라(115)에 대한 포즈 정보를 추정할 수 있다. 이 때, 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점 매칭이 어려운 경우, 다중 카메라를 통해 대상 장소(100)에 배치된 각 마커를 촬영하여 특징점을 추정하여 대상 장소(100)에 대한 영상과 정규화 영상 간의 특징점을 매칭시킬 수 있다. The estimating unit 250 may estimate the pose information for the other camera 115 based on the image of the target place 100 and the normalized image captured from the other camera 115 installed in the target place 100. For example, the estimating unit 250 may perform feature point matching between the image for the target place 100 and the normalized image to estimate the pose information for the other camera 115 through a transformation matrix for the matched feature point calculated. I can. At this time, when it is difficult to match the feature points between the image for the target place 100 and the normalized image, each marker disposed on the target place 100 is photographed through multiple cameras to estimate the feature points to obtain an image for the target place 100. The feature points between the and normalized images can be matched.

이러한 정규화 서버(120)는 정규화 영상을 생성하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신하고, 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출하고, 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하고, 각 마커의 제 2 특징 영역을 분석하고, 분석된 제 2 특징 영역에 기초하여 대상 장소(100)에 대한 평면 영상을 생성하고, 평면 영상으로부터 정규화 영상을 생성하도록 하는 명령어들의 시퀀스를 포함할 수 있다. The normalization server 120 may be executed by a computer program stored in a medium including a sequence of instructions for generating a normalized image. When the computer program is executed by a computing device, the camera 110 installed in the target place 100 receives an image of the target place 100 in which at least three markers are placed, and is based on each marker in the received image. To detect a first feature region for each marker, detect a second feature region located within the detected first feature region, analyze a second feature region of each marker, and based on the analyzed second feature region A sequence of commands for generating a planar image for the target place 100 and generating a normalized image from the planar image may be included.

도 3a 내지 도 3d는 본 발명의 일 실시예에 따른 정규화 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다. 3A to 3D are exemplary diagrams for explaining a process of generating a normalized image according to an embodiment of the present invention.

도 3a는 본 발명의 일 실시예에 따른 대상 장소에 설치된 카메라를 통해 마커가 배치된 대상 장소를 촬영하는 과정을 설명하기 위한 예시적인 도면이다. 도 3a를 참조하면, 대상 장소(100)에 설치된 카메라(110)는 4개의 마커(300)가 배치된 대상 장소(100)를 촬영할 수 있다. 3A is an exemplary diagram for explaining a process of photographing a target place on which a marker is placed through a camera installed at the target place according to an embodiment of the present invention. Referring to FIG. 3A, the camera 110 installed in the target place 100 may photograph the target place 100 on which the four markers 300 are disposed.

4개의 마커(300)는 하나의 마커(301)가 동일한 패턴으로 인쇄된 정사각형의 기구물로, 대상 장소(100)의 모서리 위치에 각각 회전되어 순서에 따라 배치될 수 있다. The four markers 300 are square fixtures in which one marker 301 is printed in the same pattern, and may be rotated at the corners of the target place 100 and disposed in order.

도 3b는 본 발명의 일 실시예에 따른 사각형 형태의 마커로부터 패턴 영역을 분석하여 인덱싱하는 과정을 설명하기 위한 예시적인 도면이다. 도 3b를 참조하면, 사각형 형태의 마커(310)는 붉은색으로 구성된 테두리 영역(311)을 포함하고, 검정색과 흰색으로 구성된 패턴 영역(312)을 포함할 수 있다. 이 때, 패턴 영역(312)은 4개로 분할된 내부 영역으로 구성될 수 있으며, 각 내부 영역은 2진 코드화될 수 있다. 예를 들어, 내부 영역 중 검정 영역은 '0'값을 가지고, 흰 영역은 '1'값을 가질 수 있다. 3B is an exemplary diagram for explaining a process of analyzing and indexing a pattern area from a rectangular marker according to an embodiment of the present invention. Referring to FIG. 3B, the marker 310 having a square shape may include a border area 311 configured in red and a pattern area 312 configured in black and white. In this case, the pattern area 312 may be composed of an inner area divided into four, and each inner area may be binary coded. For example, a black area among the inner areas may have a value of '0', and a white area may have a value of '1'.

정규화 서버(120)는 기설정된 색 모델에 기초하여 사각형 형태의 마커(310)의 테두리 영역(311)을 검출하고, 검출된 사각형 형태의 테두리 영역(311)을 이용하여 사각형 형태의 마커(310)에 대한 제 1 특징 영역을 검출할 수 있다. The normalization server 120 detects the border area 311 of the rectangular-shaped marker 310 based on a preset color model, and uses the detected rectangular-shaped border area 311 to use the rectangular-shaped marker 310. It is possible to detect a first feature region for.

정규화 서버(120)는 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하여 분석할 수 있다. 예를 들어, 정규화 서버(120)는 제 1 특징 영역으로부터 테두리 영역(311)을 제외시켜 패턴 영역(312)에 해당하는 제 2 특징 영역을 검출할 수 있다. 이 때, 정규화 서버(120)는 사각형 형태의 마커(310)의 패턴 영역(312)을 분석하여 사각형 형태의 마커(310) 각각에 대해 인덱싱할 수 있다. The normalization server 120 may detect and analyze the second feature region located within the detected first feature region. For example, the normalization server 120 may detect the second feature region corresponding to the pattern region 312 by excluding the edge region 311 from the first feature region. In this case, the normalization server 120 may analyze the pattern area 312 of the square-shaped marker 310 and index each of the square-shaped markers 310.

예를 들어, 대상 장소(100)에 4개의 마커가 배치(320)된 경우, 정규화 서버(120)는 좌상(1001, 9), 우상(1100, 12), 우하(0110, 5), 우좌(0011, 3)로 사각형 마커 각각에 대해 인덱싱할 수 있다. For example, when four markers are arranged 320 in the target place 100, the normalization server 120 is the upper left (1001, 9), the upper right (1100, 12), the lower right (0110, 5), the right and left ( 0011, 3) can be indexed for each of the square markers.

다른 예를 들어, 대상 장소(100)에 6개의 마커가 배치(330)된 경우, 정규화 서버(120)는 제 1 마커(0000, 0), 제 2 마커(0001, 1), 제 3 마커(0010, 2), 제 4 마커(0011, 3), 제 5 마커(0100, 4), 제 6 마커(0101, 5)로 사각항 마커 각각에 대해 인덱싱할 수 있다. For another example, when six markers are placed 330 in the target place 100, the normalization server 120 includes a first marker (0000, 0), a second marker (0001, 1), and a third marker ( 0010, 2), the fourth markers (0011, 3), the fifth markers (0100, 4), and the sixth markers (0101, 5) can be indexed for each of the rectangular markers.

이를 통해, 최대 16개의 이진 코드를 통해, 최대 16각형의 평면까지 추정할 수 있다.Through this, through up to 16 binary codes, it is possible to estimate up to a hexagonal plane.

도 3c는 본 발명의 일 실시예에 따른 원형 형태의 마커로부터 패턴 영역을 분석하여 인덱싱하는 과정을 설명하기 위한 예시적인 도면이다. 도 3c를 참조하면, 원형 형태의 마커(340)는 붉은색으로 구성된 테두리 영역(341)을 포함하고, 검정색과 흰색으로 구성된 패턴 영역(342)을 포함할 수 있다. 이 때, 패턴 영역(342)은 2개로 분할된 내부 영역으로 구성될 수 있으며, 각 내부 영역은 2진 코드화될 수 있다. 예를 들어, 내부 영역 중 검정 영역은 '0'값을 가지고, 흰 영역은 '1'값을 가질 수 있다. 원형 형태의 마커(340)는 경계선이 대상 장소(100)의 경계에 대한 접선과 각도가 일치하도록 배치될 수 있다.3C is an exemplary diagram for explaining a process of analyzing and indexing a pattern area from a circular marker according to an embodiment of the present invention. Referring to FIG. 3C, the marker 340 in a circular shape may include a border area 341 configured in red, and a pattern area 342 configured in black and white. In this case, the pattern area 342 may be composed of an inner area divided into two, and each inner area may be binary coded. For example, a black area among the inner areas may have a value of '0', and a white area may have a value of '1'. The circular marker 340 may be arranged such that the boundary line coincides with a tangent line with respect to the boundary of the target place 100.

정규화 서버(120)는 기설정된 색 모델에 기초하여 원형 형태의 마커(340)의 테두리 영역(341)을 검출하고, 검출된 테두리 영역(341)을 이용하여 원형 형태의 마커(340)에 대한 제 1 특징 영역을 검출할 수 있다. The normalization server 120 detects the frame area 341 of the circular shape marker 340 based on a preset color model, and uses the detected border area 341 to determine the circular shape marker 340. 1 A feature area can be detected.

정규화 서버(120)는 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하여 분석할 수 있다. 예를 들어, 정규화 서버(120)는 제 1 특징 영역으로부터 테두리 영역(341)을 제외시켜 패턴 영역(342)에 해당하는 제 2 특징 영역을 검출할 수 있다. 이 때, 정규화 서버(120)는 원형 형태의 마커(340)의 패턴 영역(342)을 분석하여 원형 형태의 마커(340) 각각에 대해 인덱싱할 수 있다. The normalization server 120 may detect and analyze the second feature region located within the detected first feature region. For example, the normalization server 120 may detect the second feature region corresponding to the pattern region 342 by excluding the border region 341 from the first feature region. In this case, the normalization server 120 may index each of the circular markers 340 by analyzing the pattern area 342 of the circular marker 340.

정규화 서버(120)는 예를 들어, 대상 장소(100)에 4개의 원형 형태의 마커(340)가 배치(350)된 경우 또는 6개의 원형 형태의 마커(340)가 배치(360)된 경우에 대해 제 2 특징 영역이 정원이 되도록 와핑한 후, 허프 변환을 통해 흑과 백의 경계를 이루는 선을 검출하고, 선이 이루는 각의 정보로 마커를 독립적으로 인덱싱할 수 있다. The normalization server 120 is, for example, when four circular markers 340 are disposed 350 on the target place 100 or six circular markers 340 are disposed 360. However, after warping so that the second feature region becomes a circle, a line forming a boundary between black and white is detected through Hough transformation, and the marker may be independently indexed with information on an angle formed by the line.

도 3d는 본 발명의 일 실시예에 따른 다른 카메라에 대한 포즈 정보를 추정하는 과정을 설명하기 위한 예시적인 도면이다. 도 3d를 참조하면, 정규화 서버(120)는 대상 장소(100)에 설치된 다른 카메라(115)로부터 촬영된 대상 장소(100)에 대한 영상(370)과 정규화 영상(380)에 기초하여 다른 카메라에 대한 포즈 정보를 추정할 수 있다. 이 때, 정규화 서버(120)는 대상 장소(100)에 대한 영상(370)과 정규화 영상(380) 간의 특징점(390) 매칭을 수행하여 연산된 매칭된 특징점(390)에 대한 변환 매트릭스를 통해 다른 카메라(115)에 대한 포즈 정보를 추정할 수 있다. 3D is an exemplary diagram for explaining a process of estimating pose information for another camera according to an embodiment of the present invention. Referring to FIG. 3D, the normalization server 120 is configured to transmit an image 370 of a target place 100 and a normalized image 380 taken from another camera 115 installed in the target place 100 to another camera. Pose information for the can be estimated. In this case, the normalization server 120 performs the matching of the feature point 390 between the image 370 for the target place 100 and the normalized image 380, and uses a different transform matrix for the matched feature point 390. Pose information for the camera 115 may be estimated.

도 4는 본 발명의 일 실시예에 따른 정규화 서버에서 정규화 영상을 생성하는 방법의 순서도이다. 도 4에 도시된 정규화 서버(120)에서 정규화 영상을 생성하는 방법은 도 1 내지 도 3d에 도시된 실시예에 따른 정규화 시스템(1)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도1 내지 도 3d에 도시된 실시예에 따른 정규화 서버(120)에서 정규화 영상을 생성하는 방법에도 적용된다. 4 is a flowchart of a method of generating a normalized image in a normalization server according to an embodiment of the present invention. A method of generating a normalized image in the normalization server 120 shown in FIG. 4 includes steps processed in time series by the normalization system 1 according to the embodiment shown in FIGS. 1 to 3D. Therefore, even if omitted below, it is also applied to a method of generating a normalized image in the normalization server 120 according to the exemplary embodiment illustrated in FIGS. 1 to 3D.

단계 S410에서 정규화 서버(120)는 대상 장소(100)에 설치된 카메라(110)가 적어도 세 개의 마커가 배치된 대상 장소(100)를 촬영한 영상을 수신할 수 있다. In step S410, the normalization server 120 may receive an image captured by the camera 110 installed in the target place 100 of the target place 100 in which at least three markers are disposed.

단계 S420에서 정규화 서버(120)는 수신한 영상 내의 각 마커에 기초하여 각 마커에 대한 제 1 특징 영역을 검출할 수 있다. In step S420, the normalization server 120 may detect a first feature region for each marker based on each marker in the received image.

단계 S430에서 정규화 서버(120)는 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출할 수 있다. In step S430, the normalization server 120 may detect a second feature region located within the detected first feature region.

단계 S440에서 정규화 서버(120)는 각 마커의 제 2 특징 영역을 분석할 수 있다. In step S440, the normalization server 120 may analyze the second feature region of each marker.

단계 S450에서 정규화 서버(120)는 분석된 제 2 특징 영역에 기초하여 대상 장소에 대한 평면 영상을 생성할 수 있다. In step S450, the normalization server 120 may generate a planar image of the target place based on the analyzed second feature area.

단계 S460에서 정규화 서버(120)는 평면 영상으로부터 정규화 영상을 생성할 수 있다. In step S460, the normalization server 120 may generate a normalized image from the planar image.

상술한 설명에서, 단계 S410 내지 S460은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S410 to S460 may be further divided into additional steps or may be combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted as necessary, and the order between steps may be switched.

도 1 내지 도 4를 통해 설명된 정규화 서버에서 정규화 영상을 생성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 4를 통해 설명된 정규화 서버에서 정규화 영상을 생성하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. The method of generating a normalized image in the normalization server described with reference to FIGS. 1 to 4 may be implemented in the form of a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. In addition, the method of generating a normalized image in the normalization server described with reference to FIGS. 1 to 4 may be implemented in the form of a computer program stored in a medium executed by a computer.

컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include a computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

110: 카메라
120: 정규화 서버
210: 영상 수신부
220: 검출부
230: 분석부
240: 생성부
250: 추정부110: camera
120: normalization server
210: image receiving unit
220: detection unit
230: analysis unit
240: generation unit
250: estimation unit

Claims (18)

정규화 영상을 생성하는 서버에 있어서,
대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소을 촬영한 영상을 수신하는 영상 수신부;
상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고, 상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 검출부;
상기 각 마커의 제 2 특징 영역을 분석하는 분석부; 및
상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고, 상기 평면 영상으로부터 정규화 영상을 생성하는 생성부
를 포함하되,
상기 각 마커는 테두리 영역 및 상기 테두리 영역 내에 적어도 둘 이상으로 분할된 내부 영역으로 구성되고, 각 내부 영역이 2진 코드화된 패턴 영역을 포함하고,
상기 각 마커의 내부 영역은 상기 대상 장소에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있는 것인, 정규화 서버.
In the server for generating a normalized image,
An image receiving unit configured to receive an image of the target place in which at least three markers are arranged by the camera installed at the target place;
A detector configured to detect a first feature region for each marker based on the markers in the received image and detect a second feature region located within the detected first feature region;
An analysis unit that analyzes a second feature region of each of the markers; And
A generator that generates a planar image of the target place based on the analyzed second feature area and generates a normalized image from the planar image
Including,
Each of the markers is composed of a border area and an inner area divided into at least two or more within the border area, and each inner area includes a binary coded pattern area,
The inner region of each of the markers is binary coded differently in a clockwise or counterclockwise order for each marker disposed at the target location.
 제 1 항에 있어서,
상기 테두리 영역은 적어도 하나의 색으로 구성되고,
상기 검출부는 기설정된 색 모델에 기초하여 상기 수신한 영상으로부터 상기 각 마커의 테두리 영역을 검출하고, 상기 검출된 각 마커의 테두리 영역을 이용하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 것인, 정규화 서버.
The method of claim 1,
The border area is composed of at least one color,
The detection unit detects a border area of each marker from the received image based on a preset color model, and detects a first feature area for each marker by using the detected border area of each marker. , Normalization server.
 제 2 항에 있어서,
상기 검출부는 상기 검출된 제 1 특징 영역으로부터 상기 테두리 영역을 제외시켜 상기 패턴 영역에 해당하는 제 2 특징 영역을 검출하고,
상기 분석부는 상기 제 2 특징 영역으로 검출된 상기 각 마커의 패턴 영역을 분석하는 것인, 정규화 서버.
The method of claim 2,
The detection unit detects a second characteristic region corresponding to the pattern region by excluding the edge region from the detected first characteristic region,
The analysis unit to analyze the pattern area of each marker detected as the second feature area, normalization server.
 삭제delete 제 1 항에 있어서,
상기 분석부는 상기 각 마커의 패턴 영역을 분석하여 상기 각 마커에 대해 인덱싱하는 것인, 정규화 서버.
The method of claim 1,
The analysis unit is to index for each of the markers by analyzing the pattern region of each of the markers, normalization server.
 제 5 항에 있어서,
상기 생성부는 상기 인덱싱된 각 마커의 중심점을 상기 대상 장소의 지면의 꼭지점 좌표와 대응시켜 상기 평면 영상을 생성하고, 상기 평면 영상을 와핑(warping)하여 상기 정규화 영상을 생성하는 것인, 정규화 서버.
The method of claim 5,
The generation unit generates the planar image by matching the center point of each of the indexed markers with the coordinates of the vertex of the ground of the target place, and generates the normalized image by warping the planar image.
 제 1 항에 있어서,
상기 각 마커의 패턴 영역은 4 분할된 내부 영역으로 구성되는 것인, 정규화 서버.
The method of claim 1,
The normalization server, wherein the pattern area of each marker is composed of 4 divided inner areas.
 삭제delete 제 1 항에 있어서,
상기 각 마커의 패턴 영역은 경계선을 기준으로 2 분할된 원 형상의 내부 영역으로 구성되는 것인, 정규화 서버.
The method of claim 1,
The normalization server, wherein the pattern area of each marker is composed of an inner area of a circular shape divided by two based on a boundary line.
 제 9 항에 있어서,
상기 각 마커는 상기 경계선이 상기 대상 장소의 경계에 대한 접선과 각도가 일치하도록 배치되어 있는 것인, 정규화 서버.
The method of claim 9,
The normalization server, wherein each of the markers is arranged so that the boundary line matches the tangent line with respect to the boundary of the target place.
 제 1 항에 있어서,
상기 대상 장소에 설치된 다른 카메라로부터 촬영된 상기 대상 장소에 대한 영상과 상기 정규화 영상에 기초하여 상기 다른 카메라에 대한 포즈 정보를 추정하는 추정부
를 더 포함하는 것인, 정규화 서버.
The method of claim 1,
An estimating unit for estimating pose information for the other camera based on the image of the target place and the normalized image taken from another camera installed in the target place
That further comprises a normalization server.
 제 11 항에 있어서,
상기 추정부는 상기 대상 장소에 대한 영상과 상기 정규화 영상 간의 특징점 매칭을 수행하여 연산된 상기 매칭된 특징점에 대한 변환 매트릭스를 통해 상기 다른 카메라에 대한 포즈 정보를 추정하는 것인, 정규화 서버.
The method of claim 11,
Wherein the estimating unit estimates pose information for the other camera through a transformation matrix for the matched feature points calculated by performing feature point matching between the image for the target location and the normalized image.
 정규화 영상을 생성하는 방법에 있어서,
대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하는 단계;
상기 수신한 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 단계;
상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하는 단계;
상기 각 마커의 제 2 특징 영역을 분석하는 단계;
상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하는 단계; 및
상기 평면 영상으로부터 정규화 영상을 생성하는 단계
를 포함하되,
상기 각 마커는 테두리 영역 및 상기 테두리 영역 내에 적어도 둘 이상으로 분할된 내부 영역으로 구성되고, 각 내부 영역이 2진 코드화된 패턴 영역을 포함하고,
상기 각 마커의 내부 영역은 상기 대상 장소에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있는 것인, 정규화 영상 생성 방법.
In the method of generating a normalized image,
Receiving, by a camera installed at the target place, an image photographing the target place on which at least three markers are disposed;
Detecting a first feature region for each marker based on the respective markers in the received image;
Detecting a second feature area located within the detected first feature area;
Analyzing a second feature region of each of the markers;
Generating a planar image of the target place based on the analyzed second feature area; And
Generating a normalized image from the planar image
Including,
Each of the markers is composed of a border area and an inner area divided into at least two or more within the border area, and each inner area includes a binary coded pattern area,
The inner region of each of the markers is binary coded differently in a clockwise or counterclockwise order for each marker disposed at the target location.
 제 13 항에 있어서,
상기 테두리 영역은 적어도 하나의 색으로 구성되고,
상기 제 1 특징 영역을 검출하는 단계는 기설정된 색 모델에 기초하여 상기 수신한 영상으로부터 상기 각 마커의 테두리 영역을 검출하고, 상기 검출된 각 마커의 테두리 영역을 이용하여 상기 각 마커에 대한 제 1 특징 영역을 검출하는 것인, 정규화 영상 생성 방법.
The method of claim 13,
The border area is composed of at least one color,
In the detecting of the first feature area, a border area of each marker is detected from the received image based on a preset color model, and the first feature area is used for each marker using the detected border area. The method of generating a normalized image to detect a feature region.
 제 14 항에 있어서,
상기 제 2 특징 영역을 검출하는 단계는 상기 검출된 제 1 특징 영역으로부터 상기 테두리 영역을 제외시켜 상기 패턴 영역에 해당하는 제 2 특징 영역을 검출하고,
상기 각 마커의 제 2 특징 영역을 분석하는 단계는 상기 제 2 특징 영역으로 검출된 상기 각 마커의 패턴 영역을 분석하는 것인, 정규화 영상 생성 방법.
The method of claim 14,
In the detecting of the second characteristic region, the second characteristic region corresponding to the pattern region is detected by excluding the edge region from the detected first characteristic region,
Analyzing the second feature region of each marker comprises analyzing the pattern region of each marker detected as the second feature region.
 제 15 항에 있어서,
상기 각 마커의 패턴 영역을 분석하여 상기 각 마커에 대해 인덱싱하는 단계
를 더 포함하는 것인, 정규화 영상 생성 방법.
The method of claim 15,
Analyzing the pattern area of each marker and indexing each marker
The method of generating a normalized image further comprising a.
 제 16 항에 있어서,
상기 정규화 영상을 생성하는 단계는 상기 인덱싱된 각 마커의 중심점을 상기 대상 장소의 지면의 꼭지점 좌표와 대응시켜 상기 평면 영상을 생성하고, 상기 평면 영상을 와핑(warping)하여 상기 정규화 영상을 생성하는 것인, 정규화 영상 생성 방법.
The method of claim 16,
The generating of the normalized image includes generating the planar image by matching the center point of each of the indexed markers with the coordinates of the vertex of the ground of the target place, and generating the normalized image by warping the planar image. Phosphorus, normalized image generation method.
 정규화 영상을 생성하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
대상 장소에 설치된 카메라가 적어도 세 개의 마커가 배치된 상기 대상 장소를 촬영한 영상을 수신하고,
상기 촬영된 영상 내의 상기 각 마커에 기초하여 상기 각 마커에 대한 제 1 특징 영역을 검출하고,
상기 검출된 제 1 특징 영역 내에 위치하는 제 2 특징 영역을 검출하고,
상기 각 마커의 제 2 특징 영역을 분석하고,
상기 분석된 제 2 특징 영역에 기초하여 상기 대상 장소에 대한 평면 영상을 생성하고,
상기 평면 영상으로부터 정규화 영상을 생성하고,
상기 각 마커는 테두리 영역 및 상기 테두리 영역 내에 적어도 둘 이상으로 분할된 내부 영역으로 구성되고, 각 내부 영역이 2진 코드화된 패턴 영역을 포함하고,
상기 각 마커의 내부 영역은 상기 대상 장소에 배치된 각 마커에 대해 시계 방향 또는 반시계 방향 순으로 서로 다르게 2 진 코드화되어 있도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.In the computer program stored in a medium comprising a sequence of instructions for generating a normalized image,
When the computer program is executed by a computing device,
A camera installed in the target place receives an image of the target place in which at least three markers are placed,
Detecting a first feature region for each marker based on the respective markers in the captured image,
Detecting a second feature region located within the detected first feature region,
Analyzing the second feature region of each of the markers,
Generate a planar image of the target place based on the analyzed second feature area,
Generate a normalized image from the planar image,
Each of the markers is composed of a border area and an inner area divided into at least two or more within the border area, and each inner area includes a binary coded pattern area,
The computer program stored in the medium, wherein the inner area of each marker includes a sequence of instructions that are binary coded differently in a clockwise or counterclockwise order for each marker disposed at the target location.
KR1020180101743A 2018-08-29 2018-08-29 Server, method and computer program for generating normalized video KR102223335B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180101743A KR102223335B1 (en) 2018-08-29 2018-08-29 Server, method and computer program for generating normalized video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180101743A KR102223335B1 (en) 2018-08-29 2018-08-29 Server, method and computer program for generating normalized video

Publications (2)

Publication Number Publication Date
KR20200025019A KR20200025019A (en) 2020-03-10
KR102223335B1 true KR102223335B1 (en) 2021-03-08

Family

ID=69801364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101743A KR102223335B1 (en) 2018-08-29 2018-08-29 Server, method and computer program for generating normalized video

Country Status (1)

Country Link
KR (1) KR102223335B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025600A (en) 2020-08-24 2022-03-03 삼성전자주식회사 Method and apparatus for generating image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227929A (en) * 2004-02-12 2005-08-25 Nippon Telegr & Teleph Corp <Ntt> Processing method for photography image of object, image display system, program and recording medium
JP2013084031A (en) * 2011-10-06 2013-05-09 Seiko Epson Corp Marker, two-dimensional code, recognition method for marker, and recognition method for two-dimensional code
JP2013520743A (en) 2010-04-16 2013-06-06 ビズモードライン カンパニー リミテッド Marker search system for augmented reality services

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101460350B1 (en) * 2013-03-26 2014-11-13 금오공과대학교 산학협력단 Apparatus and method for recognizing maker recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227929A (en) * 2004-02-12 2005-08-25 Nippon Telegr & Teleph Corp <Ntt> Processing method for photography image of object, image display system, program and recording medium
JP2013520743A (en) 2010-04-16 2013-06-06 ビズモードライン カンパニー リミテッド Marker search system for augmented reality services
JP2013084031A (en) * 2011-10-06 2013-05-09 Seiko Epson Corp Marker, two-dimensional code, recognition method for marker, and recognition method for two-dimensional code

Also Published As

Publication number Publication date
KR20200025019A (en) 2020-03-10

Similar Documents

Publication Publication Date Title
Reilly et al. Detection and tracking of large number of targets in wide area surveillance
US9734427B2 (en) Surveillance systems and image processing methods thereof
Shim et al. Auto-adjusting camera exposure for outdoor robotics using gradient information
US20100182406A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
KR101125765B1 (en) Apparatus and method for registration between color channels based on depth information of image taken by multiple color filter aperture camera
CN110910460B (en) Method and device for acquiring position information and calibration equipment
US11233983B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
US11282232B2 (en) Camera calibration using depth data
KR20160031967A (en) Muti-projection system and method for projector calibration thereof
CN111815672B (en) Dynamic tracking control method, device and control equipment
Cinaroglu et al. A direct approach for human detection with catadioptric omnidirectional cameras
WO2021035627A1 (en) Depth map acquisition method and device, and computer storage medium
Zhang et al. A new modified panoramic UAV image stitching model based on the GA-SIFT and adaptive threshold method
St-Charles et al. Online multimodal video registration based on shape matching
KR102223335B1 (en) Server, method and computer program for generating normalized video
CN112509058B (en) External parameter calculating method, device, electronic equipment and storage medium
CN111932590B (en) Object tracking method and device, electronic equipment and readable storage medium
AU2011331381B2 (en) Change detection in video data
Brzeszcz et al. Real‐time construction and visualisation of drift‐free video mosaics from unconstrained camera motion
Piciarelli et al. Outdoor environment monitoring with unmanned aerial vehicles
KR20170133666A (en) Method and apparatus for camera calibration using image analysis
Aktar et al. Performance evaluation of feature descriptors for aerial imagery mosaicking
US10705217B2 (en) Controlling multiple imaging sensors
US20210034915A1 (en) Method and apparatus for object re-identification
Neves et al. A Master‐Slave Calibration Algorithm with Fish‐Eye Correction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right