KR101998318B1

KR101998318B1 - 360-degree Image Generation Apparatus and Method for Synchronizing Time and Position of Object

Info

Publication number: KR101998318B1
Application number: KR1020170113901A
Authority: KR
Inventors: 김영섭; 최재학
Original assignee: 단국대학교 산학협력단
Priority date: 2017-09-06
Filing date: 2017-09-06
Publication date: 2019-10-01
Also published as: KR20190027172A

Abstract

본 발명은 동일 장소를 촬영한 이미지의 360도 이미지 변환 시 각 이미지에 표시된 객체가 360도 이미지 상의 동일 위치에 표시되게 하는 360도 이미지 생성 장치 및 방법에 관한 기술로서, 기 입력된 기준 이미지와 동일 객체가 촬영된 2차원 이미지를 입력받는 입력부와, 2차원 이미지에 특징점을 설정하는 공간 정보 설정부와, 2차원 이미지가 360도 이미지로 변환되었을 때 동일 객체가 기준 이미지와 동일한 위치에 표시될 수 있도록 2차원 이미지의 동일 객체에 대한 특징점의 위치를 기준 이미지의 동일 객체에 대한 특징점의 위치와 동기화 한 후, 2차원 이미지를 360도 이미지로 변환하는 360이미지 생성부를 포함하는 것을 특징으로 한다.The present invention relates to a 360-degree image generating apparatus and method for causing the object displayed in each image to be displayed at the same position on the 360-degree image when the 360-degree image conversion of the image photographing the same place, the same as the reference image input An input unit for receiving a 2D image of an object photographed, a spatial information setting unit for setting a feature point in the 2D image, and the same object may be displayed at the same position as the reference image when the 2D image is converted into a 360 degree image. It is characterized in that it comprises a 360 image generating unit for converting the position of the feature point for the same object of the two-dimensional image with the position of the feature point for the same object of the reference image, and then converts the two-dimensional image to a 360-degree image.

Description

객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법 {360-degree Image Generation Apparatus and Method for Synchronizing Time and Position of Object}360-degree Image Generation Apparatus and Method for Synchronizing Time and Position of Object}

본 발명은 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법에 관한 것으로서, 보다 상세하게는 서로 다른 시간에 동일 장소를 촬영한 이미지의 360도 이미지 변환 시 각 이미지에 표시된 객체가 360도 이미지 상의 동일 위치에 표시되게 하는 360도 이미지 생성 장치 및 방법에 관한 기술이다.The present invention relates to a 360-degree image generating device and method for linking the time and location of an object, and more particularly, the object displayed in each image is 360 degrees when the 360-degree image conversion of the image taken at the same time at different times The present invention relates to a 360-degree image generating apparatus and method for displaying at the same position on the image.

VR콘텐츠가 증가되며 다양한 분야에서 360도 이미지를 적용하려는 노력이 이어지고 있다. 일상에서는 웹지도에서 로드뷰를 360도 이미지로 제공하고 있으며, 최근에는 VR기기의 등장으로 영화, 게임 등에서도 360도 이미지를 활발하게 이용하고 있다.As VR contents increase, efforts are being made to apply 360-degree images in various fields. In everyday life, road views are provided as 360-degree images on web maps. Recently, with the advent of VR devices, 360-degree images are actively used in movies and games.

360도 이미지는 모니터를 통해 원격 현장의 전 방향을 시청할 수 있게 하여 생동감 있는 현장 체험을 가능하게 하는 장점이 있다.The 360-degree image has the advantage of enabling live field experiences by allowing viewers to view the omni-directional view of the remote site.

한편, 360도 이미지를 획득할 수 있는 전용카메라는 크기가 대형이고, 고가의 가격을 형성하기 때문에 개인에게 보급되지 않고 관련 콘텐츠를 제작하는 일부 기업만이 이용하고 있는 상태이다. 전용카메라가 보급되지 않음에 따라, 360도 이미지를 획득하기 위해 2차원 이미지로 360도 이미지를 생성하는 시스템 및 방법이 제안되었다.On the other hand, a dedicated camera capable of acquiring 360-degree images is large in size and forms a high price, and thus is used only by some companies that produce related contents without being distributed to individuals. As dedicated cameras are not widely available, systems and methods for generating 360-degree images from two-dimensional images to obtain 360-degree images have been proposed.

2차원 이미지로 생성된 360도 이미지는 2차원의 이미지를 입체적으로 변형하는 과정에서 이미지의 여러 부위가 신장 및 단축되면서 이미지 상에 표시되어있던 객체가 변형되는 문제가 발생된다.The 360-degree image generated by the two-dimensional image is a problem that the object displayed on the image is deformed while the various parts of the image is stretched and shortened in the process of three-dimensional deformation of the two-dimensional image.

또한, 동일 장소를 촬영한 이미지더라도 360도 이미지로 변환하는 과정에서 객체가 변형됨에 따라, 복수의 이미지에 표시되는 객체가 종래의 동일 객체 자동 탐색 시스템으로는 동일 객체인 것으로 매칭되지 않는 문제도 발생되고 있다. In addition, as the object is deformed in the process of converting the image of the same place into a 360-degree image, there is a problem that the objects displayed in the plurality of images are not matched with the same object by a conventional automatic object search system. It is becoming.

한국등록특허공보 10-1276484Korean Registered Patent Publication 10-1276484

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 서로 다른 시간에 동일 장소를 촬영한 이미지의 360도 이미지 변환 시 각 이미지에 표시된 객체가 360도 이미지 상의 동일 위치에 표시되게 하는 360도 이미지 생성 장치 및 방법을 제공하기 위한 것이다.Accordingly, the present invention has been proposed to solve the conventional problems as described above, and an object of the present invention is to convert the 360-degree image of the image taken at the same time at different times when the object displayed in each image on the 360-degree image It is an object of the present invention to provide a 360-degree image generating apparatus and method for displaying at the same position.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치는, 기 입력된 기준 이미지와 서로 다른 시각대에 동일 객체가 촬영된 2차원 이미지를 입력받는 입력부와, 상기 2차원 이미지에 특징점을 설정하는 공간 정보 설정부와, 상기 2차원 이미지가 360도 이미지로 변환되었을 때 상기 동일 객체가 기준 이미지와 동일한 위치에 표시될 수 있도록 상기 2차원 이미지의 동일 객체에 대한 특징점의 위치를 상기 기준 이미지의 동일 객체에 대한 특징점의 위치와 동기화 한 후, 상기 2차원 이미지를 360도 이미지로 변환하는 360이미지 생성부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the 360-degree image generating apparatus for interlocking the time and the position of the object according to the technical idea of the present invention, the two-dimensional image in which the same object is photographed at a different time zone and the input reference image An input unit for receiving an input, a spatial information setting unit for setting a feature point in the 2D image, and the 2D image so that the same object is displayed at the same position as the reference image when the 2D image is converted into a 360 degree image And synchronizing the position of the feature point with respect to the same object with the position of the feature point with respect to the same object of the reference image, and converting the two-dimensional image into a 360-degree image.

또한, 상기 공간 정보 설정부는 상기 2차원 이미지를 그레이 스케일(gray scale)화 후 특징점을 설정하는 것을 특징으로 할 수 있다.The spatial information setting unit may set a feature point after the 2D image is grayscaled.

또한, 상기 입력부는 상기 2차원 이미지의 위치 정보를 더 입력받고, 상기 위치 정보와 대응되는 가상지도의 위치에 상기 2차원 이미지를 배치하는 위치 정보 설정부를 더 포함하는 것을 특징으로 할 수 있다.The input unit may further include a location information setting unit configured to further receive location information of the 2D image and to arrange the 2D image at a location of a virtual map corresponding to the location information.

또한, 상기 위치 정보에는 상기 2차원 이미지가 촬영된 위치의 좌표 및 촬영 방향에 대한 방위 정보가 포함되고, 상기 위치 정보 설정부는 상기 방위 정보에 따라 상기 가상지도에 상기 360도 이미지의 배치 방향을 설정하는 것을 특징으로 할 수 있다.In addition, the position information includes coordinates of the position where the 2D image was photographed and orientation information on the photographing direction, and the position information setting unit sets an arrangement direction of the 360 degree image on the virtual map according to the orientation information. It can be characterized by.

또한, 상기 입력부는 상기 2차원 이미지가 촬영된 시각 정보를 더 입력받고, 상기 시각 정보와 대응되는 타임라인에 상기 2차원 이미지를 배치하는 시각 정보 설정부를 더 포함하는 것을 특징으로 할 수 있다.The input unit may further include a visual information setting unit configured to further receive visual information on which the two-dimensional image is captured and to arrange the two-dimensional image on a timeline corresponding to the visual information.

또한, 상기 360도 이미지를 표시하고, 상기 기준 이미지에서의 공통 객체를 상기 360도 이미지의 공통 객체 위치에 투영하여 표시하는 360이미지 조회부를 더 포함하는 것을 특징으로 할 수 있다.The display apparatus may further include a 360 image inquiry unit which displays the 360 degree image and projects and displays the common object in the reference image at a common object position of the 360 degree image.

또한, 상기 기준 이미지 및 상기 2차원 이미지의 특징점에 대한 정보를 저장하는 이미지정보 저장부를 더 포함하는 것을 특징으로 할 수 있다.The apparatus may further include an image information storage unit configured to store information about feature points of the reference image and the two-dimensional image.

한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 방법은, 입력부가 기 입력된 기준 이미지와 서로 다른 시각대에 동일 객체가 촬영된 2차원 이미지를 입력받는 단계, 공간 정보 설정부가 상기 2차원 이미지에 특징점을 설정하는 단계, 360이미지 생성부가 상기 2차원 이미지가 360도 이미지로 변환되었을 때 상기 동일 객체가 기준 이미지와 동일한 위치에 표시될 수 있도록 상기 2차원 이미지의 동일 객체에 대한 특징점의 위치를 상기 기준 이미지의 동일 객체에 대한 특징점의 위치와 동기화 하는 단계, 상기 360이미지 생성부가 상기 2차원 이미지를 360도 이미지로 변환하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, in order to achieve the above object, in the 360-degree image generation method for interlocking the time and the position of an object according to the technical spirit of the present invention, the same object is photographed at a different time zone than the reference image previously input. Receiving a 2D image; setting a feature point on the 2D image by the spatial information setting unit; and displaying the same object at the same position as the reference image when the 2D image is converted into a 360 degree image by the 360 image generating unit. Synchronizing the position of the feature point with respect to the same object of the two-dimensional image to the position of the feature point with respect to the same object of the reference image, wherein the 360 image generating unit converts the two-dimensional image into a 360-degree image. It is characterized by including.

또한, 상기 공간 정보 설정부가 특징점을 설정하는 단계에 앞서, 상기 공간 정보 설정부가 상기 2차원 이미지를 그레이 스케일(gray scale)화 하는 단계를 더 포함하는 것을 특징으로 할 수 있다.The spatial information setting unit may further include a gray scale of the two-dimensional image before the setting of the feature point by the spatial information setting unit.

또한, 상기 입력부가 2차원 이미지를 입력받는 단계는 상기 2차원 이미지의 위치 정보를 더 입력받고, 상기 공간 정보 설정부가 특징점을 설정하는 단계에 앞서, 위치 정보 설정부가 상기 위치 정보와 대응되는 가상지도의 위치에 상기 2차원 이미지를 배치하는 단계를 더 포함하는 것을 특징으로 할 수 있다.The input unit may further input position information of the 2D image, and before the spatial information setting unit sets a feature point, the location information setting unit may correspond to the position information. The method may further include disposing the two-dimensional image at a position of.

또한, 상기 입력부가 2차원 이미지를 입력받는 단계는 상기 2차원 이미지의 시각 정보를 더 입력받고, 상기 공간 정보 설정부가 특징점을 설정하는 단계에 앞서, 시각 정보 설정부가 상기 시각 정보와 대응되는 타임라인에 상기 2차원 이미지를 배치하는 단계를 더 포함하는 것을 특징으로 할 수 있다.The input unit may further receive a visual information of the two-dimensional image, and before the spatial information setting unit sets a feature point, the time information setting unit may correspond to the time information. It may be characterized in that it further comprises the step of placing the two-dimensional image.

또한, 상기 360이미지 생성부가 상기 2차원 이미지를 360도 이미지로 변환하는 단계 후에, 이미지정보 저장부가 상기 2차원 이미지의 특징점에 대한 정보를 저장하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In addition, after the 360 image generating unit converts the 2D image into a 360 degree image, the image information storage unit may further include storing information on the feature points of the 2D image.

본 발명에 의한 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법에 따르면 서로 다른 시간에 동일 장소를 촬영한 2차원 이미지가 공통 객체에 대해 서로의 위치가 고정된 후 360도 이미지로 변환되기 때문에 이미지 변환 시 객체가 일정한 형태를 유지할 수 있게 된다.According to the 360-degree image generating device and method for interlocking the time and the position of the object according to the present invention, the two-dimensional image photographed at the same time at a different time is converted to a 360-degree image after the position of each other fixed to the common object This allows the object to maintain a constant shape during image conversion.

또한, 어느 한 시간대의 360도 이미지를 조회하며 특정 객체에 대해 다른 시간대의 해당 객체 모습이 투영되어 나타나기 때문에 문화재, 자연풍경 등 다양한 객체들의 시간에 따른 변화를 VR을 통해 용이하게 감상할 수 있게 된다.In addition, since 360-degree image of one time zone is inquired and the corresponding object of another time zone is projected on a specific object, changes of various objects such as cultural assets and natural landscapes can be easily seen through VR. .

도 1은 본 발명의 일 실시예에 따른 360도 이미지 생성 장치의 구성도.
도 2는 두 이미지의 공통 객체에 설정된 특징점 중 동일 위치의 특징점들이 연결된 상태를 나타낸 도면.
도 3은 히스토그램의 정의를 설명하기 위해 그레이 스케일의 이미지와 그것의 명도 히스토그램을 나타낸 도면.
도 4는 360이미지 조회부를 통해 기준 360도 이미지의 배경에 타 시각 이미지의 동일 객체가 투영된 것을 조회하는 모습을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 360도 이미지 생성 방법의 순서도.
도 6은 360이미지 조회부에서 기준 360도 이미지 배경에 타 시각 이미지의 동일 객체가 투영되도록 설정하는 과정의 일 실시예를 나타낸 도면.1 is a block diagram of a 360-degree image generating apparatus according to an embodiment of the present invention.
2 is a view showing a state in which feature points of the same position are connected among feature points set in a common object of two images.
FIG. 3 shows a gray scale image and its brightness histogram to illustrate the definition of a histogram. FIG.
4 is a view showing that the same object of another visual image is projected on the background of the reference 360 degree image through the 360 image inquiry unit.
5 is a flow chart of a 360-degree image generation method according to an embodiment of the present invention.
FIG. 6 is a view illustrating an embodiment of a process of setting the same object of another visual image to be projected on a reference 360 degree image background in a 360 image inquiry unit; FIG.

첨부한 도면을 참조하여 본 발명의 실시예들에 의한 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법 에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.With reference to the accompanying drawings will be described in detail a 360-degree image generating apparatus and method for interlocking the time and location of the object according to embodiments of the present invention. As the inventive concept allows for various changes and numerous modifications, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific form disclosed, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Also, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

본 발명의 일 실시예는 컴퓨터장치에 설치되어 구동되는 소트프웨어, 상기 소프트웨어가 설치된 컴퓨터장치, 소프트웨어의 구성이 다수의 컴퓨터에 분할 설치되어 컴퓨터간 협력하여 구동되는 시스템으로 실시될 수 있다.An embodiment of the present invention may be implemented as a system installed in a computer device and driven, a computer device in which the software is installed, and a configuration of software divided into a plurality of computers and driven in cooperation between the computers.

도 1을 참조하면, 본 발명의 일 실시예에 따른 객체의 360도 이미지 생성 장치는, 기 입력된 기준 이미지와 동일 객체가 촬영된 2차원 이미지를 입력받는 입력부(110)와, 2차원 이미지에 특징점을 설정하는 공간 정보 설정부(140)와, 2차원 이미지가 360도 이미지로 변환되었을 때 동일 객체가 기준 이미지와 동일한 위치에 표시될 수 있도록 2차원 이미지의 동일 객체에 대한 특징점의 위치를 기준 이미지의 동일 객체에 대한 특징점의 위치와 동기화 한 후, 2차원 이미지를 360도 이미지로 변환하는 360이미지 생성부(160)를 포함하는 것을 특징으로 한다.Referring to FIG. 1, the apparatus for generating a 360 degree image of an object according to an exemplary embodiment of the present disclosure may include an input unit 110 that receives a two-dimensional image in which an object identical to a previously input reference image is photographed, and a two-dimensional image. Spatial information setting unit 140 for setting the feature point and the position of the feature point with respect to the same object in the two-dimensional image so that the same object is displayed at the same position as the reference image when the two-dimensional image is converted to a 360-degree image After synchronizing with the position of the feature point for the same object of the image, characterized in that it comprises a 360 image generating unit 160 for converting the two-dimensional image to a 360-degree image.

이 실시예의 입력부(110)는 동일 컴퓨터장치의 저장소에 기준 이미지 및 비교 이미지가 저장된 디렉토리를 탐색하여 로드하는 프로그래밍 함수, USB메모리와 같은 이종의 저장장치로부터 기준 이미지 및 비교 이미지를 입력받는 USB컨트롤러, 웹페이지에 게시된 이미지를 로드하는 랜 카드 드라이버 등을 포함할 수 있다.The input unit 110 of this embodiment includes a programming function for searching and loading a directory in which a reference image and a comparison image are stored in a storage of the same computer device, a USB controller receiving a reference image and a comparison image from heterogeneous storage devices such as a USB memory, It can include a LAN card driver that loads an image posted on a web page.

이 실시예에서의 특징점은 명도 값의 변화를 나타내는 벡터가 될 수 있다. 벡터의 방향은 밝기 값이 변화하는 방향을, 벡터의 크기는 변화의 정도를 나타낸다.The feature point in this embodiment may be a vector representing a change in brightness value. The direction of the vector indicates the direction in which the brightness value changes, and the magnitude of the vector indicates the degree of change.

특징점의 설정 방법에는 밝기 변화가 큰 모서리점들을 탐색하는 방법이 있다. 상기 방법은 모서리점에서 여러 방향으로의 밝기 변화가 큰 특징을 이용한다. 이와 유사한 종래의 특징점 설정 알고리즘에는 SIFT(Scale-Inveriant-Feature Transform) 알고리즘이 있다. 이미지에서 특징점이 설정되면 이미지 상에서의 특징점 x,y 좌표가 저장된다. 디지털 이미지는 복수개의 픽셀로 구성되므로 상기 좌표의 x, y 단위는 x축 및 y축 방향으로의 픽셀 수가 될 수 있다.As a method of setting the feature point, there is a method of searching for corner points having a large change in brightness. The method utilizes a feature in which the brightness change from the corner point to the various directions is large. A similar feature point setting algorithm is similar to the scale-inveriant-feature transform (SIFT) algorithm. When the feature point is set in the image, the feature point x, y coordinates on the image are stored. Since the digital image is composed of a plurality of pixels, the x and y units of the coordinate may be the number of pixels in the x and y axis directions.

특징점은 복수의 이미지에 동일한 알고리즘으로 설정되므로 서로 동일한 화상 영역에서는 서로 유사한 부위에 특징점이 설정될 수 있게 된다.Since the feature points are set in the same algorithm in a plurality of images, the feature points can be set in similar areas in the same image area.

특히, 공통 특징점 탐색의 정확도 향상을 위해 공간 정보 설정부(140)는 기준 이미지와 2차원 이미지를 먼저 그레이 스케일(gray scale)화 한 후 복수의 이미지에서 서로 대응되는 특징점을 탐색하는 것을 특징으로 할 수 있다.In particular, in order to improve the accuracy of the common feature point search, the spatial information setting unit 140 may first gray scale the reference image and the 2D image, and then search for feature points corresponding to each other in the plurality of images. Can be.

또한, 입력부(110)는 2차원 이미지의 위치 정보를 더 입력받고, 이 실시예는 위치 정보와 대응되는 가상지도의 위치에 2차원 이미지를 배치하는 위치 정보 설정부(120)를 더 포함한다.In addition, the input unit 110 further receives location information of the 2D image, and the embodiment further includes a location information setting unit 120 for disposing the 2D image at a location of the virtual map corresponding to the location information.

2차원 이미지의 위치 정보는 2차원 이미지가 촬영된 장소의 GPS 좌표와 같은 절대 좌표가 되는 것이 바람직하다. 위치 정보 설정부(120)에는 서비스 대상 지역에 대한 가상지도, 즉 디지털 지도가 기 저장된다. 기준 이미지도 위치 정보가 포함되어, 가상지도 상의 대응 위치에 배치된다. 위치 정보 설정부(120)는 입력된 2차원 이미지를 위치 정보에 대응되는 가상지도 상에 배치한다. 기준 이미지와 특징점이 동기화되는 2차원 이미지는 가상지도 상에서 기준 이미지와 공통된 위치에 배치된 2차원 이미지인 것으로 한다.The location information of the two-dimensional image is preferably absolute coordinates such as the GPS coordinates of the place where the two-dimensional image is photographed. The location information setting unit 120 stores a virtual map, that is, a digital map of a service target area in advance. The reference image also includes location information and is disposed at the corresponding location on the virtual map. The location information setting unit 120 arranges the input two-dimensional image on a virtual map corresponding to the location information. The two-dimensional image in which the reference image and the feature point are synchronized is assumed to be a two-dimensional image disposed at a location common to the reference image on the virtual map.

위치 정보에는 2차원 이미지가 촬영된 위치의 좌표 및 촬영 방향에 대한 방위 정보가 포함되고, 위치 정보 설정부(120)는 방위 정보에 따라 가상지도에 360도 이미지의 배치 방향을 설정한다. 방위 정보는 2차원 이미지를 촬영한 촬영장치가 주시하는 동서남북 상의 방위 및 대지에서부터 하늘 방향의 기울어짐 각도를 포함한다. 360도 이미지는 가상지도의 어느 한 위치를 기준으로 상기 위치 주변에 배치되는데, 위치 정보 설정부(120)는 방위 정보를 이용하여 변형된 360도 이미지가 배치될 방향을 설정하게 된다.The location information includes coordinates of the location where the 2D image is captured and bearing information on the shooting direction, and the location information setting unit 120 sets the direction of disposing the 360 degree image on the virtual map according to the bearing information. The azimuth information includes an inclination angle in the sky direction from the azimuth and the earth on the north, south, west, and south sides of the image photographing apparatus which photographed the 2D image. The 360 degree image is disposed around the position based on any one position of the virtual map, and the location information setting unit 120 sets the direction in which the modified 360 degree image is to be arranged using the azimuth information.

또한, 입력부(110)는 2차원 이미지가 촬영된 시각 정보를 더 입력받고, 이 실시예는 시각 정보와 대응되는 타임라인에 2차원 이미지를 배치하는 시각 정보 설정부(130)를 더 포함한다.In addition, the input unit 110 may further receive visual information on which the 2D image is captured, and the exemplary embodiment may further include a visual information setting unit 130 that arranges the 2D image on a timeline corresponding to the visual information.

이미지의 촬영된 시각 정보를 통해, 이미지에 표시되는 화상의 아침, 정오, 저녁, 밤, 새벽 등의 분위기를 판단할 수 있게 된다. 또한, 기준 이미지로부터 2차원 이미지가 촬영된 시간의 차이로 시대적 변화의 판단도 가능하다.Through the photographed visual information of the image, it is possible to determine the atmosphere such as morning, noon, evening, night, dawn of the image displayed on the image. In addition, it is also possible to determine the change of the times by the difference in time taken for the two-dimensional image from the reference image.

시각 정보 설정부(130)에서는 입력된 시각 정보에 대해 별도의 고유 명칭을 부여할 수 있다. 예를 들어, 2015년 8월 15일 광화문 광장에서 촬영된 이미지에는 '광복 70주년 광화문 광장'이라는 고유 명칭을 별도로 설정할 수 있다. 고유 명칭은 입력부(110)를 통해 입력된다. 또한, 고유 명칭은 360이미지 조회부(170)를 통해 이미지 조회 시 함께 표시되는 타임라인에 별도 라벨링되어 표시되는 것으로 손쉽게 이미지 탐색 및 의미를 파악할 수 있게 한다.The time information setting unit 130 may give a unique name to the input time information. For example, in the image taken at Gwanghwamun Square on August 15, 2015, a unique name may be set separately. The unique name is input through the input unit 110. In addition, the unique name is separately labeled and displayed on the timeline displayed when the image is searched through the 360 image search unit 170 so that the image search and meaning can be easily understood.

이 실시예는 입력된 다수의 이미지 및 각종 정보의 효과적인 관리를 위해 입력된 이미지 및 정보를 데이터베이스화하여 저장하는 이미지정보 저장부(150)를 포함한다. 이미지정보 저장부(150)에는 기준 이미지 및 2차원 이미지와 해당 위치 정보, 방위 정보, 시각 정보, 고유 명칭 등이 저장된다.This embodiment includes an image information storage unit 150 for storing a database of the input image and information for effective management of the plurality of input image and various information. The image information storage unit 150 stores reference images and two-dimensional images, corresponding position information, orientation information, visual information, unique names, and the like.

360이미지 생성부(160)는 2차원 이미지가 360도 이미지로 변환되었을 때 기준 이미지에도 포함된 동일 객체가 기준 이미지와 동일한 위치에 표시될 수 있도록 한다. 구체적으로, 기존 기준 이미지는 360도 이미지로 변환되어 가상지도 상의 특정 장소에서 방위 정보에 따라 특정 방향에 배치된 상태이다. 360이미지 생성부(160)는 상기 특정 방향에 배치된 기준 이미지 상에 포함된 객체의 표시 위치와 신규히 입력된 2차원 이미지 상에 포함된 동일 객체가 360도 이미지를 주시하는 관찰자 입장에서 항시 동일한 방향에서 표시되게 한다.The 360 image generator 160 may display the same object included in the reference image at the same position as the reference image when the 2D image is converted into the 360 degree image. In detail, the existing reference image is converted into a 360 degree image and disposed in a specific direction according to bearing information at a specific place on the virtual map. The 360 image generator 160 always displays the display position of the object included in the reference image disposed in the specific direction and the same direction at the observer's point of view of the 360-degree image of the same object included in the newly input two-dimensional image. To be displayed.

도 2를 참조하면, 기준 이미지와 2차원 이미지의 공통 객체가 동일 위치에서 표시될 수 있도록, 360이미지 생성부(160)는 공간 정보 설정부(140)에서 설정된 기준 이미지 및 2차원 이미지의 특징점을 매칭한다. 특징점을 이용하여 기준 이미지 및 2차원 이미지를 비교하고, 각 이미지에 표시된 객체의 동일 여부를 판단하기 위해서는 특징점에 특징들을 서술하는 서술자(Descriptor)를 계산할 필요가 있다. 서술자는 특징점의 고유 방향(밝기 값의 변화 방향), 크기(밝기 값 변화 정도)등을 나타낸다. 상기 서술자를 비교하면 두 이미지의 동일 여부를 판단할 수 있게 된다. 두 이미지의 동일 여부 판단에는 특징점 간의 거리가 짧을수록 동일한 점으로 판단하는 해밍 거리(hammin distance) 방법이 이용될 수 있다. 예를 들어, 기준 이미지에서의 특징점(1, 2, 3, 4, 5)과 2차원 이미지의 특징점(a, b, c, d, e)을 1-a, 1-b, 1-c, …. 5-d, 5-e 과 같이 순차적으로 비교하여 대응되는 점들을 탐색한다.Referring to FIG. 2, the 360 image generator 160 displays the feature points of the reference image and the 2D image set by the spatial information setting unit 140 so that the common object of the reference image and the 2D image may be displayed at the same position. Matches. In order to compare the reference image and the two-dimensional image by using the feature points, and to determine whether the objects displayed in each image are the same, it is necessary to calculate a descriptor describing the features at the feature points. The descriptor indicates the inherent direction of the feature point (direction of change of the brightness value), the magnitude (degree of change in the brightness value), and the like. Comparing the descriptors, it is possible to determine whether two images are identical. In determining whether two images are the same, a hamming distance method may be used in which the shorter distance between the feature points is determined to be the same point. For example, the feature points (1, 2, 3, 4, 5) in the reference image and the feature points (a, b, c, d, e) of the two-dimensional image are 1-a, 1-b, 1-c, … . The corresponding points are searched by comparing sequentially, such as 5-d and 5-e.

동일 객체 상에 설정된 특징점은 서로 설정된 위치 및 개수가 유사하므로 360이미지 생성부(160)는 특징점의 분포 상태와 개수를 통해 동일 객체 여부를 판단할 수 있게 된다.Since the feature points set on the same object are similar to each other in the set position and number, the 360 image generator 160 may determine whether the feature objects are the same through the distribution state and the number of feature points.

도 3을 참조하면, 360이미지 생성부(160)는 동일 객체 판단의 정확도 향상을 위해, 특징점을 대조하는 윈도우(window)를 이용할 수 있다. 윈도우는 일정한 크기의 매크로 블록이 될 수 있다. 윈도우는 이미지를 구성하는 픽셀이 수용되는 다각형 또는 원형의 가상영역이다. 윈도우의 크기는 3x3 , 5x5, 9x9등 여러 크기로 설정될 수 있으며, 가로 및 세로 길이가 홀수로 설정되는 것이 바람직하다. 360이미지 생성부(160)는 최적의 크기 및 형태로 윈도우를 상시 조정할 수 있다.Referring to FIG. 3, the 360 image generator 160 may use a window for contrasting feature points in order to improve accuracy of determining the same object. The window can be a macro block of constant size. A window is a polygonal or circular virtual region in which pixels constituting an image are accommodated. The size of the window may be set to various sizes such as 3x3, 5x5, 9x9, etc., and the horizontal and vertical lengths are preferably set to odd numbers. The 360 image generator 160 may always adjust the window to an optimal size and shape.

360이미지 생성부(160)는 기준 이미지 및 2차원 이미지의 첨단(0,0)에서부터 끝단까지 동일한 형태의 윈도우를 이동시키며 윈도우 내의 특징점의 분포가 서로 유사한 영역을 탐색한다.The 360 image generating unit 160 moves a window having the same shape from the leading edge (0,0) of the reference image and the two-dimensional image to the end, and searches for an area in which the distribution of the feature points in the window is similar to each other.

특징점의 분포가 서로 유사한 영역이 탐색되면, 해당 윈도우 내에서의 특징점 또는 픽셀들의 적색(Red)채널, 녹색(Green)채널, 청색(Blue)채널에서의 히스토그램 분포를 대조한다. 이미지의 히스토그램이란, 한 이미지 영역 내에서 색상별 픽셀 값들의 분포를 나타낸 것이다. 도 3은 히스토그램을 설명하기 위한 그레이 스케일(gray scale) 이미지와 그 이미지의 히스토그램의 예제이다. 일반적으로 한 픽셀을 표현하는 데이터 크기는 1바이트(2^8=256)이므로, 이미지의 색상 레벨을 256가지의 숫자로 표현한다. 그레이 스케일의 이미지에서는 한 픽셀의 명도를 0부터 255까지의 숫자로 나타낸다. 도 3의 우측 그래프는 좌측 사진을 구성하는 각 픽셀들의 명도 값의 분포를 나타낸 것이며, 이것이 히스토그램이다. 히스토그램의 가로축은 명도의 레벨을 나타내며(0-255), 세로축은 해당 픽셀의 개수를 나타낸다.When an area where feature points are similarly distributed is found, the histogram distributions of the feature points or pixels in the red, green, and blue channels are compared. The histogram of an image represents a distribution of pixel values for each color in an image region. 3 is an example of a gray scale image and a histogram of the image for explaining the histogram. In general, since a data size representing one pixel is 1 byte (2 ^ 8 = 256), the color level of the image is represented by 256 numbers. In grayscale images, the brightness of one pixel is represented by a number from 0 to 255. 3 shows the distribution of brightness values of the pixels constituting the left picture, which is a histogram. The horizontal axis of the histogram represents the level of brightness (0-255), and the vertical axis represents the number of pixels.

360이미지 생성부(160)는 기준 이미지 및 2차원 이미지가 모두 컬러 이미지일 경우, 윈도우 범위 내의 픽셀 또는 특징점들의 적색채널, 녹색채널, 청색채널에 대한 히스토그램을 생성한 후, 대조하는 것으로 실시된다. 또한, 만약 기준 이미지 또는 2차원 이미지 중 어느 하나가 흑백 이미지일 경우, 360이미지 생성부(160)는 컬러 이미지를 그레이스 스케일로 변환한 후, 윈도우 범위 내의 픽셀 또는 특징점들의 명도 히스토그램을 대조한다. 동일 객체가 분명하면 히스토그램에 나타나는 패턴은 시작 위치에 다소 차이가 있더라도 유사한 패턴을 나타내게 되며, 360이미지 생성부(160)는 상이 패턴의 유사 정도로 동일 객체 여부를 판단할 수 있게 된다.If both the reference image and the two-dimensional image are color images, the 360 image generator 160 generates histograms for the red, green, and blue channels of pixels or feature points within the window range, and then contrasts them. In addition, if either the reference image or the two-dimensional image is a black and white image, the 360 image generator 160 converts the color image to the gray scale, and then contrasts the brightness histogram of the pixels or feature points within the window range. If the same object is clear, the pattern appearing on the histogram shows a similar pattern even if the starting position is slightly different, and the 360 image generator 160 may determine whether the same object is the same degree of the different pattern.

기준 이미지와 2차원 이미지에 동일 객체가 포함된 것으로 판단되면, 360이미지 생성부(160)는 기준 이미지의 동일 객체 상에 설정된 특징점의 위치와 2차원 이미지의 동일 객체 상에 설정된 특징점의 위치가 서로 동일한 위치에 배치(동기화)되게 2차원 이미지의 배치 위치를 조정한다.If it is determined that the same object is included in the reference image and the two-dimensional image, the 360 image generator 160 is located between the position of the feature point set on the same object of the reference image and the position of the feature point set on the same object of the two-dimensional image The arrangement position of the two-dimensional image is adjusted to be arranged (synchronized) at the same position.

360이미지 생성부(160)는 기준 이미지와 동일 객체의 위치가 동기화된 2차원 이미지를 360도 이미지를 변환한다.The 360 image generator 160 converts the two-dimensional image in which the position of the same object as the reference image is synchronized to the 360 degree image.

도 4를 참조하면, 이 실시예는 360도 이미지를 표시하고, 기준 이미지에서의 공통 객체를 360도 이미지의 공통 객체 위치에 투영하여 표시하는 360이미지 조회부(170)를 더 포함한다. 도시된 바와 같이, 360이미지 조회부(170) 360도 이미지 표시 시 이미지가 촬영된 시간과 연월일을 선택할 수 있는 컨트롤러를 제공한다. 컨트롤러는 타임라인이 시각적으로 표시된 것이다. 일 실시예로서, 배경시대의 컨트롤 바를 유지한 상태에서 증강객체 대상시대의 컨트롤 바를 과거나 미래로 선택하면, 전체 표시되는 배경의 360도 이미지는 유지된 상태로 360도 이미지 상에 표시된 객체만 선택된 시대에 촬영된 객체의 이미지로 대체되어 표시된다. 이로써, 사용자는 어느 한 시대의 배경에서 다른 시대의 건축물, 유적지, 자연경관 등을 감상할 수 있게 된다.Referring to FIG. 4, the embodiment further includes a 360 image inquiry unit 170 which displays a 360 degree image and projects and displays a common object in the reference image to a common object position of the 360 degree image. As shown, the 360 image inquiry unit 170 provides a controller that can select the time and the date and month the image was taken when displaying the 360-degree image. The controller is a visual representation of the timeline. In one embodiment, when the control bar of the augmented object target age is selected as the past or future while the control bar of the background era is maintained, only the objects displayed on the 360 degree image are selected while the 360 degree image of the entire background is maintained. It is replaced with the image of the object photographed at the time. In this way, the user can appreciate the architecture, historic sites, natural scenery, etc. of the other era in the background of one era.

상기 기준 이미지는 어느 한 시대에 촬영된 360도 이미지로 고정되는 것으로 실시될 수 있고, 신규하게 입력된 2차원 이미지와 가장 인접한 시간에 촬영된 360도 이미지가 기준 이미지가 되는 것으로도 실시될 수 있다.The reference image may be implemented to be fixed as a 360-degree image taken at any one time, or may be implemented as the reference image is a 360-degree image taken at a time closest to the newly input two-dimensional image. .

도 5 및 도 6을 참조하면, 본 발명의 일 실시예에 따른 360도 이미지 생성 방법은, 입력부(110)가 기 입력된 기준 이미지와 서로 다른 시각대에 동일 객체가 촬영된 2차원 이미지를 입력받는 단계(S110), 공간 정보 설정부(140)가 2차원 이미지에 특징점을 설정하는 단계(S130), 360이미지 생성부(160)가 2차원 이미지가 360도 이미지로 변환되었을 때 동일 객체가 기준 이미지와 동일한 위치에 표시될 수 있도록 2차원 이미지의 동일 객체에 대한 특징점의 위치를 기준 이미지의 동일 객체에 대한 특징점의 위치와 동기화 하는 단계(S140), 360이미지 생성부(160)가 2차원 이미지를 360도 이미지로 변환하는 단계(S150)를 포함하는 것을 특징으로 한다.5 and 6, in the 360-degree image generation method according to an embodiment of the present invention, the input unit 110 inputs a two-dimensional image in which the same object is photographed at different time zones from a previously input reference image. Receiving step (S110), the spatial information setting unit 140 sets the feature point in the two-dimensional image (S130), 360 image generating unit 160 is the same object when the two-dimensional image is converted to a 360-degree image Synchronizing the position of the feature point on the same object of the two-dimensional image with the position of the feature point on the same object of the reference image so that it can be displayed at the same position as the image (S140), the 360 image generating unit 160 is the two-dimensional image It is characterized in that it comprises a step (S150) to convert to a 360-degree image.

또한, 공간 정보 설정부(140)가 특징점을 설정하는 단계에 앞서, 공간 정보 설정부(140)가 2차원 이미지를 그레이 스케일(gray scale)화 하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In addition, prior to the step of setting the feature point by the spatial information setting unit 140, the spatial information setting unit 140 may further comprise the step of gray-scale the two-dimensional image (gray scale).

또한, 입력부(110)가 2차원 이미지를 입력받는 단계는 2차원 이미지의 위치 정보를 더 입력받고, 공간 정보 설정부(140)가 특징점을 설정하는 단계에 앞서, 위치 정보 설정부(120)가 위치 정보와 대응되는 가상지도의 위치에 2차원 이미지를 배치하는 단계(S120)를 더 포함하는 것을 특징으로 할 수 있다.In addition, when the input unit 110 receives the 2D image, the position information setting unit 120 may further include receiving the position information of the 2D image, and before the spatial information setting unit 140 sets the feature point. The method may further include disposing a two-dimensional image at a location of the virtual map corresponding to the location information (S120).

또한, 입력부(110)가 2차원 이미지를 입력받는 단계는 2차원 이미지의 시각 정보를 더 입력받고, 공간 정보 설정부(140)가 특징점을 설정하는 단계에 앞서, 시각 정보 설정부(130)가 시각 정보와 대응되는 타임라인에 2차원 이미지를 배치하는 단계(S120)를 더 포함하는 것을 특징으로 할 수 있다.In addition, when the input unit 110 receives the 2D image, the visual information setting unit 130 may further receive the visual information of the 2D image and before the spatial information setting unit 140 may set the feature point. The method may further include disposing a 2D image on a timeline corresponding to the visual information (S120).

또한, 360이미지 생성부(160)가 2차원 이미지를 360도 이미지로 변환하는 단계 후에, 이미지정보 저장부(150)가 2차원 이미지의 특징점에 대한 정보를 저장하는 단계(S160)를 더 포함하는 것을 특징으로 할 수 있다.In addition, after the 360 image generating unit 160 converts the two-dimensional image to a 360-degree image, the image information storage unit 150 further includes the step of storing information on the feature points of the two-dimensional image (S160) It may be characterized by.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.Although the preferred embodiment of the present invention has been described above, the present invention may use various changes, modifications, and equivalents. It is clear that the present invention can be applied in the same manner by appropriately modifying the above embodiments. Accordingly, the above description does not limit the scope of the invention as defined by the limitations of the following claims.

100 : 360도 이미지 생성 장치 110 : 입력부
120 : 위치 정보 설정부 130 : 시각 정보 설정부
140 : 공간 정보 설정부 150 : 이미지정보 저장부
160 : 360이미지 생성부 170 : 360이미지 조회부100: 360-degree image generating device 110: input unit
120: location information setting unit 130: time information setting unit
140: spatial information setting unit 150: image information storage unit
160: 360 image generation unit 170: 360 image inquiry unit

Claims

기준 이미지, 상기 기준 이미지와 동일 객체가 포함된 2차원 이미지, 및 상기 2차원 이미지의 위치 정보를 입력받는 입력부;
상기 2차원 이미지에 특징점을 설정하는 공간 정보 설정부;
상기 2차원 이미지가 360도 이미지로 변환되었을 때, 상기 2차원 이미지의 동일 객체를 360도 이미지로 변환된 상기 기준 이미지의 동일 객체 위치에 표시하기 위해, 상기 2차원 이미지의 동일 객체에 대한 특징점을 상기 기준 이미지의 동일 객체에 대한 특징점과 동기화 한 후, 상기 2차원 이미지를 360도 이미지로 변환하는 360이미지 생성부;
360도 이미지를 표시하고, 이미지가 촬영된 시간을 선택할 수 있는 컨트롤러를 제공하며, 상기 컨트롤러가 과거 또는 미래로 선택되면 상기 360도 이미지 상에 표시된 객체를 선택된 시대에 촬영된 객체의 이미지로 대체하여 표시 하는 360이미지 조회부; 및
상기 위치 정보와 대응되는 가상지도의 위치에 상기 2차원 이미지를 배치하는 위치 정보 설정부를 포함하고,
상기 360이미지 생성부는,
상기 기준 이미지와 상기 2차원 이미지의 서술자(Descriptor)를 계산하고,
해밍 거리(Hamming distance)를 이용하여 상기 기준 이미지와 상기 2차원 이미지의 특징점을 순차적으로 비교하며,
특징점 비교 시 일정한 크기의 윈도우(window)를 이용하여 상기 기준 이미지 및 상기 2차원 이미지의 첨단에서부터 끝단까지 동일한 형태의 윈도우를 이동시키며 윈도우 내의 특징점의 분포가 소정 기준으로 서로 유사한 영역을 탐색하고,
상기 기준 이미지 및 상기 2차원 이미지가 모두 컬러 이미지이면, 특징점의 분포가 소정 기준으로 서로 유사한 영역 내에서 픽셀들의 적색 채널, 녹색 채널, 청색 채널의 히스토그램 분포를 대조하여 히스토그램의 패턴의 유사 정도로 동일 객체로 판단하는 것을 특징으로 하는 360도 이미지 생성 장치.An input unit configured to receive a reference image, a two-dimensional image including the same object as the reference image, and position information of the two-dimensional image;
A spatial information setting unit for setting a feature point in the two-dimensional image;
When the two-dimensional image is converted to a 360-degree image, in order to display the same object of the two-dimensional image at the same object position of the reference image converted to the 360-degree image, feature points for the same object of the two-dimensional image A 360 image generator for converting the 2D image into a 360 degree image after synchronizing with a feature point of the same object of the reference image;
Provides a controller that displays a 360 degree image and selects the time at which the image was taken; when the controller is selected in the past or in the future, the object displayed on the 360 degree image is replaced with an image of the object photographed in the selected era. 360 image display unit to display; And
A location information setting unit for arranging the two-dimensional image at a location of a virtual map corresponding to the location information;
The 360 image generating unit,
Calculate a descriptor of the reference image and the two-dimensional image,
Sequentially comparing feature points of the reference image and the two-dimensional image using a Hamming distance,
When comparing feature points, a window having a constant size is used to move windows of the same shape from the top to the ends of the reference image and the two-dimensional image, and to search for regions in which feature points are similar to each other based on predetermined criteria.
If the reference image and the two-dimensional image are both color images, the object of the same degree of similarity of the pattern of the histogram by comparing the histogram distribution of the red channel, the green channel, and the blue channel of the pixels within a region where feature points are similar to each other on a predetermined basis 360 degree image generating apparatus, characterized in that determined by.

삭제delete

제1항에 있어서,
상기 위치 정보에는 상기 2차원 이미지가 촬영된 위치의 좌표 및 촬영 방향에 대한 방위 정보가 포함되고,
상기 위치 정보 설정부는 상기 방위 정보에 따라 상기 가상지도에 상기 360도 이미지의 배치 방향을 설정하는 것을 특징으로 하는 360도 이미지 생성 장치.The method of claim 1,
The location information includes coordinates of the location where the two-dimensional image is taken and orientation information on the shooting direction.
And the location information setting unit sets an arrangement direction of the 360 degree image on the virtual map according to the orientation information.

삭제delete

제1항에 있어서,
상기 기준 이미지 및 상기 2차원 이미지의 특징점에 대한 정보를 저장하는 이미지정보 저장부를 더 포함하는 것을 특징으로 하는 360도 이미지 생성 장치.The method of claim 1,
And an image information storage unit for storing information on the feature points of the reference image and the two-dimensional image.

입력부가 기준 이미지, 상기 기준 이미지와 동일 객체가 포함된 2차원 이미지 및 상기 2차원 이미지의 위치 정보를 입력받는 단계;
위치 정보 설정부가 상기 위치 정보와 대응되는 가상지도의 위치에 상기 2차원 이미지를 배치하는 단계;
공간 정보 설정부가 상기 2차원 이미지에 특징점을 설정하는 단계;
360이미지 생성부가 상기 기준 이미지와 상기 2차원 이미지의 서술자(Descriptor)를 계산하고, 해밍 거리(Hamming distance)를 이용하여 상기 기준 이미지와 상기 2차원 이미지의 특징점을 순차적으로 비교하며, 특징점 비교 시 일정한 크기의 윈도우(window)를 이용하여 상기 기준 이미지 및 상기 2차원 이미지의 첨단에서부터 끝단까지 동일한 형태의 윈도우를 이동시키며 윈도우 내의 특징점의 분포가 소정 기준으로 서로 유사한 영역을 탐색하고, 상기 기준 이미지 및 상기 2차원 이미지가 모두 컬러 이미지이면, 특징점의 분포가 소정 기준으로 서로 유사한 영역 내에서 픽셀들의 적색 채널, 녹색 채널, 청색 채널의 히스토그램 분포를 대조하여 히스토그램의 패턴의 유사 정도로 동일 객체로 판단하는 단계;
상기 360이미지 생성부가 상기 2차원 이미지가 360도 이미지로 변환되었을 때 상기 동일 객체가 기준 이미지와 동일한 위치에 표시될 수 있도록 상기 2차원 이미지의 동일 객체에 대한 특징점의 위치를 상기 기준 이미지의 동일 객체에 대한 특징점의 위치와 동기화 하는 단계;
상기 360이미지 생성부가 상기 2차원 이미지를 360도 이미지로 변환하는 단계를 포함하고,
360이미지 조회부가 360도 이미지를 표시하고, 이미지가 촬영된 시간을 선택할 수 있는 컨트롤러를 제공하며, 상기 컨트롤러가 과거 또는 미래로 선택되면 상기 360도 이미지 상에 표시된 객체를 선택된 시대에 촬영된 객체의 이미지로 대체하여 표시 하는 것을 특징으로 하는 360도 이미지 생성 방법.Receiving, by an input unit, a reference image, a 2D image including the same object as the reference image, and location information of the 2D image;
Disposing the two-dimensional image at a location of a virtual map corresponding to the location information by a location information setting unit;
A spatial information setting unit setting a feature point on the two-dimensional image;
The 360 image generator calculates a descriptor of the reference image and the two-dimensional image, sequentially compares the feature points of the reference image and the two-dimensional image by using a hamming distance, and compares the feature points. A window of a size is used to move a window of the same shape from the top to the end of the reference image and the two-dimensional image, and to search for regions where feature points within the window are similar to each other based on a predetermined criterion. If the two-dimensional images are all color images, comparing the histogram distribution of the red channel, the green channel, and the blue channel of the pixels within a region where feature point distributions are similar to each other and determining the same object as a similar degree of the pattern of the histogram;
When the 360-image generating unit converts the 2D image into a 360-degree image, the position of the feature point with respect to the same object of the 2D image may be displayed at the same position as that of the reference image. Synchronizing with the location of the feature point for;
The 360 image generating unit converts the 2D image into a 360 degree image,
The 360 image inquiry unit displays a 360 degree image and provides a controller for selecting a time at which the image was captured. When the controller is selected as the past or the future, the object displayed on the 360 degree image of the object photographed in the selected era is selected. 360-degree image generation method characterized in that the display by replacing the image.

삭제delete

제8항에 있어서,
상기 입력부가 2차원 이미지를 입력받는 단계는 상기 2차원 이미지의 시각 정보를 더 입력받고,
상기 공간 정보 설정부가 특징점을 설정하는 단계에 앞서, 시각 정보 설정부가 상기 시각 정보와 대응되는 타임라인에 상기 2차원 이미지를 배치하는 단계를 더 포함하는 것을 특징으로 하는 360도 이미지 생성 방법.The method of claim 8,
Wherein the input unit receives the two-dimensional image further receives the visual information of the two-dimensional image,
Prior to the setting of the feature point by the spatial information setting unit, the 360-degree image generating method further comprises the step of disposing the two-dimensional image in the timeline corresponding to the time information.

제8항에 있어서,
상기 360이미지 생성부가 상기 2차원 이미지를 360도 이미지로 변환하는 단계 후에,
이미지정보 저장부가 상기 2차원 이미지의 특징점에 대한 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 360도 이미지 생성 방법.The method of claim 8,
After the 360 image generating unit converts the two-dimensional image to a 360-degree image,
The image information storage unit further comprises the step of storing information about the feature point of the two-dimensional image 360 degree image generation method.