KR101942065B1

KR101942065B1 - Modificating image process system composing synthesis for missing images

Info

Publication number: KR101942065B1
Application number: KR1020180087400A
Authority: KR
Inventors: 정경식
Original assignee: 아이씨티웨이주식회사
Priority date: 2018-07-26
Filing date: 2018-07-26
Publication date: 2019-01-24

Abstract

The present invention relates to a system to process and manage images based on modification, in which uncertain images are synthesized, capable of recovering an uncertain feature image in a neighboring non-security area from a photographed image with an edited security area and converting the recovered image into two-dimensional and three-dimensional images. The system includes: a management device including a collected information DB, a security information DB, an MMS information DB, a coordinate search module, an image processing module, a three-dimensional conversion module, an image scanning module, a proximity position information collecting module, and an image editing module; and a target feature search device communicating online with the coordinate search module of the management device and a plurality of clients, and collecting image information of a planar image corresponding to search conditions of the search module by searching for image information stored in the clients.

Description

불분명 영상이미지의 합성 처리를 통한 수정방식의 영상처리 및 관리시스템{MODIFICATING IMAGE PROCESS SYSTEM COMPOSING SYNTHESIS FOR MISSING IMAGES}[0001] MODIFICATION IMAGE PROCESS SYSTEM COMPOSING SYNTHESIS FOR MISSING IMAGES [0002]

본 발명은 보안 지역이 편집된 촬영이미지에서 주변 비보안 구역 내에 불분명한 지물 이미지를 정상 복구하는 영상처리를 진행하고 복구된 영상이미지를 기반으로 2D 및 3D 형식의 영상이미지를 변환해 관리하는 불분명 영상이미지의 합성 처리를 통한 수정방식의 영상처리 및 관리시스템에 관한 것이다.The present invention relates to an image processing apparatus and method for performing an image processing for normally recovering an unclear image of an object in a surrounding non-security area in a captured image in which a security area is edited, And an image processing and management system using the correction method.

도 1(촬영이미지 내에 보안대상 지물 이미지를 제거해 편집한 모습을 보인 이미지)과 같이 항공촬영 등을 통해 수집한 촬영이미지는 그 즉시 보안 관련 기관에 우선적으로 전달되고, 상기 보안 관련 기관은 해당 촬영이미지에서 보안대상 지물 이미지(D1) 등을 제거해 편집한 최종 촬영이미지를 수치지도 제작 관련 업체에 제공한다. 1, an image captured through an aerial photographing or the like, such as an image showing a state in which a security object image is removed from the captured image, is immediately transmitted to a security-related agency, and the security- (D1) and the like, and provides the final photographed image to the companies related to the digital map production.

그런데 이 과정에서 상기 보안 관련 기관은 세밀한 편집 작업을 진행하지 않으므로, 도 1의 (b)도면의 제1 편집구간(DS1)과 같이 주변 지물 이미지의 일부 또는 전체를 제거해 편집했다.However, in this process, the security-related agency does not perform a detailed editing operation. Therefore, the security editing agency removes some or all of the surrounding image as in the first editing section DS1 of FIG.

이러한 편집은 정확한 영상이미지 처리가 불가하고, 일부 또는 전체가 제거 편집된 지물 이미지의 형태와 크기 등을 불명확히 해서, 신뢰도 높은 수치지도를 제작할 수 없는 문제가 생겼다.Such editing is incapable of processing accurate image images, and the shape and size of the image of the land which is partially or wholly removed and edited is unclear, so that a reliable digital map can not be produced.

결국, 해당 편집 과정에서 생성된 불분명 영상이미지를 명확히 보정하고 처리할 수 있는 영상 처리 및 관리 기술이 시급히 요구되었다.As a result, there is an urgent need for an image processing and management technology capable of clearly correcting and processing the unclear image generated in the editing process.

선행기술문헌 1. 특허등록번호 제10-1578819호(2015.12.21 공고)Prior Art Document 1. Patent Registration No. 10-1578819 (published on December 21, 2015)

이에 본 발명은 상기의 문제를 해소하기 위해 발명된 것으로, 보안대상 지물 이미지가 삭제 편집된 영상이미지에서 비보안대상 지물 이미지의 제거 부분을 합성 처리를 통해 복구하고 정확한 영상이미지로 완성할 수 있는 불분명 영상이미지의 합성 처리를 통한 수정방식의 영상처리 및 관리시스템의 제공을 해결하고자 하는 과제로 한다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide an image processing apparatus and method which can recover an unsecured object image from a video image in which a security object image is deleted and edited, And to provide a correction image processing and management system through image synthesis processing.

상기의 과제를 달성하기 위하여 본 발명은,According to an aspect of the present invention,

촬영이미지와, 촬영이미지 내에 속하는 지물 데이터와 구역 데이터와 지형 데이터를 정보수집장치로부터 수신하여 저장 관리하는 수집정보DB; 상기 촬영이미지 내에 편집된 제1편집구간의 좌표와, 제2편집구간의 좌표와, 상기 제2편집구간 내에 합성된 대체이미지의 범위에 정보를 보안정보로 저장 관리하는 보안정보DB; 상기 정보수집장치의 현장 수집을 통해 지물의 위치와 높이에 관한 MMS정보를 저장 관리하는 MMS정보DB; 입력된 검색조건에 따라 상기 수집정보DB에서 좌표별로 지물 데이터와 구역 데이터와 지형 데이터를 검색하며, 상기 제1편집구간의 경계를 기준으로 지정 범위 내에 지물 이미지를 훼손 지물 이미지로 정하고, 해당하는 훼손 지물 이미지의 이미지정보를 대상지물 검색장치를 통해 검색하는 좌표별 검색모듈; 상기 좌표별 검색모듈이 검색한 지물 데이터와 구역 데이터와 지형 데이터를 2D 기반의 좌표면 내에 해당 좌표라인에 맞춰서 지물과 구역의 외곽라인을 이미지화 하며, 2D 형식의 평면형 지물 이미지와 구역 이미지를 각각 생성하고, 하기 대상지물 검색장치에서 검색한 이미지정보를 해당하는 훼손 지물 이미지에 합성하고, 보안정보에 해당하는 제2편집구간을 파트 단위로 분할하며, 상기 파트별로 대체이미지를 합성하여 영상 처리하는 영상처리모듈; 상기 영상처리모듈이 영상 처리한 지물 이미지의 외곽라인을 2D 기반의 좌표면에 지정된 제1기준라인 및 좌표라인과 비교해서, 상기 제1기준라인과의 상대적 위치 및 배치각과, 상기 좌표라인에 따른 위치 및 배치각을 각각 확인하고, 3D 기반의 좌표면에 지정된 제2기준라인을 기준으로 상기 상대적 위치 및 배치각에 대응하는 외곽라인을 3D 기반의 좌표면에 설정된 좌표라인을 따라 영상 처리해서, 3D 기반의 좌표면에 3D 형식의 평면형 지물 이미지 및 구역 이미지와 3D 형식의 대체이미지를 구성한 입체형 영상이미지를 생성하며, 상기 3D 형식의 평면형 지물 이미지에 해당하는 지물 데이터를 확인해서 3D 형식의 평면형 지물 이미지를 바탕으로 수집정보DB에 저장된 해당 지물 이미지의 수집정보에 따른 높이의 입체형 지물 이미지로 생성하는 입체변환모듈; 상기 영상처리모듈이 생성한 2D 형식의 지물 이미지 및 구역 이미지의 위치별 좌표값을 해당 지물 데이터 및 구역 데이터와 비교해서 오차 여부를 검수하고, 상기 입체변환모듈이 생성한 평면형 3D 형식의 지물 이미지 및 구역 이미지의 위치 및 형태와 입체형 3D 형식의 대체이미지의 위치 및 형태를 각각 해당 2D 형식의 지물 이미지, 구역 이미지 및 대체이미지 각각의 위치 및 형태와 비교해서 오차 여부를 검수하고, 상기 영상처리모듈 및 입체변환모듈이 영상처리한 대체이미지를 확인해서 입체변환모듈의 입체화 과정 중에 대체이미지에 의해 사각지대로 삭제된 입체형 지물 이미지 중 일부만이 삭제된 지물 이미지의 외곽라인 내에 노출구간의 끝점을 사각지대의 경계점으로 확인하고, 상기 입체변환모듈이 변환하여 생성한 입체형 지물 이미지들 중에서 상기 경계점을 갖는 입체형 지물 이미지와, 상기 3D 기반의 좌표면에서 상기 경계점을 포함하는 3D 형식의 평면형 지물 이미지를 파악하며, 상기 대체이미지에 의한 입체형 지물이미지의 사각지대 범위는 3D 기반의 좌표면에서 경계점을 시작점으로 하여 이루는 범위로 하며, 상기 MMS정보DB에 저장된 MMS정보에 따라 수집정보DB에 저장된 해당 수집정보를 수정하며 입체형 지물 이미지의 높이를 수정하는 영상스캔모듈; 상기 영상스캔모듈이 확인한 사각지대 범위 내에 일부 또는 전체가 위치하는 입체형 지물 이미지의 MMS정보를 MMS정보DB에서 검색하는 근접위치정보 수집모듈; 3D 기반의 좌표면에서 상기 영상스캔모듈이 확인한 사각지대 범위 내에 평면형 3D 형식의 지물 이미지를 바탕으로 MMS정보에 따라 해당하는 높이를 갖는 입체형 지물 이미지를 생성해서, 상기 대체이미지에 의해 가려진 입체형 지물 이미지의 일부분 또는 전체를 시각적으로 가시할 수 있도록 편집하는 영상편집모듈;을 포함하는 관리장치, 및A collection information DB for receiving and managing and storing the shot image, the object data belonging to the shot image, the zone data, and the terrain data from the information collecting device; A security information DB for storing and managing information as security information in a coordinate of a first editing section edited in the shot image, a coordinate of a second editing section, and a range of a substitute image synthesized in the second editing section; An MMS information DB for storing and managing MMS information about the position and height of the object through field collection of the information collecting device; Searching for the object data, the zone data, and the terrain data by the coordinates in the collection information DB according to the input search condition, determining the image of the object to be destroyed within the specified range based on the boundary of the first edit section, A search module for each of the coordinates by which image information of the image of the object is searched through the object search device; Based on the map data, the area data and the terrain data retrieved by the coordinate retrieval module, the outline lines of the objects and areas are imaged in accordance with the coordinate lines within the 2D-based coordinate plane, and 2D image and area images A second editing section corresponding to the security information is divided on a part-by-part basis, and a substitute image is synthesized on a part-by-part basis to synthesize a video image Processing module; An edge line of the image image processed by the image processing module is compared with a first reference line and a coordinate line designated on a 2D-based coordinate plane, and the relative position and arrangement angle with respect to the first reference line, And based on the second reference line designated on the 3D-based coordinate plane, the outline line corresponding to the relative position and the placement angle is image-processed along the coordinate line set on the 3D-based coordinate plane, A three-dimensional image image in which a planar-type image and a zone image of a 3D format and a substitute image of a 3D format are formed on a 3D-based coordinate plane, and an object data corresponding to the 3D-format planar object image is checked, A three-dimensional object image of height corresponding to the collection information of the corresponding object image stored in the collection information DB based on the image, Module; Dimensional image of the 2D format and the zone image, generated by the image processing module, with the corresponding object data and the zone data, and checks whether there is an error in the 2D image, Comparing the position and shape of the zone image with the position and shape of the substitute image in the stereoscopic 3D format with the position and shape of each of the image of the 2D format, the zone image, and the substitute image, The stereoscopic conversion module checks the substitute image processed by the stereoscopic conversion module, and only a part of the stereoscopic type images deleted in the blind spot by the substitute image is deleted during the stereoscopic conversion process of the stereoscopic conversion module. And the stereoscopic transformation module generates stereoscopic images Dimensional object image having the boundary point and a 3D-type planar object image including the boundary point on the 3D-based coordinate plane, and the dead zone range of the stereoscopic image object based on the substitute image is a 3D-based coordinate plane An image scanning module which modifies the collection information stored in the collection information DB according to the MMS information stored in the MMS information DB and corrects the height of the stereoscopic image; A proximity information collection module for searching the MMS information DB for MMS information of a stereoscopic image of a part or whole located within a blind spot range determined by the image scanning module; Dimensional stereoscopic image based on the MMS information based on the image of the planar 3D format within the blind spot range determined by the image scanning module on the 3D-based coordinate plane, And a video editing module that edits a part or the whole of the video data so that the video data can be visually displayed,

상기 관리장치의 좌표별 검색모듈 및 다수의 클라이언트와 온라인 통신하며, 상기 좌표별 검색모듈의 검색조건에 해당하는 평면형 영상이미지의 이미지정보를 클라이언트에 저장된 이미지정보에서 검색해 수집하는 대상지물 검색장치An object retrieval module for retrieving and collecting image information of a planar image corresponding to a retrieval condition of the coordinate retrieval module from image information stored in a client,

가 포함된 불분명 영상이미지의 합성 처리를 통한 수정방식의 영상처리 및 관리시스템이다.And an image processing and management system of a correction method through synthesis processing of an unclear image.

상기의 본 발명은, 보안대상 지물 이미지가 삭제 편집된 영상이미지에서 비보안대상 지물 이미지의 제거 부분을 합성 처리를 통해 복구하고 정확한 영상이미지로 완성할 수 있는 효과가 있다.The present invention has the effect of restoring the removed part of the non-security object image in the video image in which the security object image is deleted and edited through synthesis processing and completing the correct image image.

도 1은 촬영이미지 내에 보안대상 지물 이미지를 제거해 편집한 모습을 보인 이미지이고,
도 2는 본 발명에 따른 관리시스템이 삭제 편집된 영상이미지를 복구하기 위해 수집한 2D 형식의 합성이미지를 영상이미지에 합성하는 모습을 개념적으로 도시한 이미지이고,
도 3은 본 발명에 따른 관리시스템이 도 2의 합성 프로세스를 통해 최종적으로 영상 처리된 영상이미지를 보인 이미지이고,
도 4는 도 1 및 도 3의 이미지를 각각 영상처리하여 2D 형식으로 도시한 영상이미지 도면이고,
도 5는 본 발명에 따른 관리시스템의 구성요소를 도시한 블록도이고,
도 6은 본 발명에 따른 관리시스템의 동작 과정을 순차 도시한 플로차트이고,
도 7는 도 4에 도시한 도면을 3D 형식의 영상이미지로 변환하고, 보안대상 지물 이미지에 보완이미지를 합성하는 모습을 도시한 도면이고,
도 8은 도 7에 도시한 도면을 입체형 영상이미지로 변환하여 도시한 도면이고,
도 9는 도 8에 도시한 도면에서 사각지대를 복원한 모습을 도시한 도면이다.FIG. 1 is an image showing a state in which a security object image is removed from a captured image and edited,
FIG. 2 is an image conceptually showing a state in which a management system according to the present invention synthesizes a synthesized image of a 2D format, collected in order to recover a deleted and edited image, onto a video image,
FIG. 3 is an image showing a video image finally processed by the management system according to the present invention through the synthesis process of FIG. 2,
FIG. 4 is a view of a video image of the image of FIG. 1 and FIG. 3 processed in a 2D format,
5 is a block diagram showing the components of the management system according to the present invention,
FIG. 6 is a flowchart sequentially illustrating an operation procedure of the management system according to the present invention,
FIG. 7 is a view showing a state in which the drawing shown in FIG. 4 is converted into a 3D image image, and a complementary image is synthesized with a security object image,
FIG. 8 is a diagram showing the conversion of the diagram shown in FIG. 7 into a stereoscopic image,
9 is a view showing a reconstruction of a dead zone in the drawing of FIG.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, There will be. The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 관리시스템이 삭제 편집된 영상이미지를 복구하기 위해 수집한 2D 형식의 합성이미지를 영상이미지에 합성하는 모습을 개념적으로 도시한 이미지이고, 도 3은 본 발명에 따른 관리시스템이 도 2의 합성 프로세스를 통해 최종적으로 영상 처리된 영상이미지를 보인 이미지이고, 도 4는 도 1 및 도 3의 이미지를 각각 영상처리하여 2D 형식으로 도시한 영상이미지 도면이고, 도 5는 본 발명에 따른 관리시스템의 구성요소를 도시한 블록도이다.FIG. 2 is an image conceptually showing a state in which a management system according to the present invention synthesizes a synthesized image of a 2D format collected for restoring a deleted and edited image to a video image. FIG. FIG. 4 is an image diagram of the image of FIG. 1 and FIG. 3 processed in the 2D format, and FIG. 5 is a diagram of the image of the present invention FIG. 2 is a block diagram illustrating the components of a management system according to FIG.

본 실시의 관리장치(100)는, 정보수집장치(200)에서 수집정보를 수집하고 저장 관리하는 수집정보DB(110)와, 촬영이미지 내에 제1편집구간(DS1)에 대한 좌표를 보안정보로 저장 관리하는 보안정보DB(120)와, MMS정보를 저장 관리하는 MMS정보DB(130)와, 좌표별로 지물 데이터와 구역 데이터와 지형 데이터와 훼손 지물 이미지의 이미지정보(CB1 내지 CB4)를 각각 검색하는 좌표별 검색모듈(140)와, 영상이미지를 편집 처리하는 영상처리모듈(150)과, 지물 이미지를 입체화해서 입체형 영상이미지로 생성하는 입체변환모듈(160)와, 2D 및 3D 이미지와 지물 이미지 및 구역 이미지를 스캐닝하는 영상스캔모듈(170)과, MMS정보를 MMS정보DB에서 검색하는 근접위치정보 수집모듈(180)과, 사각지대의 입체형 지물 이미지를 생성하고 편집하는 영상편집모듈(190)을 포함한다.The management apparatus 100 of the present embodiment includes a collection information DB 110 for collecting and storing collected information in the information collecting apparatus 200 and a collecting unit 110 for collecting coordinates of the first editing section DS1 in the captured image as security information The MMS information DB 130 for storing and managing MMS information, and the image data (CB1 to CB4) of the image data, the zone data, the terrain data, and the damaged image for each coordinate A three-dimensional conversion module 160 for generating a stereoscopic image by stereoscopically converting an image of an object, a 2D and 3D image and a feature image An image scanning module 170 for scanning a zone image, a proximity position information collection module 180 for searching MMS information in an MMS information DB, an image editing module 190 for generating and editing a stereoscopic image of a dead zone, .

또한, 본 실시의 대상지물 검색장치(300)는, 관리장치(100)의 좌표별 검색모듈(140) 및 다수의 클라이언트(400, 400', 400"; 이하 '400')와 온라인 통신하며, 좌표별 검색모듈(140)의 검색조건에 해당하는 평면형 영상이미지의 이미지정보(CB1 내지 CB4)를 검색해 수집한다. 여기서 상기 검색조건은 해당 지물의 GPS좌표, 상호, 건물명, 주소, 연락처 등일 수 있고, 해당 검색조건에 상응하는 정보들 중 평면형 영상이미지만을 추출해서 이미지정보(CB1 내지 CB4)로 저장한다.The object retrieval apparatus 300 of the present embodiment communicates with the plurality of clients 400, 400 ', and 400' (hereinafter, '400') by the coordinate-based retrieval module 140 of the management apparatus 100, The search condition may be the GPS coordinates of the corresponding object, the name of the building, the name of the building, the address, the contact information, and the like , And extracts only the planar image from the information corresponding to the search condition and stores the image information in the image information CB1 to CB4.

클라이언트(400)는 일반적인 사용자 단말기이거나 데이터서버일 수 있고, 대상지물 검색장치(300)는 좌표별 검색모듈(140)로부터 수신한 검색조건 중 하나인 좌표값과 지물의 명칭과 상호 등에 따라 클라이언트(400)를 검색해서 해당 좌표값에 위치하는 지물 이미지 등의 평면형 영상이미지를 검색한다. 일반적으로 부동산 중개서버와 지도 안내서비스 서버 등은 상기 검색조건에 해당하는 지물의 평면형 영상이미지를 데이터로 저장하므로, 대상지물 검색장치(300)는 해당하는 서버 등의 클라이언트(400)를 검색해서 이미지정보(CB1 내지 CB4)를 수집한다.The client 400 may be a general user terminal or a data server and the object search apparatus 300 may search the client 400 according to coordinates of one of the search conditions received from the coordinate search module 140, 400) and searches for a planar image image such as an image of an object located at the coordinate value. In general, the real estate agent server and the guidance service server store the planar image of the object corresponding to the search condition as data, so that the object search apparatus 300 searches the client 400 of the corresponding server, And collects information CB1 to CB4.

상기 구성요소들에 대해 좀 더 구체적으로 설명한다.The above components will be described in more detail.

본 실시의 수집정보DB(110)는, 측지측량 및 항공촬영을 통해 수집한 지물 데이터와 구역 데이터와 지형 데이터를 정보수집장치(200)로부터 수신하여 저장 관리한다. 정보수집장치(200)는 수치지도 제작 등을 위해 주지된 장비를 이용해서 해당 지역을 측지측량하고 촬영해서 관련 정보들을 수집할 수 있으며, 이렇게 수집한 수집정보를 저장하고 관리한다.The collection information DB 110 of the present embodiment receives and saves and manages the object data, the area data, and the terrain data collected through the geodetic survey and the aerial photographing from the information collecting apparatus 200. The information collecting apparatus 200 can use a well-known equipment for digital map production and the like to geo-measure and photograph the relevant area, collect relevant information, and store and manage the collected information.

본 실시의 보안정보DB(120)는, 촬영이미지 내에 편집된 제1편집구간의 좌표와, 영상처리된 상기 제2편집구간의 좌표와, 상기 제2편집구간 내에 합성된 대체이미지의 범위에 정보를 보안정보로 저장 관리한다.The security information DB 120 of the present embodiment is a security information DB that stores the coordinates of the first editing section edited in the shot image, the coordinates of the second editing section subjected to the image processing, As security information.

본 실시의 MMS정보DB(130)는, 정보수집장치(200)의 현장 수집을 통해 지물의 위치와 높이에 관한 MMS정보를 저장 관리한다. 주지된 바와 같이 MMS는 'Mobile Mapping System'의 약자이며, 이동 지도제작 시스템을 뜻한다. 상기 이동 지도제작 시스템(MMS)는 사진측량기술로 구현된 CCD카메라와 위치측정 장비(GPS) 등의 다양한 센서들을 통합하여 차량에 탑재하고, 차량의 운행과 함께 도로 주변에 있는 지형지물의 위치측정과 시각정보를 취득할 수 있도록 구현한다. 이러한 MMS가 수집한 MMS정보는 현장에서 해당 지물 간에 간격과 높이 및 크기 등에 관한 데이터를 포함하며, 이를 이용해서 좀 더 높은 정확성을 갖는 입체형 영상이미지와 이를 포함하는 입체영상지도를 제작할 수 있다.The MMS information DB 130 of this embodiment stores and manages MMS information about the position and height of the object through field collection of the information collecting apparatus 200. [ As is well known, MMS is an abbreviation of 'Mobile Mapping System' and it means mobile map production system. The mobile map production system (MMS) integrates various sensors such as a CCD camera and a position measuring instrument (GPS) implemented by photogrammetry technology and integrates them into the vehicle, and measures the position of the feature around the road along with the operation of the vehicle So that it can acquire time information. The MMS information collected by the MMS includes data on the interval, height, size, and the like among the objects in the field, and a stereoscopic image having higher accuracy and a stereoscopic image including the same can be produced using the information.

본 실시의 좌표별 검색모듈(140)은, 입력된 검색조건에 따라 수집정보DB(110)에서 좌표별로 지물 데이터와 구역 데이터와 지형 데이터를 각각 검색한다. 또한 제1편집구간(DS1)의 경계를 기준으로 지정 범위 내에 지물 이미지를 훼손 지물 이미지로 정하고, 해당하는 훼손 지물 이미지의 이미지정보(CB1 내지 CB4)를 각각 대상지물 검색장치(300)를 통해 검색한다. 좌표별 검색모듈(140)은 대상지물 검색장치(300)로부터 수신한 훼손 지물 이미지의 평면형 영상이미지를 작업자에게 출력하고, 작업자의 선택값에 따라 해당하는 평면형 영상이미지를 훼손 지물 이미지의 대체 이미지로 지정한다.The search module for each coordinate according to the present embodiment searches for the object data, the zone data and the terrain data by the coordinates in the collection information DB 110 according to the inputted search condition. In addition, the image of the object to be destroyed is determined as a damaged image within the specified range on the basis of the boundary of the first editing section DS1, and image information CB1 to CB4 of the corresponding damaged image is retrieved through the object- do. The coordinate-by-coordinate search module 140 outputs a planar image of the undamaged object image received from the object search apparatus 300 to the operator, and outputs the corresponding planarimage image as a substitute image of the undamaged object image Specify.

본 실시의 영상처리모듈(150)은, 좌표별 검색모듈(140)이 검색한 지물 데이터와 구역 데이터와 지형 데이터를 2D 기반의 좌표면 내에 해당 좌표라인에 맞춰서 지물과 구역의 외곽라인을 이미지화 하며, 2D 형식의 평면형 지물 이미지와 구역 이미지를 각각 생성하고, 대상지물 검색장치(300)에서 검색한 이미지정보(CB1 내지CB4)를 합성하고, 보안정보에 해당하는 제2편집구간(DS2)을 파트(DZ) 단위로 분할하며, 파트(DZ)별로 대체이미지(IM)를 합성하여 영상 처리한다. 참고로, 대체이미지(IM)는 나무 이미지 등이 될 수 있고, 본 실시는 나무 이미지를 대체이미지(IM)로 한다. 또한 본 실시는 하나의 대체이미지(IM)를 모든 파트(DZ)에 합성하였으나, 필요에 따라 파트(DZ)의 일부에는 대체이미지(IM)를 합성하지 않을 수도 있다. 제2편집구간(DS2)에 대한 파트(DZ)별 분할과 대체이미지(IM) 합성은 3D 변환 이후에 이루어진다. The image processing module 150 of the present embodiment images the outline of the object and the area by matching the object data, the area data and the terrain data retrieved by the coordinate-by-coordinate retrieval module 140 to the corresponding coordinate line in the 2D-based coordinate plane , A 2D-format planar-type object image and a zone image are generated, the image information CB1-CB4 searched by the object-matter-search apparatus 300 are synthesized, and a second edit section DS2 corresponding to security information is created (DZ), and a substitute image (IM) is synthesized for each part (DZ) and image processing is performed. For reference, the replacement image IM may be a wood image or the like, and the present embodiment uses the wood image as the replacement image IM. Also, although the present embodiment synthesizes one substitute image IM to all the parts DZ, the substitute image IM may not be synthesized to a part of the part DZ as needed. Split by part (DZ) and composite image (IM) synthesis for the second edit section (DS2) are performed after 3D conversion.

좌표별 검색모듈(140)이 검색한 지물 데이터와 구역 데이터와 지형 데이터를 2D 기반의 좌표면 내에 해당 좌표라인에 맞춰서, 상기 지물 데이터와 구역 데이터와 지형 데이터에 따라 2D 형식의 지물 이미지와 구역 이미지로 분류해서 도 4와 같은 영상이미지를 생성한다. 영상처리모듈(150)은 위치별로 좌표값이 설정된 2D 기반의 좌표면에 수집정보를 기반으로 입력되는 데이터에 따라 영상처리 프로세스가 실행되며, 이를 통해 2D 형식의 지물 이미지와 구역 이미지를 완성한다. 여기서 상기 지물 이미지는 건물 또는 구조물 등의 평면모습이고, 구역 이미지는 블록화된 구간별 범위에 대한 평면모습이다.Based on the found data, the zone data, and the terrain data, the 2D data of the 2D format and the zone image And generates a video image as shown in FIG. The image processing module 150 executes the image processing process according to the data input based on the collection information on the coordinate plane of the 2D based coordinate value set by the position, thereby completing the 2D image image and the area image. Here, the image of the land is a plan view of a building or a structure, and a zone image is a plan view of a blocked range.

본 실시의 입체변환모듈(160)은, 영상처리모듈(150)이 생성한 2D 형식의 영상이미지를 3D 기반의 좌표면 내에 좌표라인에 맞춰진 평면형 3D 형식으로 변환하고, 상기 지물 데이터에 포함된 지물별 높이에 맞춰 지물 이미지를 입체화해서 입체형 지물 이미지로 생성한다. 2D 형식의 영상이미지는 도 4와 같이 지물과 평면 모습만을 영상화한 것이므로, 해당 지역의 구역에 대한 범위는 쉽게 파악할 수 있으나, 지물에 대한 형태와 현장 모습을 이해하는데 사실상 한계가 있다. 2D 형식의 영상이미지를 3D 형식의 영상이미지로 변환한 후에 각 지물별 수집정보를 토대로 입체형 영상이미지를 생성한다.The three-dimensional transformation module 160 of this embodiment converts the 2D image image generated by the image processing module 150 into a planar 3D format that is aligned with the coordinate line within the 3D-based coordinate plane, The image of the object is stereoscopically created according to the height of the star, and the stereoscopic image is generated. Since the 2D image image is only an image of the object and the plane view as shown in Fig. 4, the range of the area in the area can be easily grasped, but there is a practical limit to understanding the shape and the scene of the object. After the 2D image format is converted into the 3D image format, the stereoscopic image is created based on the collection information of each object.

본 실시의 영상스캔모듈(170)은, 영상처리모듈(150)이 생성한 영상이미지에서 구역 데이터 별 좌표 범위 내에 해당하는 지물 데이터를 확인하고, 상기 구역 이미지 내에 위치하는 지물 이미지의 영상처리 여부를 스캐닝해서 오차 여부를 확인 및 수정을 하며, 보안정보DB(120)에서 확인한 구역에 대해 입체변환모듈(160)의 입체화 과정 중에 대체이미지에 의한 사각지대로 삭제된 입체형 지물 이미지 중 일부만이 삭제된 입체형 지물 이미지에서 외곽라인 내에 노출구간의 경계점을 확인하고, 입체변환모듈(160)이 변환하여 생성한 평면형 3D 형식에서 외곽라인에 상기 경계점을 갖는 지물의 지물 이미지와, 상기 사각지대 내에 해당하는 지물의 지물 이미지를 확인한다. 영상스캔모듈(170)은 2D 형식 및 3D 형식의 영상이미지와 입체형 영상이미지의 위치와 형태 등을 스캐닝해서 지물별로 영상처리 상태를 파악하고 오차 여부를 확인하는데, 이를 위한 방법 등의 설명은 아래에서 좀 더 구체적으로 설명한다.The image scanning module 170 of the present embodiment checks the image data within the coordinate range of each zone data in the image image generated by the image processing module 150 and determines whether or not the image processing of the image located within the zone image is processed Dimensional image of the region identified by the security information DB 120 is deleted and a portion of the stereoscopic object image deleted by the blind spot by the substitute image is deleted during the stereoscopic process of the stereoscopic conversion module 160, The boundary image of the exposure section within the outline line in the image of the object is detected, the image of the object having the boundary point in the outline line in the planar 3D format generated by the conversion by the three-dimensional conversion module 160, Check the image of the image. The image scanning module 170 scans the position and shape of the 2D image and the 3D image image and the stereoscopic image image to check the image processing state and check whether there is an error. This will be explained in more detail.

본 실시의 근접위치정보 수집모듈(180)은, 영상스캔모듈(170)이 확인한 사각지대 내에 일부 또는 전체가 위치하는 지물 이미지의 MMS정보를 MMS정보DB(130)에서 검색한다.The proximity position information collection module 180 of the present embodiment searches the MMS information DB 130 for MMS information of the image of a place where a part or all of the images are located within the blind spot determined by the image scan module 170. [

본 실시의 영상편집모듈(190)은, 상기 경계점을 갖는 지물 이미지에서 영상스캔모듈(170)이 확인한 해당 평면형 3D 형식에 맞춰 사각지대 내에 삭제라인을 경계점을 기준으로 보강하고, 해당 지물 이미지의 지물에 관한 MMS정보에 따라 입체형 지물 이미지를 생성하며, 상기 사각지대 내에 위치하는 삭제된 입체형 지물 이미지는 해당하는 지물의 좌표와 높이를 기준으로 해서 평면형 3D 형식의 지물 이미지를 생성한다. 이때, 지물의 좌표와 높이는 MMS정보를 기초로 한다.The image editing module 190 of the present embodiment enhances the deletion lines in the dead zone in accordance with the corresponding planar 3D format confirmed by the image scanning module 170 in the image having the boundary point based on the boundary point, Dimensional object image in accordance with the MMS information about the object, and creates a planar 3D image based on the coordinate and height of the corresponding object. At this time, the coordinates and height of the object are based on the MMS information.

도 6은 본 발명에 따른 관리시스템의 동작 과정을 순차 도시한 플로차트이고, 도 7는 도 4에 도시한 도면을 3D 형식의 영상이미지로 변환하고, 보안대상 지물 이미지에 보완이미지를 합성하는 모습을 도시한 도면이고, 도 8은 도 7에 도시한 도면을 입체형 영상이미지로 변환하여 도시한 도면이고, 도 9는 도 8에 도시한 도면에서 사각지대를 복원한 모습을 도시한 도면이다.FIG. 6 is a flowchart sequentially illustrating an operation procedure of the management system according to the present invention. FIG. 7 is a view illustrating a process of converting a drawing shown in FIG. 4 into a 3D image image, FIG. 8 is a diagram showing the conversion of the diagram shown in FIG. 7 into a stereoscopic image, and FIG. 9 is a diagram showing a reconstruction of a blind spot in the diagram of FIG.

S10; 영상처리 대상지역 확인 단계S10; Identify the region to be processed

좌표별 검색모듈(140)은 작업자가 입력한 영상처리 대상지역의 정보에 따라 수집정보DB(110)에서 해당하는 지물 데이터와 구역 데이터와 지형 데이터를 검색한다. 작업자가 입력하는 영상처리 대상지역의 정보는, GPS 기반의 좌표값 또는 지물 데이터와 구역 데이터와 지형 데이터 등의 고유코드 등일 수 있다.The coordinate-by-coordinate search module 140 searches the collection information DB 110 for corresponding object data, zone data, and terrain data according to the information of the image processing target area input by the operator. The information of the image processing target area input by the operator may be a GPS-based coordinate value or a unique code such as the area data and the terrain data.

수집정보는 도 1의 (b)도면과 같이 촬영 이미지를 포함할 수 있으며, 좌표별 검색모듈(140)이 수집정보DB(110) 검색 시에 상기 촬영 이미지도 함께 검색해서 출력할 수 있다.The collection information may include a captured image as shown in FIG. 1B, and the search module 140 may search for the captured image together with the collected information when searching the collected information DB 110. FIG.

또한 좌표별 검색모듈(140)은, 제1편집구간(DS1)의 경계를 기준으로 지정 범위 내에 지물 이미지를 훼손 지물 이미지로 정하고, 해당하는 훼손 지물 이미지(CB1 내지 CB4)를 각각 대상지물 검색장치(300)를 통해 검색한다.In addition, the coordinate-by-coordinate search module 140 determines the image of the object to be destroyed in the specified range on the basis of the boundary of the first editing section DS1 as a damaged image and outputs the corresponding damaged image CB1 to CB4 to the object- (300).

S20; 영상 처리 단계S20; Image processing step

영상처리모듈(150)은 좌표별 검색모듈(140)이 검색한 지물 데이터와 구역 데이터와 지형 데이터를 2D 기반의 좌표면 내에 해당 좌표라인(L)에 맞춰서, 도 6과 같이 2D 형식의 지물 이미지(B1, B2)와 구역 이미지(Z1 내지 Z7; 이하 'Z')로 분류한 영상이미지를 생성한다.The image processing module 150 adjusts the object data, the area data, and the terrain data retrieved by the coordinate-based retrieval module 140 to the coordinate line L in the 2D-based coordinate plane, (B1, B2) and a zone image (Z1 to Z7, hereinafter, Z).

영상처리모듈(150)은 좌표별 검색모듈(140)이 검색한 지물 데이터와 구역 데이터와 지형 데이터를 2D 기반의 좌표면 내에 해당 좌표라인에 맞춰서, 2D 형식의 지물 이미지(B1, B2)와 구역 이미지(Z1 내지 Z7; 이하 'Z', 도 4 참조)로 분류한 영상이미지를 생성한다.The image processing module 150 aligns the found data, the area data, and the terrain data retrieved by the coordinate-by-coordinate retrieval module 140 with the corresponding coordinate lines within the 2D-based coordinate plane, And generates an image image classified into images Z1 to Z7 (hereinafter referred to as 'Z', see FIG. 4).

이를 위해 영상처리모듈(150)은 상기 2D 기반의 좌표면을 구성하는데, 상기 2D 기반의 좌표면은 GPS와는 다른 고유의 좌표값이 설정된 베이스이며, 상기 2D 기반의 좌표면 상에 지정된 좌표값에 맞춰서 지물 데이터와 구역 데이터와 지형 데이터를 입력해 도시한다. 일 예를 들어 설명하면, 지물 데이터에 해당 지물의 위치좌표와 범위 등에 대한 정보가 포함되고, 영상처리모듈(150)은 상기 위치좌표와 범위 등을 2D 기반의 좌표면의 좌표값에 맞춰 지물 이미지(B1, B2)로 영상 처리한다. 이러한 방식으로 구역(Z1 내지 Z7) 또한 그 범위와 위치 등을 확인해서 상기 2D 기반의 좌표면에 영상화 한다. For this, the image processing module 150 constructs the 2D-based coordinate plane, wherein the 2D-based coordinate plane is a base on which a unique coordinate value different from that of the GPS is set, and a coordinate value designated on the 2D- In accordance with the above, input and display the map data, the area data and the terrain data. For example, the image data includes information on the position coordinates and the range of the corresponding object in the object data, and the image processing module 150 adjusts the position coordinates and the range according to the coordinate values of the 2D- (B1, B2). In this way, the zones Z1 to Z7 also identify the range, position, etc., and image them on the 2D-based coordinate plane.

전술한 방식에 따라 영상처리모듈(150)은 도 4의 (b)도면에 도시한 2D 형식의 영상이미지를 완성하고, 작업자는 도 3에서 보인 촬영 이미지와 비교해서 오차 여부를 검수할 수 있다.According to the above-described method, the image processing module 150 completes the 2D image image shown in FIG. 4B, and the operator compares the image with the image shown in FIG.

참고로, 최근 버전에는 없던 새로운 지물이 생성되어서 도 3에서 보인 촬영 이미지에 촬영되면, 작업자는 영상처리모듈(150)의 영상처리 프로세스를 통해서 도 3의 촬영 이미지를 기반으로 지물 이미지(B1, B2)를 직접 제작할 수 있다. 이를 위해 영상처리모듈(150)은 작업자가 입력하는 명령값에 따라 2D 기반의 좌표면의 지정된 위치에 라인을 표시하고, 상기 라인이 위치하는 2D 기반의 좌표면 상에 좌표값과, 실제 지물에 대한 수집정보를 비교해서 오차가 확인되면 해당 라인 위치를 자동 조정한다.3, the operator inputs the image data (B1, B2) on the basis of the captured image of FIG. 3 through the image processing process of the image processing module 150 ) Can be produced directly. For this, the image processing module 150 displays a line at a designated position on a 2D-based coordinate plane according to a command value input by an operator, and displays coordinate values on a 2D-based coordinate plane where the line is located, When the error is confirmed, the position of the corresponding line is automatically adjusted.

영상처리모듈(150)은, 앞서 검색된 상기 훼손 지물 이미지(CB1 내지 CB4)를 확인하고, 지물 이미지(CB1 내지 CB4)를 상기 영상이미지의 해당 위치에 합성해서 최종적인 제2편집구간(DS2; 도 3,4 참조)을 확정한다.The image processing module 150 confirms the damaged images CB1 to CB4 retrieved in advance and synthesizes the image images CB1 to CB4 at corresponding positions of the image image to generate a final second edit section DS2 3 and 4).

참고로, 도 3에서 보인 상기 훼손 지물 이미지(CB1 내지 CB4)는 다수의 지물 이미지을 집단화해서 하나의 이미지로 보인 모습이나, 도 3에서 보인 상기 훼손 지물 이미지(CB1 내지 CB4)는 설명의 편의와 이해를 돕기위해 단순화한 것에 불과하다. 따라서 본 발명에 따른 상기 훼손 지물 이미지(CB1 내지 CB4)는 훼손된 지물 이미지(CB1 내지 CB4) 하나하나가 객체별로 완전한 모습을 이루어서, 도 2와 같이 해당하는 위치에 합성되고, 도 4의 (b)도면과 같이 편집이 이루어져야 할 실제 구간인 제2편집구간(DS2)을 완성한다. 따라서 훼손된 지물 이미지(CB1 내지 CB4)는 수십개 이상이 될 수 있다.3, a plurality of images are grouped into a single image, while the damaged images CB1 to CB4 shown in FIG. 3 are used for explanatory convenience and understanding To simplify the process. Therefore, the damaged images CB1 to CB4 according to the present invention are formed such that each of the damaged image CB1 to CB4 has a complete appearance for each object and is synthesized at the corresponding position as shown in FIG. 2, And completes the second edit section DS2 which is an actual section to be edited as shown in the figure. Therefore, the damaged images CB1 to CB4 can be dozens or more.

제2편집구간(DS2)이 완성되면, 보안정보에 해당하는 제2편집구간(DS2)을 파트(DZ) 단위로 분할하며, 파트(DZ)별로 대체이미지(IM)를 합성하여 영상 처리한다. 참고로, 대체이미지(IM)는 나무 이미지 등이 될 수 있고, 본 실시는 나무 이미지를 대체이미지(IM)로 한다. 또한 본 실시는 하나의 대체이미지(IM)를 모든 파트(DZ)에 합성하였으나, 필요에 따라 파트(DZ)의 일부에는 대체이미지(IM)를 합성하지 않을 수도 있다. When the second editing section DS2 is completed, the second editing section DS2 corresponding to the security information is divided by the part DZ, and the replacement image IM is synthesized for each part DZ. For reference, the replacement image IM may be a wood image or the like, and the present embodiment uses the wood image as the replacement image IM. Also, although the present embodiment synthesizes one substitute image IM to all the parts DZ, the substitute image IM may not be synthesized to a part of the part DZ as needed.

참고로, 대체이미지(IM) 합성은 아래에서 설명하듯이 2D 형식의 영상이미지을 3D 형식의 영상이미지로 변환한 이후에야 실질적인 합성이 이루어지므로, 본 단계에서 설명한 대체이미지(IM) 합성 사항은 참고로만 이해하면 된다.For reference, the synthesis of the alternative image (IM) is performed only after the 2D image image is converted into the 3D image image as described below. Therefore, the synthesis of the alternative image (IM) I understand.

한편 영상스캔모듈(170)은 영상처리모듈(150)이 생성한 영상이미지에서 구역 데이터 별 좌표 범위 내에 해당하는 지물 데이터를 확인하고, 구역 이미지(Z) 내에 위치하는 지물 이미지(B1, B1', B1", B2, B2', B2")의 영상 처리 여부를 스캐닝해서 오차 여부 확인 및 수정을 한다. 좀 더 구체적으로 설명하면, 영상스캔모듈(170)은 수집정보DB(110)에서 구역 데이터와 지물 데이터를 검색하고, 각 구역별로 위치하는 지물을 파악한다. 따라서 영상스캔모듈(170)은 구역 이미지(Z) 내에 위치해야 하는 지물 이미지(B1, B1', B1", B2, B2', B2")를 파악해서 해당 지물 이미지(B1, B1', B1", B2, B2', B2")의 일부 또는 전체가 구역 이미지(Z)를 이탈하거나, 임의의 구역 이미지(Z) 내에 지정되지 않은 지물 이미지의 일부 또는 전체가 위치하면 이를 파악해 작업자에게 통지한다. 물론 작업자는 해당 영상이미지의 불량 여부를 파악해서 수정할 수 있고, 이를 통해 최종 영상이미지를 완성한다.On the other hand, the image scanning module 170 checks the image data within the coordinate range of each zone data in the image image generated by the image processing module 150, and outputs the image data B1, B1 ', B1' B1 ", B2, B2 ', B2") are scanned to determine whether or not an error has occurred. More specifically, the image scanning module 170 searches the collection information DB 110 for the zone data and the image data, and grasps the location of each zone. Accordingly, the image scanning module 170 grasps the image images B1, B1 ', B1 ", B2, B2', B2" that should be located within the zone image Z, , B2, B2 ', B2 ") departs from the zone image (Z), or when some or all of the image images not specified in any zone image (Z) are located and notified to the operator. Of course, the operator can grasp whether the image is defective and correct it, thereby completing the final image.

S30; 3D 변환 단계S30; 3D conversion step

영상처리모듈(150)이 생성한 2D 형식의 영상이미지의 외곽라인을 입체변환모듈(160)이 2D 기반의 좌표면의 기준라인과 비교해서 위치 및 배치각을 확인하고, 입체변환모듈(160)이 3D 기반의 좌표면의 기준라인 대비 상기 위치 및 배치각에 해당하도록 외곽라인을 생성하여 3D 형식의 좌표면에 영상처리하여 평면형 3D 형식으로 변환한다.The stereoscopic conversion module 160 compares the outline line of the 2D image image generated by the image processing module 150 with the reference line of the 2D-based coordinate plane to check the position and the placement angle, An outline line is generated so as to correspond to the position and the placement angle with respect to the reference line of the 3D-based coordinate plane, and is converted into a plane 3D format by image processing on the coordinate plane of the 3D format.

2D 형식의 영상이미지는 도 4와 같이 단순한 평면형 이미지이므로, 실제 현장에서는 사용자가 상대적으로 큰 지물의 위치와 도로 구조만을 이해하는 용도로만 활용할 수밖에 없다.Since the 2D image image is a simple planar image as shown in FIG. 4, the user only has to utilize the 2D image in order to understand only the position of the relatively large object and the road structure in the actual field.

그러나 3D 형식의 입체적인 지도는 현장에서 지물의 위치는 물론 크기 등, 현장의 구조적 상황과 동일 및 유사하므로 파악에 유리하다. 따라서 입체변환모듈(160)은 입체형 지물 이미지(B1", B2") 생성을 위해 우선적으로 그 기초를 이룰 수 있는 평면형 3D 형식의 지물 이미지(B1', B2')를 도 7와 같이 변환해 생성한다.However, the three-dimensional map of the 3D format is advantageous for grasping because it is similar to and similar to the structural situation of the site such as the location of the object in the field as well as the size. Therefore, the three-dimensional transformation module 160 transforms the image images B1 'and B2' in the planar 3D format, which can form a basis for generating stereoscopic images B1 'and B2' do.

2D 형식의 영상이미지를 평면형 3D 형식으로 변환하기 위해서 입체변환모듈(160)은 제1기준라인(S1, S2)을 지정하고, 제1기준라인(S1, S2)를 도 7와 같이 회전시켜서 3D 기반의 좌표면에 새로운 제2기준라인(S1', S2')을 생성한다. 계속해서 입체변환모듈(160)은 제1기준라인(S1, S2) 대비 지물 이미지(B1, B2)의 외곽라인의 위치 및 배치각에 대한 상대치를 파악해서, 상기 상대치가 제2기준라인(S1', S2')과 동일하도록 지물 이미지(B1', B2')의 외곽라인의 위치 및 배치각을 조정한다.In order to convert the 2D image format to the planar 3D format, the three-dimensional conversion module 160 designates the first reference lines S1 and S2 and rotates the first reference lines S1 and S2 as shown in FIG. And generates new second reference lines S1 ', S2' on the basis of the coordinate basis. Subsequently, the three-dimensional transformation module 160 grasps the relative values for the positions and arrangement angles of the outline lines of the image images B1 and B2 with respect to the first reference lines S1 and S2, ', S2') are adjusted so that the positions and the placement angles of the outline lines of the image images (B1 ', B2') are adjusted.

예를 들어 설명하면, 2D 기반의 좌표면에 제1기준라인(S1, S2)을 구성하는 횡선 및 종선은 3D 기반의 좌표면에 제2기준라인(S1', S2')을 구성하는 횡선 및 종선과 동일한 회전각을 이루지 않는다. 즉, 제1기준라인(S1, S2)의 횡선과 제2기준라인(S1', S2')의 횡선간에 각도 차이가 30도를 이루어도, 제1기준라인(S1, S2)의 종선과 제2기준라인(S1', S2')의 종선간에 각도 차이가 30도를 이루지 않는다. For example, the horizontal lines and the vertical lines constituting the first reference lines (S1, S2) on the 2D-based coordinate plane are the horizontal lines constituting the second reference lines (S1 ', S2') on the 3D- It does not form the same angle of rotation as the vertical line. That is, even if the angle difference between the horizontal lines of the first reference lines S1 and S2 and the horizontal lines of the second reference lines S1 'and S2' is 30 degrees, the vertical lines of the first reference lines S1 and S2, The angle difference between the vertical lines of the two reference lines S1 'and S2' does not become 30 degrees.

따라서 입체변환모듈(160)은 제2기준라인(S1', S2')의 횡선과 종선을 기준으로 좌표라인을 형성하고, 그 좌표라인에 맞춰 지물 이미지(B1', B2')와 구역 이미지(Z)의 외곽라인을 생성한다.Therefore, the three-dimensional transformation module 160 forms a coordinate line with respect to the horizontal line and the vertical line of the second reference lines S1 'and S2', and outputs the image images B1 'and B2' Z) is generated.

이러한 외곽라인 조정을 통해 입체변환모듈(160)은 2D 형식의 영상이미지를 평면형 3D 형식으로 변환한다.The stereoscopic conversion module 160 converts the image of the 2D format into the 3D format of the plane through the adjustment of the outline line.

영상이미지가 평면형 3D 형식으로 변환되면, 영상처리모듈(150)은 도 7의 (a)도면과 같이 보안정보에 해당하는 제2편집구간(DS2)을 파트(DZ) 단위로 분할하며, 도 7의 (b)도면과 같이 파트(DZ)별로 대체이미지(IM)를 합성한다. 참고로, 대체이미지(IM)는 나무 이미지 등이 될 수 있고, 본 실시는 나무 이미지를 대체이미지(IM)로 한다. 또한 본 실시는 하나의 대체이미지(IM)를 모든 파트(DZ)에 합성하였으나, 필요에 따라 파트(DZ)의 일부에는 대체이미지(IM)를 합성하지 않을 수도 있다. 7 (a), the image processing module 150 divides the second editing section DS2 corresponding to the security information into units of parts (DZ) (IM) for each part (DZ) as shown in (b) of FIG. For reference, the replacement image IM may be a wood image or the like, and the present embodiment uses the wood image as the replacement image IM. Also, although the present embodiment synthesizes one substitute image IM to all the parts DZ, the substitute image IM may not be synthesized to a part of the part DZ as needed.

S40; 입체형 영상이미지 생성 단계S40; Stereoscopic image image generation step

입체변환모듈(160)은 상기 지물 데이터에 포함된 지물별 높이에 맞춰 지물 이미지(B1', B2')를 입체화해서 입체형 지물 이미지(B1", B2")로 생성한다.The three-dimensional transformation module 160 generates the three-dimensional object images B1 " and B2 " by solidifying the object images B1 'and B2' according to the heights of the objects included in the object data.

상기 지물 데이터는 해당 지물의 위치는 물론 높이 정보를 포함하므로, 입체변환모듈(160)은 도 8의 (a)도면과 같이 평면형 3D 형식의 이미지를 기초로 지물 이미지(B1', B2')의 높이에 맞춰 입체화한다.Since the object data includes height information as well as the location of the object, the three-dimensional transformation module 160 may convert the object images B1 'and B2' of the object images B1 'and B2' based on the image of the planar 3D format as shown in FIG. It is solidified according to height.

이러한 입체형 영상이미지 생성 과정에서 도 8의 (a)도면과 같이 사각지대가 형성되는데, 입체변환모듈(160)은 해당 사각지대에 속하는 생성 라인을 삭제해서 입체형 영상이미지의 지물 이미지(B1", B2") 파악이 시각적으로 유리하도록 처리한다.In this stereoscopic image generation process, a blind spot is formed as shown in FIG. 8 (a), and the stereoscopic conversion module 160 deletes the creation line belonging to the blind spot, ") Is handled visually to be advantageous.

S50; 대체이미지 구간 확인 단계S50; Steps to check for alternate image sections

영상스캔모듈(170)은 보안대상DB(120)를 검색해서 보안정보를 확인하고, 상기 입체형 영상이미지 내에 입체형 지물 이미지(B1", B2")에서 보안정보에 대응하는 위치에 합성된 대체이미지(IM)를 확인한다.The image scanning module 170 searches the security target DB 120 to check the security information and detects the security information from the substitute images (B1 ", B2 ") synthesized at positions corresponding to the security information in the stereoscopic- IM).

참고로, 상기 입체형 영상이미지에 구성된 입체형 지물 이미지(B1", B2")와 구역 이미지(Z)는 해당하는 지물 데이터와 구역 데이터가 각각 링크되므로, 이를 토대로 위치 스캐닝 모듈(170)은 보안정보를 기준으로 대체이미지(IM)와 제2편집구간(DS2)을 확인할 수 있다.For reference, since the corresponding object data and zone data are linked to the stereoscopic image images (B1 ", B2 ") and the zone image (Z) formed in the stereoscopic image image, the location scanning module 170 transmits security information It is possible to confirm the replacement image IM and the second editing section DS2 as a reference.

S60; 편집대상 지물 확인 단계S60; Editing Destination Identification Phase

영상스캔모듈(170)은 입체변환모듈(160)이 변환하여 생성한 입체형 지물 이미지(B1", B2")에서 해당 경계점(P1 내지 P5; 이하 P)을 갖는 지물 이미지(B1")와, 경계점(P)을 시작점으로 대체이미지(IM)의 크기에 상응하는 범위의 3D 기반의 좌표면에 평면형 3D 형식의 지물 이미지(B1', B2')를 확인해서 사각지대 내에 지물 이미지(B1', B2')로 간주한다.The image scanning module 170 detects the boundary image P1 having the boundary points P1 to P5 (hereinafter referred to as " P ") from the three-dimensional object images B1 ", B2 & (B1 ', B2') in the planar 3D format on the coordinate plane of the 3D-based coordinate corresponding to the size of the substitute image (IM) with the starting point P as the starting point, ').

여기서 경계점(P)은, 사각지대에서 삭제된 지물 이미지(B1", B2")를 검색하고 복원하기 위한 기준점이다. 경계점(P)은 상기 사각지대에서 일부분만이 가려져 삭제된 구간을 갖는 지물 이미지(B1")의 외곽라인에 위치하며, 대체이미지(IM)의 외곽라인과 접하는 교차점이다.Here, the boundary point P is a reference point for retrieving and restoring the deleted image images B1 " and B2 " deleted from the blind spot. The border point P is located at the outline line of the background image B1 " having a section obscured by a part of the blind spot, and is an intersection point contacting the outline line of the substitute image IM.

전술한 바와 같이 보안정보DB(120)는 대체이미지(IM)와 편집구간(DS1, DS2)에 관한 보안정보를 저장 관리하므로, 영상스캔모듈(170)은 보안대상 확인 단계(S50)에서 해당 입체형 영상이미지 내에 대체이미지(IM)가 존재하는지 여부를 파악하고, 대체이미지(IM)가 존재한다면 대체이미지(IM)의 크기를 확인한다. 대체이미지(IM)에 의해 사각지대를 이루는 범위는 대체이미지(IM)의 크기를 기준으로 유추할 수 있고, 영상스캔모듈(170)은 대체이미지(IM)의 크기를 기초로 3D 기반의 좌표면에서 사각지대 범위에 속하는 3D 형식의 지물 이미지(B1', B2')를 확인할 수 있다.As described above, the security information DB 120 stores and manages the security information related to the substitute image IM and the edit sections DS1 and DS2. Therefore, in the security object verification step S50, It is determined whether or not a replacement image IM exists in the video image, and if the replacement image IM exists, the size of the replacement image IM is confirmed. The range of the blind spot formed by the replacement image IM can be inferred based on the size of the replacement image IM and the image scanning module 170 can estimate the size of the 3D based coordinate plane IM based on the size of the replacement image IM. (B1 ', B2') in the 3D format belonging to the blind spot range can be confirmed.

참고로, 3D 기반의 좌표면에 설정된 좌표라인의 간격을 기반으로 대체이미지(IM)의 크기인 좌우폭과 높이가 각각 '3' 과 '4'라면, 대체이미지(IM)가 이루는 사각지대의 범위는 경계점(P)을 시작점으로 '3' 또는 '4' 범위가 될 것이다.If the width and height of the substitute image IM are 3 and 4, respectively, based on the interval of the coordinate lines set on the 3D-based coordinate plane, the range of the blind spot formed by the substitute image IM 3 " or " 4 " with the boundary point P as a starting point.

영상스캔모듈(170)은 전술한 방법으로 대체이미지(IM)에 의한 사각지대의 범위를 확인하고, 좌표별 검색모듈(140)을 통해 수집정보DB(110)를 검색해서 3D 형식의 좌표면에서 사각지대에 속하는 지물 이미지(B1", B2")를 검색한다.The image scanning module 170 checks the range of the blind spot by the substitute image IM and searches the collection information DB 110 through the coordinate search module 140 to obtain coordinates (B1 ", B2 ") belonging to the blind spot.

본 실시는 도 8과 같이 사각지대 내에 대략 9개의 지물 이미지(B1", B2"; 일부 삭제된 지물 이미지도 포함)가 구성된다.This embodiment constitutes approximately nine artifact images (B1 ", B2 ", including partially deleted artifact images) in a blind spot as shown in Fig.

한편, 근접위치정보 수집모듈(180)은 영상스캔모듈(170)이 앞서 확인한 사각지대 내에 일부 또는 전체가 위치하는 평면형 3D 형식의 좌표면에서 지물 이미지(B1', B2')의 MMS정보를 MMS정보DB(130)에서 검색하고, 영상스캔모듈(170)은 MMS정보를 기초로 3D 기반의 좌표면에서 사각지대 내에 위치한 지물 이미지(B1', B2')의 위치와, 이웃하는 지물 이미지(B1', B2') 간의 간격 등을 검증한다.On the other hand, the proximity position information collection module 180 converts the MMS information of the images B1 'and B2' on the coordinate plane of the planar 3D format, which is partly or entirely located within the blind spot previously determined by the image scanning module 170, Based on the MMS information, the image scanning module 170 searches the information DB 130 for the location of the object images B1 'and B2' located within the blind spot on the 3D-based coordinate plane and the positions of the object images B1 'and B2' ', And B2').

또한 상기 사각지대 내에 위치한 지물 이미지(B1', B2')의 지물 높이를 MMS정보에서 확인하고, 수집정보DB(110)에서 확인한 지물 높이를 비교해서, 입체형 지물 이미지(B1", B2") 생성을 위한 높이값을 검증한다.In addition, it is possible to confirm the height of the tiles of the image images B1 'and B2' located within the blind spot in the MMS information and compare the heights of the tiles confirmed in the collection information DB 110 to generate stereoscopic images B1 &Lt; / RTI >

만일 수집정보DB(110)의 수집정보와 MMS정보DB(130)의 MMS정보에 차이가 있다면, 영상스캔모듈(170)은 좌표별 검색모듈(140)을 통해 수집정보DB(110)를 수정한다.If there is a difference between the collection information of the collection information DB 110 and the MMS information of the MMS information DB 130, the image scanning module 170 modifies the collection information DB 110 through the search module for each coordinate 140 .

S70; 영상이미지 편집 단계S70; Image image editing step

영상편집모듈(190)은 3D 형식의 좌표면에서 영상스캔모듈(170)이 확인한 사각지대 내에 평면형 3D 형식의 지물 이미지(B1', B2')를 바탕으로 MMS정보에 따라 해당하는 높이를 갖는 입체형 지물 이미지(B1", B2")를 도 9와 같이 생성해서, 대체이미지(IM)에 의해 가려진 부분도 시각적으로 가시할 수 있도록 편집해 출력한다.The image editing module 190 generates a three-dimensional (3D) image having a corresponding height according to the MMS information based on the image images B1 'and B2' in the planar 3D format within the dead zone identified by the image scanning module 170 on the 3D- 9, as shown in Fig. 9, and outputs the edited image so that the portion hidden by the substitute image IM can be visually visually displayed.

결국, 입체형 영상이미지에는 대체이미지(IM)에 의해 가려진 사각지대의 입체형 지물 이미지(B1", B2")가 표시되어서, 사용자는 대체이미지(IM)에 의해 가려진 부분의 지물 이미지(B1", B2")도 그 형태와 위치를 분명하게 파악할 수 있다.As a result, the stereoscopic image image is displayed with the binocular object images B1 ", B2 " in the blind zones obscured by the replacement images IM so that the user can see the images B2 & ") Can also clearly grasp the shape and position of the object.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

Claims

촬영이미지와, 촬영이미지 내에 속하는 지물 데이터와 구역 데이터와 지형 데이터를 정보수집장치로부터 수신하여 저장 관리하는 수집정보DB; 상기 촬영이미지 내에 편집된 제1편집구간의 좌표와, 제2편집구간의 좌표와, 상기 제2편집구간 내에 합성된 대체이미지의 범위에 정보를 보안정보로 저장 관리하는 보안정보DB; 상기 정보수집장치의 현장 수집을 통해 지물의 위치와 높이에 관한 MMS정보를 저장 관리하는 MMS정보DB; 입력된 검색조건에 따라 상기 수집정보DB에서 좌표별로 지물 데이터와 구역 데이터와 지형 데이터를 검색하며, 상기 제1편집구간의 경계를 기준으로 지정 범위 내에 지물 이미지를 훼손 지물 이미지로 정하고, 해당하는 훼손 지물 이미지의 이미지정보를 대상지물 검색장치를 통해 검색하는 좌표별 검색모듈; 상기 좌표별 검색모듈이 검색한 지물 데이터와 구역 데이터와 지형 데이터를 2D 기반의 좌표면 내에 해당 좌표라인에 맞춰서 지물과 구역의 외곽라인을 이미지화 하며, 2D 형식의 평면형 지물 이미지와 구역 이미지를 각각 생성하고, 하기 대상지물 검색장치에서 검색한 이미지정보를 해당하는 훼손 지물 이미지에 합성하고, 보안정보에 해당하는 제2편집구간을 파트 단위로 분할하며, 상기 파트별로 대체이미지를 합성하여 영상 처리하는 영상처리모듈; 상기 영상처리모듈이 영상 처리한 지물 이미지의 외곽라인을 2D 기반의 좌표면에 지정된 제1기준라인 및 좌표라인과 비교해서, 상기 제1기준라인과의 상대적 위치 및 배치각과, 상기 좌표라인에 따른 위치 및 배치각을 각각 확인하고, 3D 기반의 좌표면에 지정된 제2기준라인을 기준으로 상기 상대적 위치 및 배치각에 대응하는 외곽라인을 3D 기반의 좌표면에 설정된 좌표라인을 따라 영상 처리해서, 3D 기반의 좌표면에 3D 형식의 평면형 지물 이미지 및 구역 이미지와 3D 형식의 대체이미지를 구성한 입체형 영상이미지를 생성하며, 상기 3D 형식의 평면형 지물 이미지에 해당하는 지물 데이터를 확인해서 3D 형식의 평면형 지물 이미지를 바탕으로 수집정보DB에 저장된 해당 지물 이미지의 수집정보에 따른 높이의 입체형 지물 이미지로 생성하는 입체변환모듈; 상기 영상처리모듈이 생성한 2D 형식의 지물 이미지 및 구역 이미지의 위치별 좌표값을 해당 지물 데이터 및 구역 데이터와 비교해서 오차 여부를 검수하고, 상기 입체변환모듈이 생성한 평면형 3D 형식의 지물 이미지 및 구역 이미지의 위치 및 형태와 입체형 3D 형식의 대체이미지의 위치 및 형태를 각각 해당 2D 형식의 지물 이미지, 구역 이미지 및 대체이미지 각각의 위치 및 형태와 비교해서 오차 여부를 검수하고, 상기 영상처리모듈 및 입체변환모듈이 영상처리한 대체이미지를 확인해서 입체변환모듈의 입체화 과정 중에 대체이미지에 의해 사각지대로 삭제된 입체형 지물 이미지 중 일부만이 삭제된 지물 이미지의 외곽라인 내에 노출구간의 끝점을 사각지대의 경계점으로 확인하고, 상기 입체변환모듈이 변환하여 생성한 입체형 지물 이미지들 중에서 상기 경계점을 갖는 입체형 지물 이미지와, 상기 3D 기반의 좌표면에서 상기 경계점을 포함하는 3D 형식의 평면형 지물 이미지를 파악하며, 상기 대체이미지에 의한 입체형 지물이미지의 사각지대 범위는 3D 기반의 좌표면에서 경계점을 시작점으로 하여 이루는 범위로 하며, 상기 MMS정보DB에 저장된 MMS정보에 따라 수집정보DB에 저장된 해당 수집정보를 수정하며 입체형 지물 이미지의 높이를 수정하는 영상스캔모듈; 상기 영상스캔모듈이 확인한 사각지대 범위 내에 일부 또는 전체가 위치하는 입체형 지물 이미지의 MMS정보를 MMS정보DB에서 검색하는 근접위치정보 수집모듈; 3D 기반의 좌표면에서 상기 영상스캔모듈이 확인한 사각지대 범위 내에 평면형 3D 형식의 지물 이미지를 바탕으로 MMS정보에 따라 해당하는 높이를 갖는 입체형 지물 이미지를 생성해서, 상기 대체이미지에 의해 가려진 입체형 지물 이미지의 일부분 또는 전체를 시각적으로 가시할 수 있도록 편집하는 영상편집모듈;을 포함하는 관리장치, 및
상기 관리장치의 좌표별 검색모듈 및 다수의 클라이언트와 온라인 통신하며, 상기 좌표별 검색모듈의 검색조건에 해당하는 평면형 영상이미지의 이미지정보를 클라이언트에 저장된 이미지정보에서 검색해 수집하는 대상지물 검색장치
가 포함된 것을 특징으로 하는 불분명 영상이미지의 합성 처리를 통한 수정방식의 영상처리 및 관리시스템.A collection information DB for receiving and managing and storing the shot image, the object data belonging to the shot image, the zone data, and the terrain data from the information collecting device; A security information DB for storing and managing information as security information in a coordinate of a first editing section edited in the shot image, a coordinate of a second editing section, and a range of a substitute image synthesized in the second editing section; An MMS information DB for storing and managing MMS information about the position and height of the object through field collection of the information collecting device; Searching for the object data, the zone data, and the terrain data by the coordinates in the collection information DB according to the input search condition, determining the image of the object to be destroyed within the specified range based on the boundary of the first edit section, A search module for each of the coordinates by which image information of the image of the object is searched through the object search device; Based on the map data, the area data and the terrain data retrieved by the coordinate retrieval module, the outline lines of the objects and areas are imaged in accordance with the coordinate lines within the 2D-based coordinate plane, and 2D image and area images A second editing section corresponding to the security information is divided on a part-by-part basis, and a substitute image is synthesized on a part-by-part basis to synthesize a video image Processing module; An edge line of the image image processed by the image processing module is compared with a first reference line and a coordinate line designated on a 2D-based coordinate plane, and the relative position and arrangement angle with respect to the first reference line, And based on the second reference line designated on the 3D-based coordinate plane, the outline line corresponding to the relative position and the placement angle is image-processed along the coordinate line set on the 3D-based coordinate plane, A three-dimensional image image in which a planar-type image and a zone image of a 3D format and a substitute image of a 3D format are formed on a 3D-based coordinate plane, and an object data corresponding to the 3D-format planar object image is checked, A three-dimensional object image of height corresponding to the collection information of the corresponding object image stored in the collection information DB based on the image, Module; Dimensional image of the 2D format and the zone image, generated by the image processing module, with the corresponding object data and the zone data, and checks whether there is an error in the 2D image, Comparing the position and shape of the zone image with the position and shape of the substitute image in the stereoscopic 3D format with the position and shape of each of the image of the 2D format, the zone image, and the substitute image, The stereoscopic conversion module checks the substitute image processed by the stereoscopic conversion module, and only a part of the stereoscopic type images deleted in the blind spot by the substitute image is deleted during the stereoscopic conversion process of the stereoscopic conversion module. And the stereoscopic transformation module generates stereoscopic images Dimensional object image having the boundary point and a 3D-type planar object image including the boundary point on the 3D-based coordinate plane, and the dead zone range of the stereoscopic image object based on the substitute image is a 3D-based coordinate plane An image scanning module which modifies the collection information stored in the collection information DB according to the MMS information stored in the MMS information DB and corrects the height of the stereoscopic image; A proximity information collection module for searching the MMS information DB for MMS information of a stereoscopic image of a part or whole located within a blind spot range determined by the image scanning module; Dimensional stereoscopic image based on the MMS information based on the image of the planar 3D format within the blind spot range determined by the image scanning module on the 3D-based coordinate plane, And a video editing module that edits a part or the whole of the video data so that the video data can be visually displayed,
An object retrieval module for retrieving and collecting image information of a planar image corresponding to a retrieval condition of the coordinate retrieval module from image information stored in a client,
And an image processing and management system of the correction type through synthesis processing of the unclear image.