KR20220033695A

KR20220033695A - Apparatus for detecting road based aerial images and method thereof

Info

Publication number: KR20220033695A
Application number: KR1020200115874A
Authority: KR
Inventors: 김혁길; 김상훈
Original assignee: 현대오토에버 주식회사
Priority date: 2020-09-10
Filing date: 2020-09-10
Publication date: 2022-03-17

Abstract

An apparatus and a method for extracting a road object based on an aerial image are disclosed. An apparatus for extracting a road object based on an aerial image according to one aspect of the present invention comprises: a first learning application unit generating a first segmentation map by learning a semantic segmentation model based on an aerial ortho-image and a ground truth (GT) labeling image; a second learning application unit generating a synthesized image by learning a generative adversarial network (GAN) model based on the first segmentation map and the GT labelling image; and a road object extraction unit extracting a road object based on the synthesized image. The present invention improves a road object extraction rate.

Description

항공영상 기반 도로객체 추출장치 및 그 방법{APPARATUS FOR DETECTING ROAD BASED AERIAL IMAGES AND METHOD THEREOF}Aerial image-based road object extraction device and method

본 발명은 항공영상 기반 도로객체 추출장치 및 그 방법에 관한 것으로서, 보다 상세하게는 시맨틱 분할 모델(Semantic Segmentation Network)과 GAN(Generative Adversarial Network) 모델의 연속적인 학습을 통해 예측되는 합성 영상(synthesized Image)을 활용하여 항공 정사영상으로부터 도로객체를 추출할 수 있도록 하는 항공영상 기반 도로객체 추출장치 및 그 방법에 관한 것이다. The present invention relates to an aerial image-based road object extraction apparatus and method, and more particularly, to a synthetic image predicted through continuous learning of a Semantic Segmentation Network and a Generative Adversarial Network (GAN) model. ) to extract a road object from an aerial orthographic image using an aerial image-based road object extraction device and method therefor.

일반적으로 항공영상을 이용한 정밀지도는 항공 삼각 측량 방법을 이용하여 제작된다. 항공 삼각 측량은 촬영노선을 따라 60%의 중복도를 갖도록 사진을 촬영하고, 사진에서는 실제 지상을 측량한 점의 위치를 사진에서 찾아내어 사진에 실제 좌표를 등록할 수 있다. 또한, 등록된 지상 좌표를 이용하여, 수학적으로 사진의 중심위치와 회전각을 나타내는 외부표정요소를 구할 수 있는데, 이러한 일련의 과정을 항공 삼각 측량이라 한다.In general, precision maps using aerial images are produced using aerial triangulation methods. In aerial triangulation, photos are taken to have 60% overlap along the shooting route, and the actual coordinates can be registered in the photo by finding the location of the actual ground-surveying point in the photo. In addition, by using the registered ground coordinates, it is possible to mathematically obtain an external expression element representing the center position and rotation angle of a photograph. This series of processes is called aerial triangulation.

이와 같이 항공 삼각 측량을 이용한 정밀지도 제작 과정은, 먼저 항공기에 장착된 카메라를 이용하여 일정 지역의 항공사진을 촬영한 후, 지상 측량을 통해 지상 기준점의 좌표를 구하고, 인접 사진에서 동일점을 추출하는 공액점 추출과정을 통해 여러 장의 사진을 연결하며, 지상 기준점의 위치를 항공사진에서 찾아내어 실제 측량 좌표를 입력함으로써 촬영된 모든 항공사진이 좌표를 가질 수 있도록 한다. 이러한 과정을 통해 얻어진 외부 표정 요소를 이용하여 항공사진의 정밀지도를 제작한다.As such, the precision map production process using aerial triangulation involves first taking aerial photos of a certain area using a camera mounted on an aircraft, then obtaining the coordinates of ground reference points through ground surveying, and extracting identical points from adjacent photos. Multiple photos are connected through the conjugate point extraction process of Using the external expression elements obtained through this process, a precise map of the aerial photo is produced.

이러한 항공영상 기반의 정밀지도 구축 시 도로객체 추출은 기술자에 의해 수동으로 도화 작업을 통해 진행되어 왔다. 최근 딥러닝 네트워크를 활용한 항공영상 기반 객체 추출 기술이 개발되고 있지만, 정밀지도 구축사양에 따른 세부 도로객체 추출보다는 도로영역 및 빌딩 등과 같이 상대적으로 크기가 큰 객체들을 대상으로 하는 연구가 집중되고 있다. 항공영상에서 도로객체를 자동으로 추출하기 위하여 적용되는 딥러닝 네트워크는 대표적으로 시맨틱 분할 네트워크(Semantic Segmentation Network)를 예로 들 수 있다. When constructing such an aerial image-based precision map, road object extraction has been carried out through manual drawing work by technicians. Recently, an aerial image-based object extraction technology using a deep learning network is being developed, but rather than extracting detailed road objects according to the precise map construction specification, research is focused on relatively large objects such as road areas and buildings. . A representative deep learning network applied to automatically extract road objects from aerial images is a Semantic Segmentation Network.

그러나 Supervised Learning의 범주에 포함되는 시맨틱 분할 네트워크의 성능은 GT(Ground Truth) 제작을 위한 데이터 라벨링 작업을 통해 획득되는 학습데이터의 수량 및 구성에 의존적인 단점이 있다. 또한, 딥러닝 성능에 직접적인 영향을 주는 데이터 라벨링 작업은 AI에 입력되는 사진이나 동영상 등에 작업자가 일일이 각종 사물의 이름을 달아주는 분류/표시 작업이며, 작업자를 통해 수작업으로 진행되는 관계로 비용 및 시간이 과도하게 소요되는 문제가 있다. 또한, 충분한 학습데이터가 사전에 준비되지 않은 상태에서 시맨틱 분할 네트워크(Semantic Segmentation Network) 학습을 진행할 경우, 항공영상의 폐색된 영역으로 인하여 도로객체가 완전한 형태로 선형성과 연속성을 지니지 못하고, 단절되어 추출되는 현상이 다수 발생하는 문제가 있다.However, the performance of the semantic segmentation network included in the category of supervised learning has a disadvantage in that it is dependent on the quantity and composition of the learning data obtained through the data labeling operation for GT (Ground Truth) production. In addition, the data labeling operation that directly affects the deep learning performance is a classification/marking operation in which the operator names various objects one by one on the photos or videos input to the AI. There is a problem with this taking too much. In addition, if the Semantic Segmentation Network learning is conducted without sufficient training data prepared in advance, the road object does not have linearity and continuity in its perfect form due to the occluded area of the aerial image, but is cut off and extracted There is a problem that many phenomena occur.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2005-0097618호(2015.10.10. 공개, GPS 및 INS를 이용한 수치지도 제작 시스템 및 방법)에 개시되어 있다. The background technology of the present invention is disclosed in Korean Patent Publication No. 10-2005-0097618 (published on October 10, 2015, a system and method for producing a digital map using GPS and INS).

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 본 발명의 일 측면에 따른 목적은 시맨틱 분할 모델(Semantic Segmentation Network)과 GAN(Generative Adversarial Network) 모델의 연속적인 학습을 통해 예측되는 합성 영상(synthesized Image)을 활용하여 항공 정사영상으로부터 도로객체를 추출할 수 있도록 하는 항공영상 기반 도로객체 추출장치 및 그 방법을 제공하는 것이다. The present invention has been devised to improve the above problems, and an object according to one aspect of the present invention is a synthetic image predicted through continuous learning of a Semantic Segmentation Network and a Generative Adversarial Network (GAN) model. It is to provide an aerial image-based road object extraction device and method for extracting road objects from aerial orthographic images by using (synthesized image).

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problem(s) mentioned above, and another problem(s) not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 측면에 따른 항공영상 기반 도로객체 추출장치는, 항공 정사영상 및 GT(Ground Truth) 라벨링 이미지를 기반으로 시맨틱 분할(semantic segmentation) 모델을 학습하여 제1 분할 맵(Segmentation Map)을 생성하는 제1 학습 적용부, 상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 기반으로 GAN(Generative Adversarial Network) 모델을 학습하여 합성 영상(Synthesized Image)을 생성하는 제2 학습 적용부, 및 상기 합성 영상에 기초하여 도로객체를 추출하는 도로객체 추출부를 포함한다. An aerial image-based road object extraction apparatus according to an aspect of the present invention generates a first segmentation map by learning a semantic segmentation model based on an aerial orthographic image and a GT (ground truth) labeling image. A first learning application unit that generates a synthesized image by learning a Generative Adversarial Network (GAN) model based on the first segmentation map and the GT labeling image, and a second learning application unit that generates a synthesized image. and a road object extraction unit for extracting a road object based on the road object.

본 발명에서 상기 제1 학습 적용부는, 상기 항공 정사영상 및 GT 라벨링 이미지를 제1 학습 데이터로 구성한 후 시맨틱 분할 모델을 학습하여 제1 가중치(Weight) 파일을 생성하는 시맨틱 분할 학습부, 및 상기 항공 정사영상을 대상으로 상기 제1 가중치 파일을 이용한 추론을 수행하여 상기 제1 분할 맵을 생성하는 분할 맵 생성부를 포함할 수 있다. In the present invention, the first learning application unit comprises a semantic segmentation learning unit for generating a first weight file by learning a semantic segmentation model after configuring the flight orthographic image and the GT labeling image as first learning data, and the aviation and a segmentation map generator configured to generate the first segmentation map by performing inference using the first weight file with respect to the orthogonal image.

본 발명에서 상기 제2 학습 적용부는, 상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 제2 학습 데이터로 구성한 후 GAN(Generative Adversarial Network) 모델을 학습하여 제2 가중치 파일을 생성하는 GAN 학습부, 상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델 및 상기 GAN 모델을 순차적으로 적용하여 합성 영상을 생성하는 합성 영상 생성부, 및 상기 합성 영상의 보정을 통해 클래스 단위로 구분된 이진화 영상을 생성하는 보정 처리부를 포함할 수 있다. In the present invention, the second learning application unit comprises the first segmentation map and the GT labeling image as second learning data, and then learns a Generative Adversarial Network (GAN) model to generate a second weight file, the GAN learning unit, the A synthesized image generator for generating a synthesized image by sequentially applying the semantic segmentation model and the GAN model to an aerial orthogonal image, and a correction processing unit for generating a binary image divided into classes through correction of the synthesized image may include

본 발명에서 상기 합성 영상 생성부는, 상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델을 이용한 추론을 수행하여 제2 분할 맵을 생성하고, 상기 제2 분할 맵을 대상으로 상기 제2 가중치 파일을 이용한 추론을 수행하여 합성 영상을 합성 영상을 생성할 수 있다. In the present invention, the synthesized image generating unit generates a second segmentation map by performing inference using the semantic segmentation model on the aerial orthogonal image, and inferring using the second weight file for the second segmented map. may be performed to generate a synthesized image from the synthesized image.

본 발명에서 상기 보정 처리부는, 상기 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 각 픽셀의 RGB 값을 보정하는 제1 보정부, 상기 제1 보정부에서 보정된 합성 영상에 연결요소 라벨링(connected-components labeling) 알고리즘을 적용하여 클래스별로 클러스터링하는 제2 보정부, 상기 클래스 단위로 구분된 이진화 영상을 생성하는 보정 합성 영상 생성부를 포함할 수 있다. In the present invention, the correction processing unit includes a first correction unit that corrects the RGB values of each pixel by setting a range for each RGB channel with respect to the synthesized image, and connects element labeling to the synthesized image corrected by the first correction unit. -components labeling) algorithm may be applied to a second corrector for clustering by class, and a corrected synthesized image generating unit for generating a binary image divided in units of the class.

본 발명에서 상기 제2 보정부는, 상기 각 클래스 내의 픽셀 수를 기 설정된 임계값과 비교하여 상기 임계값 미만의 픽셀 수를 포함하는 클래스를 노이즈로 제거할 수 있다. In the present invention, the second compensator may compare the number of pixels in each class with a preset threshold and remove a class including the number of pixels less than the threshold as noise.

본 발명에서 상기 도로객체 추출부는, 상기 제2 학습 적용부에서 생성된 이진화 영상에서 관심 도로객체의 형태를 판단하는 형태 판단부, 상기 관심 도로객체가 선형객체인 경우, RANSAC(RANdom SAample Consensus) 기반 커브피팅(Curve Fitting) 알고리즘을 적용하여 관심 도로객체에 대한 폴리라인(Polyline) 이미지 좌표를 추출하는 제1 추출부, 상기 관심 도로객체가 면형객체인 경우, 내적 값이 가장 큰 Rectangle을 탐색하는 알고리즘을 적용하여 관심 도로객체에 대한 폴리곤(polygon) 이미지 좌표를 추출하는 제2 추출부, 상기 제1 추출부 또는 제2 추출부를 통해 추출된 이미지 좌표에 지오레퍼런싱(Georeferencing)을 적용하여 실세계 좌표로 변환하는 변환부를 포함할 수 있다. In the present invention, the road object extraction unit includes a shape determination unit that determines the shape of the road object of interest in the binarized image generated by the second learning application unit, and when the road object of interest is a linear object, based on RANSAC (RANdom SAample Consensus) A first extractor for extracting polyline image coordinates for a road object of interest by applying a curve fitting algorithm, an algorithm for searching a Rectangle having the largest inner product value when the road object of interest is a planar object A second extraction unit that extracts polygon image coordinates for the road object of interest by applying It may include a conversion unit for converting to .

본 발명의 다른 측면에 따른 항공영상 기반 도로객체 추출방법은, 제1 학습 적용부가 항공 정사영상 및 GT(Ground Truth) 라벨링 이미지를 기반으로 시맨틱 분할(semantic segmentation) 모델을 학습하여 제1 분할 맵(Segmentation Map)을 생성하는 단계, 제2 학습 적용부가 상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 기반으로 GAN(Generative Adversarial Network) 모델을 학습하여 합성 영상(Synthesized Image)을 생성하는 단계, 도로객체 추출부가 상기 합성 영상에 기초하여 도로객체를 추출하는 단계를 포함한다. In an aerial image-based road object extraction method according to another aspect of the present invention, a first learning application unit learns a semantic segmentation model based on an aerial orthogonal image and a GT (ground truth) labeling image to obtain a first segmentation map ( generating a segmentation map), a second learning application unit learning a Generative Adversarial Network (GAN) model based on the first segmentation map and the GT labeling image to generate a synthesized image; extracting road objects The additional method includes extracting a road object based on the synthesized image.

본 발명에서 상기 제1 분할 맵(Segmentation Map)을 생성하는 단계는, 상기 제1 학습 적용부가 상기 항공 정사영상 및 GT 라벨링 이미지를 제1 학습 데이터로 구성한 후 시맨틱 분할 모델을 학습하여 제1 가중치(Weight) 파일을 생성하는 단계, 및 상기 제1 학습 적용부가 상기 항공 정사영상을 대상으로 상기 제1 가중치 파일을 이용한 추론을 수행하여 상기 제1 분할 맵을 생성하는 단계를 포함할 수 있다. In the present invention, the step of generating the first segmentation map (Segmentation Map) comprises: the first learning application unit configures the aerial orthographic image and the GT labeling image as first learning data, and then learns the semantic segmentation model to obtain a first weight ( weight) file, and generating, by the first learning application unit, inference using the first weight file with respect to the aerial orthographic image, to generate the first segmentation map.

본 발명에서 상기 합성 영상(Synthesized Image)을 생성하는 단계는, 상기 제2 학습 적용부가, 상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 제2 학습 데이터로 구성한 후 GAN(Generative Adversarial Network) 모델을 학습하여 제2 가중치 파일을 생성하는 단계, 상기 제2 학습 적용부가 상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델 및 상기 GAN 모델을 순차적으로 적용하여 합성 영상을 생성하는 단계, 및 상기 제2 학습 적용부가 상기 합성 영상의 보정을 통해 클래스 단위로 구분된 이진화 영상을 생성하는 단계를 포함할 수 있다. In the present invention, the generating of the synthesized image comprises: the second learning application unit, configuring the first segmentation map and the GT labeling image as second learning data, and then learning a GAN (Generative Adversarial Network) model generating a second weight file, the second learning application unit sequentially applying the semantic segmentation model and the GAN model to the aerial orthographic image to generate a synthesized image, and the second learning application unit The method may include generating a binarized image divided into classes through correction of the synthesized image.

본 발명은 상기 시맨틱 분할 모델 및 상기 GAN 모델을 순차적으로 적용하여 합성 영상을 생성하는 단계에서, 상기 제2 학습 적용부는 상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델을 이용한 추론을 수행하여 제2 분할 맵을 생성하고, 상기 제2 분할 맵을 대상으로 상기 제2 가중치 파일을 이용한 추론을 수행하여 합성 영상을 생성할 수 있다. In the present invention, in the step of generating a synthesized image by sequentially applying the semantic segmentation model and the GAN model, the second learning application unit performs inference using the semantic segmentation model on the aerial orthographic image to perform second segmentation A map may be generated, and a composite image may be generated by performing inference using the second weight file with respect to the second segmented map.

본 발명에서 상기 이진화 영상을 생성하는 단계는, 상기 보정 처리부가 상기 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 각 픽셀의 RGB값을 보정하는 단계, 상기 보정 처리부가 상기 보정된 합성 영상에 연결요소 라벨링(connected-components labeling) 알고리즘을 적용하여 클래스별로 클러스터링하는 단계, 및 상기 보정 처리부가 상기 클래스 단위로 구분된 이진화 영상을 생성하는 단계를 포함할 수 있다. In the present invention, the generating of the binarized image includes: correcting, by the correction processing unit, the RGB values of each pixel by setting a range for each RGB channel for the synthesized image; and the correction processing unit connecting to the corrected synthesized image The method may include clustering by class by applying a connected-components labeling algorithm, and generating, by the correction processing unit, a binarized image divided by the class unit.

본 발명은 상기 클러스터링하는 단계에서, 상기 보정 처리부는 상기 각 클래스 내의 픽셀 수를 기 설정된 임계값과 비교하여 상기 임계값 미만의 픽셀 수를 포함하는 클래스를 노이즈로 제거할 수 있다. According to the present invention, in the clustering step, the correction processing unit may compare the number of pixels in each class with a preset threshold and remove a class including the number of pixels less than the threshold as noise.

본 발명에서 상기 도로객체를 추출하는 단계는, 상기 도로객체 추출부가, 상기 제2 학습 적용부에서 생성된 이진화 영상에서 관심 도로객체의 형태를 판단하는 단계, 상기 관심 도로객체가 선형객체인 경우, 상기 도로객체 추출부가 RANSAC(RANdom SAample Consensus) 기반 커브피팅(Curve Fitting) 알고리즘을 적용하여 관심 도로객체에 대한 폴리라인(Polyline) 이미지 좌표를 추출하는 단계, 및 상기 도로객체 추출부가 상기 폴리라인 이미지 좌표에 지오레퍼런싱(Georeferencing)을 적용하여 실세계 좌표로 변환하는 단계를 포함할 수 있다. In the present invention, the step of extracting the road object includes, by the road object extraction unit, determining the shape of the road object of interest in the binarized image generated by the second learning application unit. If the road object of interest is a linear object, extracting, by the road object extraction unit, polyline image coordinates for a road object of interest by applying a RANdom SAample Consensus (RANSAC)-based curve fitting algorithm, and the road object extraction unit extracting the polyline image coordinates It may include the step of applying georeferencing (Georeferencing) to transform into real-world coordinates.

본 발명은 상기 관심 도로객체가 면형객체인 경우, 상기 도로객체 추출부가 내적 값이 가장 큰 Rectangle을 탐색하는 알고리즘을 적용하여 관심 도로객체에 대한 폴리곤(polygon) 이미지 좌표를 추출하는 단계, 및 상기 도로객체 추출부가 상기 폴리곤 이미지 좌표에 지오레퍼런싱(Georeferencing)을 적용하여 실세계 좌표로 변환하는 단계를 포함할 수 있다. In the present invention, when the road object of interest is a planar object, extracting polygon image coordinates for the road object of interest by applying an algorithm for the road object extraction unit to search for a Rectangle having the largest inner product value, and the road The object extraction unit may include converting the polygon image coordinates into real-world coordinates by applying georeferencing.

본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치 및 그 방법은 시맨틱 분할 모델(Semantic Segmentation Network)과 GAN(Generative Adversarial Network) 모델의 연속적인 학습을 통해 예측되는 합성 영상(synthesized Image)을 활용하여 항공 정사영상으로부터 도로객체를 추출할 수 있다. Aerial image-based road object extraction apparatus and method according to an embodiment of the present invention is a synthetic image predicted through continuous learning of a Semantic Segmentation Network and a Generative Adversarial Network (GAN) model. It can be used to extract road objects from aerial orthographic images.

본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치 및 그 방법은, 시맨틱 분할(Semantic Segmentation)시 사용된 학습데이터 및 예측데이터를 재활용하여 추가적인 라벨링 과정 없이 GAN 학습을 진행함으로써, 시맨틱 분할과 GAN의 순차적인 학습 모델 적용을 통한 도로객체 추출 성능을 개선함과 동시에 학습데이터 제작에 대한 비용 및 시간을 감소시킬 수 있다.Aerial image-based road object extraction apparatus and method according to an embodiment of the present invention, by recycling learning data and prediction data used in semantic segmentation and performing GAN learning without an additional labeling process, semantic segmentation and By applying the sequential learning model of GAN, it is possible to improve the performance of extracting road objects and reduce the cost and time for training data production.

본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치 및 그 방법은, 항공 정사영상을 배제하고 분할 맵(Segmentation Map)과 GT(Ground Truth)간 선형관계 및 기하정보를 활용하여 시맨틱 분할(Semantic Segmentation)과는 독립적인 GAN 학습을 진행함에 따라 항공 정사영상의 시맨틱 분할 적용만으로는 추출되기 어려웠던 그늘, 차량 및 식생 등의 폐색영역에 대한 도로객체 추출이 가능해지며, 그 결과 전체적으로 도로객체 추출율이 개선되는 효과가 있다. Aerial image-based road object extraction apparatus and method according to an embodiment of the present invention excludes aerial orthogonal images and semantic segmentation ( As GAN learning independent of Semantic Segmentation is carried out, it becomes possible to extract road objects from occluded areas such as shade, vehicles, and vegetation, which were difficult to extract only by applying semantic segmentation of aerial orthogonal images, and as a result, overall road object extraction rate is improved has the effect of being

한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.On the other hand, the effects of the present invention are not limited to the above-mentioned effects, and various effects may be included within the range obvious to those skilled in the art from the description below.

도 1은 본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치의 구성을 개략적으로 나타낸 블록도이다.
도 2는 도 1에 도시된 제1 학습 적용부의 기능을 설명하기 위한 블록도이다.
도 3은 도 1에 도시된 제1 학습 적용부의 기능을 설명하기 위한 예시도이다.
도 4는 도 1에 도시된 제2 학습 적용부의 기능을 설명하기 위한 블록도이다.
도 5는 도 1에 도시된 제2 학습 적용부의 기능을 설명하기 위한 예시도이다.
도 6은 도 1에 도시된 도로객체 추출부의 기능을 설명하기 위한 블록도이다.
도 7은 도 1에 도시된 도로객체 추출부의 기능을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출방법을 설명하기 위한 흐름도이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 GAN 적용에 의한 도로객체 추출 개선 효과를 설명하기 위한 예시도이다. 1 is a block diagram schematically showing the configuration of an aerial image-based road object extraction apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a function of the first learning application unit illustrated in FIG. 1 .
FIG. 3 is an exemplary diagram for explaining a function of the first learning application unit shown in FIG. 1 .
FIG. 4 is a block diagram illustrating a function of the second learning application unit illustrated in FIG. 1 .
FIG. 5 is an exemplary diagram for explaining the function of the second learning application unit shown in FIG. 1 .
FIG. 6 is a block diagram for explaining the function of the road object extraction unit shown in FIG. 1 .
FIG. 7 is an exemplary diagram for explaining the function of the road object extraction unit shown in FIG. 1 .
8 is a flowchart illustrating a method for extracting a road object based on an aerial image according to an embodiment of the present invention.
9 and 10 are exemplary views for explaining the effect of improving road object extraction by applying GAN according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an aerial image-based road object extraction apparatus and method according to an embodiment of the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Implementations described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Although discussed only in the context of a single form of implementation (eg, discussed only as a method), implementations of the discussed features may also be implemented in other forms (eg, as an apparatus or program). The apparatus may be implemented in suitable hardware, software and firmware, and the like. A method may be implemented in an apparatus such as, for example, a processor, which generally refers to a computer, a microprocessor, a processing device, including an integrated circuit or programmable logic device, and the like. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants (“PDA”) and other devices that facilitate communication of information between end-users.

도 1은 본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치의 구성을 개략적으로 나타낸 블록도, 도 2는 도 1에 도시된 제1 학습 적용부의 기능을 설명하기 위한 블록도, 도 3은 도 1에 도시된 제1 학습 적용부의 기능을 설명하기 위한 예시도, 도 4는 도 1에 도시된 제2 학습 적용부의 기능을 설명하기 위한 블록도, 도 5는 도 1에 도시된 제2 학습 적용부의 기능을 설명하기 위한 예시도, 도 6은 도 1에 도시된 도로객체 추출부의 기능을 설명하기 위한 블록도, 도 7은 도 1에 도시된 도로객체 추출부의 기능을 설명하기 위한 예시도이다. 1 is a block diagram schematically showing the configuration of an aerial image-based road object extraction apparatus according to an embodiment of the present invention, FIG. 2 is a block diagram for explaining the function of the first learning application unit shown in FIG. 1 , FIG. 3 is an exemplary diagram illustrating the function of the first learning application unit shown in FIG. 1 , FIG. 4 is a block diagram illustrating the function of the second learning application unit illustrated in FIG. 1 , and FIG. 5 is the second illustrated in FIG. 1 . An exemplary diagram for explaining the function of the learning application unit, FIG. 6 is a block diagram for explaining the function of the road object extraction unit shown in FIG. 1, and FIG. 7 is an exemplary diagram for explaining the function of the road object extraction unit shown in FIG. 1 am.

도 1을 참조하면, 본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치(100)는 수집부(110), 제1 학습 적용부(120), 제2 학습 적용부(130) 및 도로객체 추출부(140)를 포함한다. Referring to FIG. 1 , an aerial image-based road object extraction apparatus 100 according to an embodiment of the present invention includes a collection unit 110 , a first learning application unit 120 , a second learning application unit 130 , and a road and an object extraction unit 140 .

수집부(110)는 항공 정사영상 및 GT(Ground Truth) 라벨링 이미지를 수집한다. 여기서, 항공 정사영상(Orthophotograph)은 항공사진 또는 인공위성 등의 영상정보 등에 대하여 높이 차나 기울어짐 등 지형 기복에 의한 기하학적 왜곡을 보정하고 모든 물체를 수직으로 내려다보았을 때의 모습으로 변환한 영상으로 일정한 규격으로 집성하여 좌표 및 주기 등을 기입한 영상지도를 말한다. 즉, 정사영상은 기하학적 왜곡이나 경사왜곡이 제거된 연직 영상의 항공영상이다. GT 라벨링 이미지는 각 항공 정사영상을 대상으로 작업자에 의해 라벨링 작업이 진행된 영상일 수 있다. 따라서, 항공 정사영상과 GT 라벨링 이미지는 서로 매칭되는 관계일 수 있다.The collection unit 110 collects aerial orthographic images and GT (Ground Truth) labeling images. Here, an aerial orthophotograph is an image that is converted into an image when all objects are viewed vertically after correcting geometric distortion caused by terrain undulations such as height difference or inclination with respect to image information such as aerial photographs or satellites. It refers to an image map with coordinates and period written on it. That is, the orthographic image is an aerial image of a vertical image from which geometric distortion or oblique distortion is removed. The GT labeling image may be an image in which a labeling operation is performed by an operator for each aerial orthographic image. Therefore, the aerial orthographic image and the GT labeling image may have a matching relationship.

제1 학습 적용부(120)는 항공 정사영상 및 GT(Ground Truth) 라벨링 이미지를 기반으로 시맨틱 분할(semantic segmentation) 모델을 학습하여 제1 분할 맵(Segmentation Map)을 생성한다. 이때, 제1 학습 적용부(120)는 수집부(110)를 통해 수집된 항공 정사영상 및 GT 라벨링 이미지를 Train set, Test set, 및 Validation Set으로 분할하여 제1 학습 데이터를 구성하고, 제1 학습 데이터 중 Train Set을 이용하여 학습을 진행하며, 학습 도중 학습 모델이 과적합(Over-fitting) 되었는지 판별하기 위하여 Test Set과 Validation Set을 활용할 수 있다. 시맨틱 분할은 항공 정사영상 및 GT 라벨링 이미지를 입력으로 받고, 출력으로 항공 정사영상의 픽셀별로 자신이 어떤 클래스에 속하는지에 대한 정보를 담고 있는 제1 분할 맵을 출력하는 것을 말한다.The first learning application unit 120 generates a first segmentation map by learning a semantic segmentation model based on an aerial orthogonal image and a GT (ground truth) labeling image. In this case, the first learning application unit 120 configures the first learning data by dividing the aerial orthogonal image and the GT labeling image collected through the collecting unit 110 into a train set, a test set, and a validation set, and the first The training is performed using the Train Set among the training data, and the Test Set and the Validation Set can be used to determine whether the learning model is over-fitting during training. Semantic segmentation refers to receiving an aerial orthographic image and a GT labeling image as inputs, and outputting a first segmentation map containing information on which class it belongs to for each pixel of the aerial orthogonal image as an output.

제1 학습 적용부(120)에 대해 도 2를 참조하면, 제1 학습 적용부(120)는 시맨틱 분할 학습부(122) 및 분할 맵 생성부(124)를 포함할 수 있다.Referring to FIG. 2 for the first learning application unit 120 , the first learning application unit 120 may include a semantic division learning unit 122 and a division map generating unit 124 .

시맨틱 분할 학습부(122)는 항공 정사영상 및 GT 라벨링 이미지를 제1 학습 데이터로 구성한 후 시맨틱 분할 모델을 학습하여 제1 가중치(Weight) 파일을 생성할 수 있다. 즉, 시맨틱 분할 학습부(122)는 도 3의 A와 같은 항공 정사영상과 B와 같은 GT 라벨링 이미지를 시맨틱 분할을 위한 제1 학습 데이터로 구성할 수 있다. 그런 후, 시맨틱 분할 학습부(122)는 시맨틱 분할 딥러닝 학습을 수행하여 제1 가중치 파일을 생성할 수 있다. 이때, 시맨틱 분할 학습부(122)는 항공 정사영상 및 GT 라벨링 이미지를 Train set, Test set, 및 Validation Set으로 분할하여 제1 학습 데이터를 구성하고, 제1 학습 데이터 중 Train Set을 구성하고 있는 항공 정사영상들과 GT라벨링 영상들을 대상으로 시맨틱 분할 학습을 수행하여 제1 가중치 파일을 생성할 수 있다.The semantic segmentation learning unit 122 may configure the aerial orthographic image and the GT labeling image as first training data and then learn the semantic segmentation model to generate a first weight file. That is, the semantic segmentation learning unit 122 may configure an aerial orthogonal image such as A of FIG. 3 and a GT labeling image such as B as the first learning data for semantic segmentation. Then, the semantic division learning unit 122 may generate a first weight file by performing semantic division deep learning learning. At this time, the semantic segmentation learning unit 122 divides the aviation orthogonal image and the GT labeling image into a train set, a test set, and a validation set to configure the first learning data, and the aviation that constitutes the train set among the first learning data. A first weight file may be generated by performing semantic segmentation learning on orthogonal images and GT labeling images.

분할 맵 생성부(124)는 항공 정사영상을 시맨틱 분할 모델에 적용하여 제1 분할 맵을 생성할 수 있다. 즉, 분할 맵 생성부(124)는 제1 학습 데이터 중 Train Set을 구성하고 있는 항공 정사영상들을 대상으로 제1 가중치 파일을 통해 추론을 수행하여 제1 분할 맵을 생성할 수 있다. 예를 들면, 분할 맵 생성부(124)는 도 3의 C와 같은 항공 정사영상을 대상으로 시맨틱 분할 모델을 통한 추론을 수행하여 D와 같은 제1 분할 맵을 생성할 수 있다. The segmentation map generation unit 124 may generate a first segmentation map by applying the aerial orthographic image to the semantic segmentation model. That is, the segmentation map generator 124 may generate the first segmentation map by performing inference through the first weight file on the aerial orthogonal images constituting the train set among the first training data. For example, the segmentation map generator 124 may generate a first segmentation map such as D by performing inference through a semantic segmentation model on an aerial orthogonal image such as C of FIG. 3 .

제1 학습 적용부(120)에서 생성된 제1 분할 맵 및 제1 학습 적용부(120)에서 이용한 GT 라벨링 이미지는 GAN(Generative Adversarial Network) 모델 학습을 위한 제2 학습 데이터로 활용될 수 있다. The first segmentation map generated by the first learning applicator 120 and the GT labeling image used by the first learning applicator 120 may be utilized as second learning data for learning a Generative Adversarial Network (GAN) model.

제2 학습 적용부(130)는 제1 학습 적용부(120)에서 생성된 제1 분할 맵 및 GT 라벨링 이미지를 기반으로 GAN(Generative Adversarial Network) 모델을 학습하여 합성 영상(Synthesized Image)을 생성한다. The second learning application unit 130 generates a synthesized image by learning a Generative Adversarial Network (GAN) model based on the first segmentation map and the GT labeling image generated by the first learning application unit 120 . .

구체적으로, 제2 학습 적용부(130)는 제1 학습 적용부(120)에서 사용된 제1 학습 데이터와 예측 데이터를 기반으로 제2 학습데이터를 구성하여 GAN 모델 학습을 수행할 수 있다. 즉, 제2 학습 적용부(130)는 제1 학습 적용부(120)에서 사용된 GT 라벨링 이미지와 제1 학습 적용부(120)에서 생성된 제1 분할 맵을 제2 학습 데이터로 구성하고, 제2 학습 데이터에 대해 GAN 학습을 수행하여 제2 가중치(Weight) 파일을 생성할 수 있다. 그런 후, 제2 학습 적용부(130)는 항공 정사영상을 대상으로 시맨틱 분할 모델 및 GAN 모델을 순차적으로 적용하여 합성 영상을 생성할 수 있다. Specifically, the second learning application unit 130 may perform GAN model learning by configuring the second learning data based on the first learning data and the prediction data used in the first learning application unit 120 . That is, the second learning application unit 130 configures the GT labeling image used in the first learning application unit 120 and the first division map generated by the first learning application unit 120 as second learning data, A second weight file may be generated by performing GAN learning on the second training data. Thereafter, the second learning application unit 130 may generate a composite image by sequentially applying the semantic segmentation model and the GAN model to the aerial orthographic image.

제2 학습 적용부(130)에 대해 도 4를 참조하면, 제2 학습 적용부(130)는 GAN 학습부(131), 합성 영상 생성부(132) 및 보정 처리부(133)를 포함할 수 있다. Referring to FIG. 4 for the second learning application unit 130 , the second learning application unit 130 may include a GAN learning unit 131 , a synthesized image generation unit 132 , and a correction processing unit 133 . .

GAN 학습부(131)는 제1 분할 맵 및 GT 라벨링 이미지를 제2 학습 데이터로 구성한 후 GAN(Generative Adversarial Network) 모델을 학습하여 제2 가중치 파일을 생성할 수 있다. 이때 GAN 학습부(131)는 제1 학습 데이터 중 Train Set을 구성하고 있는 항공 정사영상들에 대한 제1 분할 맵과 그 항공 정사영상들에 대한 GT 라벨링 이미지를 페어(pair)로 구성하고, 그 페어로 구성된 영상 데이터들을 GAN 학습 진행을 위한 Train Set, 즉, 제2 학습 데이터로 구성할 수 있다. 이처럼, GAN 학습부(131)는 추가 라벨링 작업 없이 제1 학습 적용부(120)에서 시맨틱 분할 모델 학습 시 사용한 GT 라벨링 이미지와 제1 학습 적용부(130)에서 생성한 제1 분할 맵을 제2 학습 데이터로 구성할 수 있다. 예를 들면, GAN 학습부(131)는 도 5의 A와 같은 GT 라벨링 이미지와 B와 같은 제1 분할 맵을 제2 학습 데이터로 구성할 수 있다. 그런 후, GAN 학습부(131)는 제2 학습 데이터에 GAN 딥러닝 학습을 수행하여 GAN 모델 학습에 대한 제2 가중치 파일을 획득(생성)할 수 있다. The GAN learning unit 131 may configure the first segmentation map and the GT labeling image as the second training data, and then learn a Generative Adversarial Network (GAN) model to generate a second weight file. At this time, the GAN learning unit 131 configures the first segmentation map for the aerial orthogonal images constituting the train set among the first training data and the GT labeling image for the aerial orthogonal images as a pair, and the The paired image data may be configured as a train set for GAN learning, that is, the second learning data. As such, the GAN learning unit 131 uses the GT labeling image used for learning the semantic segmentation model in the first learning application unit 120 without additional labeling work and the first segmentation map generated by the first learning application unit 130 to the second It can be composed of training data. For example, the GAN learning unit 131 may configure the GT labeling image as shown in A of FIG. 5 and the first segmentation map as shown in B as the second learning data. Thereafter, the GAN learning unit 131 may obtain (generate) a second weight file for GAN model learning by performing GAN deep learning learning on the second learning data.

합성 영상 생성부(132)는 항공 정사영상을 대상으로 시맨틱 분할 모델 및 GAN 모델을 순차적으로 적용하여 합성 영상을 생성할 수 있다. 이때, 합성 영상 생성부(132)는 시맨틱 분할 학습 및 GAN 학습이 제대로 되었는지 확인하기 위해, 제1 학습 데이터 중 Test set을 구성하고 있는 항공 정사영상들을 대상으로 제1 학습 적용부(120)에서 학습된 시맨틱 분할 모델과 GAN 학습부(131)에서 학습된 GAN 모델을 순차적으로 적용하여 합성 영상을 생성할 수 있다.The synthesized image generator 132 may generate a synthesized image by sequentially applying the semantic segmentation model and the GAN model to the aerial orthographic image. At this time, the synthesized image generating unit 132 learns from the first learning application unit 120 for aerial orthogonal images constituting the test set among the first learning data in order to check whether the semantic segmentation learning and GAN learning are properly performed. The synthesized image may be generated by sequentially applying the semantic segmentation model and the GAN model learned by the GAN learning unit 131 .

또한, 합성 영상 생성부(132)는 생성된 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 픽셀 RGB 값을 보정하고, 연결요소 라벨링(connected-components labeling) 알고리즘을 활용하여 클래스 구분을 위한 클러스터링을 수행하며, 임계값 설정을 통해 영상 내 노이즈(Noise) 픽셀을 제거할 수 있다.In addition, the synthesized image generating unit 132 corrects pixel RGB values by setting the range for each RGB channel for the generated synthesized image, and clustering for class classification using a connected-components labeling algorithm. It is possible to remove noise pixels in the image by setting the threshold value.

구체적으로, 합성 영상 생성부(132)는 제1 학습 데이터 중 Test set을 구성하고 있는 항공 정사영상을 대상으로 시맨틱 분할 모델을 통한 추론을 통해 제2 분할 맵을 생성하고, 제2 분할 맵을 대상으로 GAN 모델을 통한 추론을 수행함으로써, 항공 정사영상에 대한 합성 영상을 생성할 수 있다. Specifically, the synthesized image generating unit 132 generates a second segmented map through inference through a semantic segmentation model for an aerial orthogonal image constituting the test set among the first learning data, and applies the second segmented map to the target. By performing inference through the GAN model, it is possible to generate a composite image for the aerial orthogonal image.

예를 들면, 합성 영상 생성부(132)는 도 5의 C와 같은 제1 학습 데이터 중 Test set을 구성하고 있는 항공 정사영상에 대해 시맨틱 분할 모델을 통한 추론을 수행함으로써, D와 같은 제2 분할 맵을 생성할 수 있다. 그런 후, 합성 영상 생성부(132)는 D와 같은 제2 분할 맵에 대해 GAN 모델을 통한 추론을 수행함으로써 E와 같은 합성 영상을 생성할 수 있다. For example, the synthesized image generating unit 132 performs inference through the semantic segmentation model on the aerial orthogonal image constituting the test set among the first training data such as C of FIG. You can create maps. Then, the synthesized image generator 132 may generate a synthesized image such as E by performing inference through the GAN model on the second segmentation map such as D.

보정 처리부(133)는 합성 영상 생성부(132)에서 생성된 합성 영상의 보정을 통해 클래스 단위로 구분된 이진화 영상을 생성할 수 있다. 즉, 보정 처리부(133)는 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 픽셀 RGB 값을 보정하고, 연결요소 라벨링(connected-components labeling) 알고리즘을 활용하여 클래스 구분을 위한 클러스터링을 수행하며, 임계값 설정을 통해 영상 내 노이즈 픽셀을 제거할 수 있다. The correction processing unit 133 may generate a binary image divided into classes by correcting the synthesized image generated by the synthesized image generating unit 132 . That is, the correction processing unit 133 corrects the pixel RGB values by setting the range for each RGB channel for the composite image, and performs clustering for class classification using a connected-components labeling algorithm, and the threshold Noise pixels in the image can be removed by setting the value.

이러한 보정 처리부(133)는 제1 보정부(134), 제2 보정부(135) 및 보정 합성 영상 생성부(136)를 포함할 수 있다. The correction processing unit 133 may include a first corrector 134 , a second corrector 135 , and a corrected synthesized image generator 136 .

제1 보정부(134)는 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 각 픽셀의 RGB값을 보정할 수 있다. The first corrector 134 may correct the RGB value of each pixel by setting a range for each RGB channel with respect to the composite image.

GAN 모델을 이용하여 영상을 복원하는 경우 픽셀의 경계가 모호해지는 경우가 있다. 예를 들어, 빨강색의 RGB 값이 (255, 0, 0) 인 데, 빨강색의 RGB 값이 (233, 0, 0)으로 표시되는 픽셀이 존재할 수 있다. 이러한 문제를 해결하기 위해 제1 보정부(134)는 버퍼를 두고, 영상 처리를 통해 모호해지는 픽셀들의 RGB 값을 미리 정의된 RGB값으로 보정할 수 있다.When an image is reconstructed using a GAN model, the boundary of pixels may become vague. For example, although the RGB value of the red color is (255, 0, 0), there may exist a pixel in which the RGB value of the red color is expressed as (233, 0, 0). In order to solve this problem, the first corrector 134 may have a buffer and correct RGB values of pixels that are ambiguous through image processing with predefined RGB values.

예를 들면, 제1 보정부(134)는 도 5의 F에서 a와 같이 경계가 모호한 픽셀에 대해 G의 b와 같이 경계가 명확해지도록 픽셀의 RGB값을 보정할 수 있다.For example, the first compensator 134 may correct the RGB values of the pixels so that the boundary becomes clear as in the b of G with respect to a pixel having an ambiguous boundary as in a in F of FIG. 5 .

제2 보정부(135)는 제1 보정부(134)에서 보정된 합성 영상에 연결요소 라벨링 알고리즘을 적용하여 클래스별로 클러스터링한다. 연결요소 라벨링 알고리즘은 영상에서 서로 연결된 화소들을 그룹화하고 각 그룹에 대해 고유한 라벨을 할당해 주는 알고리즘일 수 있다.The second corrector 135 applies a connected element labeling algorithm to the synthesized image corrected by the first corrector 134 and clusters them by class. The connected element labeling algorithm may be an algorithm that groups pixels connected to each other in an image and assigns a unique label to each group.

클래스별로 클러스터링되면, 제2 보정부(135)는 각 클래스 내의 픽셀 수를 기 설정된 임계값과 비교하여 임계값 미만의 픽셀 수를 포함하는 클래스를 노이즈로 제거할 수 있다. When clustered by class, the second corrector 135 may compare the number of pixels in each class with a preset threshold and remove a class including the number of pixels less than the threshold as noise.

예를 들면, 도 5의 G 영상에서 흰색 선은 차선을 의미하므로, 제2 보정부(135)는 H 영상과 같이 차선(클래스)을 분류하여 클러스터링할 수 있다. 그런 후 제2 보정부(135)는 H 영상에서 c와 같이 임계값 미만의 픽셀 수를 갖는 클래스를 노이즈로 제거하여 I 영상을 생성할 수 있다. For example, since a white line in the G image of FIG. 5 means a lane, the second corrector 135 may classify and cluster the lane (class) like the H image. Then, the second corrector 135 may generate the I image by removing a class having a pixel number less than a threshold, such as c, from the H image as noise.

보정 합성 영상 생성부(136)는 클래스 단위로 구분된 이진화 영상을 생성한다. The corrected synthesis image generating unit 136 generates a binarized image divided in units of classes.

즉, 보정 합성 영상 생성부(136)는 도 5의 J와 같이 관심 도로객체별로 이진화 영상을 각각 생성할 수 있다. 여기서, 관심 도로객체는 차선 및 노면마크 등을 포함할 수 있다. 따라서, 보정 합성 영상 생성부(136)은 각 차선별로 이진화 영상을 생성할 수 있다. 예를 들면, 보정 합성 영상 생성부(136)는 합성 영상에 기초하여 1번 차선(관심 도로객체)에 대한 이진화 영상, 2번 차선(관심 도로객체)에 대한 이진화 영상, 및 3번 차선(관심 도로객체)에 대한 이진화 영상 등을 생성할 수 있다. That is, the corrected synthesis image generator 136 may generate a binarized image for each road object of interest as shown in J of FIG. 5 . Here, the road object of interest may include a lane and a road surface mark. Accordingly, the corrected synthesis image generator 136 may generate a binarized image for each lane. For example, the corrected synthesized image generator 136 may generate a binarized image for a lane 1 (road object of interest), a binarized image for a lane 2 (road object of interest), and a third lane (interest) based on the synthesized image. It is possible to generate a binarized image for road objects).

도로객체 추출부(140)는 제2 학습 적용부(130)에서 생성된 합성 영상에 기초하여 도로객체를 추출한다. 여기서, 도로객체는 항공영상 도로면 상에 분포되어 있는 상대적으로 크기가 작은 차선 및 노면마크 단위의 세부 도로객체를 포함할 수 있다. 이에, 도로객체 추출부(140)는 관심 도로객체의 형태에 따라 폴리라인(Polyline) 또는 폴리곤(polygon)을 추출할 수 있다. 예컨대, 관심 도로객체가 선형객체인 경우, 도로객체 추출부(140)는 폴리라인을 추출할 수 있다. 관심 도로객체가 면형객체인 경우, 도로객체 추출부(140)는 폴리곤을 추출할 수 있다. The road object extraction unit 140 extracts the road object based on the synthesized image generated by the second learning application unit 130 . Here, the road object may include a detailed road object in units of lanes and road marks with relatively small sizes distributed on the road surface of the aerial image. Accordingly, the road object extraction unit 140 may extract a polyline or polygon according to the shape of the road object of interest. For example, when the road object of interest is a linear object, the road object extraction unit 140 may extract a polyline. When the road object of interest is a planar object, the road object extraction unit 140 may extract a polygon.

도로객체 추출부(140)에 대해 도 6을 참조하면, 도로객체 추출부(140)는 형태 판단부(141), 제1 추출부(142), 제2 추출부(143) 및 변환부(144)를 포함할 수 있다. Referring to FIG. 6 for the road object extraction unit 140 , the road object extraction unit 140 includes a shape determination unit 141 , a first extraction unit 142 , a second extraction unit 143 , and a conversion unit 144 . ) may be included.

형태 판단부(141)는 제2 학습 적용부(130)에서 생성된 이진화 영상에서 관심 도로객체의 형태를 판단할 수 있다. 예를 들면, 형태 판단부(141)는 도 7의 A와 같은 관심 도로객체를 포함하는 이진화 영상들을 입력 받고, 입력 받은 관심 도로객체가 차선과 같은 선형객체인지 또는, 횡당보도 및 노면마크 등의 면형객체인지를 판단할 수 있다. The shape determining unit 141 may determine the shape of the object of interest in the binarized image generated by the second learning application unit 130 . For example, the shape determination unit 141 receives binary images including a road object of interest as shown in A of FIG. It can be determined whether it is a surface type object.

제1 추출부(142)는 관심 도로객체가 선형객체인 경우, RANSAC(RANdom SAample Consensus) 기반 커브피팅(Curve Fitting) 알고리즘을 적용하여 관심 도로객체에 대한 폴리라인(Polyline) 이미지 좌표를 추출할 수 있다. When the road object of interest is a linear object, the first extraction unit 142 applies a RANSAC (RANdom SAample Consensus)-based curve fitting algorithm to extract polyline image coordinates for the road object of interest. there is.

제2 추출부(143)는 관심 도로객체가 면형객체인 경우, 내적 값이 가장 큰 Rectangle을 탐색하는 알고리즘을 적용하여 관심 도로객체에 대한 폴리곤(polygon) 이미지 좌표를 추출할 수 있다. When the road of interest object is a planar object, the second extractor 143 may extract polygon image coordinates for the road of interest object by applying an algorithm for searching for a Rectangle having the largest inner product value.

변환부(144)는 제1 추출부(142) 또는 제2 추출부(143)를 통해 추출된 이미지 좌표에 지오레퍼런싱(Georeferencing)을 적용하여 실세계 좌표로 변환할 수 있다. 즉, 변환부(144)는 폴리라인 또는 폴리곤의 영상 좌표에 대해 지오레퍼런싱을 적용하여 World 좌표로 변환할 수 있다. The transform unit 144 may convert the image coordinates extracted through the first extractor 142 or the second extractor 143 into real world coordinates by applying georeferencing. That is, the transform unit 144 may convert the image coordinates of polylines or polygons into world coordinates by applying georeferencing.

상술한 바와 같이 구성된 도로객체 추출장치(100)는 시맨틱 분할 모델(Semantic Segmentation Network)과 GAN(Generative Adversarial Network) 모델의 연속적인 학습을 통해 예측되는 합성 영상(synthesized Image)를 활용하여 항공 정사영상으로부터 도로객체를 추출할 수 있다. 이때 도로객체 추출장치(100)는 항공영상 도로면 상에 분포되어 있는 상대적으로 크기가 작은 차선 및 노면마크 단위의 세부 도로객체를 추출할 수 있다. The road object extraction apparatus 100 configured as described above uses a synthetic image predicted through continuous learning of a Semantic Segmentation Network and a Generative Adversarial Network (GAN) model from an aerial orthogonal image. Road objects can be extracted. In this case, the road object extraction apparatus 100 may extract detailed road objects in units of lanes and road surface marks having relatively small sizes distributed on the aerial image road surface.

도 8은 본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출방법을 설명하기 위한 흐름도, 도 9 및 도 10은 본 발명의 일 실시예에 따른 GAN 적용에 의한 도로객체 추출 개선 효과를 설명하기 위한 예시도이다. 8 is a flowchart for explaining a method for extracting a road object based on an aerial image according to an embodiment of the present invention, and FIGS. 9 and 10 are for explaining the improvement effect of extracting a road object by applying a GAN according to an embodiment of the present invention It is an example diagram for

도 8을 참조하면, 제1 학습 적용부(120)는 항공 정사영상 및 GT(Ground Truth) 라벨링 이미지를 기반으로 시맨틱 분할(semantic segmentation) 모델을 학습하여 제1 분할 맵(Segmentation Map)을 생성한다(S810). 즉, 제1 학습 적용부(120)는 항공 정사영상 및 GT 라벨링 이미지를 제1 학습 데이터로 구성한 후 시맨틱 분할 모델을 학습하여 제1 가중치 파일을 생성할 수 있다. 이때, 제1 학습 적용부(120)는 항공 정사영상 및 GT 라벨링 이미지를 Train set, Test set, 및 Validation Set으로 분할하여 제1 학습 데이터를 구성하고, 제1 학습 데이터 중 Train Set을 구성하고 있는 항공 정사영상들과 GT라벨링 영상들을 대상으로 시맨틱 분할 학습을 수행하여 제1 가중치 파일을 획득할 수 있다. 그런 후, 제1 학습 적용부(120)는 제1 학습 데이터 중 Train Set을 구성하고 있는 항공 정사영상들을 대상으로 제1 가중치 파일을 통해 추론을 수행하여 제1 분할 맵을 생성할 수 있다. 제1 학습 적용부(120)는 제1 분할 맵 및 GT 라벨링 이미지를 GAN 모델 학습을 위한 학습 데이터로 활용될 수 있도록 제2 학습 적용부(130)로 전송할 수 있다. Referring to FIG. 8 , the first learning application unit 120 generates a first segmentation map by learning a semantic segmentation model based on an aerial orthogonal image and a GT (ground truth) labeling image. (S810). That is, the first learning application unit 120 may generate the first weight file by learning the semantic segmentation model after configuring the aerial orthogonal image and the GT labeling image as the first learning data. At this time, the first learning application unit 120 configures the first learning data by dividing the aerial orthogonal image and the GT labeling image into a train set, a test set, and a validation set, and constituting the train set among the first learning data. A first weight file may be obtained by performing semantic segmentation learning on the aerial orthogonal images and GT labeling images. Then, the first learning application unit 120 may generate a first split map by performing inference through the first weight file on the aerial orthogonal images constituting the train set among the first learning data. The first learning application unit 120 may transmit the first segmentation map and the GT labeling image to the second learning application unit 130 to be utilized as training data for learning the GAN model.

S810 단계가 수행되면, 제2 학습 적용부(130)는 제1 분할 맵 및 GT 라벨링 이미지를 기반으로 GAN 모델을 학습한다(S820). 즉, 제2 학습 적용부(130)는 제1 분할 맵 및 GT 라벨링 이미지를 제2 학습 데이터로 구성한 후 GAN 모델을 학습하여 제2 가중치 파일을 생성할 수 있다. 이때, 제2 학습 적용부(130)는 제1 학습 데이터 중 Train Set을 구성하고 있는 항공 정사영상들에 대한 제1 분할 맵과 그 항공 정사영상들에 대한 GT 라벨링 이미지를 페어(pair)로 구성하고, 그 페어로 구성된 영상 데이터들을 GAN 학습 진행을 위한 Train Set, 즉, 제2 학습 데이터로 구성할 수 있다. 그런 후, GAN 학습부(131)는 제2 학습 데이터에 GAN 딥러닝 학습을 수행하여 GAN 모델 학습에 대한 제2 가중치 파일을 획득(생성)할 수 있다. When step S810 is performed, the second learning application unit 130 learns the GAN model based on the first segmentation map and the GT labeling image (S820). That is, the second learning application unit 130 may generate the second weight file by learning the GAN model after configuring the first segmentation map and the GT labeling image as the second learning data. At this time, the second learning application unit 130 configures the first division map for the aerial orthogonal images constituting the train set among the first training data and the GT labeling image for the aerial orthogonal images as a pair. And, the image data composed of the pair may be configured as a train set for GAN learning, that is, the second learning data. Thereafter, the GAN learning unit 131 may obtain (generate) a second weight file for GAN model learning by performing GAN deep learning learning on the second learning data.

S820 단계가 수행되면, 제2 학습 적용부(130)는 항공 정사영상을 대상으로 시맨틱 분할 모델 및 GAN 모델을 순차적으로 적용하여 합성 영상을 생성한다(S830). 즉, 제2 학습 적용부(130)는 도로객체 추출 관심 영역이 포함된 항공 정사영상을 대상으로 제1 학습 적용부(120)에서 학습된 시맨틱 분할 모델과 S820 단계에서 학습된 GAN 모델을 순차적으로 적용하여 합성 영상을 생성할 수 있다. 이때 제2 학습 적용부(130)는 제1 학습 데이터 중 Test set을 구성하고 있는 항공 정사영상들을 대상으로 시맨틱 분할 모델을 통한 추론을 통해 제2 분할 맵을 생성할 수 있고, 제2 분할 맵을 대상으로 GAN 모델을 통한 추론을 수행함으로써, 항공 정사영상에 대한 합성 영상을 생성할 수 있다.When step S820 is performed, the second learning application unit 130 generates a composite image by sequentially applying the semantic segmentation model and the GAN model to the aerial orthogonal image (S830). That is, the second learning application unit 130 sequentially applies the semantic segmentation model learned in the first learning application unit 120 and the GAN model learned in step S820 to the aerial orthographic image including the road object extraction region of interest. It can be applied to create a composite image. At this time, the second learning application unit 130 may generate a second segmentation map through inference through a semantic segmentation model for aerial orthogonal images constituting the test set among the first learning data, and generate the second segmentation map. By performing inference through the GAN model as a target, it is possible to generate a composite image for an aerial orthogonal image.

S830 단계가 수행되면, 제2 학습 적용부(130)는 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 각 픽셀의 RGB 값을 보정하고(S840), 보정된 합성 영상을 대상으로 클래스별 클러스터링을 수행하고 노이즈 클래스를 제거한다(S850). 즉, 제2 학습 적용부(130)는 합성 영상에서 픽셀의 경계가 모호한 픽셀들의 RGB 값을 기 설정된 RGB 값으로 보정하고, 보정된 합성 영상에 연결요소 라벨링 알고리즘을 적용하여 클래스별로 클러스터링할 수 있다. 그런 후, 제2 학습 적용부(130)는 각 클래스 내의 픽셀 수를 기 설정된 임계값과 비교하여 임계값 미만의 픽셀 수를 포함하는 클래스를 노이즈로 제거할 수 있다.When step S830 is performed, the second learning application unit 130 corrects the RGB values of each pixel by setting the range for each RGB channel for the synthesized image (S840), and performs clustering for each class on the corrected synthesized image. and removes the noise class (S850). That is, the second learning application unit 130 may correct the RGB values of pixels whose boundaries are ambiguous in the synthesized image to a preset RGB value, and apply a connected element labeling algorithm to the corrected synthesized image to cluster by class. . Thereafter, the second learning application unit 130 may compare the number of pixels in each class with a preset threshold and remove the class including the number of pixels less than the threshold as noise.

S850 단계가 수행되면, 제2 학습 적용부(130)는 클래스 단위로 구분된 이진화 영상을 생성한다(S860). 이때, 클래스 단위로 구분된 이진화 영상은 관심 도로객체별로 구분된 이진화 영상을 의미할 수 있다. When step S850 is performed, the second learning application unit 130 generates a binarized image divided into classes (S860). In this case, the binarized image divided by class unit may mean a binarized image divided by road objects of interest.

S860 단계가 수행되면, 도로객체 추출부(140)는 이진화 영상에서 관심 도로객체가 선형객체인지를 판단한다(S870).When step S860 is performed, the road object extraction unit 140 determines whether the road object of interest is a linear object in the binarized image (S870).

S870 단계의 판단결과, 관심 도로객체가 선형객체이면, 도로객체 추출부(140)는 RANSAC(RANdom SAample Consensus) 기반 커브피팅(Curve Fitting) 알고리즘을 적용하여 관심 도로객체에 대한 폴리라인(Polyline)을 추출한다(S880). 이때 도로객체 추출부(140)는 폴리라인의 이미지 좌표를 추출할 수 있다. As a result of the determination in step S870, if the road object of interest is a linear object, the road object extraction unit 140 applies a RANSAC (RANdom SAample Consensus)-based curve fitting algorithm to obtain a polyline for the road object of interest. Extract (S880). In this case, the road object extraction unit 140 may extract image coordinates of the polyline.

S880 단계가 수행되면, 도로객체 추출부(140)는 추출된 이미지 좌표에 대해 지오레퍼런싱을 적용하여 이미지 좌표를 World 좌표로 변환한다(S890).When step S880 is performed, the road object extraction unit 140 converts the image coordinates into world coordinates by applying georeferencing to the extracted image coordinates (S890).

만약, S870 단계의 판단결과, 관심 도로객체가 면형객체이면, 도로객체 추출부(140)는 내적 값이 가장 큰 Rectangle을 탐색하는 알고리즘을 적용하여 관심 도로객체에 대한 폴리곤(polygon)을 추출하고(S900), S890 단계를 수행한다. 이때 도로객체 추출부(140)는 폴리곤의 이미지 좌표를 추출할 수 있다. If, as a result of the determination in step S870, if the road object of interest is a planar object, the road object extraction unit 140 applies an algorithm for searching for a Rectangle having the largest inner product value to extract a polygon for the road object of interest ( S900) and S890 are performed. In this case, the road object extraction unit 140 may extract image coordinates of the polygon.

상술한 바와 같이 항공 정사영상을 배제하고 분할 맵(Segmentation Map)과 GT(Ground Truth)간 선형관계 및 기하정보를 활용하여 시맨틱 분할(Semantic Segmentation)과는 독립적인 GAN 학습을 진행함에 따라 항공 정사영상의 시맨틱 분할 적용만으로는 추출되기 어려웠던 그늘, 차량 및 식생 등의 폐색영역에 대한 도로객체를 추출할 수 있고, 그 결과 전체적으로 도로객체 추출률을 개선하는 효과가 있다. As described above, the aerial orthogonal image is excluded and the GAN learning independent of the semantic segmentation is carried out by using the linear relationship and geometric information between the segmentation map and the GT (ground truth). It is possible to extract road objects for occluded areas such as shade, vehicles, and vegetation, which were difficult to extract only by applying the semantic segmentation of

예를 들어, 도 9를 참조하면, 시맨틱 분할(Semantic Segmentation)을 통해 도로객체를 추출하면 (a)와 같을 수 있고, (a)에 GAN 학습을 적용하면 (b)와 같은 도로객체를 추출할 수 있다. (a)와 (b)를 비교하면, (b)의 도로객체가 더욱 명확하게 추출됨을 확인할 수 있다. 또한, 시맨틱 분할 추론 이미지를 활용하여 도로객체를 추출하면 도 10의 (a)와 같을 수 있고, (a)에 GAN에 의한 Synthesized Image을 활용하여 도로객체를 추출하면 (b)와 같을 수 있다. (a)와 (b)를 비교하면, (b)의 도로객체가 더욱 명확하게 추출됨을 확인할 수 있다. 이처럼 시맨틱 분할과 GAN의 순차적인 학습 모델을 적용하면, 항공 정사영상의 시맨틱 분할 적용만으로는 추출되기 어려웠던 그늘, 차량 및 식생 등의 폐색영역에 대한 도로객체를 추출할 수 있다. For example, referring to FIG. 9 , if a road object is extracted through semantic segmentation, it may be the same as in (a), and if GAN learning is applied to (a), the road object as in (b) can be extracted. can Comparing (a) and (b), it can be seen that the road object in (b) is more clearly extracted. In addition, if the road object is extracted by using the semantic segmentation inference image, it may be as shown in (a) of FIG. Comparing (a) and (b), it can be seen that the road object in (b) is more clearly extracted. By applying the sequential learning model of semantic segmentation and GAN like this, it is possible to extract road objects for occluded areas such as shade, vehicles, and vegetation, which were difficult to extract only by applying semantic segmentation of aerial orthographic images.

상술한 바와 같이, 본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치 및 방법은 시맨틱 분할 모델(Semantic Segmentation Network)과 GAN(Generative Adversarial Network) 모델의 연속적인 학습을 통해 예측되는 합성 영상(synthesized Image)을 활용하여 항공 정사영상으로부터 도로객체를 추출할 수 있다. As described above, the aerial image-based road object extraction apparatus and method according to an embodiment of the present invention provides a synthetic image predicted through continuous learning of a semantic segmentation network and a generative adversarial network (GAN) model ( synthesized image) can be used to extract road objects from aerial orthographic images.

본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치 및 방법은, 시맨틱 분할(Semantic Segmentation)시 사용된 학습데이터 및 예측데이터를 재활용하여 추가적인 라벨링 과정 없이 GAN 학습을 진행함으로써, 시맨틱 분할과 GAN의 순차적인 학습 모델 적용을 통한 도로객체 추출 성능을 개선함과 동시에 학습데이터 제작에 대한 비용 및 시간을 감소시킬 수 있다.Aerial image-based road object extraction apparatus and method according to an embodiment of the present invention, by recycling learning data and prediction data used in semantic segmentation to perform GAN learning without an additional labeling process, semantic segmentation and GAN It is possible to improve the road object extraction performance by applying the sequential learning model of

본 발명의 일 실시예에 따른 항공영상 기반 도로객체 추출장치 및 방법은, 항공 정사영상을 배제하고 분할 맵(Segmentation Map)과 GT(Ground Truth)간 선형관계 및 기하정보를 활용하여 시맨틱 분할(Semantic Segmentation)과는 독립적인 GAN 학습을 진행함에 따라 항공 정사영상의 시맨틱 분할 적용만으로는 추출되기 어려웠던 그늘, 차량 및 식생 등의 폐색영역에 대한 도로객체 추출이 가능해지며, 그 결과 전체적으로 도로객체 추출율이 개선되는 효과가 있다. Aerial image-based road object extraction apparatus and method according to an embodiment of the present invention excludes aerial orthogonal images and utilizes linear relationship and geometric information between segmentation map and GT (ground truth) to semantic segmentation (Semantic segmentation) Segmentation) independent GAN learning makes it possible to extract road objects from occluded areas such as shade, vehicles, and vegetation, which were difficult to extract only by applying semantic segmentation of aerial orthogonal images, and as a result, the overall road object extraction rate is improved. It works.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely an example, and those skilled in the art to which various modifications and equivalent other embodiments are possible. will understand

따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Accordingly, the true technical protection scope of the present invention should be defined by the following claims.

100 : 도로객체 추출장치
110 : 수집부
120 : 제1 학습 적용부
122 : 시맨틱 분할 학습부
124 : 분할 맵 생성부
130 : 제2 학습 적용부
131 : GAN 학습부
132 : 합성 영상 생성부
133 : 보정 처리부
140 : 도로객체 추출부
141 : 형태 판단부
142 : 제1 추출부
143 : 제2 추출부
144 : 변환부100: road object extraction device
110: collection unit
120: first learning application unit
122: semantic segmentation learning unit
124: division map generation unit
130: second learning application unit
131: GAN Learning Department
132: synthesized image generating unit
133: correction processing unit
140: road object extraction unit
141: shape determination unit
142: first extraction unit
143: second extraction unit
144: conversion unit

Claims

항공 정사영상 및 GT(Ground Truth) 라벨링 이미지를 기반으로 시맨틱 분할(semantic segmentation) 모델을 학습하여 제1 분할 맵(Segmentation Map)을 생성하는 제1 학습 적용부;
상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 기반으로 GAN(Generative Adversarial Network) 모델을 학습하여 합성 영상(Synthesized Image)을 생성하는 제2 학습 적용부; 및
상기 합성 영상에 기초하여 도로객체를 추출하는 도로객체 추출부
를 포함하는 항공영상 기반 도로객체 추출장치.
A first learning application unit for generating a first segmentation map (Segmentation Map) by learning a semantic segmentation model based on the aerial orthographic image and GT (Ground Truth) labeling image;
a second learning application unit for generating a synthesized image by learning a Generative Adversarial Network (GAN) model based on the first segmentation map and the GT labeling image; and
A road object extraction unit for extracting a road object based on the composite image
Aerial image-based road object extraction device comprising a.

제1항에 있어서,
상기 제1 학습 적용부는,
상기 항공 정사영상 및 GT 라벨링 이미지를 제1 학습 데이터로 구성한 후 시맨틱 분할 모델을 학습하여 제1 가중치(Weight) 파일을 생성하는 시맨틱 분할 학습부; 및
상기 항공 정사영상을 대상으로 상기 제1 가중치 파일을 이용한 추론을 수행하여 상기 제1 분할 맵을 생성하는 분할 맵 생성부를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출장치.
According to claim 1,
The first learning application unit,
a semantic segmentation learning unit for constructing the aerial orthogonal image and the GT labeling image as first training data and then learning the semantic segmentation model to generate a first weight file; and
and a segmentation map generator configured to generate the first segmentation map by performing inference using the first weight file with respect to the aerial orthographic image.

제1항에 있어서,
상기 제2 학습 적용부는,
상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 제2 학습 데이터로 구성한 후 GAN(Generative Adversarial Network) 모델을 학습하여 제2 가중치 파일을 생성하는 GAN 학습부;
상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델 및 GAN 모델을 순차적으로 적용하여 합성 영상을 생성하는 합성 영상 생성부; 및
상기 합성 영상의 보정을 통해 클래스 단위로 구분된 이진화 영상을 생성하는 보정 처리부를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출장치.
According to claim 1,
The second learning application unit,
a GAN learning unit configured to configure the first segmentation map and the GT labeling image as second training data and then learning a Generative Adversarial Network (GAN) model to generate a second weight file;
a synthesized image generator for generating a synthesized image by sequentially applying the semantic segmentation model and the GAN model to the aerial orthogonal image; and
Aerial image-based road object extraction apparatus, characterized in that it comprises a correction processing unit for generating a binary image divided by class through the correction of the synthesized image.

제3항에 있어서,
상기 합성 영상 생성부는,
상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델을 이용한 추론을 수행하여 제2 분할 맵을 생성하고, 상기 제2 분할 맵을 대상으로 상기 제2 가중치 파일을 이용한 추론을 수행하여 합성 영상을 생성하는 것을 특징으로 하는 항공영상 기반 도로객체 추출장치.
4. The method of claim 3,
The synthesized image generating unit,
Generating a second segmentation map by performing inference using the semantic segmentation model on the aerial orthogonal image, and generating a synthesized image by performing inference using the second weight file on the second segmentation map Aerial image-based road object extraction device.

제3항에 있어서,
상기 보정 처리부는,
상기 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 각 픽셀의 RGB 값을 보정하는 제1 보정부;
상기 제1 보정부에서 보정된 합성 영상에 연결요소 라벨링(connected-components labeling) 알고리즘을 적용하여 클래스별로 클러스터링하는 제2 보정부; 및
상기 클래스 단위로 구분된 이진화 영상을 생성하는 보정 합성 영상 생성부를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출장치.
4. The method of claim 3,
The correction processing unit,
a first correction unit for correcting RGB values of each pixel by setting a range for each RGB channel with respect to the composite image;
a second corrector for clustering by class by applying a connected-components labeling algorithm to the synthesized image corrected by the first corrector; and
Aerial image-based road object extraction apparatus, characterized in that it comprises a corrected synthetic image generator for generating the binarized image divided by the class unit.

제5항에 있어서,
상기 제2 보정부는,
상기 각 클래스 내의 픽셀 수를 기 설정된 임계값과 비교하여 상기 임계값 미만의 픽셀 수를 포함하는 클래스를 노이즈로 제거하는 것을 특징으로 하는 항공영상 기반 도로객체 추출장치.
6. The method of claim 5,
The second correction unit,
Aerial image-based road object extraction apparatus, characterized in that by comparing the number of pixels in each class with a preset threshold value and removing the class including the number of pixels less than the threshold value as noise.

제1항에 있어서,
상기 도로객체 추출부는,
상기 제2 학습 적용부에서 생성된 이진화 영상에서 관심 도로객체의 형태를 판단하는 형태 판단부;
상기 관심 도로객체가 선형객체인 경우, RANSAC(RANdom SAample Consensus) 기반 커브피팅(Curve Fitting) 알고리즘을 적용하여 관심 도로객체에 대한 폴리라인(Polyline) 이미지 좌표를 추출하는 제1 추출부;
상기 관심 도로객체가 면형객체인 경우, 내적 값이 가장 큰 Rectangle을 탐색하는 알고리즘을 적용하여 관심 도로객체에 대한 폴리곤(polygon) 이미지 좌표를 추출하는 제2 추출부; 및
상기 제1 추출부 또는 제2 추출부를 통해 추출된 이미지 좌표에 지오레퍼런싱(Georeferencing)을 적용하여 실 세계 좌표로 변환하는 변환부를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출장치.
According to claim 1,
The road object extraction unit,
a shape determination unit for determining the shape of the road of interest object in the binarized image generated by the second learning application unit;
a first extractor for extracting polyline image coordinates for the road of interest object by applying a RANSAC (RANdom SAample Consensus)-based curve fitting algorithm when the road of interest object is a linear object;
a second extraction unit for extracting polygon image coordinates for the road of interest object by applying an algorithm for searching for a Rectangle having the largest inner product value when the road of interest object is a planar object; and
Aerial image-based road object extraction apparatus, characterized in that it comprises a transformation unit for converting into real world coordinates by applying georeferencing (Georeferencing) to the image coordinates extracted through the first extraction unit or the second extraction unit.

제1 학습 적용부가 항공 정사영상 및 GT(Ground Truth) 라벨링 이미지를 기반으로 시맨틱 분할(semantic segmentation) 모델을 학습하여 제1 분할 맵(Segmentation Map)을 생성하는 단계;
제2 학습 적용부가 상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 기반으로 GAN(Generative Adversarial Network) 모델을 학습하여 합성 영상(Synthesized Image)을 생성하는 단계; 및
도로객체 추출부가 상기 합성 영상에 기초하여 도로객체를 추출하는 단계
를 포함하는 항공영상 기반 도로객체 추출방법.
Generating a first segmentation map (Segmentation Map) by the first learning application unit learning a semantic segmentation model based on the aerial orthographic image and GT (Ground Truth) labeling image;
generating, by a second learning application unit, a synthesized image by learning a Generative Adversarial Network (GAN) model based on the first segmentation map and the GT labeling image; and
extracting a road object based on the composite image by the road object extraction unit
Aerial image-based road object extraction method comprising a.

제8항에 있어서,
상기 제1 분할 맵(Segmentation Map)을 생성하는 단계는,
상기 제1 학습 적용부가 상기 항공 정사영상 및 GT 라벨링 이미지를 제1 학습 데이터로 구성한 후 시맨틱 분할 모델을 학습하여 제1 가중치(Weight) 파일을 생성하는 단계; 및
상기 제1 학습 적용부가 상기 항공 정사영상을 대상으로 상기 제1 가중치 파일을 이용한 추론을 수행하여 상기 제1 분할 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출방법.
9. The method of claim 8,
The step of generating the first segmentation map (Segmentation Map) comprises:
generating a first weight file by learning the semantic segmentation model after the first learning application unit configures the aerial orthographic image and the GT labeling image as first learning data; and
and generating, by the first learning application unit, the first segmentation map by performing inference using the first weight file on the aerial orthographic image.

제8항에 있어서,
상기 합성 영상(Synthesized Image)을 생성하는 단계는,
상기 제2 학습 적용부가, 상기 제1 분할 맵 및 상기 GT 라벨링 이미지를 제2 학습 데이터로 구성한 후 GAN(Generative Adversarial Network) 모델을 학습하여 제2 가중치 파일을 생성하는 단계;
상기 제2 학습 적용부가 상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델 및 상기 GAN 모델을 순차적으로 적용하여 합성 영상을 생성하는 단계; 및
상기 제2 학습 적용부가 상기 합성 영상의 보정을 통해 클래스 단위로 구분된 이진화 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출방법.
9. The method of claim 8,
The step of generating the synthesized image comprises:
generating, by the second learning application unit, a second weight file by learning a Generative Adversarial Network (GAN) model after configuring the first segmentation map and the GT labeling image as second learning data;
generating a synthesized image by sequentially applying, by the second learning application unit, the semantic segmentation model and the GAN model to the aerial orthographic image; and
and generating, by the second learning application unit, a binary image divided into classes through correction of the synthesized image.

제10항에 있어서,
상기 시맨틱 분할 모델 및 상기 GAN 모델을 순차적으로 적용하여 합성 영상을 생성하는 단계에서,
상기 제2 학습 적용부는 상기 항공 정사영상을 대상으로 상기 시맨틱 분할 모델을 이용한 추론을 수행하여 제2 분할 맵을 생성하고, 상기 제2 분할 맵을 대상으로 상기 제2 가중치 파일을 이용한 추론을 수행하여 합성 영상을 생성하는 것을 특징으로 하는 항공영상 기반 도로객체 추출방법.
11. The method of claim 10,
In the step of generating a composite image by sequentially applying the semantic segmentation model and the GAN model,
The second learning application unit generates a second segmentation map by performing inference using the semantic segmentation model with respect to the aerial orthogonal image, and performing inference using the second weight file for the second segmentation map, An aerial image-based road object extraction method, characterized in that it generates a composite image.

제10항에 있어서,
상기 이진화 영상을 생성하는 단계는,
상기 보정 처리부가 상기 합성 영상을 대상으로 RGB 채널별 범위설정을 통해 각 픽셀의 RGB값을 보정하는 단계;
상기 보정 처리부가 상기 보정된 합성 영상에 연결요소 라벨링(connected-components labeling) 알고리즘을 적용하여 클래스별로 클러스터링하는 단계; 및
상기 보정 처리부가 상기 클래스 단위로 구분된 이진화 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출방법.
11. The method of claim 10,
The step of generating the binarized image comprises:
correcting, by the correction processing unit, the RGB value of each pixel by setting a range for each RGB channel with respect to the composite image;
clustering by class by the correction processing unit applying a connected-components labeling algorithm to the corrected synthesized image; and
Aerial image-based road object extraction method, characterized in that it comprises the step of the correction processing unit generating a binary image divided by the class unit.

제12항에 있어서,
상기 클러스터링하는 단계에서,
상기 보정 처리부는 상기 각 클래스 내의 픽셀 수를 기 설정된 임계값과 비교하여 상기 임계값 미만의 픽셀 수를 포함하는 클래스를 노이즈로 제거하는 것을 특징으로 하는 항공영상 기반 도로객체 추출방법.
13. The method of claim 12,
In the clustering step,
The correction processing unit compares the number of pixels in each class with a preset threshold and removes a class including the number of pixels less than the threshold as noise.

제8항에 있어서,
상기 도로객체를 추출하는 단계는,
상기 도로객체 추출부가, 상기 제2 학습 적용부에서 생성된 이진화 영상에서 관심 도로객체의 형태를 판단하는 단계;
상기 관심 도로객체가 선형객체인 경우, 상기 도로객체 추출부가 RANSAC(RANdom SAample Consensus) 기반 커브피팅(Curve Fitting) 알고리즘을 적용하여 관심 도로객체에 대한 폴리라인(Polyline) 이미지 좌표를 추출하는 단계; 및
상기 도로객체 추출부가 상기 폴리라인 이미지 좌표에 지오레퍼런싱(Georeferencing)을 적용하여 실세계 좌표로 변환하는 단계를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출방법.
9. The method of claim 8,
The step of extracting the road object is
determining, by the road object extraction unit, the shape of the road object of interest in the binarized image generated by the second learning application unit;
when the road object of interest is a linear object, extracting, by the road object extraction unit, polyline image coordinates for the road object of interest by applying a RANSAC (RANdom SAample Consensus)-based curve fitting algorithm; and
and converting, by the road object extraction unit, georeferencing to the polyline image coordinates into real world coordinates.

제14항에 있어서,
상기 관심 도로객체가 면형객체인 경우, 상기 도로객체 추출부가 내적 값이 가장 큰 Rectangle을 탐색하는 알고리즘을 적용하여 관심 도로객체에 대한 폴리곤(polygon) 이미지 좌표를 추출하는 단계; 및
상기 도로객체 추출부가 상기 폴리곤 이미지 좌표에 지오레퍼런싱(Georeferencing)을 적용하여 실 세계 좌표로 변환하는 단계를 포함하는 것을 특징으로 하는 항공영상 기반 도로객체 추출방법.
15. The method of claim 14,
when the road object of interest is a planar object, extracting polygon image coordinates for the road object of interest by applying an algorithm for the road object extraction unit to search for a Rectangle having the largest inner product value; and
Aerial image-based road object extraction method, characterized in that it comprises the step of converting the road object extraction unit into real world coordinates by applying georeferencing (Georeferencing) to the polygon image coordinates.