KR20180061803A

KR20180061803A - 도로면 폐색 영역 복원 장치 및 방법

Info

Publication number: KR20180061803A
Application number: KR1020160161367A
Authority: KR
Inventors: 전영재
Original assignee: 현대엠엔소프트 주식회사
Priority date: 2016-11-30
Filing date: 2016-11-30
Publication date: 2018-06-08
Also published as: WO2018101746A2; WO2018101746A3

Abstract

도로면 폐색 영역 복원 장치 및 방법이 개시된다. 본 발명의 도로면 폐색 영역 복원 장치는 MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 이상 점군 제거부; 이상 점군 제거부에 의해 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 폐색 영역 검출부; 폐색 영역 검출부에 의해 검출된 폐색 영역에 가상의 점군을 생성하는 점군 생성부; 및 점군 생성부에 의해 생성된 가상의 점 각각을 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원하는 폐색 영역 복원부를 포함하는 것을 특징으로 한다.

Description

도로면 폐색 영역 복원 장치 및 방법{APPARATUS AND METHOD FOR INPAINTING OCCLUSION OF ROAD SURFACE}

본 발명은 도로면 폐색 영역 복원 장치 및 방법에 관한 것으로서, 보다 상세하게는 다시점 이미지들을 이용하여 도로면 3차원 점군의 폐색 영역을 복원하는 도로면 폐색 영역 복원 장치 및 방법에 관한 것이다.

최근 들어, 3차원 공간정보는 도시경관계획, 재해관리 시스템, 네비게이션 및 인터넷 지도 서비스 등과 같이 다양한 응용분야에 적용되고 있다.

이러한 3차원 공간정보에서 가장 핵심적인 3차원 건물 모델을 구축하는 방법으로는 수치지도와 건물 대장의 층수 정보를 이용하는 방법, 센서모델링을 수반하는 스테레오 입체 영상을 이용하는 방법, 건물의 그림자 또는 기복변위 관측방법을 이용하여 한 장의 영상만으로 건물모델을 취득하는 방법 및 항공기에 탑재된 레이저 거리측정 장비로 지표면을 이루는 점들의 높이값을 직접 취득한 라이다(Light Detection And Ranging, LiDAR) 데이터를 이용하는 방법 등이 있다.

특히, 거리측정 장비로 지표면을 이루는 점들의 높이값을 직접 취득한 라이다 데이터를 이용하는 방법은, 색상 복원을 위해 투영 스티칭(Stitching)이나 와핑(Warping)을 사용하였으나 상대적으로 명확한 색상 추정이 어려웠고, 투영 가능한 이미지 혹은 유효 색상 정보 부족으로 복원이 어려운 부분이 발생하는 등의 문제점이 있었다.

본 발명의 배경기술은 대한민국 등록특허공보 10-1289885호(2013.07.19)의 '건물의 모델링을 위한 장치 및 방법'에 개시되어 있다.

본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 다시점 이미지들을 이용하여 도로면 3차원 점군의 폐색 영역을 복원하도록 함으로써, 차선 추출 및 지도 구축에 활용할 수 있도록 한 도로면 폐색 영역 복원 장치 및 방법에 관한 것이다.

본 발명의 일 측면에 따른 도로면 폐색 영역 복원 장치는 MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 이상 점군 제거부; 상기 이상 점군 제거부에 의해 제거된 이상 점군이 영상에서 폐색 영역을 검출하는 폐색 영역 검출부; 상기 폐색 영역 검출부에 의해 검출된 폐색 영역에 가상의 점군을 생성하는 점군 생성부; 및 상기 점군 생성부에 의해 생성된 가상의 점 각각을 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원하는 폐색 영역 복원부를 포함하는 것을 특징으로 한다.

본 발명에서, 상기 폐색 영역 검출부는 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하는 점 정렬부; 상기 점 정렬부에 의해 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각을 이용하여 폐색 영역의 외곽 점을 검출하는 외곽 점 검출부; 및 상기 외곽 점 검출부에 의해 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 폐색 영역 구분부를 포함하는 것을 특징으로 한다.

본 발명에서, 상기 외곽 점 검출부는 어느 한 점을 중심으로 연속된 두 점의 사이각이 주변의 다른 사이각보다 설정값 이상이면 현재 점을 외곽 점으로 검출하는 것을 특징으로 한다.

본 발명에서, 상기 점군 생성부는 가상의 점군을 균일한 밀도로 생성하는 것을 특징으로 한다.

본 발명에서, 상기 폐색 영역 복원부는 폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하는 투영부; 상기 투영부에 의해 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단하는 유효 색상 판단부; 및 상기 유효 색상 판단부의 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경하고, 변경된 색상을 가상의 점의 색상으로 설정하는 평균 색상 적용부를 포함하는 것을 특징으로 한다.

본 발명에서, 상기 유효 색상 판단부는 각 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 유효 색상으로 판단하는 것을 특징으로 한다.

본 발명에서, 상기 유효 색상 판단부는 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 한다.

본 발명은 상기 폐색 영역 복원부는 상기 유효 색상 판단부의 판단 결과 유효 색상이 아니면, 가상의 점을 중심으로 한 주변의 점군 정보를 이용하여 가상의 점의 색상을 설정하는 예제 기반 복원부를 더 포함하는 것을 특징으로 한다.

본 발명에서, 상기 예제 기반 복원부는 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 도로면 폐색 영역 복원 방법은 이상 점군 제거부가 MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 단계; 폐색 영역 검출부가 상기 이상 점군 제거부에 의해 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 단계; 점군 생성부가 상기 폐색 영역 검출부에 의해 검출된 폐색 영역에 가상의 점군을 생성하는 단계; 및 폐색 영역 복원부가 상기 점군 생성부에 의해 생성된 가상의 점 각각을 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원하는 단계를 포함하는 것을 특징으로 한다.

본 발명에서, 상기 폐색 영역 검출부는 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하고, 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각이 설정각 이상인지 여부에 따라 폐색 영역의 외곽 점을 검출한 후, 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 것을 특징으로 한다.

본 발명에서, 상기 폐색 영역 복원부는 폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하고, 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상의 분산을 기반으로 유효 색상인지 여부를 판단하여 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경한 후, 변경된 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 한다.

본 발명에서, 상기 유효 색상 판단부는 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이 스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 한다.

본 발명은 예제 기반 복원부가 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따른 도로면 폐색 영역 복원 장치 및 방법은 폐색으로 인해 획득 불가능한 3차원 정보를 복원함으로써 도로면 위의 차선 정보를 온전하게 획득할 수 있고, 이를 토대로 차선 레벨의 고정밀 지도 구축에 상기 차선 정보를 활용할 수 있으며, 차선 정보를 자동 차선 추출 모듈 등의 고품질 입력 데이터로 활용할 수 있도록 한다.

본 발명의 다른 측면에 따른 도로면 폐색 영역 복원 장치 및 방법은 정확한 투영 및 다수 색상 이미지 정보를 사용함으로써, 종래의 스티칭(Stitching)이나 와핑(Warping)을 사용한 방식보다 명확한 색상 추정이 가능하게 한다.

본 발명의 또 다른 측면에 따른 도로면 폐색 영역 복원 장치 및 방법은 도로면 위의 차선 정보를 획득하는 비용을 크게 절감할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 평면도이다.
도 3 은 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 측면도이다.
도 4 는 본 발명의 일 실시예에 따른 3차원 점군으로부터 도로면 규정 및 이상 점군 제거 방법을 나타낸 도면이다.
도 5 는 본 발명의 일 실시예에 따른 도로면 점군의 폐색 영역 검출 방법을 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 균일 밀도의 3차원 점군 생성 및 투영을 통한 색상 보정 방법을 나타낸 도면이다.
도 7 은 본 발명의 일 실시예에 따른 예제 기반의 색상 복원 방법을 나타낸 도면이다.
도 8 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 방법을 도시한 도면이다.

이하에서는 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야할 것이다.

도 1 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 평면도이며, 도 3 은 본 발명의 일 실시예에 따른 모바일 맵핑 시스템의 측면도이며, 도 4 는 본 발명의 일 실시예에 따른 3차원 점군으로부터 도로면 규정 및 이상 점군 제거 방법을 나타낸 도면이며, 도 5 는 본 발명의 일 실시예에 따른 도로면 점군의 폐색 영역 검출 방법을 나타낸 도면이며, 도 6 은 본 발명의 일 실시예에 따른 균일 밀도의 3차원 점군 생성 및 투영을 통한 색상 보정 방법을 나타낸 도면이며, 도 7 은 본 발명의 일 실시예에 따른 예제 기반의 색상 복원 방법을 나타낸 도면이다.

도 1 을 참조하면, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치는 MMS(Mobile Mapping System;)(10)로부터 각종 측정 정보를 전달받고, 이 측정 정보를 이용하여 도로면의 폐색 영역을 복원한다.

도 2 와 도 3 를 참조하면, MMS(10)는 차량에 탑재되어 주변 도로의 영상을 촬영하거나 스캔하여 주변 영역에 대한 측정 정보를 획득한다.

MMS(10)는 주변 영상을 촬영하여 영상 정보를 획득하는 복수 개의 카메라(11), 차량의 위치를 검출하는 복수 개의 GPS(Global Positioning System)(13), 펄스 레이저를 발생시켜 지표면을 이루는 점들의 높이값을 직접 취득하는 복수 개의 라이더(Light Detection and Ranging;LiDAR)(12) 및 차량의 속도와 방향, 중력 및 가속도를 측정하는 IMU(Inertial Measurement Unit)(14)를 포함한다.

특히, 카메라(11)는 복수 개가 마련되어 각각이 주변을 촬영하는 바, 동일한 지점에 대해서도 다시점 이미지를 획득할 수 있게 한다.

도 1 을 참조하면, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치(20)는 MMS(10)로부터 전달된 측정 정보를 이용하여 도로면의 폐색 영역을 복원하는 것으로써, 이상 점군 제거부(21), 폐색 영역 검출부(22), 점군 생성부(23) 및 폐색 영역 복원부(24)를 포함한다.

이상 점군 제거부(21)는 MMS(10)의 라이더(12)에 의해 획득된 영상의 3차원 점군에서 이상 점군을 제거한다.

즉, 이상 점군 제거부(21)는 도 4 의 (a)에 도시된 바와 같이 라이더(12)를 통해 획득된 3차원 점군 중에서, 도로면에 해당하는 점군만을 추출한다. 이 경우 이상 점군 제거부(21)는 GPS(13) 및 IMU(14)의 측정 정보를 이용하여 차량의 높이값과 지표면 해발고도를 추정하고, 차량 위치 주변의 점군을 도로면의 점군으로 인식한다.

또한, 이상 점군 제거부(21)는 도 4 의 (b)에 도시된 바와 같이 해당 차량 위치를 기준으로 여러 방향에 대해 점군을 조사하는데, 이전 조사 점군과의 거리가 일정 거리 이상 멀어지거나, 이전 조사 점군과의 방향 각도가 설정각도 이상이면 3차원 점군 조사를 중단하고 그 시점까지 조사된 점군을 도로면으로 병합한다.

이를 토대로, 이상 점군 제거부(21)는 도 4 의 (c)에 도시된 바와 같이 도로면의 점군을 규정짓고 폐색 영역을 유발한 객체의 이상 점군을 제거할 수 있게 된다.

폐색 영역 검출부(22)는 이상 점군 제거부(21)에 의해 제거된 영상에서 폐색 영역을 검출한다. 폐색 영역 검출부(22)는 점 정렬부(221), 외곽 점 검출부(222) 및 폐색 영역 구분부(223)를 포함한다.

점 정렬부(221)는 도 5 의 (a)에 도시된 바와 같이 3차원 점군 중 어느 하나의 점을 검출하고, 검출된 현재 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬한다. 여기서, 현재 점은 복수 개의 점들 중에서 현재 검출되어 그 처리 대상이 되는 점이다.

외곽 점 검출부(222)는 점 정렬부(221)에 의해 정렬된 점들 중에서 현재 점을 중심으로 하는 연속된 두 점의 사이각을 검출하고, 검출된 사이각이 주변의 다른 사이각 보다 설정값 이상이면 현재 점을 외곽 점으로 인식한다.

도 5 의 (b)에는 현재 점의 사이각이 다른 사이각보다 현저하게 큰 경우에 해당 현재 점을 외곽 점으로 인식되는 것이 도시되었다.

폐색 영역 구분부(223)는 외곽 점 검출부(222)에 의해 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분한다. 도 5 의 (c)에는 외곽의 점을 연결하여 생성된 외곽 선을 토대로 Convex hull이 생성되어 폐색 영역이 구분되는 예가 도시되었다.

점군 생성부(23)는 폐색 영역 검출부(22)에 의해 검출된 폐색 영역에 도 6 의 (a)에 도시된 바와 같이 가상의 점군을 생성한다. 이 경우 점군 생성부(23)는 가상의 점군을 폐색 영역에 균일한 밀도로 생성한다. 점군 생성부(23)는 각 가상의 점에 대해 3차원 좌표를 정의하고, 반사강도 및 색상은 정의하지 않는다.

폐색 영역 복원부(24)는 점군 생성부(23)에 의해 생성된 가상의 점 각각을 2차원의 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원한다. 이 경우 폐색 영역 복원부(24)는 폐색 영역 내 가상의 점 모두에 대해 상기한 과정을 수행한다.

폐색 영역 복원부(24)는 투영부(241), 유효 색상 판단부(242), 평균 색상 적용부(243) 및 예제 기반 복원부(244)를 포함한다.

투영부(241)는 가상의 점 각각의 3차원 좌표를 카메라(11)를 통해 다른 시점에서 획득한 이미지들에 투영한다. 이 경우 도 6 에 도시된 바와 같이 복수 개의 다시점 이미지 각각에는 해당 가상의 점이 위치하게 된다. 즉, 점군 생성부(23)에 의해 생성된 가상의 점 각각에는 3차원 좌표가 정의되는 바, 3차원 좌표를 2차원 다시점 이미지로 투영시킬 경우, 각 이미지에서 해당 좌표에 대응되는 지점을 인식할 수 있게 되는 바, 하나의 가상의 점에 대해서 다시점으로 인식할 수 있게 된다.

유효 색상 판단부(242)는 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단한다. 이 경우 유효 색상 판단부(242)는 각 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 유효 색상으로 판단한다. 예를 들어, 각 카메라(11)에 의해 해당 지점이 정상적으로 촬영된 경우에는 각 이미지 내 해당 지점의 색상이 서로 유사하게 나타나나, 반면에 비정상적으로 촬영된 경우에는 각 이미지 내 해당 지점의 색상이 이미지마다 서로 상이하게 나타난다. 예를 들어 분산이 상대적으로 클 경우에는, 다양한 시점에서 서로 다른 물체가 촬영된 것이므로 도로면의 색상이 정확하게 취득된 것이 아닐 가능성이 높다.

따라서, 유효 색상 판단부(242)는 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 해당 지점의 색상을 유효 색상으로 판단하고, 반면에 이미지 내 지점별 색상의 분산이 설정 분산값 이내가 아니면 해당 지점의 색상이 유효 색상이 아닌 것으로 판단한다.

평균 색상 적용부(243)는 유효 색상 판단부(242)의 판단 결과에 따라 각 이미지 내 지점의 색상을 이용하여 가상의 점의 색상을 설정한다.

즉, 유효 색상 판단부(242)의 판단 결과 해당 지점의 색상이 유효 색상이면 평균 색상 적용부(243)는 이들 색상의 색상값을 평균하고, 그 평균 색상을 그레일 스케일로 변경한다. 도로면에서 도료가 도포된 지점은 반사강도가 상대적으로 크므로 해당 색상을 그레이 스케일로 변환할 경우 밝게 나타나고, 도료가 도포되지 않은 지점은 반사강도가 상대적으로 낮아 어둡게 나타난다. 이에, 평균 색상 적용부(243)가 색상을 그레이 스케일로 변환할 경우, 해당 지점에 도료가 도포되어 있는지에 따라 밝거나 또는 어둡게 나타나게 된다.

따라서, 평균 색상 적용부(243)는 이미지 내 해당 지점의 색상을 평균한 평균 색상을 그레이 스케일로 변경하고 그 변경된 색상을 해당 가상의 지점의 색상으로 설정한다. 이에, 해당 가상의 지점이 도료가 도포된 지점이면 해당 가상의 점은 밝은 색상으로 표시되고, 도료가 도포되지 않은 지점이면 해당 가상의 점은 어두운 색상으로 표시된다. 이러한 과정은 모든 가상의 점에 대해서 수행되며, 그 결과에 따라 폐색 영역이 복원될 수 있게 된다.

한편, 상기한 과정에서 유효 색상 판단부(242)의 판단 결과 해당 지점의 색상이 유효 색상이 아니면, 예제 기반 복원부(244)는 가상의 점을 중심으로 한 주변의 점군 정보를 이용하여 가상의 점의 색상을 설정한다.

즉, 예제 기반 복원부(244)는 가상의 점을 중심으로 임의의 영역을 설정하고, 이 설정 영역 이내의 다른 점을 검출한다. 이어 예제 기반 복원부(244)는 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정한다. 이 경우, 검출된 다른 점은 이미 복원된 가상의 점이거나 폐색 영역 이외에 존재하는 기 검출된 점이며, 폐색 영역 내 복원되지 않은 가상의 점이 아니다.

도 7 의 (a) 및 (b)에는 폐색 영역 내 가상의 점군이 균일한 밀도로 설정되고, 특히 설정영역(목표 복원 영역) 내 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정함으로써, 도 7 의 (c)와 같이 설정영역을 복원한다.

이하 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 방법을 도 8 을 참조하여 상세하게 설명한다.

도 8 은 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 방법을 도시한 도면이다.

도 8 을 참조하면, 먼저 MMS(10) 내부의 라이더(12)가 3차원 점군을 검출한다. 이 경우, 이상 점군 제거부(21)는 라이더(12)를 통해 획득된 3차원 점군 중에서, 도로면에 해당하는 점군을 추출한다(S10).

이어 이상 점군 제거부(21)는 도로면의 점군을 규정짓고 폐색 영역을 유발한 객체의 이상 점군을 제거한다(S20).

이어, 폐색 영역 검출부(22)는 이상 점군 제거부(21)에 의해 제거된 영상에서 폐색 영역을 검출한다(S30).

즉, 폐색 영역 검출부(22)는 3차원 점군 중 어느 하나의 점을 검출하고, 검출된 현재 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬한다. 이후, 폐색 영역 검출부(22)는 현재 점을 중심으로 하는 연속된 두 점의 사이각을 검출하고, 검출된 사이각이 주변 다른 사이각 보다 설정값 이상이면 현재 점을 외곽 점으로 인식한다. 이와 같이 외곽 점이 인식됨에 따라, 폐색 영역 검출부(22)는 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분한다. 이 경우, 외곽의 점들로 구성되는 Convex hull이 생성되어 폐색 영역이 구분될 수 있다.

폐색 영역 검출부(22)에 의해 폐색 검출 영역이 검출됨에 따라, 점군 생성부(23)는 폐색 영역 검출부(22)에 의해 검출된 폐색 영역에 균일한 밀도의 가상의 점군을 생성한다(S40). 이 경우 가상의 점 각각에는 3차원 좌표가 정의되며, 반면에 반사강도 및 색상은 정의되지 않는다.

점군 생성부(23)에 의해 폐색 영역 내 가상의 점군이 생성되면, 폐색 영역 복원부(24)는 점군 생성부(23)에 의해 생성된 가상의 점 각각의 3차원 좌표를 카메라(11)를 통해 다른 시점에서 획득한 이미지들에 투영함으로써, 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 검출한다(S50).

이어 폐색 영역 복원부(24)는 투영부(241)에 의해 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단한다(S60). 이 경우 유효 색상 판단부(242)는 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 해당 지점의 색상을 유효 색상으로 판단하고, 반면에 이미지 내 지점별 색상의 분산이 설정 분산값 이내가 아니면 해당 지점의 색상이 유효 색상이 아닌 것으로 판단한다.

단계(S60)에서의 판단 결과 해당 지점의 색상이 유효 색상이면 평균 색상 적용부(243)는 이들 색상의 색상값을 평균하고, 그 평균 색상을 그레일 스케일로 변경하며, 변경된 색상을 해당 가상의 점에 설정한다(S70). 이 경우, 해당 가상의 지점이 도료가 도포된 지점이면 밝은 색상으로 표시되고 도료가 도포되지 않은 지점이면 어두운 색상으로 표시된다.

반면에, 단계(S60)에서의 판단 결과 해당 지점의 색상이 유효 색상이 아니면 평균 색상 적용부(243)는 가상의 점을 중심으로 임의의 영역을 설정하고, 이 설정 영역 이내의 다른 점을 검출한 후, 검출된 다른 점과 가상의 점 간의 반사강도의 유사도 및 색상의 유사도에 따라 가상의 점의 색상을 설정함으로써, 폐색 영역을 복원한다(S80).

이와 같이, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치 및 방법은 폐색으로 인해 획득 불가능한 3차원 정보를 복원함으로써 도로면 위의 차선 정보를 온전하게 획득할 수 있고, 이를 토대로 차선 정보를 차선 레벨의 고정밀 지도 구축에 활용할 수 있도록 하고, 차선 정보를 자동 차선 추출 모듈 등의 고품질 입력 데이터로 활용될 수 있다.

또한, 본 발명의 일 실시예에 따른 도로면 폐색 영역 복원 장치 및 방법은 정확한 투영 및 다수 색상 이미지 정보를 사용함으로써, 종래의 스티칭(Stitching)이나 와핑(Warping)을 사용한 방식보다 명확한 색상 추정이 가능하고, 도로면 위의 차선 정보를 획득하는 비용을 크게 절감할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.

10: MMS 11: 카메라
12: 라이더 13: GPS
14: IMU
20: 도로면 폐색 영역 복원 장치
21: 이상 점군 제거부 22: 폐색 영역 검출부
221: 점 정렬부 222: 외곽 점 검출부
223: 폐색 영역 구분부 23: 점군 생성부
24: 폐색 영역 복원부 241: 투영부
242: 유효 색상 판단부 243: 평균 색상 적용부
244: 예제 기반 복원부

Claims

MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 이상 점군 제거부;
상기 이상 점군 제거부에 의해 제거된 이상 점군이 영상에서 폐색 영역을 검출하는 폐색 영역 검출부;
상기 폐색 영역 검출부에 의해 검출된 폐색 영역에 가상의 점군을 생성하는 점군 생성부; 및
상기 점군 생성부에 의해 생성된 가상의 점 각각을 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원하는 폐색 영역 복원부를 포함하는 도로면 폐색 영역 복원 장치.
제 1 항에 있어서, 상기 폐색 영역 검출부는 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하는 점 정렬부;
상기 점 정렬부에 의해 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각을 이용하여 폐색 영역의 외곽 점을 검출하는 외곽 점 검출부; 및
상기 외곽 점 검출부에 의해 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 폐색 영역 구분부를 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
제 2 항에 있어서, 상기 외곽 점 검출부는 어느 한 점을 중심으로 연속된 두 점의 사이각이 주변의 다른 사이각보다 설정값 이상이면 현재 점을 외곽 점으로 검출하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
제 1 항에 있어서, 상기 점군 생성부는 가상의 점군을 균일한 밀도로 생성하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
제 1 항에 있어서, 상기 폐색 영역 복원부는
폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하는 투영부;
상기 투영부에 의해 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상을 기반으로 유효 색상인지 여부를 판단하는 유효 색상 판단부; 및
상기 유효 색상 판단부의 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경하고, 변경된 색상을 가상의 점의 색상으로 설정하는 평균 색상 적용부를 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
제 5 항에 있어서, 상기 유효 색상 판단부는 각 이미지 내 지점별 색상의 분산이 설정 분산값 이내이면 유효 색상으로 판단하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
제 5 항에 있어서, 상기 유효 색상 판단부는 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
제 5 항에 있어서, 상기 폐색 영역 복원부는 상기 유효 색상 판단부의 판단 결과 유효 색상이 아니면, 가상의 점을 중심으로 한 주변의 점군 정보를 이용하여 가상의 점의 색상을 설정하는 예제 기반 복원부를 더 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
제 8 항에 있어서, 상기 예제 기반 복원부는 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 장치.
이상 점군 제거부가 MMS(Mobile Mapping System)에 의해 획득된 3차원 점군에서 이상 점군을 제거하는 단계;
폐색 영역 검출부가 상기 이상 점군 제거부에 의해 이상 점군이 제거된 영상에서 폐색 영역을 검출하는 단계;
점군 생성부가 상기 폐색 영역 검출부에 의해 검출된 폐색 영역에 가상의 점군을 생성하는 단계; 및
폐색 영역 복원부가 상기 점군 생성부에 의해 생성된 가상의 점 각각을 다시점 이미지로 투영하고, 다시점 이미지 내 가상의 점 각각의 색상을 그레이 스케일로 변경하여 폐색 영역을 복원하는 단계를 포함하는 도로면 폐색 영역 복원 방법.
제 10 항에 있어서, 상기 폐색 영역 검출부는 어느 한 점을 기준으로 주변 점군의 순번을 시계방향 또는 반시계방향으로 정렬하고, 정렬된 점들 중에서 어느 한 점을 중심으로 하는 연속된 두 점의 사이각이 설정각 이상인지 여부에 따라 폐색 영역의 외곽 점을 검출한 후, 검출된 외곽 점을 연결하는 외곽선을 생성하여 폐색 영역을 구분하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법.
제 10 항에 있어서, 상기 점군 생성부는 가상의 점군을 균일한 밀도로 생성하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법.
제 10 항에 있어서, 상기 폐색 영역 복원부는 폐색 영역 내 가상의 점의 좌표를 2차원의 이미지들로 투영하고, 투영된 가상의 점에 대응되는 각 이미지 내 지점별 색상의 분산을 기반으로 유효 색상인지 여부를 판단하여 판단 결과에 따라 각 이미지 내 지점의 색상을 그레이 스케일로 변경한 후, 변경된 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법.
제 10 항에 있어서, 상기 유효 색상 판단부는 각 이미지 내 지점의 색상을 평균하고, 평균 색상을 그레이 스케일로 변경한 후, 변경된 그레이 스케일의 색상을 가상의 점의 색상으로 설정하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법.
제 10 항에 있어서, 예제 기반 복원부가 가상의 점을 중심으로 한 설정 영역 이내의 다른 점을 검출하고, 검출된 다른 점과 가상의 점 간의 반사강도 및 색상의 유사도에 따라 가상의 점의 색상을 설정하는 단계를 더 포함하는 것을 특징으로 하는 도로면 폐색 영역 복원 방법.