KR102119033B1 - 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법 - Google Patents

영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법 Download PDF

Info

Publication number
KR102119033B1
KR102119033B1 KR1020190119276A KR20190119276A KR102119033B1 KR 102119033 B1 KR102119033 B1 KR 102119033B1 KR 1020190119276 A KR1020190119276 A KR 1020190119276A KR 20190119276 A KR20190119276 A KR 20190119276A KR 102119033 B1 KR102119033 B1 KR 102119033B1
Authority
KR
South Korea
Prior art keywords
road surface
road
image
damage
area
Prior art date
Application number
KR1020190119276A
Other languages
English (en)
Inventor
류승기
전찬준
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR1020190119276A priority Critical patent/KR102119033B1/ko
Application granted granted Critical
Publication of KR102119033B1 publication Critical patent/KR102119033B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G06K9/00791—
    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법이 제공된다. 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치는, 차량에 장착되어 주행 중인 도로를 촬영하여 도로 노면 영상을 출력하는 카메라부와, 차량의 위치 정보를 제공하는 위치 센싱부와, 도로 노면 영상을 기초로 도로에 표시된 노면 표시의 시인성 훼손 여부 및 훼손 정도를 판단하고, 노면 표시의 훼손 여부와 훼손 정도가 판단된 도로 노면 영상과 도로 노면 영상이 촬영된 위치 정보를 제공하는 장치 프로세서를 포함한다.

Description

영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법{Apparatus and method for providing road marking information using image data and vibration}
본 발명은 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법에 관한 것으로서, 보다 상세하게는, 도로를 촬영한 영상으로부터 도로 노면 표시를 추출 및 훼손 상태를 판단하여 제공할 수 있는 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법에 관한 것이다.
노면 표시는 도로교통의 안전을 위하여 각종 주의, 규제, 지시, 등의 내용을 노면에 기호, 문자 또는 선으로 도로의 이용자에게 알리는 표시를 말한다.
노면 표시는 크게 색과 형태에 따라 구분된다.
먼저, 색의 경우, 황색은 중앙선, 노상장애물 중 도로중앙장애물, 주차금지, 주ㆍ정차 금지, 안전지대를 표시하고, 청색은 버스전용차로 및 다인승 차량 전용차선을 표시한다. 적색은 어린이보호구역 또는 주거지역 안에 설치하는 속도제한 표시의 테두리선으로 표시하고, 일반적인 백색은 위 기준 외 길 가장자리 구역선, 유턴구역선, 차로경계선(도로에 있는 차선, 길 가장자리에 있으면 주ㆍ정차 허용)으로 표시한다.
형태의 경우, 실선은 차선을 변경할 수 없음을 의미하고, 두 개의 실선(복선)은 절대 차선을 변경할 수 없음을 의미하고, 점선은 차선 변경이 가능함을 의미한다.
자율주행차의 경우, 전방 센서를 이용하여 노면 표시 중 주행 차로의 차선을 자동으로 인식하여 자동 주행을 하는 핵심적인 도로 인프라이므로, 자율주행차가 차선을 잘 인식하도록 차선의 적정 휘도, 재귀반사 성능을 갖도록 유지하는 것이 가장 중요하다.
또한, 시간대나 기상 여건에 관계없이 차선의 시인성을 유지하여, 운전자 또는 자율주행차가 차선을 잘 인지할 수 있도록 차선을 적정하게 관리해야 한다. 훼손 차선으로 인해 발생하는 교통 사고, 특히, 자율주행차 시대를 위해서는 차선 관리의 선제적 대응이 필요하다.
현재 차선 관리의 책임은 법적인 권한을 갖는 도로 관리자에게 있고, 도로 관리기관은 차선의 적정 상태를 유지하도록 휘도 등의 성능을 유지해야 하나, 현실적으로는 넓은 도로에 비해 소수의 관리 인력으로 수많은 노면표시 특히, 선형적인 차선에 대한 훼손 여부를 수시로 점검하는 것은 어려운 일이며, 차선 점검은 인력에 의한 육안관찰 또는 계측기에 의한 수동 측정 방식으로 관리하는 것이 일반적이다.
따라서, 보다 정확하면서 자동으로 도로 노면 표시의 상태를 수집 및 판단할 수 있는 기술이 필요하다.
국내 등록특허 제10-1543342호(2015.08.04. 등록)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 주행 중인 차량을 통해 실시간으로 도로 노면 영상을 획득하여 시인성이 불량한 노면 표시, 즉, 훼손 노면 표시를 판단하고, 훼손 노면 표시가 판단된 지역의 위치정보와 노면 표시의 정보를 제공할 수 있는 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법을 제시하는 데 있다.
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치는, 차량에 장착되어 주행 중인 도로를 촬영하여 도로 노면 영상을 출력하는 카메라부; 상기 차량의 위치 정보를 제공하는 위치 센싱부; 및 상기 도로 노면 영상을 기초로 도로에 표시된 노면 표시의 시인성 훼손 여부 및 훼손 정도를 판단하고, 노면 표시의 훼손 여부와 훼손 정도가 판단된 도로 노면 영상과 상기 도로 노면 영상이 촬영된 위치 정보를 제공하는 장치 프로세서;를 포함한다.
상기 장치 프로세서는, 상기 카메라부로부터 실시간으로 입력되는 도로 노면 영상을 인공지능 기반으로 사전에 학습된 노면 표시 추출 모델에 입력하여 노면 표시를 추출하고, 상기 추출된 노면 표시의 휘도를 이용하여 노면 표시의 훼손 여부 및 훼손 정도를 판단한다.
상기 장치 프로세서는, 상기 도로 노면 영상에 상기 노면 표시 추출 모델을 적용하여 외곽으로 둘러싸인 노면 표시를 추출하고, 상기 추출된 노면 표시의 내부 훼손 영역을 추출하는 노면 표시 추출부; 상기 외곽으로 둘러싸인 노면 표시 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균을 산출하는 휘도 산출부; 및 상기 산출된 노면 표시 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균의 차이로부터 상기 노면 표시의 훼손 여부 및 훼손 정도를 판단하는 판단부;를 포함한다.
상기 도로 노면 영상을 휘도 정보를 포함하는 그레이 영상으로 변환하고, 상기 변환된 그레이 영상에서 노면 표시를 포함하는 관심 영역을 설정하며, 상기 설정된 관심 영역을 상기 노면 표시 추출 모델의 입력데이터로서 상기 프로세서로 전달하는 영상 처리부;를 더 포함한다.
상기 영상 처리부는, 상기 카메라부로부터 입력되는 도로 노면 영상을 가로선으로 3등분한 후 아래 1/3 영역에 해당하는 분석 영역을 추출하고, 상기 분석 영역 중 정해진 위치에 해당하는 관심 영역을 추출하고, 상기 카메라는, 상기 차량의 앞면과 가장 근접한 도로의 노면부터 주행 방향을 따라 촬영하도록 설치되되, 촬영된 영상 내의 도로 표면 수평선의 소실점이 상기 도로 노면 영상의 2/3 영역 내에 위치하도록 설치된다.
한편, 본 발명의 다른 실시 예에 따르면, 전자장치의 영상을 이용한 도로의 노면 표시 훼손 정보 제공 방법은, (A) 전자장치가, 차량에 장착된 카메라로 도로를 촬영하여 도로 노면 영상을 출력하는 단계; (B) 상기 전자장치가, GPS 모듈을 이용하여 상기 차량의 위치 정보를 센싱하는 단계; 및 (C) 상기 전자장치가, 상기 (A) 단계에서 출력되는 도로 노면 영상을 기초로 도로에 표시된 노면 표시의 시인성 훼손 여부 및 훼손 정도를 판단하고, 노면 표시의 훼손 여부와 훼손 정도가 판단된 도로 노면 영상과 상기 도로 노면 영상이 촬영된 위치 정보를 제공하는 단계;를 포함한다.
상기 (C) 단계는, 상기 (A) 단계로부터 실시간으로 입력되는 도로 노면 영상을 인공지능 기반으로 사전에 학습된 노면 표시 추출 모델에 입력하여 노면 표시를 추출하고, 상기 추출된 노면 표시의 휘도를 이용하여 노면 표시의 훼손 여부 및 훼손 정도를 판단한다.
상기 (C) 단계는, (C1) 상기 전자장치가, 상기 도로 노면 영상에 상기 노면 표시 추출 모델을 적용하여 외곽으로 둘러싸인 노면 표시를 추출하고, 상기 추출된 노면 표시의 내부 훼손 영역을 추출하는 단계; (C2) 상기 전자장치가, 상기 외곽으로 둘러싸인 노면 표시 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균을 산출하는 단계; 및 (C3) 상기 전자장치가, 상기 산출된 노면 표시 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균의 차이로부터 상기 노면 표시의 훼손 여부 및 훼손 정도를 판단하는 단계;를 포함한다.
상기 (C) 단계 이전에, (D) 상기 전자장치가, 상기 (A) 단계에서 출력되는 도로 노면 영상을 휘도 정보를 포함하는 그레이 영상으로 변환하고, 상기 변환된 그레이 영상에서 노면 표시를 포함하는 관심 영역을 설정하며, 상기 설정된 관심 영역을 상기 노면 표시 추출 모델의 입력데이터로서 상기 (C) 단계로 출력하는 단계;를 더 포함한다.
상기 (D) 단계는, 상기 카메라부로부터 입력되는 도로 노면 영상을 가로선으로 3등분한 후 아래 1/3 영역에 해당하는 분석 영역을 추출하고, 상기 분석 영역 중 정해진 위치에 해당하는 관심 영역을 설정하고, 상기 카메라는, 상기 차량의 앞면과 가장 근접한 도로의 노면부터 주행 방향을 따라 촬영하도록 설치되되, 촬영된 영상 내의 도로 표면 수평선의 소실점이 상기 도로 노면 영상의 2/3 영역 내에 위치하도록 설치된다.
본 발명에 따르면, 휘도 영상에서 노면표시 정보를 자동으로 수집하는 기술을 구현함으로써, 노면 표시의 훼손 상태를 쉽게 파악할 수 있고, 이때 수집한 다양한 원시 자료를 데이터베이스화하고 유관기관과 연계하여 도로 관리의 스마트한 서비스를 제공할 수 있다.
본 발명에 따르면, 주행 중인 차량을 통해 실시간으로 도로 노면 영상을 획득하여 노면 표시의 형태 또는 휘도를 분석하고 시인성 불량 정도를 판단함으로써 노면 표시의 상태를 보다 정확히 판단하여 판단 결과의 신뢰도를 높일 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시 예에 의한 노면 표시 추출 모델 생성 서버를 도시한 블록도,
도 2는 도로 노면 영상으로부터 분석 영역을 추출하는 동작을 설명하기 위하여 1프레임의 도로 노면 영상을 도시한 도면,
도 3은 노면 표시의 종류 중 일부를 보여주는 도면,
도 4a는 전처리부의 레이블링 동작을 설명하기 위한 예시도,
도 4b는 정상 노면 표시의 레이블링 이전과 이후, 훼손된 노면 표시의 레이블링 이전과 이후의 일 예를 도시한 도면
도 5는 본 발명의 실시 예에 따른 노면 표시 훼손 정보 제공 장치를 도시한 블록도,
도 6은 본 발명의 다른 실시 예에 따른 도로 파손 정보 제공 시스템을 도시한 도면,
도 7은 본 발명의 실시 예에 따른 노면 표시 추출 모델 생성 서버의 노면 표시 추출 모델 생성 방법을 설명하기 위한 흐름도,
도 8은 본 발명의 실시 예에 따른 노면 표시 훼손 정보 제공 장치의 도로 파손 정보 제공 방법을 설명하기 위한 흐름도, 그리고,
도 9는 도 1 내지 도 8을 참조하여 상술한 본 발명의 실시 예에 따른 노면 표시 훼손 정보를 위한 아키텍쳐를 도시한 도면이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1, 도 5 및 도 6에 도시된 서버(100, 500) 또는 장치(200, 400)의 각각의 구성은 기능 및/또는 논리적으로 분리될 수도 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아님을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
또한, 본 발명의 실시 예에 따른 노면 표시 추출 모델 생성 서버(100), 노면 표시 훼손 정보 제공 장치(200), 서비스 제공 서버(300), 정보 수집 장치(400)), 및 노면 표시 훼손 정보 제공 서버(500)는 예를 들면, 데스크탑 PC(Personal Computer), 서버, 랩탑 PC(Laptop PC), 넷북 컴퓨터(Netbook Computer), 스마트폰 등 프로그램의 설치 및 실행이 가능한 모든 전자기기들 중 하나일 수도 있다.
도 1은 본 발명의 실시 예에 따른 노면 표시 추출 모델 생성 서버(100)를 도시한 블록도이다.
도 1에 도시된 노면 표시 추출 모델 생성 서버(100)는 다수의 도로 노면 영상을 학습(예를 들어, 딥러닝) 알고리즘에 적용하여 실제 도로상에서 시인성이 불량한, 즉, 훼손된 노면 표시를 추출할 수 있는 노면 표시 추출 모델을 학습 및 생성할 수 있다.
이를 위해, 노면 표시 추출 모델 생성 서버(100)는 사용자 인터페이스부(110), 입력부(120), 데이터베이스(130), 전처리부(140), 서버 메모리(150) 및 서버 프로세서(160)를 포함할 수 있다.
사용자 인터페이스부(110)는 사용자와 서버(100) 간의 인터페이싱을 위한 장치로서, 사용자 명령을 입력받아 서버 프로세서(160)에게 전달하거나, 서버 프로세서(160)에 의해 처리된 결과를 화면에 표시할 수 있다.
입력부(120)는 다수의 차량용 장치들(미도시)로부터 도로 노면 동영상들을 유무선 통신 방식으로 수신하는 통신 회로를 포함하거나, 휴대용 메모리(미도시)에 저장된 다수의 도로 노면 동영상들을 입력받을 수 있다. 도로 노면 동영상은 다수의 도로 노면 영상들(즉, 프레임들)을 포함하고, 각 도로 노면 영상은 휘도 데이터와 RGB 데이터를 포함하는 RGB 영상일 수 있다. 또한, 하나의 도로 노면 영상은 도 2에 도시된 것처럼, 도로 표면의 수평선, 즉, 소실점이 2/3 영역 내에 위치하도록 촬영된 프레임일 수 있다.
데이터베이스(130)는 입력부(120)를 통해 차량용 장치들 또는 휴대용 메모리로부터 획득된 다수의 도로 노면 동영상들 또는 프레임 단위의 도로 노면 영상을 수집 및 저장할 수 있다.
또한, 데이터베이스(130)는 전처리부(140)에, 노면표시의 종류 또는 형태 별로 레이블링된 관심영역(ROI: Region Of Interest)을 저장하며 레이블링된 ROI는 정상 상태의 노면 표시 또는 훼손된 노면 표시를 포함할 수 있다.
도로에 표시되는 노면 표시는 도 3에 도시된 것처럼 차선과 노면 표시 기호로 분류될 수 있다.
도 3을 참조하면, 차선의 형태는 점선, 실선 및 이중 실선으로 구분되고, 차선의 색상은 백색, 황색, 청색, 적색으로 구분된다. 또한, 노면 표시 기호는 오르막 경사면, 양보, 횡단보도 예고 등 도로교통 안전을 위한 각종 정보를 제공한다.
데이터베이스(130)는 차선의 경우 차선의 형태(즉, 외부 윤곽 및 내부 윤곽) 별로 레이블링된 ROI들을 저장하고, 선택적으로 차선의 색상을 해당하는 ROI에 더 매핑저장할 수 있다. 또한, 데이터베이스(130)는 노면 표시 기호의 경우 노면 표시 기호의 형태(외부 윤곽 및 내부 윤곽) 별로 레이블링된 ROI들을 저장하여 DB를 구성할 수 있다.
전처리부(140)는 수집된 도로 노면 영상들로부터 추출되는 ROI를 영상처리한다.
도 2는 도로 노면 영상으로부터 ROI를 추출하는 동작을 설명하기 위하여 1프레임의 도로 노면 영상을 도시한 도면이다.
도 2를 참조하면, 사용자가 사용자 인터페이스부(110)를 조작하여 도로 노면 동영상 중 노면 표시 추출 모델의 생성에 사용할 도로 노면 영상을 선택하면, 전처리부(140)는 선택된 도로 노면 영상을 RGB-Y 변환하여 휘도 데이터를 포함하는 그레이 영상을 생성하고, 그레이 영상에서 픽셀 별로 휘도값을 산출한다. 이 때, 전처리부(140)는 하나의 프레임의 그레이 영상을 가로선으로 동일하게 3등분한 후 아래의 1/3에 해당하는 영역(즉, 소실점 이하의 영역)을 ROI로서 추출하고, 추출된 ROI를 화면에 표시할 수 있다. 추출된 ROI에 포함된 노면표시의 위치, 선명도 등이 노면 표시 추출 모델을 생성하기 위해 학습하는데 부적절한 경우, 사용자는 그레이 영상에서 추출된 ROI의 크기를 재설정할 수 있다.
도 4a는 전처리부(140)의 레이블링 동작을 설명하기 위한 예시도이다.
도 4a를 참조하면, 휘도데이터를 포함하는 그레이 영상 중 사용자에 의해 소실점 이하의 ROI가 설정되면, 사용자는 사용자 인터페이스부(110)를 이용하여 화면에 표시된 ROI를 크로핑(cropping)하고, 전처리부(140)는 차선 등의 노면 표시만 크로핑된 ROI에 표시되도록 할 수 있다.
전처리부(140)는 ROI에 존재하는 노면 표시에 해당하는 영역을 외곽선을 따라 추출하고, 추출된 외곽선 내부에 있는 내곽선을 추가로 추출할 수 있다. 그리고, 전처리부(140)는 추출된 외곽선과 내곽선으로 이루어진 형태로 ROI를 레이블링하여 노면 표시의 파손 위치와 크기를 표시할 수 있다.
내곽선 또는 내곽선으로 둘러싸인 내곽영역이 추출되는 것은 노면 표시가 훼손된 것을 의미할 수 있다. 따라서, ROI 내의 노면 표시에 파손된 부분이 없는 경우, 전처리부(140)는 추출된 외곽선으로 이루어진 형태로 ROI를 레이블링할 수 있다.
또한, ROI에 포함된 노면 표시에 훼손된 영역이 있는 경우, 전처리부(140)는 사용자로 하여금 노면 표시에 해당하는 영역을 노면표시의 종류, 크기, 형태 또는 색상 중 어느 하나에 따라 상이하게 표시하도록 하여 레이블링을 수행할 수도 있다. 또한, ROI에 포함된 노면 표시에 훼손된 영역이 없는 경우, 전처리부(140)는 정상 상태의 노면 표시로서, 노면 표시에 해당하는 영역을 종류, 크기, 형태 또는 색상 중 어느 하나에 따라 상이하게 표시하도록 하여 레이블링을 수행할 수 있다.
도 4b는 정상 노면 표시의 레이블링 이전과 이후, 훼손된 노면 표시의 레이블링 이전과 이후의 일 예를 도시한 도면이다.
도 4b를 참조하면, 정상 차선의 경우, 그레이 영상 중 차선에 해당하는 부분에 훼손된 영역이 없다. 따라서, 전처리부(140)는 그레이 영상에서 ROI가 설정되면, 설정된 ROI에서 차선의 외부 윤곽(a)을 추출하고, 이후 내부 윤곽을 추출하며, 추출되는 내부 윤곽이 없으므로, ROI를 외부 윤곽의 형태를 가지는 정상 노면 표시로 레이블링할 수 있다.
또한, 훼손된 차선의 경우, 전처리부(140)는 그레이 영상에서 ROI가 설정되면, 설정된 ROI에서 차선의 외부 윤곽(a)을 추출한 후 내부 윤곽(b)을 추출하며, ROI를 외부 윤곽(a)과 내부 윤곽(b)의 형태를 가지는 훼손 노면 표시로 레이블링할 수 있다.
후술할 서버 프로세서(160) 또는 전처리부(140)는 사용자 선택에 의해 상이한 색상 및/또는 형태로 레이블링된 노면 표시를 포함하는 ROI들, 즉, 레이블 데이터 셋(Labelling Data Set)을 생성하여 데이터베이스(130)에 저장할 수 있다. 이때, 서버 프로세서(160) 또는 전처리부(140)는 훼손된 노면 표시의 훼손 정보(또는 훼손 등급)과 차선의 색상이 사용자에 의해 더 입력되면 해당하는 레이블링된 ROI에 매핑저장되도록 할 수 있다.
또한, 전처리부(140)는 레이블링된 ROI의 밝기(B, brightness), 대비(C, contrast), 방향(O, orientation) 중 적어도 하나를 조정하여 학습하기 위한 입력데이터 개수를 증가시킬 수 있다. 이로써, 하나의 ROI로부터 다수의 상이한 레이블 데이터가 생성될 수 있으며, 이는, 실제 도로를 촬영하는 경우 날씨, 시간 등 환경에 따라 변경될 수 있는 도로 노면 영상의 다양한 상황을 학습 또는 딥러닝하는데 반영할 수 있다.
서버 메모리(150)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 서버 메모리(150)에는 예를 들어, 노면 표시 추출 모델 생성 서버(100)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(110~160)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
서버 메모리(150)에 저장되는 프로그램은 노면 표시 추출 모델을 구현하기 위한 프로그램을 포함할 수 있다. 노면 표시 추출 모델은 수집된 도로 노면 영상들을 학습 알고리즘에 적용하여 훼손된 노면 표시를 추출 및 그 종류를 예측하기 위한 프로그램이다. 학습 알고리즘은 인공지능 알고리즘, 구체적으로는 딥러닝 알고리즘(예를 들어, DNN, RNN, CNN, SVM 등 다수)일 수 있다.
딥러닝의 경우, 학습용 데이터를 확보하는 것이 가장 중요하며, 이를 위해 전처리부(140)에서 설명한 것처럼 하나의 전체 이미지 프레임에서 ROI를 설정 및 크로핑하고, 크로핑된 데이터셋에서 파손 위치, 크기 또는 색상을 표시하는 레이블링 작업이 수행되며, 최대한 동일한 기준으로 레이블링하여 학습 데이터 셋을 구성할 수 있다.
서버 프로세서(160)는 서버 메모리(150)에 저장된 하나 이상의 프로그램을 실행하여 서버(100)의 전반적인 동작을 제어한다. 예를 들어, 서버 프로세서(160)는 서버 메모리(150)에 저장된 예측 모델 생성 프로그램을 실행하여 노면 표시 추출 모델을 학습 및 생성할 수 있다. 이를 위하여 서버 프로세서(160)는 모델 생성부(162)를 포함할 수 있다.
모델 생성부(162)는 도로 노면 영상 중 노면표시의 종류 또는 형태에 따라 레이블링된 다수의 ROI들을 딥러닝 기반으로 학습하여 노면 표시의 훼손 여부를 판정하는 노면 표시 추출 모델(즉, AI 추론 모델 또는 인퍼런스 모델)을 생성할 수 있다. 모델 생성부(162)는 사용자에 의해 선택된 ROI를 입력데이터로 하고, 관심 영역에 대응하는 레이블링된 ROI를 출력데이터로 하여 학습 알고리즘을 수행하여 노면 표시 추출 모델을 생성할 수 있다. 생성된 노면 표시 추출 모델은 노면 표시 훼손 정보 제공 장치(200) 또는 노면 표시 훼손 정보 제공 서버(500)에 설치 및 실행될 수 있다.
도 5는 본 발명의 실시 예에 따른 노면 표시 훼손 정보 제공 장치(200)를 도시한 블록도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 노면 표시 훼손 정보 제공 장치(200)는 카메라부(210), 위치 센싱부(220), 출력부(230), 영상 처리부(240), 장치 메모리(250), 장치 저장부(260), 장치 통신부(270) 및 장치 프로세서(280)를 포함할 수 있다.
카메라부(210)는 차량에 장착되어 주행 중인 도로 노면을 촬영하고, 도로 노면 영상을 촬영 시간과 함께 장치 프로세서(280)로 출력할 수 있다. 카메라부(210)는 휘도 카메라일 수 있으며, 도로 노면 영상은 휘도데이터와 RGB 데이터를 포함하는 동영상일 수 있다.
카메라부(210)는 도 2를 참조하여 설명한 것처럼, 차량의 앞면과 가장 근접한 도로의 노면부터 주행 방향을 따라 촬영하도록 설치되되, 촬영된 영상 내의 도로 표면 수평선의 소실점이 도로 노면 영상의 2/3 영역 내에 위치하도록 설치되어 도로 노면을 촬영할 수 있다.
카메라부(210), 위치 센싱부(220), 출력부(230), 영상 처리부(240), 장치 메모리(250), 장치 통신부(270) 및 장치 프로세서(280)는 하나의 장치 또는 하나의 모듈로 구현되거나, 카메라부(210)만 별도의 독립적인 장치로 구현될 수 있다.
위치 센싱부(220)는 주행 중인 차량의 위치 정보를 센싱하여 센싱 시간과 함께 영상 처리부(240) 또는 장치 프로세서(280)에게 출력할 수 있다.
출력부(230)는 장치 프로세서(280)에 의해 도로의 노면 표시에 훼손이 발생하였거나 시인성이 불량한 것으로 판단되면, 해당 노면 표시의 존재를 시각 또는 청각의 형태로 제공하여 차량 내의 사용자가 인지할 수 있도록 한다.
영상 처리부(240)는 장치 프로세서(280)로부터 시각 정합된 도로 노면 영상을 3등분하고, 아래 1/3 영역을 ROI로서 설정 및 추출할 수 있다. 영상 처리부(240)는 추출된 ROI를 노면 표시 추출 모델의 입력데이터로 사용하도록 한다.
장치 메모리(250)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 장치 메모리(250)에는 예를 들어, 노면 표시 훼손 정보 제공 장치(200)가 제공하는 동작, 기능 등을 구현 및/또는 제공하기 위하여, 구성요소들(210~280)에 관계된 명령 또는 데이터, 하나 이상의 프로그램 및/또는 소프트웨어, 운영체제 등이 저장될 수 있다.
장치 메모리(250)에 저장되는 프로그램은 각종 센싱데이터의 시각 정합을 위한 정합 프로그램과, 노면 표시 추출 모델 생성 서버(100)에서 학습 알고리즘 기반으로 학습 및 생성된 노면 표시 추출 모델과, 노면 표시의 훼손 여부를 최종적으로 판단하기 위한 최종 판단 프로그램을 포함할 수 있다.
장치 프로세서(280)는 장치 메모리(250)에 저장된 하나 이상의 프로그램을 실행하여 장치(200)의 전반적인 동작을 제어한다.
예를 들어, 장치 프로세서(280)는 정합 프로그램을 실행하여, 카메라부(210)로부터 입력되는 도로 노면 영상과 위치 센싱부(220)로부터 입력되는 위치 정보를 동일한 시각으로 시각동기화할 수 있다. 장치 프로세서(280)는 시각 동기화된 도로 노면 영상을 영상 처리부(240)로 전달하고, 영상 처리부(240)에서 ROI를 노면 표시 추출 모델에 입력하여 학습함으로써 도로 노면 영상에 도로 파손 영역이 존재하는지 임시 판단할 수 있다.
장치 프로세서(280)는 시각동기화된 도로 노면 영상을 기초로 도로에 표시된 노면 표시의 훼손 여부를 임시 판단하고, 노면 표시의 휘도 평균을 기초로 임시 판단된 노면 표시의 훼손 여부와 훼손 정보를 최종 판단할 수 있다.
일 예로, 장치 프로세서(280)는 카메라부(210)로부터 실시간으로 입력되는 도로 노면 영상을 인공지능 기반으로 사전에 학습된 노면 표시 추출 모델에 입력하여 노면 표시를 추출하고, 최종 판단 프로그램과 추출된 노면 표시의 휘도를 이용하여 노면 표시의 훼손 여부 및 훼손 정도를 최종 판단할 수 있다.
이를 위하여, 장치 프로세서(280)는 노면 표시 추출부(282), 휘도 산출부(284) 및 판단부(286)를 포함할 수 있다.
노면 표시 추출부(282)는 도로 노면 영상에 노면 표시 추출 모델을 적용하여 외곽으로 둘러싸인 노면 표시 영역(즉, 외곽선, (a))를 추출하고, 추출된 노면 표시의 내부 훼손 영역(즉, 내곽선, (b))을 추출할 수 있다. 노면 표시가 훼손되지 않았거나 훼손 정도가 기준값 이하인 경우, 내부 훼손영역은 추출되지 않을 수 있다.
휘도 산출부(284)는 외곽으로 둘러싸인 노면 표시 영역 전체(a)의 휘도 평균과 내부 훼손 영역(b)의 휘도 평균을 산출할 수 있다.
판단부(286)는 최종 판단 프로그램을 실행하여 휘도 산출부(284)에서 산출된 노면 표시 전체의 휘도 평균과 내부 훼손 영역의 휘도 평균의 차이로부터 노면 표시의 훼손 여부 및 훼손 정도를 판단할 수 있다. 최종 판단 프로그램 또는 장치 메모리(250)는 노면 표시 전체(a)의 휘도 평균과 내부 훼손 영역(b)의 휘도 평균의 차이 별로 훼손 정도(즉, 시인성 불량 정도)가 매핑된 매핑 테이블을 포함하고 있으므로, 판단부(286)는 도로 노면 영상에 포함된 노면 표시로부터 산출된 휘도 차이에 대응하는 훼손 정도와 훼손 여부를 매핑 테이블에서 확인할 수 있다.
예를 들어, 판단부(286)는 노면 표시 전체의 휘도 평균과 내부 훼손 영역이 휘도 평균의 차이가 가장 높은 훼손 등급에 속하는 것으로 판단되면, 내부 훼손 영역을 불량 휘도 영역으로서 판단하고, 가장 높은 훼손 등급을 매핑할 수 있다.
장치 프로세서(280)는 노면 표시의 훼손 여부와 훼손 정도가 최종 판단된 원본의 도로 노면 영상과 도로 노면 영상이 촬영된 위치 정보를 장치 저장부(260)에 저장하고, GIS(Geographic Information System)를 이용하여 시각적으로 서비스할 수도 있다. 예를 들어, 장치 프로세서(280)는 휘도 평균의 차이가 최대 훼손 등급에 해당하는 경우, 최대 훼손 등급에 매핑된 색상 또는 마크를 매핑 테이블에서 확인 및 적용하여 시각적으로 차별화된 서비스를 제공할 수 있다.
장치 통신부(270)는 서비스 제공 서버(300)에게 훼손된 노면 표시가 존재하는 것으로 최종 판단된 위치 정보와 훼손된 노면 표시(즉, 불량 휘도 영역)와 훼손 정도를 포함하는 원본 영상을 전송할 수 있다.
서비스 제공 서버(300)는 상술한 도 1의 서버(100)일 수도 있고, 별도의 서버로서, 장치 통신부(270)로부터 제공받은 훼손된 노면 표시에 대한 정보를 위치 정보를 참조하여 디스플레이 장치(미도시)의 지도 상에 표시할 수 있다. 서비스 제공 서버(300)는 훼손된 노면 표시 영역을 지도에 표출하고, 지점 별 발생건수, 발생 면적, 크기 등을 단위 구간 별로 표시하고, 누적 합계, 평균값, 표준편차, 분산 등 다양한 통계처리방식을 이용하여 단위 구간의 훼손 특성을 표현한다. 단위 구간은 도로를 관리자가 사전에 정해진 기준으로 구별한 구간이다.
서비스 제공 서버(300)는 노면 표시의 훼손 정보와 발생 위치, 발생빈도, 크기 등의 변수를 참고로 단위 구간 내에서 도로의 상태와 관련된 노면 표시 훼손정보를 생성 및 제공한다. 단위 구간별 노면 표시 훼손정보는 3단계 또는 4단계 등 다양하게 훼손정도를 표현할 수 있고, 예를 들면 훼손도가 심각한 경우는 훼손된 영역의 크기가 큰 경우로서, 사람들이 시각적으로 경고를 느끼는 색상으로 단위 구간의 훼손도를 색상과 정량적 수치로 표현한다.
서버(300)는 훼손된 노면 표시에 대한 정보, 즉, 노면 표시의 훼손 정도와, 훼손이 최종 판단된 원본의 도로 노면 영상과 도로 노면 영상이 촬영된 위치 정보를 GIS를 통해 제공할 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 노면 표시 훼손 정보 제공 시스템을 도시한 도면이다.
도 6을 참조하면, 노면 표시 훼손 정보 시스템은 정보 수집 장치(400) 및 노면 표시 훼손 정보 제공 서버(500)를 포함한다.
정보 수집 장치(400)는 카메라(410) 및 GPS 모듈(430)을 포함하는 차량용 장착 기기이다. 카메라(410) 및 GPS 모듈(430)의 동작은 도 5를 참조하여 설명한 카메라부(210) 및 위치 센싱부(220)와 동일하다. 다만, 정보 수집 장치(400)는 차량에 장착되어 도로 노면 영상과 위치 정보만을 센싱하여 노면 표시 훼손 정보 제공 서버(500)로 전송한다.
노면 표시 훼손 정보 제공 서버(500)는 서버 통신부(510), 데이터베이스(520), 서버 영상 처리부(530), 서버 메모리(540), 서버 프로세서(550), 서버 저장부(560), 표시부(570)를 포함한다. 서버 영상 처리부(530), 서버 메모리(540), 서버 프로세서(550), 서버 저장부(560) 및 표시부(570)의 동작은 도 5를 참조하여 설명한 영상 처리부(240), 장치 메모리(250), 장치 프로세서(280), 장치 저장부(260) 및 출력부(230)와 거의 동일하므로 구체적인 설명은 생략한다.
서버 통신부(510)는 다수의 정보 수집 장치들(400)과 통신한다.
데이터베이스(520)는 다수의 정보 수집 장치들(400)로부터 수신되는 도로 노면 영상, 위치 정보를 센싱된 시간 정보와 함께 저장한다.
서버 프로세서(550)는 정보 수집 장치(400)로부터 수신되는 도로 노면 영상들의 프레임과 위치 정보를 동기화한 후, 도로 노면 영상에 훼손된 노면 표시 영역이 존재하는지 임시 판단하고, 노면 표시 영역의 평균 휘도값에 기초하여 노면 표시의 훼손 여부와 훼손 정도를 최종 판단할 수 있다.
도 7은 본 발명의 실시 예에 따른 노면 표시 추출 모델 생성 서버(100)의 노면 표시 추출 모델 생성 방법을 설명하기 위한 흐름도이다.
도 7의 노면 표시 추출 모델 생성 방법을 위한 서버(100)는 도 1 내지 도 4를 참조하여 설명하였으므로 상세한 설명은 생략한다.
도 7을 참조하면, 노면 표시 추출 모델 생성 서버(100)는 다수의 카메라들에 의해 촬영된 도로 노면 영상들을 수집 및 저장한다(S710).
노면 표시 추출 모델 생성 서버(100)는 수집된 도로 노면 영상들을 전처리하여 휘도 영상을 포함하는 그레이 영상으로 변환하고, 그레이 영상에서 픽셀 별 휘도값을 산출한 후, 관심영역(ROI)을 설정한다(S720).
노면 표시 추출 모델 생성 서버(100)는 S720단계에서 설정된 ROI 중 노면 표시의 종류, 훼손된 영역의 휘도, 훼손된 크기 등에 기초하여 ROI를 레이블링한 후 저장한다(S730). S730단계에서 노면 표시 추출 모델 생성 서버(100)는 ROI 중 노면 표시 영역의 외부윤곽과 내부윤곽을 추출하고 추출된 내외부 윤곽의 크기, 내부 윤곽에 의해 예측되는 훼손된 영역의 크기와 형태 등에 기초하여 ROI를 사전에 정해진 색상 또는 두께로 레이블링하며, 노면 표시의 종류를 매핑하여 DB에 저장할 수 있다.
노면 표시 추출 모델 생성 서버(100)는 사용자에 의해 레이블링된 다수의 ROI들에 대해 학습 알고리즘을 수행하여 노면 표시 추출 모델을 생성한다(S740).
도 8은 본 발명의 실시 예에 따른 노면 표시 훼손 정보 제공 장치(200)의 도로 파손 정보 제공 방법을 설명하기 위한 흐름도이다.
도 8의 도로 파손 정보 제공 방법을 실행하기 위한 장치(200)는 도 5를 참조하여 설명하였으므로 상세한 설명은 생략한다.
도 8을 참조하면, 노면 표시 훼손 정보 제공 장치(200)는 카메라부(210)를 이용하여 주행 중인 도로의 노면을 촬영하고, 도로 노면 영상을 획득한 위치 정보를 센싱된 시간 정보와 함께 저장한다(S810).
노면 표시 훼손 정보 제공 장치(200)는 S810단계에서 저장된 도로 노면 영상과 위치정보를 동기화한 후, 휘도 데이터를 포함하는 도로 노면 영상, 즉, RGB 영상을 그레이 영상으로 변환한다(S820).
노면 표시 훼손 정보 제공 장치(200)는 휘도데이터를 포함하는 그레이 영상에서 픽셀 별 휘도값을 산출한 후 ROI를 설정한다(S830).
노면 표시 훼손 정보 제공 장치(200)는 설정된 ROI에 노면 표시 추출 모델을 적용하여 ROI에서 외곽으로 둘러싸인 노면 표시 영역을 추출하고, 추출된 노면 표시의 내부 훼손 영역을 추출할 수 있다(S840, S850). S850단계에서, 노면 표시가 훼손되지 않았거나 훼손 정도가 미미한 경우, 내부 훼손영역은 추출되지 않을 수 있다.
노면 표시 훼손 정보 제공 장치(200)는 외곽으로 둘러싸인 노면 표시 영역 전체의 휘도 평균과 내부 훼손 영역의 휘도 평균을 산출할 수 있다(S860).
노면 표시 훼손 정보 제공 장치(200)는 S860단계에서 산출된 노면 표시 영역 전체의 휘도 평균과 내부 훼손 영역의 휘도 평균의 차이로부터 노면 표시의 훼손 여부 및 훼손 정도를 판단하고, 판단 결과를 위치 정보와 함께 장치 저장부(260)에 저장할 수 있다(S870).
도 9는 도 1 내지 도 8을 참조하여 상술한 본 발명의 실시 예에 따른 노면 표시 훼손 정보를 위한 아키텍쳐를 도시한 도면이다.
도 9를 참조하면, 본 발명의 실시 예는 도로를 촬영한 도로 노면 영상은 휘도데이터를 포함하는 그레이 영상으로 변환한다. 본 발명의 실시 예는 그레이 영상 중 ROI 영역이 설정 및 크로핑되면, ROI 영역에 포함된 노면 표시의 윤곽(외곽선과 내곽선)을 추출하여 레이블링하여 레이블링 데이터 셋을 생성한다. 본 발명의 실시 예는 레이블링 데이터 셋과 AI 설계 모형을 접목하여 도로 노면 영상으로부터 노면 표시를 추출하고 노면 표시의 훼손 여부, 시인성 불량 정보 등을 판단할 수 있는 AI 추론 모델, 즉, 노면 표시 추출 모델을 인퍼런스 모델로서 생성한다.
이후, 본 발명의 실시 예는 실제로 촬영된 도로 노면 영상으로부터 휘도 데이터를 포함하는 그레이 영상을 추출하고, 이를 노면 표시 추출 모델에 입력하여 불량 휘도 영역을 탐지한다. 불량 휘도 영역은 도로 노면 영상의 ROI 중 노면 표시의 외곽선 내에 위치하는 픽셀들의 휘도평균값과, 내곽선 내에 위치하는 픽셀들의 휘도평균값의 차이로부터 판단될 수 있다.
본 발명의 실시 예는 불량 휘도 영역이 있는 것으로 판단된 도로의 위치를 GIS를 이용하여 지도 상에 표시함으로써 노면 표시의 시인성 불량 구간 정보를 시각화한다.
한편, 본 발명에 따른 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음은 통상의 기술자가 쉽게 이해할 수 있다.
즉, 본 발명에 따른 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법을 구현하기 위하여 상기 장치에서 수행되는 컴퓨터 판독 가능한 기록매체에 저장된 프로그램을 함께 제공한다.
한편, 이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시 예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 노면 표시 추출 모델 생성 서버
200: 노면 표시 훼손 정보 제공 장치
300: 서비스 제공 서버
400: 정보 수집 장치
500: 노면 표시 훼손 정보 제공 서버

Claims (10)

  1. 노면 표시 전체의 휘도 평균과 내부 훼손 영역의 휘도 평균의 차이 별로 훼손 등급이 매핑되고, 훼손 등급 별로 색상 및 마크 중 적어도 하나가 매핑된 매핑 테이블이 저장되는 장치 메모리;
    차량에 장착되어 주행 중인 도로를 촬영하여 도로 노면 영상을 출력하는 카메라부;
    상기 카메라부로부터 입력되는 도로 노면 영상을 휘도 정보를 포함하는 그레이 영상으로 변환하고, 상기 변환된 그레이 영상에서 노면 표시를 포함하는 관심 영역을 설정하며, 상기 설정된 관심 영역을 노면 표시 추출 모델의 입력데이터로서 하기 장치 프로세서로 전달하는 영상 처리부;
    상기 차량의 위치 정보를 제공하는 위치 센싱부; 및
    상기 영상 처리부로부터 실시간으로 입력되는 관심 영역을 인공지능 기반으로 사전에 학습된 노면 표시 추출 모델에 입력하여 도로에 표시된 노면 표시를 추출하고, 상기 추출된 도로 노면 표시의 휘도를 이용하여 노면 표시의 시인성 훼손 여부 및 훼손 정도를 판단하고, 노면 표시의 훼손 여부와 훼손 정도가 판단된 도로 노면 영상과 상기 도로 노면 영상이 촬영된 위치 정보를 제공하는 장치 프로세서;를 포함하고,
    상기 영상 처리부는,
    상기 카메라부로부터 입력되는 도로 노면 영상을 가로선으로 동일하게 3등분한 후 아래 1/3 영역에 해당하는 분석 영역을 추출하고, 상기 분석 영역 중 정해진 위치에 해당하는 영역을 상기 관심 영역으로 설정하며,
    상기 장치 프로세서는,
    상기 도로 노면 영상에 설정된 관심 영역에 상기 노면 표시 추출 모델을 적용하여 외곽으로 둘러싸인 노면 표시 영역을 추출하고, 상기 추출된 노면 표시 영역의 내부 훼손 영역을 추출하는 노면 표시 추출부;
    상기 외곽으로 둘러싸인 노면 표시 영역 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균을 산출하는 휘도 산출부; 및
    상기 휘도 산출부에서 산출된 노면 표시 영역 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균의 차이를 산출하고, 상기 산출된 차이에 매핑된 훼손 등급을 상기 장치 메모리에 저장된 매핑 테이블로부터 확인하여 상기 노면 표시의 훼손 여부 및 훼손 정도를 판단하는 판단부;를 포함하는 것을 특징으로 하는 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 카메라부는,
    상기 차량의 앞면과 가장 근접한 도로의 노면부터 주행 방향을 따라 촬영하도록 설치되되, 촬영된 영상 내의 도로 표면 수평선의 소실점이 상기 도로 노면 영상의 2/3 영역 내에 위치하도록 설치되는 것을 특징으로 하는 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치.
  6. (A) 전자장치가, 차량에 장착된 카메라로 도로를 촬영하여 도로 노면 영상을 출력하는 단계;
    (B) 상기 전자장치가, GPS 모듈을 이용하여 상기 차량의 위치 정보를 센싱하는 단계; 및
    (C) 상기 전자장치가, 상기 (A) 단계에서 출력되는 도로 노면 영상을 휘도 정보를 포함하는 그레이 영상으로 변환하고, 상기 변환된 그레이 영상에서 노면 표시를 포함하는 관심 영역을 설정하며, 상기 설정된 관심 영역을 노면 표시 추출 모델의 입력데이터로서 출력하는 단계;
    (D) 상기 전자장치가, 상기 (C) 단계에서 실시간으로 입력되는 관심 영역을 인공지능 기반으로 사전에 학습된 노면 표시 추출 모델에 입력하여 도로에 표시된 노면 표시를 추출하고, 상기 추출된 도로 노면 표시의 휘도를 이용하여 노면 표시의 시인성 훼손 여부 및 훼손 정도를 판단하고, 노면 표시의 훼손 여부와 훼손 정도가 판단된 도로 노면 영상과 상기 도로 노면 영상이 촬영된 위치 정보를 제공하는 단계;
    를 포함하고,
    상기 (C) 단계는,
    상기 카메라로부터 입력되는 도로 노면 영상을 가로선으로 동일하게 3등분한 후 아래 1/3 영역에 해당하는 분석 영역을 추출하고, 상기 분석 영역 중 정해진 위치에 해당하는 관심 영역을 설정하고,
    상기 (D) 단계는,
    (D1) 상기 전자장치가, 상기 도로 노면 영상에 설정된 관심 영역에 상기 노면 표시 추출 모델을 적용하여 외곽으로 둘러싸인 노면 표시 영역을 추출하고, 상기 추출된 노면 표시 영역의 내부 훼손 영역을 추출하는 단계;
    (D2) 상기 전자장치가, 상기 외곽으로 둘러싸인 노면 표시 영역 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균을 산출하는 단계; 및
    (D3) 상기 전자장치가, 상기 산출된 노면 표시 영역 전체의 휘도 평균과 상기 내부 훼손 영역의 휘도 평균의 차이를 산출하고, 상기 산출된 차이에 매핑된 훼손 등급을 매핑 테이블로부터 확인하여 상기 노면 표시의 훼손 여부 및 훼손 정도를 판단하는 단계;를 포함하는 것을 특징으로 하는 전자장치의 영상을 이용한 도로의 노면 표시 훼손 정보 제공 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 카메라는,
    상기 차량의 앞면과 가장 근접한 도로의 노면부터 주행 방향을 따라 촬영하도록 설치되되, 촬영된 영상 내의 도로 표면 수평선의 소실점이 상기 도로 노면 영상의 2/3 영역 내에 위치하도록 설치되는 것을 특징으로 하는 전자장치의 영상을 이용한 도로의 노면 표시 훼손 정보 제공 방법.
KR1020190119276A 2019-09-27 2019-09-27 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법 KR102119033B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190119276A KR102119033B1 (ko) 2019-09-27 2019-09-27 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190119276A KR102119033B1 (ko) 2019-09-27 2019-09-27 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102119033B1 true KR102119033B1 (ko) 2020-06-05

Family

ID=71088610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190119276A KR102119033B1 (ko) 2019-09-27 2019-09-27 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102119033B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102292480B1 (ko) * 2020-12-24 2021-08-24 한국건설기술연구원 저조도 환경에서 도로 동적 정보를 수집하는 장치 및 방법
KR20220138894A (ko) * 2021-04-06 2022-10-14 한국교통대학교산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
WO2022255033A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー 地図更新システム、地図更新装置及び記憶媒体
KR102544640B1 (ko) 2022-12-01 2023-06-21 한국건설기술연구원 차선 감지 및 예측 시스템, 장치 및 방법
WO2024076169A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 공간정보를 이용한 객체 인식 모델의 학습 방법 및 이를 수행하기 위한 컴퓨팅 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101543342B1 (ko) 2015-02-23 2015-08-11 한국건설기술연구원 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법
KR101603293B1 (ko) * 2015-01-26 2016-03-16 한국기술교육대학교 산학협력단 차선인식방법
JP2018120409A (ja) * 2017-01-25 2018-08-02 株式会社ユピテル データ収集装置、道路状態評価支援装置、及びプログラム
JP2019101499A (ja) * 2017-11-28 2019-06-24 株式会社東芝 画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603293B1 (ko) * 2015-01-26 2016-03-16 한국기술교육대학교 산학협력단 차선인식방법
KR101543342B1 (ko) 2015-02-23 2015-08-11 한국건설기술연구원 차량통신 네트워크를 이용한 도로포장의 포트홀 데이터 처리 시스템 및 그 방법
JP2018120409A (ja) * 2017-01-25 2018-08-02 株式会社ユピテル データ収集装置、道路状態評価支援装置、及びプログラム
JP2019101499A (ja) * 2017-11-28 2019-06-24 株式会社東芝 画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102292480B1 (ko) * 2020-12-24 2021-08-24 한국건설기술연구원 저조도 환경에서 도로 동적 정보를 수집하는 장치 및 방법
KR20220138894A (ko) * 2021-04-06 2022-10-14 한국교통대학교산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
KR102562757B1 (ko) * 2021-04-06 2023-08-02 한국교통대학교 산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
WO2022255033A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー 地図更新システム、地図更新装置及び記憶媒体
JP7497781B2 (ja) 2021-06-03 2024-06-11 株式会社デンソー 地図更新システム及び地図更新装置
WO2024076169A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 공간정보를 이용한 객체 인식 모델의 학습 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102544640B1 (ko) 2022-12-01 2023-06-21 한국건설기술연구원 차선 감지 및 예측 시스템, 장치 및 방법

Similar Documents

Publication Publication Date Title
KR102119033B1 (ko) 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법
KR102026685B1 (ko) 영상과 진동을 이용한 도로불량정보 제공 장치 및 서버
US20210357670A1 (en) Driver Attention Detection Method
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
US8487991B2 (en) Clear path detection using a vanishing point
CN103065519B (zh) 坡道定点停车和起步检测***及其检测方法
CN102867417B (zh) 一种出租车防伪***及方法
EP3070644A1 (en) Method for generating a digital record aqnd roadside unit of a road toll system implementing the method
CN111339905B (zh) 基于深度学习及多视角的cim井盖状态视觉检测***
CN111899515B (zh) 一种基于智慧道路边缘计算网关的车辆检测***
KR102167292B1 (ko) 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법
CN104766086A (zh) 一种公路标识的监管方法和***
Jain et al. Recognizing textures with mobile cameras for pedestrian safety applications
CN103000067B (zh) 直角转弯检测***及其检测方法
US20220358634A1 (en) Methods and systems of utilizing image processing systems to measure objects
KR102026686B1 (ko) 커넥티드 차량을 이용한 도로 파손 정보 제공 장치 및 도로 파손 판정 모델 생성 서버
Li et al. A novel evaluation method for pavement distress based on impact of ride comfort
CN114299457A (zh) 积水深度检测方法及装置
CN111680610A (zh) 一种施工场景异常监测方法和装置
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN112633722A (zh) 车载道路安全风险评估***及方法
CN112949457A (zh) 基于增强现实技术的维修方法、装置及***
CN114240816A (zh) 道路环境感知方法、装置、存储介质、电子设备及车辆
KR102259981B1 (ko) 영상 분석 기반 가시거리 측정 및 경보 시스템 및 방법
CN103077639B (zh) 曲线行驶检测***及其检测方法

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant