KR102466004B1 - 딥러닝 기술을 이용한 차선 도색시스템 - Google Patents

딥러닝 기술을 이용한 차선 도색시스템 Download PDF

Info

Publication number
KR102466004B1
KR102466004B1 KR1020220057659A KR20220057659A KR102466004B1 KR 102466004 B1 KR102466004 B1 KR 102466004B1 KR 1020220057659 A KR1020220057659 A KR 1020220057659A KR 20220057659 A KR20220057659 A KR 20220057659A KR 102466004 B1 KR102466004 B1 KR 102466004B1
Authority
KR
South Korea
Prior art keywords
lane
unit
painting
nozzle
vehicle
Prior art date
Application number
KR1020220057659A
Other languages
English (en)
Inventor
조형오
조현우
Original Assignee
(주)라인테크
조형오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)라인테크, 조형오 filed Critical (주)라인테크
Priority to KR1020220057659A priority Critical patent/KR102466004B1/ko
Application granted granted Critical
Publication of KR102466004B1 publication Critical patent/KR102466004B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/16—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings
    • E01C23/20—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for forming markings in situ
    • E01C23/22—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for forming markings in situ by spraying
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/081—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to the weight of a reservoir or container for liquid or other fluent material; responsive to level or volume of liquid or other fluent material in a reservoir or container
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
    • B05B12/126—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus responsive to target velocity, e.g. to relative velocity between spray apparatus and target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B13/00—Machines or plants for applying liquids or other fluent materials to surfaces of objects or other work by spraying, not covered by groups B05B1/00 - B05B11/00
    • B05B13/005—Machines or plants for applying liquids or other fluent materials to surfaces of objects or other work by spraying, not covered by groups B05B1/00 - B05B11/00 mounted on vehicles or designed to apply a liquid on a very large surface, e.g. on the road, on the surface of large containers
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/16—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings
    • E01C23/163—Devices for marking-out, applying, or forming traffic or like markings on finished paving; Protecting fresh markings for marking-out the location of the markings; Guiding or steering devices for marking apparatus, e.g. sights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Structural Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Civil Engineering (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥러닝 기술을 이용하여 환경 요인의 영향을 받지 않고 기존 차선을 정밀하고 정확하게 검출할 수 있고, 차선 도색 차량과 노즐을 자동으로 제어하여 기존 차선의 직선과 곡선을 구분하여 부드럽게 재도색할 수 있는 딥러닝 기술을 이용한 차선 도색 시스템에 관한 것이다.
상기의 과제를 해결하기 위한 본 발명에 따른 딥러닝 기술을 이용한 기반 차선 도색 시스템은, 도로의 차선을 실시간으로 촬영하는 차선촬영부; 상기 차선촬영부에서 촬영된 영상을 처리하여 차선 인식률을 높이는 전처리부; 상기 전처리부에서 전처리된 이미지데이터의 차선 유형을 반복 학습하여 차선 학습모델을 생성하는 학습모델 생성부; 차선 상황별 도색차량 제어데이터, 노즐 제어데이터 및 도색 결과에 따른 교정데이터를 통해 차선도색 제어값을 학습하는 도색차량 및 노즐 제어학습부; 및 상기 학습모델 생성부에서 생성된 차선 학습모델과 상기 도색차량 및 노즐 제어학습부에서 학습된 차선도색 제어값에 기초하여 실시간 차선 영상에 따른 차선을 인식하고, 인식된 차선의 상황에 맞추어 차선도색 제어값을 추출하여 도색차량과 노즐을 제어하는 도색차량 및 노즐 제어부를 포함하는 것을 특징으로 한다.

Description

딥러닝 기술을 이용한 차선 도색시스템{Lane Painting System using Deep Learning Technology}
본 발명은 딥러닝 기술을 이용한 차선 도색 시스템에 관한 것으로, 더욱 상세하게는 도로에 도색된 기존 차선을 따라 정확하게 차선을 재도색하기 위해 도색차량의 주행과 도료를 분사하는 노즐을 자동 제어하는 딥러닝 기술을 이용한 차선 도색 시스템에 관한 것이다.
일반적으로 도로에는 차량의 주행 방향과 간격을 안내하기 위한 차선이 도색되는데, 이러한 차선은 장기간 외부에 노출되게 됨에 따라 시인성이 떨어져 본래의 기능을 유지하기가 어렵게 되고, 따라서 시인성이 떨어진 차선을 재도색하여 본래의 기능이 유지될 수 있도록 하고 있다.
상기와 같은 목적의 종래 기술로는 등록특허공보 제2143641호의 비전센서를 이용한 자동 차선 도색장치(이하 '특허문헌'이라 한다)가 개시되어 있다.
상기 특허문헌에 개시된 차선 도색장치는, 차량의 전방 쪽에 설치되면서 상기 차선을 촬영하여 실시간 영상을 획득하는 전방카메라; 상기 차량의 하부 또는 일측에 위치되면서 상기 차선의 위치에 맞추어 도색하는 차선도색유닛; 상기 차량에 설치되면서 상기 전방카메라를 통해 획득되는 실시간 영상을 수신 후 데이터로 변환해 상기 차선도색유닛의 동작을 제어하는 제어부; 및 상기 전방카메라를 통해 촬영되는 실시간 영상이 출력되는 디스플레이부를 포함하고, 상기 차선도색유닛에는, 상기 차선을 인식하여 위치 정보를 획득하는 후방카메라가 구비되며, 상기 제어부에는, 상기 차량의 주행 방향과 상기 차선을 감지하는 복수 개의 센서가 설치되고, 상기 복수 개의 센서를 통해 상기 차량의 주행 방향과 상기 차선의 인식률이 보정되며, 상기 복수 개의 센서는, 상기 차량의 주행 방향을 감지함과 동시에 상기 차선의 위치를 검출하는 IMU 센서; 상기 도로 상의 상기 차선을 인식하는 조도 센서; 및 선택된 범위의 파장을 이용하여 상기 도로상에 도색된 상기 차선의 특정 재료를 인식하는 다중스펙트럼센서를 포함하고, 상기 제어부는, 상기 조도 센서 및 상기 다중스펙트럼센서를 통해 인식되는 차선의 정보를 병합하여 훼손된 상기 차선의 정보를 보정하고, 상기 전방카메라를 통해 촬영된 상기 도로 및 상기 차선의 영상을 상기 전방카메라가 설치된 각도에 기초하여 영상을 상기 도로와 수직이 되는 방향이 되도록 소정 각도를 적용하여 버드아이뷰 영상을 생성하며, 상기 후방카메라에서 검출된 영상에 이진화 알고리즘을 적용하여 도로 영역과 차선 영역을 구분하고, 구분된 차선 영역의 특징점을 추출한 다음, 추출된 특징점에 기초하여 라인을 추적하여 상기 차선의 훼손 부분을 보완하며, 상기 후방카메라는, 상기 전방카메라의 후방 쪽으로 소정 거리 이격되어 상기 차선을 상기 도로와 수직이 되는 방향에서 촬영하도록 설치되고, 상기 제어부는, 상기 전방카메라를 통해 촬영된 영상에 가상의 차선가이드를 병합하여 상기 디스플레이부를 통해 출력하고, 상기 차선가이드는, 상기 차선을 따라 소정의 직선 길이를 가지도록 형성되는 제1 측면바 일단이 상기 제1 측면바의 일측면에 연결되면서 타단이 상기 제1 측면바와 직교하도록 소정 길이를 가지는 연결바; 및 일단이 상기 연결바의 타단에 연결되면서 타단이 상기 제1 측면바와 평행하도록 소정의 직선 길이를 가지는 제2 측면바를 포함하며, 상기 제1 측면바와 상기 제2 측면바 사이의 폭은, 상기 차선의 폭 보다 소정 폭 넓게 형성되어, 상기 제1 측면바와 상기 차선의 좌측면 사이에는 좌측 이격거리가 형성되고, 상기 제2 측면바와 상기 차선의 우측면 사이에는 우측 이격거리가 형성되며, 상기 제어부는, 상기 좌, 우측 이격거리가 동일하면 상기 차선을 따라 정확하게 주행하고 있는 것으로 판단하고, 상기 좌, 우측 이격거리가 서로 다르면 상대적으로 값이 작은 방향으로 상기 차량이 치우쳐 주행하고 있는 것으로 판단하여 상기 좌, 우측 이격거리가 서로 같게 유지되도록 상기 차량의 주행 방향을 제어하는 것으로 이루어진다.
상기 특허문헌에 개시된 차선 도색장치는 카메라와 센서를 통해 감지되는 정보에 기초하여 기존차량의 위치와 폭이 감지되고, 이에 기초하여 차량의 주행방향을 제어하여 차선을 자동 도색하는 것이나, 이 경우 실시간으로 촬영된 영상과 감지신호에 따라 차량의 주향 방향을 신속하게 제어하기가 어렵고, 차량의 주행 방향 제어에 지연이 발생하면 기존차선의 위치와 새로 도색되는 차선 간에 위치오차가 발생하며, 도색 차량이 차선을 따라 정확하게 주행하더라도 차량의 주행 방향과 노즐의 방향이 연동되어 움직이기 때문에 커브와 같이 곡선 차선인 경우 차량과 기존차선 간의 간격이 달라지면서 노즐의 위치가 기존차선의 위치를 쉽게 벗어나게 되고, 이에 의해 곡선 차선의 재도색 정확성이 떨어지는 문제가 있다.
따라서 차선 도색의 자동화를 위해 차선을 정확하게 검출할 수 있고, 검출된 차선을 따라 도색 차량과 노즐을 제어하여 정확하게 차선을 재도색할 수 있도록 개선된 차선 도색 시스템의 개발이 요구된다.
KR 10-2143641 B1 (2020. 08. 05.) KR 10-2021-0071724 A (2021. 06. 16.) KR 10-2257533 B1 (2021. 05. 24.) KR 10-2078908 B1 (2020. 02. 12.) KR 10-2019-0054656 A (2019. 05. 22.)
본 발명은 상기와 같은 종래의 차선 자동 도색장치가 가지는 문제점을 해결하기 위해 안출된 것으로, 본 발명이 해결하고자 하는 과제는 딥러닝 기술을 이용하여 환경 요인의 영향을 받지 않고 기존 차선을 정밀하고 정확하게 검출할 수 있고, 차선 도색 차량과 노즐을 자동으로 제어하여 기존 차선의 직선과 곡선을 구분하여 부드럽게 재도색할 수 있는 딥러닝 기술을 이용한 차선 도색 시스템을 제공하는 것이다.
상기의 과제를 해결하기 위한 본 발명에 따른 딥러닝 기술을 이용한 차선 도색 시스템은, 도로의 차선을 실시간으로 촬영하는 차선촬영부; 상기 차선촬영부에서 촬영된 영상을 처리하여 차선 인식률을 높이는 전처리부; 상기 전처리부에서 전처리된 이미지데이터의 차선 유형을 반복 학습하여 차선 학습모델을 생성하는 학습모델 생성부; 차선 상황별 도색차량 제어데이터, 노즐 제어데이터 및 도색 결과에 따른 교정데이터를 통해 차선도색 제어값을 학습하는 도색차량 및 노즐 제어학습부; 및 상기 학습모델 생성부에서 생성된 차선 학습모델과 상기 도색차량 및 노즐 제어학습부에서 학습된 차선도색 제어값에 기초하여 실시간 차선 영상에 따른 차선을 인식하고, 인식된 차선의 상황에 맞추어 차선도색 제어값을 추출하여 도색차량과 노즐을 제어하는 도색차량 및 노즐 제어부를 포함하는 것을 특징으로 한다.
그리고 본 발명은 상기 차선촬영부가 서로 1열로 배열되는 제1, 2, 3 카메라를 포함하고, 상기 제1 카메라는, 상기 노즐과 근접된 위치의 차선이 원근감 없이 촬영되도록 도로와 수직이 되도록 설치되며, 상기 제2 카메라는, 상기 제1 카메라에서 촬영되는 일부의 차선과 상기 노즐의 전방 쪽 일부의 차선이 포함되어 촬영되도록 설치되며, 상기 제3 카메라는, 상기 제2 카메라에서 촬영되는 일정 길이의 차선과 상기 제2 카메라의 촬영 영역 전방 쪽 소정 길이의 차선이 포함되어 촬영되도록 설치되는 것을 또 다른 특징으로 한다.
또한, 본 발명은 상기 전처리부가 상기 차선촬영부에서 촬영된 영상의 이미지데이터 해상도를 조정하는 해상도 조정부; 상기 해상도 조정부에서 조정된 이미지데이터의 컬러데이터를 변환하는 데이터 변환부; 상기 데이터 변환부에서 컬러데이터가 변환된 이미지데이터를 가우시안 처리하여 노이즈를 제거하는 노이즈 제거부; 상기 노이즈 제거부를 통해 노이즈가 제거된 이미지데이터를 이진화 처리하는 이진화 처리부; 및 상기 이진화 처리부에서 이진화된 이미지데이터의 원근요소를 재배열하여 제거하는 원근 변환부를 포함하는 것을 또 다른 특징으로 한다.
이에 더해 본 발명은 상기 학습모델 생성부가 상기 전치리부에서 전처리된 이미지데이터로부터 차선을 인식하고, 인식된 차선의 비틀림과 곡률에 맞추어 도색차량 및 노즐의 제어값을 설정하며, 설정된 도색차량 및 노즐의 제어값을 포함하여 차선 학습모델을 생성하는 것을 또 다른 특징으로 한다.
그리고 본 발명은 상기 도색차량 및 노즐의 제어값이 도색차량의 속도, 조향, 차선의 중심라인, 차선의 폭, 비틀림 및 곡률에 맞추어 노즐의 위치, 노즐의 높이, 분사량 및 분사속도 값을 포함하는 것을 또 다른 특징으로 한다.
본 발명에 따르면, 햇빛이나 그림자 및 차선의 결손 등의 영향에도 차선을 인공지능 딥러닝 기술에 의한 반복 학습을 통해 정확하게 검출할 수 있고, 이를 통해 차선 재도색을 위한 도색차량 및 노즐을 정확하게 제어할 수 있는 장점이 있다.
또한, 차선의 직선과 곡선을 구분하여 도색차량 및 노즐을 최적 제어할 수 있고, 이를 통해 재도색되는 차선이 기존 차선을 벗어나는 것을 확실하게 줄일 수 있으며, 차선 도색의 자동화로 인해 차선을 재도색하는 인력과 비용을 줄일 수 있는 장점이 있다.
도 1은 본 발명에 따른 딥러닝 기술을 이용한 차선 도색 시스템의 예를 보인 도면.
도 2 내지 도 4는 본 발명에 따른 차선촬영부의 예를 보인 도면.
도 5는 본 발명에 따른 전처리부의 예를 보인 도면.
도 6a 내지 도 6h는 본 발명에 따른 전처리부를 통해 이미지데이터가 전처리되는 예를 보인 도면.
도 7 및 도 8은 본 발명에 따른 도색차량 및 노즐 제어부를 통해 차선이 재도색되는 예를 보인 도면.
이하에서는 본 발명의 바람직한 실시예를 도시한 첨부도면에 따라 상세하게 설명한다.
본 발명은 딥러닝 기술을 이용하여 환경 요인의 영향을 받지 않고 기존 차선을 정밀하고 정확하게 검출할 수 있고, 차선 도색 차량과 노즐을 자동으로 제어하여 기존 차선의 직선과 곡선을 구분하여 부드럽게 재도색할 수 있는 딥러닝 기술을 이용한 차선 도색 시스템을 제공하고자 하는 것으로, 이를 위한 본 발명은 도 1 및 도 2에 도시된 바와 같이 차선촬영부(10), 전처리부(20), 학습모델 생성부(30), 도색차량 및 노즐 제어학습부(40) 및 도색차량 및 노즐 제어부(50)를 포함한다.
차선촬영부(10)는 도색차량(1)의 일측에 설치되어 도로 위의 차선(3)을 실시간으로 촬영하고, 촬영된 영상을 후술되는 전처리부(20)로 전송하는 구성이다.
이러한 차선촬영부(10)는 차선(3)을 따라 서로 다른 영역(Z1, Z2, Z3)을 촬영하도록 복수 개의 카메라가 서로 다른 각도로 설치되고, 이를 통해 후술되는 학습모델 생성부(30)에서 서로 다른 각도의 영상을 학습모델로 생성하게 된다.
더욱 상세하게는 도 2 내지 도 4에 도시된 바와 같이 서로 1열로 배열되는 제1, 2, 3 카메라(11, 12, 13)로 구성되되, 제1 카메라(11)는 노즐(2)과 근접된 위치의 차선(3)이 원근감 없이 촬영되도록 도로와 수직이 되도록 설치되고, 제2 카메라(12)는 제1 카메라(11)에서 촬영되는 일부의 차선과 노즐(2)의 전방 쪽 일정 길이의 차선(3)이 포함되어 촬영되도록 설치되며, 제3 카메라(13)는 제2 카메라(12)에서 촬영되는 일부의 차선과 상기 제2 카메라(12)의 촬영 영역 전방 쪽 소정 길이의 차선이 포함되어 촬영되도록 설치될 수 있다.
이때 제1, 2, 3 카메라(11, 12, 13)는 각도 조절이 가능하도록 구성되고, 이러한 제1, 2, 3 카메라(11, 12, 13)의 설치 각도는 필요에 따라 후술되는 도색차량 및 노즐 제어부(50)의 제어에 의해 자동으로 조절되도록 구성될 수 있다.
이를 위해 제1, 2, 3 카메라(11, 12, 13)에는 소정 길이의 회전축(도시하지 않음)이 설치되고, 상기 회전축에는 기어 또는 풀리 등의 동력전달부재(도시하지 않음)가 설치되며, 상기 동력전달부재와 모터 등의 회전동력발생장치(도시하지 않음)를 통해 회전력이 전달되도록 구성될 수 있다.
이에 더해 제1, 2, 3 카메라(11, 12, 13)는 도로와 이격된 높이를 조절할 수 있도록 구성될 수 있는데, 이를 위해 제1, 2, 3 카메라(11, 12, 13)는 수직으로 소정 길이를 가지는 리니어가이드(도시하지 않음)에 설치된 다음, 리니어모터의 동작에 의해 상하로 승강되면서 높이가 조절되도록 구성될 수 있다.
한편, 제1, 2, 3 카메라(11, 12, 13)를 통해 소정 폭 서로 중첩되어 촬영되게 되고, 이렇게 제1, 2, 3 카메라(11, 12, 13)에서 촬영된 제1, 2, 3 영역(Z1, Z2, Z3)의 영상은 하나의 세트로 묶여 후술되는 전처리부(20)에서 이미지 처리되게 된다.
이를 통해 동일한 차선의 색상, 모양, 각도 및 결손 등의 상태에 따른 다양한 각도의 이미지가 동시에 취득되어 학습모델로 생성될 수 있고, 그 결과 차선 도색 환경에 따라 차선을 촬영하는 카메라의 각도가 달라지더라도 학습모델로부터 유사한 조건의 과거 데이터를 빠르게 추출하여 이에 맞는 최적의 제어값(도색차량, 노즐)을 획득할 수 있게 된다.
전처리부(20)는 차선촬영부(10)에서 촬영된 영상을 이미지 처리하여 차선의 인식률을 높이는 구성이다.
이러한 전처리부(20)는 도 5에 도시된 바와 같이 차선촬영부(10)에서 촬영된 영상의 이미지데이터 해상도를 조정하는 해상도 조정부(21)와, 상기 해상도 조정부(21)에서 조정된 이미지데이터의 컬러데이터를 변환하는 데이터 변환부(22)와, 상기 데이터 변환부(22)에서 컬러데이터가 변환된 이미지데이터에 가우시안 처리하여 노이즈를 제거하는 노이즈 제거부(23)와, 상기 노이즈 제거부(23)를 통해 노이즈가 제거된 이미지데이터를 이진화 처리하는 이진화 처리부(24) 및 상기 이진화 처리부(24)에서 이진화된 이미지데이터의 원근요소를 재배열하여 제거하는 원근 변환부(25)를 포함한다.
이러한 전처리부(20)의 예로서, 도 6a 및 도 6b에 도시된 바와 같이 차선촬영부(10)에서 촬영된 영상이 해상도 조정부(21)를 통해 640x360 해상도의 이미지로 변환된 다음, 데이터 변환부(22)를 통해 차선의 검출이 쉽도록 색공간(color space)이 변경된다. 이때 일반적으로 흰색은 RGB 색공간을 사용하고, 노란색은 HSV 색공간계를 사용하므로 데이터 변환부(22)에서는 흰색 차선의 검출이 쉽도록 RGB 색공간으로 변경하게 된다.
이후 노이즈 제거부(23)를 통해 도 6c에 도시된 바와 같이 이미지 내의 특정 색을 컬러 마스킹하여 구분된 다음 그 외의 색이 제거되고, 도 6d에 도시된 바와 같이 차선이 아닌 노이즈를 제거하기 위해 가우시안 블러가 적용된다.
이때 가우시안 블러의 적용 적도에 따라 차선의 경계가 무뎌져 정확한 차선 경계를 추출하는 데에 어려움이 있을 수 있고, 따라서 가우시안 블러의 적용 값은 사용자에 의해 미리 설정된 값이 적용될 수 있다.
이후 도 6e에 도시된 바와 같이 모폴로지 연산을 통해 이미지데이터 내의 흰색 노이즈가 제거된 다음, 도 6f에 도시된 바와 같이 추가 모폴로지 연산을 통해 흰색 오브젝트 내의 검은색 노이즈가 제거되게 된다.
그리고 이진화 처리부(24)를 통해 도 6g에 도시된 바와 같이 이미지데이터 내의 경계를 명확하게 하기 위해 흑백 사이의 중간색이 없도록 이진화 처리되게 된다.
그런 다음, 원근 변환부(25)를 통해 도 6h에 도시된 바와 같이 이진화 처리된 이미지데이터 내의 차선의 원근값을 조정하고, 차선 유효영역이 지정된다.
이때 차선 유효영역이 넓으면 다른 차선과 혼동되거나 또는 원근값 조정에 따른 오차가 발생할 수 있으므로 노즐(2)을 기준(원점)으로 2~3M 길이의 차선이 유효영역으로 지정되는 것이 바람직하다.
이렇게 전처리된 이미지데이터는 후술되는 학습모델 생성부(30)로 전달되게 된다.
상기와 같은 구성을 통해 차선촬영부(10)에서 촬영된 영상에 포함되는 그림자, 햇빛 및 결손(차선의 오염, 차선의 도색 손실, 도로의 균열, 도로의 파손 등) 등의 영향에 의한 차선의 오인식률을 줄일 수 있게 된다.
학습모델 생성부(30)는 전처리부(20)에서 전처리된 이미지데이터의 차선 유형을 반복 학습하여 차선 학습모델을 생성하는 구성이다.
이러한 학습모델 생성부(30)는 전치리부(20)에서 전처리된 이미지데이터로부터 차선을 인식하고, 인식된 차선의 비틀림과 곡률에 맞추어 도색차량 및 노즐의 제어값을 설정하며, 설정된 도색차량 및 노즐의 제어값을 포함하여 차선 학습모델을 생성하게 된다.
이때 도색차량 및 노즐의 제어값에는 도색차량의 속도, 조향, 차선의 중심라인, 차선의 폭, 비틀림 및 곡률에 맞추어 노즐의 위치, 노즐의 높이, 분사량 및 분사속도 값이 포함될 수 있다.
이하에서는 본 발명에 다른 학습모델 생성부(30)에서 차선을 인식하는 예에 대하여 설명한다.
도 7에 도시된 바와 같이 전처리된 이미지데이터 중에서 도형(차선)의 윤곽선이 추출되고 경계선을 연결하게 된다.
그런 다음, 윤곽선의 경계선 중에서 좌우측으로 최외곽에 위치한 선을 연결하여 가상의 좌측차선라인(IL)과 가상의 우측차선라인(IR)이 생성된다.
그리고 가상의 좌측차선라인(IL)과 가상의 우측차선라인(IR)을 연결하는 상, 하부 차선의 폭(W1, W2)이 측정되고, 상, 하부 차선의 폭(W1, W2)이 서로 동일한 폭이 되도록 간격이 조정된다.
이후 상, 하부 차선의 폭(W1, W2)의 1/2 지점을 연결하는 차선의 중심라인(CL)이 생성되고, 상기 차선의 중심라인(CL)을 따라 노즐(2)의 위치가 추종되도록 노즐 위치값이 설정된다.
상기와 같이 노즐 위치값이 설정되고 나면, 차선 상황별 도색차량 제어데이터, 노즐 제어데이터가 미리 설정된 도로규정에 맞추어 자동으로 설정되게 된다.
도색차량 및 노즐 제어학습부(40)는 차선 상황별 도색차량 제어데이터, 노즐 제어데이터를 통해 과거의 차선 재도색 결과의 교정데이터를 생성하고, 이러한 차선 상황별 도색차량 제어데이터, 노즐 제어데이터 및 교정데이터를 반복 학습하여 차선의 중심라인(CL)을 따라 차선이 재도색되었을 때 발생하는 차선 폭, 비틀림 등에 따른 차선의 이탈 등의 오차가 발생하지 않는 최적 차선도색 제어값을 생성하는 구성이다.
도색차량 및 노즐 제어부(50)는 학습모델 생성부(30)에서 생성된 차선 학습모델과 도색차량 및 노즐 제어학습부(40)에서 학습된 차선도색 제어값에 기초하여 실시간 차선 영상에 따른 차선을 인식하고, 인식된 차선의 상황에 맞추어 차선도색 제어값을 추출하여 도색차량과 노즐을 제어하는 구성이다.
이때 도색차량 및 노즐 제어부(50)에서 생성된 차선도색 제어값에 기초하여 소정의 오차값(M)이 차선의 중심라인(CL)을 기준으로 가상의 좌측차선라인(IL)과 가상의 우측차선라인(IR)에 분할 적용되어 차선의 재도색이 진행되게 된다.
이상 설명한 바와 같이 본 발명은 햇빛이나 그림자 및 차선의 결손 등의 영향에도 차선을 인공지능 딥러닝 기술에 의한 반복 학습을 통해 정확하게 검출할 수 있고, 이를 통해 차선 재도색을 위한 도색차량 및 노즐을 정확하게 제어할 수 있게 된다.
또한, 차선의 직선과 곡선을 구분하여 도색차량 및 노즐을 최적 제어할 수 있고, 이를 통해 재도색되는 차선이 기존 차선을 벗어나는 것을 줄일 수 있으며, 차선 도색의 자동화로 인해 차선을 재도색하는 인력과 비용을 줄일 수 있게 된다.
위에서는 설명의 편의를 위해 바람직한 실시예를 도시한 도면과 도면에 나타난 구성에 도면부호와 명칭을 부여하여 설명하였으나, 이는 본 발명에 따른 하나의 실시예로서 도면상에 나타난 형상과 부여된 명칭에 국한되어 그 권리범위가 해석되어서는 안 될 것이며, 발명의 설명으로부터 예측 가능한 다양한 형상으로의 변경과 동일한 작용을 하는 구성으로의 단순 치환은 통상의 기술자가 용이하게 실시하기 위해 변경 가능한 범위 내에 있음은 지극히 자명하다고 볼 것이다.
1: 도색차량 2: 노즐
3: 차선 10: 차선촬영부
11: 제1 카메라 12: 제2 카메라
13: 제3 카메라 20: 전처리부
21: 해상도 조정부 22: 데이터 변환부
23: 노이즈 제거부 24: 이진화 처리부
25: 원근 변환부 30: 학습모델 생성부
40: 도색차량 및 노즐 제어학습부 50: 도색차량 및 노즐 제어부
CL: 차선의 중심라인 IL: 가상의 좌측차선라인
IR: 가상의 우측차선라인 M: 오차값
W: 차선의 폭 W': 차선폭의 1/2
W1: 상부 차선의 폭 W2: 하부 차선의 폭

Claims (5)

  1. 도로의 차선을 실시간으로 촬영하는 차선촬영부(10);
    상기 차선촬영부(10)에서 촬영된 영상을 처리하여 차선 인식률을 높이는 전처리부(20);
    상기 전처리부(20)에서 전처리된 이미지데이터의 차선 유형을 반복 학습하여 차선 학습모델을 생성하는 학습모델 생성부(30);
    차선 상황별 도색차량 제어데이터, 노즐 제어데이터 및 도색 결과에 따른 교정데이터를 통해 차선도색 제어값을 학습하는 도색차량 및 노즐 제어학습부(40); 및
    상기 학습모델 생성부(30)에서 생성된 차선 학습모델과 상기 도색차량 및 노즐 제어학습부(40)에서 학습된 차선도색 제어값에 기초하여 실시간 차선 영상에 따른 차선을 인식하고, 인식된 차선의 상황에 맞추어 차선도색 제어값을 추출하여 도색차량과 노즐을 제어하는 도색차량 및 노즐 제어부(50);
    를 포함하고,
    상기 차선촬영부(10)는,
    서로 1열로 배열되는 제1, 2, 3 카메라(11, 12, 13)를 포함하고,
    상기 제1 카메라(11)는,
    상기 노즐과 근접된 위치의 차선이 원근감 없이 촬영되도록 도로와 수직이 되도록 설치되며,
    상기 제2 카메라(12)는,
    상기 제1 카메라(11)에서 촬영되는 일부의 차선과 상기 노즐의 전방 쪽 일정 길이의 차선이 포함되어 촬영되도록 설치되며,
    상기 제3 카메라(13)는,
    상기 제2 카메라(12)에서 촬영되는 일부의 차선과 상기 제2 카메라(12)의 촬영 영역 전방 쪽 소정 길이의 차선이 포함되어 촬영되도록 설치되며,
    상기 학습모델 생성부(30)는,
    상기 전처리부(20)에서 전처리된 이미지데이터로부터 차선을 인식하고, 인식된 차선의 비틀림과 곡률에 맞추어 도색차량 및 노즐의 제어값을 설정하며, 설정된 도색차량 및 노즐의 제어값을 포함하여 차선 학습모델을 생성하는 것을 특징으로 하는 것을 특징으로 하는 딥러닝 기술을 이용한 차선 도색 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 전처리부(20)는,
    상기 차선촬영부(10)에서 촬영된 영상의 이미지데이터 해상도를 조정하는 해상도 조정부(21);
    상기 해상도 조정부(21)에서 조정된 이미지데이터의 컬러데이터를 변환하는 데이터 변환부(22);
    상기 데이터 변환부(22)에서 컬러데이터가 변환된 이미지데이터를 가우시안 처리하여 노이즈를 제거하는 노이즈 제거부(23);
    상기 노이즈 제거부(23)를 통해 노이즈가 제거된 이미지데이터를 이진화 처리하는 이진화 처리부(24); 및
    상기 이진화 처리부(24)에서 이진화된 이미지데이터의 원근요소를 재배열하여 제거하는 원근 변환부(25);
    를 포함하는 것을 특징으로 하는 딥러닝 기술을 이용한 차선 도색 시스템.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 도색차량 및 노즐의 제어값은,
    도색차량의 속도, 조향, 차선의 중심라인, 차선의 폭, 비틀림 및 곡률에 맞추어 노즐의 위치, 노즐의 높이, 분사량 및 분사속도 값을 포함하는 것을 특징으로 하는 딥러닝 기술을 이용한 차선 도색 시스템.
KR1020220057659A 2022-05-11 2022-05-11 딥러닝 기술을 이용한 차선 도색시스템 KR102466004B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220057659A KR102466004B1 (ko) 2022-05-11 2022-05-11 딥러닝 기술을 이용한 차선 도색시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220057659A KR102466004B1 (ko) 2022-05-11 2022-05-11 딥러닝 기술을 이용한 차선 도색시스템

Publications (1)

Publication Number Publication Date
KR102466004B1 true KR102466004B1 (ko) 2022-11-11

Family

ID=84042890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220057659A KR102466004B1 (ko) 2022-05-11 2022-05-11 딥러닝 기술을 이용한 차선 도색시스템

Country Status (1)

Country Link
KR (1) KR102466004B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599168B1 (ko) 2023-04-21 2023-11-09 주식회사 테크온 Hud를 이용한 차선 도색차량용 차선 도색 안내 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038013A (ko) * 2001-11-08 2003-05-16 삼성전자주식회사 자동차 번호판 인식방법
KR20090085704A (ko) * 2007-01-05 2009-08-07 퀄컴 인코포레이티드 스테레오-가능 디스플레이 상에의 ３ｄ 비디오 이미지의 렌더링
KR20190054656A (ko) 2017-11-14 2019-05-22 현대모비스 주식회사 차선 인식 장치 및 방법
KR20190088647A (ko) * 2018-01-19 2019-07-29 한국해양대학교 산학협력단 무인 차량을 이용한 자동화 차선 도색 시스템
KR102143641B1 (ko) 2020-02-07 2020-08-11 (주)라인테크 비전센서를 이용한 자동 차선 도색 장치
KR102257533B1 (ko) 2019-08-21 2021-05-31 주식회사 유승 자동화된 도로 도색 장치
KR20210071724A (ko) 2019-12-07 2021-06-16 이창휘 무인자동제어장치를 통한 차선 재도색 기계
KR102283833B1 (ko) * 2020-08-28 2021-08-03 이연수 자동 소독제 분사장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030038013A (ko) * 2001-11-08 2003-05-16 삼성전자주식회사 자동차 번호판 인식방법
KR20090085704A (ko) * 2007-01-05 2009-08-07 퀄컴 인코포레이티드 스테레오-가능 디스플레이 상에의 ３ｄ 비디오 이미지의 렌더링
KR20190054656A (ko) 2017-11-14 2019-05-22 현대모비스 주식회사 차선 인식 장치 및 방법
KR20190088647A (ko) * 2018-01-19 2019-07-29 한국해양대학교 산학협력단 무인 차량을 이용한 자동화 차선 도색 시스템
KR102078908B1 (ko) 2018-01-19 2020-02-18 한국해양대학교 산학협력단 무인 차량을 이용한 자동화 차선 도색 시스템
KR102257533B1 (ko) 2019-08-21 2021-05-31 주식회사 유승 자동화된 도로 도색 장치
KR20210071724A (ko) 2019-12-07 2021-06-16 이창휘 무인자동제어장치를 통한 차선 재도색 기계
KR102143641B1 (ko) 2020-02-07 2020-08-11 (주)라인테크 비전센서를 이용한 자동 차선 도색 장치
KR102283833B1 (ko) * 2020-08-28 2021-08-03 이연수 자동 소독제 분사장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599168B1 (ko) 2023-04-21 2023-11-09 주식회사 테크온 Hud를 이용한 차선 도색차량용 차선 도색 안내 시스템

Similar Documents

Publication Publication Date Title
US11958197B2 (en) Visual navigation inspection and obstacle avoidance method for line inspection robot
JP2917661B2 (ja) 交通流計測処理方法及び装置
EP2282295B1 (en) Object recognizing device and object recognizing method
US7421094B2 (en) Traffic lane marking line recognition system for vehicle
US7421095B2 (en) Traffic lane marking line recognition system for vehicle
US6546118B1 (en) Image processing apparatus for vehicle
US20020031242A1 (en) Local positioning appartus, and method therefor
EP2682896A2 (en) In-vehicle apparatus
CN103714538B (zh) 道路边缘检测方法、装置及车辆
KR102143641B1 (ko) 비전센서를 이용한 자동 차선 도색 장치
US20070253622A1 (en) Traffic Lane Marking Line Recognition System for Vehicle
KR102078908B1 (ko) 무인 차량을 이용한 자동화 차선 도색 시스템
WO2017038134A1 (ja) ランドマーク認識装置及び認識方法
KR102466004B1 (ko) 딥러닝 기술을 이용한 차선 도색시스템
US7599050B2 (en) Surface defect inspecting method and device
Sehestedt et al. Robust lane detection in urban environments
KR102499258B1 (ko) 이액형(5종) 인공지능 차선자동도색 장치
JP2005157731A (ja) 車線認識装置および車線認識方法
JP2006012191A (ja) 車両用走行区分線認識装置
JP4906628B2 (ja) 監視用カメラの補正装置
US20180012084A1 (en) Apparatus and method of recognizing division lines on a road
JP2008160635A (ja) カメラ状態検出方法
JP2002150302A (ja) 路面認識装置
JP2007310591A (ja) 画像処理装置及び駐車場判定方法
JP3915621B2 (ja) レーンマーク検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant