KR20220148378A - 차량의 주행을 보조하는 장치 및 그 방법 - Google Patents

차량의 주행을 보조하는 장치 및 그 방법 Download PDF

Info

Publication number
KR20220148378A
KR20220148378A KR1020210055234A KR20210055234A KR20220148378A KR 20220148378 A KR20220148378 A KR 20220148378A KR 1020210055234 A KR1020210055234 A KR 1020210055234A KR 20210055234 A KR20210055234 A KR 20210055234A KR 20220148378 A KR20220148378 A KR 20220148378A
Authority
KR
South Korea
Prior art keywords
vehicle
camera
lane
lidar sensor
information acquired
Prior art date
Application number
KR1020210055234A
Other languages
English (en)
Inventor
구본일
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020210055234A priority Critical patent/KR20220148378A/ko
Priority to US17/730,482 priority patent/US20220348199A1/en
Publication of KR20220148378A publication Critical patent/KR20220148378A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 주행을 보조하는 장치는 상기 차량에 마련된 카메라; 상기 차량에 마련된 라이다(Lidar) 센서; 및 상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 제어부;를 포함하고, 상기 제어부는, 상기 차량이 터널에 진입하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어할 수 있다.

Description

차량의 주행을 보조하는 장치 및 그 방법{APPARATUS FOR ASSISTING DRIVING OF A HOST VEHICLE AND METHOD THEROF}
차량의 주행을 보조하는 장치 및 그 방법에 관한 것으로, 보다 상세하게는 차량 주변 환경에 따라 카메라가 획득한 차선 정보를 배제하고, 라이다 센서가 획득한 차선 정보를 이용하여 주행을 제어할 수 있는 차량의 주행을 보조하는 장치 및 그 방법에 관한 것이다.
차량은 도로나 선로를 주행하면서 사람이나 물건을 목적지까지 운반할 수 있는 장치를 의미한다. 차량은 주로 차체에 설치된 하나 이상의 차륜을 이용하여 여러 위치로 이동할 수 있다. 이와 같은 차량으로는 삼륜 또는 사륜 자동차나, 모터사이클 등의 이륜 자동차나, 건설 기계, 자전거 및 선로 상에 배치된 레일 위에서 주행하는 열차 등이 있을 수 있다.
최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 보조 시스템(Advanced Driver Assist System; ADAS)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
더 나아가, 최근에는 차량에 카메라를 구비하여 차량의 차선 유지가 가능한 차선 유지 보조(Lane Keeping Assist, LKA) 및 차로 유지 보조(Lane Following Assist, LFA)가 가능한 차량이 개발되기에 이르렀다.
본 개시의 일 측면은 차량 주변 환경에 따라 카메라 및 라이다 센서가 획득하는 차선 정보를 모두 이용할지, 라이다 센서가 획득한 차선 정보만을 이용할지 여부를 결정하여 LKA 및 LFA의 정확도를 높일 수 있는 차량의 주행을 보조하는 장치 및 그 방법을 제공한다.
상술한 목적을 달성하기 위한 일 실시예에 따른 차량의 주행을 보조하는 장치는, 상기 차량에 마련된 카메라; 상기 차량에 마련된 라이다(Lidar) 센서; 및 상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 제어부;를 포함하고, 상기 제어부는, 상기 차량이 터널에 진입하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어할 수 있다.
일 실시예에 따른 차량의 주행을 보조하는 장치는, 상기 차량에 마련된 카메라; 상기 차량에 마련된 라이다 센서; 및 상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 제어부;를 포함하고, 상기 제어부는, 상기 카메라의 오염도가 기준 오염도 이상이면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어할 수 있다.
일 실시예에 따른 차량의 주행을 보조하는 방법은, 카메라 및 라이다 센서가 획득한 차선 정보에 기초하여 차량이 차선을 이탈하지 않도록 상기 차량을 제어하고; 상기 차량이 터널에 진입하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 것;을 포함할 수 있다.
본 개시의 일 측면에 따르면, 차량의 터널 진입 여부, 카메라의 오염 여부, 강한 역광의 존재 여부에 따라 카메라가 획득하는 차선 정보도 이용할지, 라이다 센서가 획득한 차선 정보만을 이용할지 여부를 결정하므로 차량의 LKA 및 LFA의 성능을 향상시킬 수 있다.
도 1은 일 실시예에 따른 차량의 외관을 나타낸 조감도이다.
도 2는 일 실시예에 따른 차량의 제어 블록도이다.
도 3은 일 실시예에 따른 차량이 차선 정보에 기초하여 차선을 이탈하지 않도록 주행하는 것을 도시한다.
도 4는 일 실시예에 따른 차량이 차선 정보에 기초하여 차로의 중앙을 따라 주행하는 것을 도시한다.
도 5는 차량이 터널에 진입한 상황을 도시한 도면이다.
도 6는 차량이 터널에서 나온 상황을 도시한 도면이다.
도 7은 일 실시예에 따른 절차흐름도이다.
도 8은 또 다른 실시예에 따른 절차흐름도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
본 개시에 있어서 '주행 차로'는 자차량이 주행 중인 차로를 의미할 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 차량의 외관을 나타낸 조감도이다.
도 1을 참조하면, 차량(100)은 카메라(110)와 라이다(Lidar) 센서(120)를 포함할 수 있다. 이때, 차량(100)의 카메라(110)는 차량(100)에 마련되는 적어도 하나의 카메라 센서(111~114)를 포함할 수 있다. 또한, 차량(100)의 라이다 센서(120)는 차량(100)에 마련되는 적어도 하나의 라이다 센서(121~125)를 포함 수 있다.
카메라(110)는 물체의 영상을 획득하고, 차량(100) 내 다양한 구성요소에 영상 데이터를 제공할 수 있다. 즉, 카메라(110)는 차량(100) 주변의 차선 정보를 획득하고, 제어부(150)에 차선 정보를 전달할 수 있다.
카메라(110)는 차량(100)의 전방, 측방 및 후방에 마련되는 카메라 센서(111~114)일 수 있다. 차량(100)의 전방, 측방 및 후방에 마련되는 카메라 센서(111~114)는 차량(100)의 주변 영상을 분석하거나 차량(100)의 주행 상태 파악에 이용될 수 있다.
라이다 센서(120)는 물체에 전자파보다 짧은 파장을 갖는 레이저(예를 들어, 적외선, 가시광선 등)를 조사하고, 물체로부터 반사된 광을 수신하여 물체의 거리, 방향, 고도, 속도 등을 알 수 있는 감지 센서를 의미한다. 라이다 센서(120)는 레이저를 전송하는 광원과 반사광을 수신하는 수신부를 포함할 수 있다.
라이다 센서(120)는 차량(100)의 주변의 이동 객체(예를 들어, 다른 차량, 보행자, 사이클리스트 등)의 상대 위치, 상대 속도 등을 획득할 수 있다. 또한, 라이다 센서(120)는 주변의 고정 객체(예를 들어, 차선, 건물, 표지판, 신호등, 방지턱 등)의 형상 및 위치를 획득할 수 있다.
즉, 라이다 센서(120)는 차량(100) 주변의 차선에 레이저를 조사하고, 차선으로부터 반사된 광을 수신하여 차선 정보를 획득할 수 있으며, 제어부(150)에 차선 정보를 제공할 수 있다.
라이다 센서(120)는 차량(100)의 외부 전방, 측방 및 후방에 마련되는 적어도 하나의 센서(121~124)일 수 있다. 차량(100)의 외부 전방, 측방 및 후방에 마련되는 적어도 하나의 라이다 센서(121~124)는 차량(100) 주변의 물체와의 거리를 감지할 수 있다.
라이다 센서(120)는 차량(100)의 루프에 마련되는 원형 라이다 센서(125)일 수 있다. 차량(100)의 루프에 마련된 원형 라이다 센서(125)는 차량(100) 주변의 3차원 영상 수집에 이용될 수 있으며, 차량(100)에 근접한 물체 및 물체와의 거리를 감지할 수 있다.
종래에는 카메라 센서가 획득한 차선 정보에 기초하여 차선 유지 보조(Lane Keeping Assist, LKA)와, 차로 유지 보조(Lane Following Assist, LFA)를 수행하였다. 이때, 카메라 센서는 날씨의 영향을 받는 문제가 있었다. 예를 들어, 햇빛이 너무 강하거나, 눈이 카메라 센서를 가리면 카메라 센서가 차선을 인식하지 못하는 문제가 발생할 수 있다. 또한, 카메라 센서가 획득한 정보에 기초하여 차량(100)에서 차선까지의 거리를 측정하면, 라이다 센서(120)를 이용한 경우에 비하여 정확도가 낮은 문제가 생길 수 있다.
따라서, 단순히 카메라 센서가 획득한 차선 정보를 이용하는 것보다 라이다 센서(120)가 획득한 차선 정보도 이용하여 LKA 및 LFA를 수행하는 것이 바람직할 수 있다.
도 2는 일 실시예에 따른 차량의 제어 블록도이다.
도 2를 참조하면, 일 실시예에 따른 차량(100)은 카메라(110), 라이다 센서(120), GPS 모듈(130), 통신부(140), 제어부(150), 가속 시스템(160), 제동 시스템(170), 조향 시스템(180)을 포함할 수 있다.
제어부(150)는 예를 들어 카메라(110) 및/또는 라이다 센서(120)와 분리되어 마련될 수 있다. 제어부(150)는 카메라(110) 및/또는 라이다 센서(120)와 분리된 하우징에 설치될 수 있으며, 넓은 대역폭의 통신 네트워크를 통하여 카메라(110) 및/또는 라이다 센서(120)와 데이터를 주고받을 수 있다. 이러한 제어부(150)는 ECU (Electronic Control Unit) 또는 DCU (Domain Control Unit) 등 다양하게 호칭될 수 있다.
제어부(150)는 운전자에게 다양한 기능을 제공할 수 있다. 예를 들어, 제어부(150)는 차선 유지 보조(Lane Keeping Assist, LKA)와, 차로 유지 보조(Lane Following Assist, LFA)와, 차선 이탈 경고(Lane Departure Warning, LDW)와, 상향등 보조(High Beam Assist, HBA)와, 자동 긴급 제동(Autonomous Emergency Braking, AEB)과, 교통 표지판 인식(Traffic Sign Recognition, TSR)과, 스마트 크루즈 컨트롤(Smart Cruise Control, SCC)과, 사각지대 감지(Blind Spot Detection, BSD) 등을 제공할 수 있다.
제어부(150)는 카메라(110)에서 획득한 영상 데이터와 라이다 센서(120)에서 획득한 감지 데이터(라이다 데이터)를 처리하고, 영상 데이터와 라이다 데이터를 처리한 것에 응답하여 차량(100)이 주행 중인 도로의 환경, 차량(100)의 측방에 위치하는 차선을 감지할 수 있다.
가속 시스템(160)은 엔진 관리 시스템과 엔진을 포함하며, 제동 시스템(170)은 전자식 제동 제어 모듈과 제동 장치를 포함하며, 조향 시스템(180)은 전자식 조향 장치와 조향 장치를 포함할 수 있다.
제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다. 구체적으로, 제어부(150)는 가속 시스템(160), 제동 시스템(170) 및 조향 시스템(180)을 제어하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
예를 들어, 제어부(150)는 차량(100)이 이웃 차로를 침범하지 않도록 하기 위하여 차량(100)과 차선 사이의 거리가 미리 설정된 거리 이하이면, 차량(100)이 더 이상 차선과 가까워 지지 않도록 가속 시스템(160), 제동 시스템(170) 및 조향 시스템(180)을 제어할 수 있다.
한편, 전술한 바와 같이 평소에는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보도 이용하여 LKA 및 LFA를 수행하더라도, 카메라(110)가 차선 정보를 획득하지 못하는 경우가 발생할 수 있다.
예를 들어, 차량(100)이 터널(300)에 진입하여 차량(100) 주변 환경이 어두워 졌거나, 카메라(110)에 비추는 역광이 너무 강하거나, 눈이나 낙엽 등이 카메라(110)를 가리면 카메라(110)가 차선을 인식하지 못하는 문제가 발생할 수 있다.
이처럼 카메라(110)가 획득한 차선 정보를 이용하는 것이 바람직하지 않은 상황이면, 제어부(150)는 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
카메라(110)가 획득한 차선 정보를 이용하는 것이 바람직하지 않은 상황의 구체적인 실시예는 도3 내지 도6에서 후술하도록 한다.
차량(100)의 제어부(150)가 완전 자율 주행을 수행하기 위해서는, 차량(100)의 측위 정보를 파악할 수 있어야 한다. 이에 따라, 제어부(150)는 GPS(Global Position System) 모듈(130)이 전달하는 정보를 이용할 수 있다.
GPS 모듈(130)은 적어도 하나의 GPS(Global Position System) 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 제어부(150)는 위성 신호에 기초하여 차량(100)의 현재 위치 및 차량(100)의 진행 방향 등을 획득할 수 있다.
GPS 모듈(130)은 GPS 위성이 송신한 GPS 정보를 수신할 수 있다. GPS 모듈(130)은 GPS정보를 제어부(150)에 전달할 수 있다. GPS 모듈(130)이 GPS정보를 제어부(150)에 전달하면, 제어부(150)는 GPS위성이 송신한 GPS정보에 담긴 시간 정보와 GPS 송신기가 GPS정보를 수신한 시간을 비교함으로써 위성과 GPS 수신기 간의 거리를 계산하고, 계산된 거리에 기초하여 GPS 모듈(130)의 현재 위치를 판단할 수 있다. 이 경우, 제어부(150)는 GPS 모듈(130)의 현재 위치를 절대 좌표계 상에서의 위치 좌표로서 나타낼 수 있다. 이와 같이 차량(100)의 제어부(150)는 전달받은 GPS정보에 기초하여 차량(100)의 위치 정보를 생성할 수 있다.
또한, 통신부(140)는 서버(200)로부터 차량(100)의 현재 위치에서의 맵 정보를 수신할 수 있다. 이때, 맵 정보는 고정밀 지도(High Definition Map)의 정보일 수 있으며, 고정밀 지도란 도로 중심선, 경계선 등의 차선 단위 정보는 물론, 신호등, 표지판, 연석, 마크, 각종 구조물 등의 정보가 3차원의 디지털 형태로 포함되어 있는 지도를 의미할 수 있다.
이처럼, 통신부(140)는 무선통신망을 통해 서버(200)로 각종 신호 및 정보를 송신하거나, 서버(200) 로부터 각종 신호 및 정보를 수신할 수 있다.
여기서 무선통신망은 신호를 무선으로 주고 받을 수 있는 통신망을 의미한다. 예를 들어, 무선통신망은 3G 통신망, 4G 통신망, 5G 통신망 등을 포함하나, 이에 한정되는 것은 아니다.
통신부(140)는 서버(200)로부터 수신한 신호 및 정보를 제어부(150)로 전달할 수 있다.
제어부(150)는 GPS 모듈(130)로부터 획득한 GPS 데이터 및/또는 라이다 센서(120)를 통해 획득한 데이터 및/또는 통신부(140)를 통해 획득한 고정밀 지도를 처리하고, 처리 결과에 따라 차량(100)의 측위 정보를 획득할 수 있으며, 차량(100)의 거동을 제어할 수 있다.
제어부(150)는 프로세서와 메모리를 포함할 수 있다. 프로세서는 카메라(110)의 영상 데이터와 라이다의 라이다 데이터를 처리하고, 가속 시스템(160), 제동 시스템(170) 및 조향 시스템(180)을 제어하기 위한 구동 신호, 제동 신호 및 조향 신호를 생성할 수 있다. 예를 들어, 프로세서는 카메라(110)의 영상 데이터를 처리하는 이미지 프로세서 및/또는 라이다의 라이다 데이터를 처리하는 디지털 시그널 프로세서 및/또는 구동 신호와 제동 신호와 조향 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)를 포함할 수 있다.
메모리는 프로세서가 영상 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 레이더 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 프로세서가 구동 신호 및/또는 제동 신호 및/또는 조향 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리는 카메라(110)로부터 수신된 영상 데이터 및/또는 전방 레이더로부터 수신된 레이더 데이터를 임시로 기억하고, 프로세서의 영상 데이터 및/또는 레이더 데이터의 처리 결과를 임시로 기억할 수 있다.
메모리는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
이상의 전자 부품들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 전장 부품들은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다.
도 3은 일 실시예에 따른 차량이 차선 정보에 기초하여 차선을 이탈하지 않도록 주행하는 것을 도시한 도면이고, 도 4는 일 실시예에 따른 차량이 차선 정보에 기초하여 차로의 중앙을 따라 주행하는 것을 도시한 도면이다.
도 3을 참조하면, 제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
구체적으로, 차로의 중앙을 따라 주행하던 차량(100)이 운전자의 부주의를 원인으로 좌측의 차선에 가까워지면, 제어부(150)는 가속 시스템(160), 제동 시스템(170) 및 조향 시스템(180)을 제어하여 차량(100)이 좌측 차선을 이탈하여 좌측 차로를 침범하지 않도록 제어할 수 있다.
이 과정에서 제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 좌측 차선에 가까워지는지 여부를 알 수 있다.
한편, 차량(100)의 주행 중 각종 오염물질이 카메라(110)의 외부 표면에 부착되는 문제가 발생할 수 있다. 예를 들어, 빗물에 의한 카메라(110)의 획득 영상의 왜곡, 곤충에 의한 카메라(110) 타격 및 오염, 비닐 봉지 및 낙엽에 의한 카메라(110) 가림, 눈에 의한 카메라(110) 가림, 웅덩이에서 튄 물에 의한 카메라(110)의 오염 등의 문제가 발생할 수 있다. 이러한 오염이 발생할 경우, 카메라(110)는 정상적으로 차선 정보를 획득하지 못할 수 있다.
오염도는 차량(100) 외부의 오염 물질에 의하여 카메라(110) 표면이 가려졌을 때, 카메라(110) 표면이 오염된 정도를 나타내는 값일 수 있다. 예를 들어, 오염도는 카메라(110) 표면 전체 면적에 대한 오염 물질로 가려진 카메라(110) 표면 면적의 비율일 수 있으나, 이에 한정되는 것은 아니다.
제어부(150)는 카메라(110)가 현재 출력하고 있는 영상 출력값 및 기준 영상 출력값에 기초하여 카메라(110)의 오염도를 결정할 수 있다.
기준 영상 출력값은 카메라(110) 표면이 오염되지 않은 경우 카메라(110)가 출력하는 영상 출력값일 수 있다. 기준 영상 출력값은 미리 정해진 일정한 값일 수 있다. 다만, 차량(100)이 주행하는 경우 오염되지 않은 카메라(110)가 출력하는 영상 출력값 또한 계속 변할 수 있으므로 기준 영상 출력값은 차량 주행 상황에 따라 변하는 값일 수도 있다.
카메라(110)가 현재 출력하고 있는 영상 출력값 및 기준 영상 출력값을 비교했을 때 일정한 크기 이상의 차이가 있으면 카메라(110) 자체가 손상되었거나 카메라(110) 표면이 오염된 경우일 수 있다. 이때, 카메라(110)는 자체적으로 카메라(110) 자체가 손상된 것인지 여부를 판단할 수 있다. 제어부(150)는 카메라(110) 자체가 손상된 것이 아니라고 판단되면 카메라(110)의 영상 출력값과 기준 영상 출력값에 기초하여 카메라(110)의 오염도를 결정할 수 있다.
구체적으로, 카메라(110)의 표면이 가려져 오염된 경우 카메라(110)의 가려지지 않은 부분은 계속 외부 정보를 획득하지만, 가려진 부분은 외부 정보를 획득하지 못할 수 있다. 이때, 카메라(110)의 영상 출력값은 기준 영상 출력값보다 작은 값을 나타낼 수 있다.
제어부(150)는 기준 영상 출력값에 대한 카메라(110)의 현재 영상 출력값의 비율을 오염도로 결정할 수 있다.
기준 오염도는 카메라(110)의 성능에 영향을 주는 오염도일 수 있다. 즉, 기준 오염도는 카메라(110)가 획득하는 차선 정보를 배제할지 여부를 결정하는데 기준이 되는 오염도일 수 있다. 기준 오염도는 사용자가 미리 설정할 수 있으며, 기준 오염도의 값은 10%가 적당할 수 있으나 이에 한정되는 것은 아니다.
제어부(150)는 카메라(110)의 오염도가 기준 오염도 이상이면, 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
한편, 차량(100)의 주행 중 카메라(110)를 향해 비추는 강한 역광으로 인하여 카메라(110)가 차선 정보를 정상적으로 획득하지 못하는 문제가 발생할 수 있다. 예를 들어, 차량(100)이 획득한 영상 정보에서 기준 밝기 이상의 광원이 존재하면 카메라(110)가 차선 정보를 정상적으로 획득하지 못할 수 있다.
기준 밝기는 카메라(110)가 획득하는 차선 정보를 배제할지 여부를 결정하는데 기준이 되는 광원의 밝기일 수 있다. 기준 오염도는 사용자가 미리 설정할 수 있다.
제어부(150)는 카메라(110)에서 획득하는 영상 정보에서 기준 밝기 이상의 광원이 존재하면, 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
도 4를 참조하면, 제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차로의 중앙을 따라 주행하도록 제어할 수 있다.
구체적으로, 제어부(150)는 가속 시스템(160), 제동 시스템(170) 및 조향 시스템(180)을 제어하여 차량(100)이 차로의 중앙을 따라 주행하도록 제어할 수 있다.
이때, 제어부(150)는 차량(100)이 차로의 중앙을 따라 주행하도록 하기 위하여 차량(100)과 차량(100) 좌측의 차선간 거리 및 차량(100)과 차량(100) 우측의 차선간 거리가 동일하도록 가속 시스템(160), 제동 시스템(170) 및 조향 시스템(180)을 제어할 수 있다.
한편, 차량(100)의 주행 중 각종 오염물질이 카메라(110)의 외부 표면에 부착되는 문제가 발생하면 카메라(110)가 획득하는 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보를 이용하는 것이 바람직할 수 있다.
제어부(150)는 카메라(110)의 오염도가 기준 오염도 이상이면, 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차로의 중앙을 따라 주행하도록 제어할 수 있다.
또한, 차량(100)의 주행 중 카메라(110)를 향해 비추는 강한 역광으로 인하여 카메라(110)가 차선 정보를 정상적으로 획득하지 못하는 문제가 발생하면, 카메라(110)가 획득하는 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보를 이용하는 것이 바람직할 수 있다.
제어부(150)는 카메라(110)에서 획득하는 영상 정보에서 기준 밝기 이상의 광원이 존재하면, 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차로의 중앙을 따라 주행하도록 제어할 수 있다.
도 5는 차량이 터널에 진입한 상황을 도시한 도면이며, 도 6은 차량이 터널에서 나온 상황을 도시한 도면이다.
도 5를 참고하면, 제어부(150)는 차량(100)이 터널(300)에 진입하면, 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
구체적으로, 제어부(150)는 GPS 모듈(130)이 수신한 차량(100)의 위치 정보 및 통신부(140)가 서버(200)로부터 획득한 맵 정보에 기초하여 차량(100)이 터널(300)에 진입했는지 여부를 판단할 수 있다. 이때, 차량(100)이 터널(300)에 진입했다고 판단되면, 제어부(150)는 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
또한, 제어부(150)는 카메라(110)가 획득하는 영상 정보에 기초하여 차량(100)의 터널(300) 진입 여부를 판단할 수 있다. 예를 들어, 카메라(110)가 획득한 영상 정보에 터널(300)로 인식되는 물체의 이미지 또는 전방에 터널(300)이 있다는 표시판의 이미지가 포함된 경우, 제어부(150)는 일정 시간이 지난 후 차량(100)이 터널(300)에 진입했다고 판단할 수 있다.
제어부(150)는 차량(100)이 터널(300)에 진입했다고 판단되면, 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차로의 중앙을 따라 주행하도록 제어할 수 있다.
도 6을 참고하면, 차량(100)이 터널(300)에서 빠져 나온 경우, 카메라(110)가 차선 정보를 정상적으로 획득하는 것이 가능할 수 있다. 즉, 이 경우 라이다 센서(120)가 획득하는 차선 정보 뿐 아니라 카메라(110)가 획득하는 차선 정보도 이용하여 차량(100)의 주행을 제어하는 것이 바람직할 수 있다.
제어부(150)는 차량(100)이 터널(300)의 안으로 진입한 것으로 판단한 후, 차량(100)의 위치 정보 및 맵 정보에 기초하여 차량(100)이 터널(300)의 밖으로 나왔는지 여부를 판단할 수 있다.
또한, 제어부(150)는 차량(100)이 터널(300)의 안으로 진입한 것으로 판단한 후, 카메라(110)가 획득하는 영상 정보에 기초하여 차량(100)이 터널(300)의 밖으로 나왔는지 여부를 판단할 수 있다.
이때, 차량(100)이 터널(300)의 밖으로 나온 것으로 판단되면, 제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다.
이상에서 설명된 구성요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 7은 일 실시예에 따른 절차흐름도이다. 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일뿐이며, 필요에 따라 일부 구성이 추가되거나 삭제될 수 있음은 물론이다.
도 7을 참조하면, 카메라(110) 및 라이다 센서(120)는 차선 정보를 획득할 수 있다(1001). 이때, 카메라(110) 및 라이다 센서(120)는 획득한 차선 정보를 제어부(150)에 전달할 수 있다.
GPS 모듈(130)은 차량(100)의 위치 정보를 수신할 수 있다(1002). 이때, GPS 모듈(130)은 수신한 차량(100)의 위치 정보를 제어부(150)에 전달할 수 있다.
통신부(140)는 서버(200)로부터 차량(100)의 현재 위치에서의 맵 정보를 수신할 수 있다(1003).
제어부(150)는 차량(100)이 터널(300)에 진입했는지 여부를 판단할 수 있다(1004).
이때, 제어부(150)는 차량(100)의 위치 정보 및 맵 정보에 기초하여 차량(100)이 터널(300)에 진입했는지 여부를 판단할 수 있다. 한편, 제어부(150)는 카메라(110)가 획득하는 영상 정보에 기초하여 차량(100)의 터널(300) 진입 여부를 판단할 수도 있다.
만약 제어부(150)가 차량(100)이 터널(300)에 진입하지 않았다고 판단한 경우(1004의 '아니오'), 제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다(1007).
만약 제어부(150)가 차량(100)이 터널(300)에 진입했다고 판단한 경우(1004의 '예'), 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다(1005).
이후, 제어부(150)는 차량(100)이 터널(300) 밖으로 나왔는지 여부를 판단할 수 있다(1006). 이때, 제어부(150)는 차량(100)의 위치 정보 및 맵 정보에 기초하여 차량(100)이 터널(300)의 밖으로 나왔는지 여부를 판단할 수 있으며, 카메라(110)가 획득하는 영상 정보에 기초하여 차량(100)이 터널(300)의 밖으로 나왔는지 여부를 판단할 수도 있다.
만약 제어부(150)가 차량(100)이 터널(300)을 나오지 않았다고 판단한 경우(1006의 '아니오'), 제어부(150)는 계속해서 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다(1005).
만약 제어부(150)가 차량(100)이 터널(300)을 나왔다고 판단한 경우(1006의 '예'), 제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다(1007).
도 8은 또 다른 실시예에 따른 절차흐름도이다.
도 8을 참조하면, 카메라(110) 및 라이다 센서(120)는 차선 정보를 획득할 수 있다(2001). 이때, 카메라(110) 및 라이다 센서(120)는 획득한 차선 정보를 제어부(150)에 전달할 수 있다.
제어부(150)는 카메라(110)의 오염도가 기준 오염도 이상인지 여부를 판단할 수 있다(2002).
만약 카메라(110)의 오염도가 기준 오염도 이상이면(2002의 '예'), 제어부(150)는 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다(2005).
만약 카메라(110)의 오염도가 기준 오염도 미만이면(2002의 '아니오'), 제어부(150)는 카메라(110)의 영상 정보에서 기준 밝기 이상의 광원이 존재하는지 여부를 판단할 수 있다(2003).
만약 카메라(110)의 영상 정보에서 기준 밝기 이상의 광원이 존재하면(2003의 '예'), 제어부(150)는 카메라(110)가 획득한 차선 정보를 배제하고, 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다(2005).
만약 카메라(110)의 영상 정보에서 기준 밝기 이상의 광원이 존재하지 않으면(2003의 '아니오'), 제어부(150)는 카메라(110) 및 라이다 센서(120)가 획득한 차선 정보에 기초하여 차량(100)이 차선을 이탈하지 않도록 제어할 수 있다(2004).
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 차량
110: 카메라
120: 라이다 센서
130: GPS 모듈
140: 통신부
150: 제어부
160: 가속 시스템
170: 제동 시스템
180: 조향 시스템
200: 서버
300: 터널

Claims (21)

  1. 차량의 주행을 보조하는 장치에 있어서,
    상기 차량에 마련된 카메라;
    상기 차량에 마련된 라이다(Lidar) 센서; 및
    상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 제어부;를 포함하는 차량에 있어서,
    상기 제어부는,
    상기 차량이 터널에 진입하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 차량의 GPS 모듈을 통하여 획득된 위치 정보 및 상기 차량의 통신부를 통하여 획득된 맵 정보에 기초하여 상기 차량의 상기 터널 진입 여부를 판단하는 장치.
  3. 제2항에 있어서, 상기 제어부는,
    상기 차량이 상기 터널의 안으로 진입한 것으로 판단한 후, 상기 차량의 위치 정보 및 상기 맵 정보에 기초하여 상기 차량이 상기 터널의 밖으로 나왔는지 여부를 판단하고,
    상기 차량이 상기 터널의 밖으로 나온 것으로 판단되면, 상기 카메라 및 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 장치.
  4. 제1항에 있어서, 상기 제어부는,
    상기 카메라가 획득하는 영상 정보에 기초하여 상기 차량의 터널 진입 여부를 판단하는 장치.
  5. 제4항에 있어서, 상기 제어부는,
    상기 차량이 상기 터널의 안으로 진입한 것으로 판단한 후, 상기 카메라가 획득하는 영상 정보에 기초하여 상기 차량이 상기 터널의 밖으로 나왔는지 여부를 판단하고,
    상기 차량이 상기 터널의 밖으로 나온 것으로 판단되면, 상기 카메라 및 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하고,
    상기 차량이 상기 터널에 진입하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하는 장치.
  7. 차량의 주행을 보조하는 장치에 있어서,
    상기 차량에 마련된 카메라;
    차상기 량에 마련된 라이다 센서; 및
    상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 제어부;를 포함하는 차량에 있어서,
    상기 제어부는,
    상기 카메라의 오염도가 기준 오염도 이상이면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 장치.
  8. 제7항에 있어서, 상기 제어부는,
    상기 카메라의 영상 출력값 및 기준 영상 출력값에 기초하여 상기 카메라의 오염도를 결정하는 장치.
  9. 제7항에 있어서, 상기 제어부는,
    상기 카메라에서 획득하는 영상 정보에서 기준 밝기 이상의 광원이 존재하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 제어하는 장치.
  10. 제7항에 있어서, 상기 제어부는,
    상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하고,
    상기 카메라의 오염도가 기준 오염도 이상이면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하는 장치.
  11. 제10항에 있어서, 상기 제어부는,
    상기 카메라에서 획득하는 영상 정보에서 기준 밝기 이상의 광원이 존재하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하는 장치.
  12. 차량의 주행을 보조하는 방법에 있어서,
    카메라 및 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하고;
    상기 차량이 터널에 진입하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 상기 차량을 제어하는 것;을 포함하는 방법.
  13. 제12항에 있어서,
    상기 차량의 GPS 모듈이 상기 차량의 위치 정보를 수신하고;
    서버로부터 맵 정보를 획득하고;
    상기 차량의 위치 정보 및 상기 맵 정보에 기초하여 상기 차량의 상기 터널 진입 여부를 판단하는 것;을 더 포함하는 방법.
  14. 제13항에 있어서,
    상기 차량이 상기 터널의 안으로 진입한 것으로 판단한 후, 상기 차량의 위치 정보 및 상기 맵 정보에 기초하여 상기 차량이 상기 터널의 밖으로 나왔는지 여부를 판단하고;
    상기 차량이 상기 터널의 밖으로 나온 것으로 판단되면, 상기 카메라 및 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 제어하는 것;을 더 포함하는 방법.
  15. 제12항에 있어서,
    상기 카메라가 획득하는 영상 정보에 기초하여 상기 차량의 터널 진입 여부를 판단하는 것;을 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 차량이 상기 터널의 안으로 진입한 것으로 판단한 후, 상기 카메라가 획득하는 영상 정보에 기초하여 상기 차량이 상기 터널의 밖으로 나왔는지 여부를 판단하고;
    상기 차량이 상기 터널의 밖으로 나온 것으로 판단되면, 상기 카메라 및 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 제어하는 것;을 더 포함하는 방법.
  17. 제12항에 있어서,
    상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하고;
    상기 차량이 상기 터널에 진입하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하는 것;을 더 포함하는 방법.
  18. 제12항에 있어서,
    상기 카메라의 오염도가 기준 오염도 이상이면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 제어하는 것;을 더 포함하는 방법.
  19. 제12항에 있어서,
    상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하고;
    상기 카메라의 오염도가 기준 오염도 이상이면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하는 것;을 더 포함하는 방법.
  20. 제12항에 있어서,
    상기 카메라에서 획득하는 영상 정보에서 기준 밝기 이상의 광원이 존재하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차선을 이탈하지 않도록 제어하는 것;을 더 포함하는 방법.
  21. 제12항에 있어서,
    상기 카메라 및 상기 라이다 센서가 획득한 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하고;
    상기 카메라에서 획득하는 영상 정보에서 기준 밝기 이상의 광원이 존재하면, 상기 카메라가 획득한 상기 차선 정보를 배제하고, 상기 라이다 센서가 획득한 상기 차선 정보에 기초하여 상기 차량이 차로의 중앙을 따라 주행하도록 제어하는 것;을 더 포함하는 방법.
KR1020210055234A 2021-04-28 2021-04-28 차량의 주행을 보조하는 장치 및 그 방법 KR20220148378A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210055234A KR20220148378A (ko) 2021-04-28 2021-04-28 차량의 주행을 보조하는 장치 및 그 방법
US17/730,482 US20220348199A1 (en) 2021-04-28 2022-04-27 Apparatus and method for assisting driving of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210055234A KR20220148378A (ko) 2021-04-28 2021-04-28 차량의 주행을 보조하는 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220148378A true KR20220148378A (ko) 2022-11-07

Family

ID=83809144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210055234A KR20220148378A (ko) 2021-04-28 2021-04-28 차량의 주행을 보조하는 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20220348199A1 (ko)
KR (1) KR20220148378A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769412B2 (en) * 2020-06-10 2023-09-26 Hyundai Mobis Co., Ltd. Rear side warning system and method for vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817804B2 (ja) * 2016-12-16 2021-01-20 クラリオン株式会社 区画線認識装置
FR3094511B1 (fr) * 2019-03-25 2021-04-09 Alstom Transp Tech Procédé d’acquisition de données capturées par un module de capture embarqué dans un engin mobile suivant une trajectoire prédéterminée, programme d’ordinateur et dispositif correspondants

Also Published As

Publication number Publication date
US20220348199A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
US11852498B2 (en) Lane marking localization
US11073832B1 (en) Collision mitigation static occupancy grid
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
CN107031650B (zh) 基于驾驶员肢体语言来预测车辆运动
CN104691447B (zh) 用于动态地聚焦车辆传感器的***和方法
JP4044031B2 (ja) 車両用走行支援装置
KR20190062390A (ko) 검출된 배리어에 기반한 차량의 항법
KR102004062B1 (ko) 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차
CN113508277A (zh) 车道标记定位和融合
US11987239B2 (en) Driving assistance device
KR101281629B1 (ko) 센서를 이용한 운전 안내 시스템
JP2023504604A (ja) 車両を選択的に減速させるシステムおよび方法
KR101281499B1 (ko) 자동차 자동 운행 시스템
CN114194186B (zh) 车辆行驶控制装置
US20220348199A1 (en) Apparatus and method for assisting driving of vehicle
US8681219B2 (en) System and method for driving assistance at road intersections
KR20170082374A (ko) 차선 인식장치
US20230150534A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
CN114194187B (zh) 车辆行驶控制装置
KR20230071926A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071924A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071922A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071923A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071611A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법
KR20230071612A (ko) 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법