KR101316353B1 - Apparatus and method for generating traffic lane of surrounding of vehicle - Google Patents
Apparatus and method for generating traffic lane of surrounding of vehicle Download PDFInfo
- Publication number
- KR101316353B1 KR101316353B1 KR1020120058806A KR20120058806A KR101316353B1 KR 101316353 B1 KR101316353 B1 KR 101316353B1 KR 1020120058806 A KR1020120058806 A KR 1020120058806A KR 20120058806 A KR20120058806 A KR 20120058806A KR 101316353 B1 KR101316353 B1 KR 101316353B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- lane
- surrounding
- lanes
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 abstract description 3
- 238000001454 recorded image Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0057—Frequency analysis, spectral techniques or transforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 차량 주변의 차선 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 카메라 기반 차선 감지 시스템 동작에 의해 차선이 감지되지 않는 경우, 거리측정센서를 통한 거리 기반 주변차량을 감지하여 주변차량의 위치를 근거로 차선을 예측하여 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a lane around a vehicle, and more particularly, when a lane is not detected by a camera-based lane detecting system operation, detecting a distance-based peripheral vehicle through a distance measuring sensor to locate a surrounding vehicle. The present invention relates to an apparatus and a method for predicting and generating a lane based on the method.
일반적으로, 주행 중인 차량의 차선 감지는 차량 전방에 구비된 카메라를 통해 촬영되는 영상을 기반으로 하여 차선의 색 또는 에지 등을 추출함으로써 행해진다.In general, lane detection of a driving vehicle is performed by extracting a color or an edge of a lane based on an image captured by a camera provided in front of the vehicle.
그러나, 카메라 기반의 차선 감지는 날씨 또는 외부 밝기에 따라 제대로 행해지지 않을 수 있다. 예를 들어, 맑은 날씨에는 도로 상의 차선을 쉽게 감지할 수 있지만, 주변이 어둡거나, 눈 또는 비 등으로 인해 날씨가 안 좋은 상황에서는 카메라를 통해 촬영되는 영상을 통해서는 차선을 제대로 감지하지 못하거나, 좁은 시야의 차선을 감지할 수 있는 정도에 그친다. 또한, 햇빛이 강한 경우에도 역광 등으로 인해 카메라를 통해 촬영된 영상을 통해 차선을 쉽게 감지하지 못 할 수도 있다.However, camera-based lane detection may not be performed properly depending on the weather or external brightness. For example, you can easily detect lanes on the road in clear weather, but you may not be able to detect lanes properly through video taken by the camera in dark surroundings or in bad weather due to snow or rain. It is only enough to detect lanes with narrow field of view. Also, even in strong sunlight, lanes may not be easily detected through images taken by the camera due to backlight.
한편, 국내출원 제2010-0069537호에는 차량에 장착된 카메라 모듈을 통해 촬영된 차량 전방 영상을 통해 차선을 인식하는 기술이 개시되어 있다. 물론, 국내출원 제2010-0069537호는 기존의 차선 감시 시스템에 비해 차량의 진동이나 조명의 변화, 차선 변경 상황 등에도 강인한 차선 추적 방법을 제시하고 있긴 하나, 이 또한 카메라 촬영 영상으로부터 차선 후보점을 추출하여 차선을 예측하는 것이기 때문에, 도로가 전부 눈에 덮이거나 차선이 마모되어 차선 후보점 조차 추출할 수 없는 상황에서는 차선을 인지하는 것이 어렵게 된다.On the other hand, domestic application 2010-0069537 discloses a technology for recognizing the lane through the vehicle front image taken through the camera module mounted on the vehicle. Of course, domestic application 2010-0069537 proposes a lane tracking method that is more robust than the existing lane monitoring system in terms of vehicle vibration, lighting change, and lane change situation. Because it extracts and predicts the lane, it becomes difficult to recognize the lane in a situation where the road is entirely covered or the lane is worn out so that even a lane candidate point cannot be extracted.
본 발명의 목적은, 카메라 기반 차선 감지 시스템 동작에 의해 차선이 감지되지 않는 경우, 거리측정센서를 통해 주변차량을 감지하여 주변차량의 위치를 근거로 차선을 예측하여 운전자에게 차선을 안내할 수 있도록 하는 차량 주변의 차선 생성 장치 및 방법을 제공함에 있다.An object of the present invention, when the lane is not detected by the camera-based lane detection system operation, by detecting the surrounding vehicle through the distance sensor to predict the lane based on the position of the surrounding vehicle to guide the lane to the driver The present invention provides a lane generating apparatus and method around a vehicle.
본 발명의 다른 목적은, 거리측정센서를 통해 거리 기반의 차선 예측 시스템을 적용함으로써, 날씨, 조명 등 주변환경에 구애 받지 않고 운전자에게 차선을 안내할 수 있도록 하는 차량 주변의 차선 생성 장치 및 방법을 제공함에 있다.Another object of the present invention is to provide a lane generating apparatus and method around a vehicle that can guide a lane to a driver regardless of the surrounding environment such as weather and lighting by applying a distance-based lane prediction system through a distance sensor. In providing.
상기의 목적을 달성하기 위한 본 발명에 따른 차량 주변의 차선 생성 장치는, 차량 주행 중 카메라를 통한 촬영 영상으로부터 차선을 감지하는 차선 감지 시스템 동작에 의해 상기 차선이 감지되지 않는 경우, 상기 차량 전방에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정하는 거리 측정부, 상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 주변차량 인지부, 상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 주변차량 위치 복원부, 상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 도로 모델 생성부, 및 상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 차선 생성부를 포함하는 것을 특징으로 한다.The lane generation apparatus around the vehicle according to the present invention for achieving the above object, if the lane is not detected by the lane detection system operation for detecting the lane from the image captured by the camera while driving the vehicle, in front of the vehicle Distance measuring unit for measuring the distance to the surrounding vehicle through the distance measuring sensor provided, Peripheral vehicle recognition unit for recognizing the surrounding vehicle based on the distance measurement data from the distance measuring sensor, Front image reflecting the information of the surrounding vehicle A surrounding vehicle position restoring unit predicting a position of the surrounding vehicle on a top view image of the vehicle and restoring the position of the surrounding vehicle on the top view image of the vehicle; A road model generator configured to generate a road model based on the position of the vehicle, and the front image based on the road model And a lane generation unit configured to predict lanes on the road and generate lanes to be displayed on the display screen of the vehicle.
상기 거리측정데이터는 상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 한다.The distance measurement data may include raw data based on the position of the vehicle.
또한, 본 발명에 따른 차량 주변의 차선 생성 장치는, 상기 주변차량에 대응하여 측정된 상기 거리측정데이터의 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 변환하는 뷰 변환부를 더 포함하는 것을 특징으로 한다.The apparatus for generating lanes around a vehicle according to the present invention may further include: a view transformation for converting an image reflecting information of the surrounding vehicle into the top view image based on the raw data of the distance measurement data measured corresponding to the surrounding vehicle; It further comprises a wealth.
상기 디스플레이 화면은 상기 차량에 구비된 모니터, 네비게이션 및 HUD(Head Up Display) 중 적어도 하나의 화면인 것을 특징으로 한다.The display screen may be at least one of a monitor, a navigation, and a head up display (HUD) provided in the vehicle.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 차량 주변의 차선 생성 방법은, 차량 주행 중 카메라를 통한 촬영 영상으로부터 차선을 감지하는 차선 감지 시스템 동작에 의해 상기 차선이 감지되지 않는 경우, 상기 차량 전방에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정하는 단계, 상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 단계, 상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 단계, 상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 단계, 및 상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 단계를 포함하는 것을 특징으로 한다.On the other hand, the lane generation method around the vehicle according to the present invention for achieving the above object, if the lane is not detected by the lane detection system operation for detecting the lane from the image captured by the camera while driving the vehicle, Measuring the distance to the surrounding vehicle through the distance measuring sensor provided in the front, Recognizing the surrounding vehicle based on the distance measurement data from the distance measuring sensor, Top view of the front image reflecting the information of the surrounding vehicle reconstructing the position of the surrounding vehicle on the top view image by predicting the position of the surrounding vehicle on the image, based on the position of the surrounding vehicle and the position of the vehicle restored on the top view image Generating a road model, and predicting a lane on the front image based on the road model; Characterized in that it comprises generating a lane to be displayed on the screen.
상기 거리측정데이터는 상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 한다.The distance measurement data may include raw data based on the position of the vehicle.
또한, 본 발명에 따른 차량 주변의 차선 생성 방법은, 상기 주변차량을 인지하는 단계 이후에, 상기 주변차량에 대응하여 측정된 상기 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 뷰 변환하는 단계를 더 포함하는 것을 특징으로 한다.The method of generating a lane around a vehicle according to the present invention further includes, after the step of recognizing the surrounding vehicle, a top view of an image reflecting information of the surrounding vehicle based on the row data measured corresponding to the surrounding vehicle. The method may further include converting the view into an image.
또한, 본 발명에 따른 차량 주변의 차선 생성 방법은, 상기 차선을 생성하는 단계에서 생성된 상기 차선을 상기 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the lane generation method around the vehicle according to the invention, characterized in that it further comprises the step of displaying the lane generated in the step of generating the lane on the display screen.
본 발명에 따르면, 카메라 기반 차선 감지 시스템 동작에 의해 차선이 감지되지 않는 경우, 거리측정센서를 통해 주변차량을 감지하여 주변차량의 위치를 근거로 차선을 예측함으로써 날씨, 조명 등의 주변환경에 구애 받지 않고 운전자에게 차선을 안내할 수 있는 이점이 있다.According to the present invention, when the lane is not detected by the camera-based lane detection system operation, the surrounding vehicle is sensed by the distance measuring sensor to predict the lane based on the position of the surrounding vehicle, thereby surrounding the environment such as weather and lighting. There is an advantage of guiding the lane to the driver without receiving.
또한, 본 발명에 따른 거리 기반 차선 생성 기술을 LKAS(Lane Keeping Assist System) 및 SCC(Smart Cruise Control) 시스템 등에서도 활용될 수 있는 이점이 있다.In addition, there is an advantage that the distance-based lane generation technology according to the present invention can be used in a LKAS (Lane Keeping Assist System) and SCC (Smart Cruise Control) system.
도 1은 본 발명에 따른 차량 주변의 차선 생성 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 생성 동작을 설명하는데 참조되는 예시도이다.
도 3 내지 도 5는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 안내 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 차량 주변의 차선 생성 방법에 대한 동작 흐름을 도시한 순서도이다.1 is a block diagram showing a configuration of a lane generating apparatus around a vehicle according to the present invention.
2 is an exemplary view referred to for explaining a lane generation operation of a lane generation apparatus around a vehicle according to the present invention.
3 to 5 are exemplary views referred to for explaining a lane guidance operation of a lane generating apparatus around a vehicle according to the present invention.
6 is a flowchart illustrating an operation flow of a method for generating a lane around a vehicle according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명에 따른 차량 주변의 차선 생성 장치의 구성을 도시한 블록도이다.1 is a block diagram showing a configuration of a lane generating apparatus around a vehicle according to the present invention.
도 1을 참조하면, 본 발명에 따른 차량 주변의 차선 생성 장치(이하, '차선 생성 장치'라 칭한다.)는 제어부(110), 영상 획득부(120), 거리 측정부(130), 차선 감지부(140), 주변차량 인지부(150), 로우 데이터 획득부(160), 뷰 변환부(170), 주변차량 위치 복원부(180), 도로 모델 생성부(190), 차선 생성부(200), 저장부(210) 및 표시부(220)를 포함한다. 여기서, 제어부(110)는 차선 생성 장치의 각 부의 동작을 제어한다.Referring to FIG. 1, a lane generating apparatus (hereinafter, referred to as a “lane generating apparatus”) around a vehicle according to the present invention may include a
영상 획득부(120)는 차량에 구비된 카메라를 통해 촬영되는 차량의 전방 영상을 획득한다. 이때, 차량에 구비된 카메라는 하나일 수 있으나, 복수 개 일 수도 있다.The image acquisition unit 120 acquires a front image of the vehicle photographed through a camera provided in the vehicle. In this case, one camera may be provided in the vehicle, but a plurality of cameras may be provided.
차선 감지부(140)는 영상 획득부(120)의 카메라를 통해 촬영된 전방 영상을 분석하여 전방 영상에 포함된 차선을 감지한다.The
거리 측정부(130)는 차량에 구비된 거리측정센서를 통해 주변차량과의 거리를 측정한다. 이때, 거리측정센서는 초음파 및 레이저 등을 이용하여 주변차량과의 거리를 측정하는 것으로, 차량 전방에 구비되는 것이 바람직하다. 물론, 거리측정센서는 차량 전방의 좌/우 대각선 방향에 더 구비될 수도 있다. 여기서, 거리 측정부(130)는 차선 감지부(140)에 의해 차선이 감지되지 않는 경우에 동작하는 것으로 한다. 다시 말해, 날씨, 조명, 차선 마모 등의 주변상황에 의해 카메라를 통해 촬영된 전방 영상에 차선이 명확하지 않아 차선 감지부(140)가 차선을 감지하지 못하는 경우, 거리 측정부(130)는 거리 기반의 차선을 생성하기 위해 동작하게 된다.The
주변차량 인지부(150)는 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지한다. 여기서, 주변차량 인지부(150)는 전방 180도 이상의 범위에 위치한 주변차량을 인지하는 것으로 한다.The surrounding
로우 데이터 획득부(160)는 해당 차량, 즉, 자차의 위치를 기준으로 거리측정센서를 통해 측정된 거리측정데이터로부터 로우 데이터(row data)를 획득한다. 이때, 획득된 로우 데이터는 탑 뷰 영상에서 주변차량의 위치를 예측하는데 이용된다.The row
뷰 변환부(170)는 주변차량 인지부(150)에 의해 인지된 주변차량의 정보를 반영한 영상을 탑 뷰(top view) 영상으로 변환한다. 여기서, 주변차량의 정보를 반영한 영상은 거리측정센서가 주변차량을 감지하기 위해 신호를 송출하는 방향의 영상, 즉, 전방 영상인 것으로 함이 바람직하다. 이때, 주변차량의 정보를 반영한 영상은 실제 영상일 수 있으나, 차선 위치를 예측하기 위해 주변차량의 정보를 토대로 구현되는 가상 영상일 수 있다.The
주변차량 위치 복원부(180)는 뷰 변환부(170)에 의해 뷰 변환된 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 주변차량의 위치를 예측한다. 이때, 주변차량 위치 복원부(180)는 주변차량에 대응하는 로우 데이터에 근거하여 탑 뷰 영상 상에서 주변차량의 위치를 예측한다. 또한, 주변차량 위치 복원부(180)는 탑 뷰 영상 상에서 예측된 주변차량의 위치에 근거하여 주변차량의 위치를 복원한다.The surrounding vehicle
주변차량 위치 복원부(180)는 주변차량의 위치를 복원함에 있어서, 클러스터링 기법을 통해 노이즈를 제거한 후에 주변차량의 위치를 복원한다. 이때, 주변차량 위치 복원부(180)는 칼만 필터 및 파티클 필터 등을 이용한 필터링 기법을 적용할 수 있다.The surrounding vehicle
도로 모델 생성부(190)는 탑 뷰 영상 상에 위치 복원된 주변차량과 해당 차량, 즉 자차의 위치를 기준으로 도로 모델을 생성한다. 여기서, 도로 모델은 3차 이상의 다항식으로 이루어지는 방정식을 적용하여 생성되며, 방정식의 계수들을 조정함으로써 직선형, 나선형 및 원형 등의 도로를 모델링 할 수 있게 된다.The
차선 생성부(200)는 도로 모델 생성부(190)에 의해 생성된 도로 모델로부터 탑 뷰 영상 상에서 차선의 위치를 추정하고, 추정된 차선의 위치를 근거로 전방 영상 상의 차선을 예측한다. 또한, 차선 생성부(200)는 전방 영상 상에서 예측된 차선의 위치에 따라 표시부(220)의 화면에 표시할 차선을 생성한다. 차선 생성부(200)에 의해 생성된 차선 정보는 표시부(220)의 화면을 통해 표시된다. 여기서, 표시부(220)는 차량에 구비된 모니터, 네비게이션 및 HUD(Head Up Display) 중 적어도 하나를 포함할 수 있다.The
한편, 저장부(210)는 차선 생성 장치의 동작을 위한 설정값 및 측정 데이터 등이 저장되며, 주변차량의 정보, 도로 모델의 정보 및 차선의 정보 등이 저장될 수 있다.The
도 2는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 생성 동작을 설명하는데 참조되는 예시도이다.2 is an exemplary view referred to for explaining a lane generation operation of a lane generation apparatus around a vehicle according to the present invention.
도 2를 참조하면, (a)는 차량의 전방 영상이고, (b)는 차량 전방의 주변차량으로부터 감지된 거리측정데이터를 나타낸 것이다. 한편, 도 2의 (c)는 (b)의 탑 뷰 영상을 나타낸 것이고, (d)는 (c)의 로우 데이터를 기반으로 예측된 주변차량의 위치를 복원한 것이다. 또한, 도 2의 (e)는 (d)에서 복원된 주변차량의 위치와 자차의 위치를 기준으로 생성된 도로 모델을 나타낸 것이고, (f)는 (e)의 도로 모델에 기초하여 예측된 차선을 생성하여 디스플레이 화면을 통해 표시한 것이다.Referring to FIG. 2, (a) shows a front image of the vehicle, and (b) shows distance measurement data sensed from surrounding vehicles in front of the vehicle. Meanwhile, FIG. 2C shows the top view image of FIG. 2B, and FIG. 2D reconstructs the position of the neighboring vehicle predicted based on the row data of FIG. In addition, (e) of FIG. 2 shows a road model generated based on the position of the surrounding vehicle and the position of the own vehicle restored in (d), and (f) is a lane predicted based on the road model of (e) Is generated and displayed through the display screen.
다시 말해, 차선 생성 장치는 도 2의 (a)와 같이 카메라를 통해 촬영된 전방 영상 상에서 차선이 감지되지 않는 경우, 거리측정센서를 구동한다. 이 경우, 거리측정센서는 차량 주변에 위치한 주변차량들로 초음파 또는 레이저 등을 송출하여 반사된 신호로부터 해당 차량과 주변차량 간 거리를 측정한다.In other words, the lane generating apparatus drives the distance measuring sensor when the lane is not detected on the front image captured by the camera as shown in FIG. In this case, the distance measuring sensor transmits ultrasonic waves or lasers to surrounding vehicles located near the vehicle and measures the distance between the vehicle and the surrounding vehicle from the reflected signal.
이때, 거리측정센서에 의해 측정되는 거리측정데이터는 도 2의 (b)와 같이, 해당 차량과 대면하는 주변차량들의 후면 또는 측면이 다른 주변차량에 의해 중첩되지 않은 부분으로부터 반사된 신호에 근거하여 산출된 데이터이다.In this case, the distance measurement data measured by the distance measurement sensor is based on a signal reflected from a portion where the rear or side surfaces of the surrounding vehicles facing the vehicle are not overlapped by other surrounding vehicles, as shown in FIG. Calculated data.
차선 생성 장치는 도 2의 (b)에서 측정된 거리측정데이터의 로우 데이터에 근거하여 (c)와 같이 전방 영상을 해당 차량을 포함하는 탑 뷰 영상으로 변환한 후에, (d)와 같이 주변차량들의 위치를 예측하여 주변차량의 위치를 복원한다. 거리측정데이터는 주변차량들의 중첩되지 않은 후면 또는 측면에 대한 데이터이기 때문에, 이에 근거하여 주변차량의 위치를 복원하도록 한다.The lane generating apparatus converts the front image into the top view image including the vehicle as shown in (c) based on the row data of the distance measurement data measured in FIG. 2 (b), and then the surrounding vehicle as shown in (d). Predict the location of the vehicle to restore the position of the surrounding vehicles. Since the distance measurement data is data on the non-overlapping rear or side surfaces of the surrounding vehicles, the position of the surrounding vehicles is restored based on this.
도 2의 (e)는 도로 모델을 나타낸 것으로, 일반적으로 차량은 차선 변경을 하지 않는 한, 양측 차선 내에서 주행하기 때문에, 해당 차량과 위치 복원된 주변차량들의 위치를 기준으로 도로 형태를 예측할 수 있으며, 이를 토대로 도로 모델을 생성하게 된다.FIG. 2 (e) shows a road model. In general, since a vehicle travels in both lanes unless a lane is changed, the shape of the road can be predicted based on the position of the vehicle and the surrounding vehicles which are relocated. Based on this, a road model is generated.
도 2의 (e)와 같이 도로 모델이 완성되면, 차선 생성 장치는 도로 모델 상의 차선 위치에 근거하여 차량의 전방 영상 상에서 차선의 위치를 예측하고, 이를 토대로 차선을 생성하여, (f)와 같이 전방 영상을 통해 차선을 표시함으로써 운전자에게 차선을 안내하도록 한다. 이때, 차선은 HUD 등에 표시될 수 있으며, 운전자는 기상 악화 등으로 차선을 감지하기가 어려운 상황에서도 HUD 등을 통해 차선을 명확하게 인식할 수 있게 된다.When the road model is completed as shown in (e) of FIG. 2, the lane generating apparatus predicts the location of the lane on the front image of the vehicle based on the lane position on the road model, and generates a lane based on this, as shown in (f). The driver is guided to the lane by displaying the lane through the forward image. In this case, the lane may be displayed on the HUD, and the driver may clearly recognize the lane through the HUD even in a situation where it is difficult to detect the lane due to bad weather.
도 3 내지 도 5는 본 발명에 따른 차량 주변의 차선 생성 장치의 차선 안내 동작을 설명하는데 참조되는 예시도이다.3 to 5 are exemplary views referred to for explaining a lane guidance operation of a lane generating apparatus around a vehicle according to the present invention.
먼저, 도 3은 비로 인해 차선 인지가 어려운 상황에서의 차선 안내 동작을 나타낸 것이다. 도 3의 (a)에 도시된 바와 같이, 비가 오는 상황에서 주변차량들에 의해 발생하는 물보라 등으로 인해 운전자는 차선을 인지하는 것이 어렵다. 이 경우, 도 3의 (b)와 같이 본 발명에 따른 차선 생성 장치에 의해 생성된 차선을 해당 차량의 HUD 등을 통해 표시하면, 운전자는 비가 오는 상황에서도 차선을 명확하게 인식함으로써 안전운전을 할 수 있게 된다.First, FIG. 3 illustrates a lane guidance operation in a situation in which lane recognition is difficult due to rain. As shown in (a) of FIG. 3, it is difficult for a driver to recognize a lane due to a spray generated by surrounding vehicles in a rainy situation. In this case, if the lane generated by the lane generating apparatus according to the present invention is displayed through the HUD of the vehicle as shown in FIG. 3 (b), the driver may drive safely by clearly recognizing the lane even in a rainy situation. It becomes possible.
도 4는 눈으로 인해 차선 인지가 어려운 상황에서의 차선 안내 동작을 나타낸 것이다. 도 4의 (a)에 도시된 바와 같이, 도로에 눈이 쌓이게 되면 차선이 가려져 운전자는 차선을 인지하는 것이 어렵다. 이 경우, 도 4의 (b)와 같이 본 발명에 따른 차선 생성 장치에 의해 생성된 차선을 해당 차량의 HUD 등을 통해 표시하면, 운전자는 도로가 눈으로 덮인 상황에서도 차선을 명확하게 인식함으로써 안전운전을 할 수 있게 된다.4 illustrates a lane guidance operation in a situation in which lane recognition is difficult due to eyes. As shown in (a) of FIG. 4, when snow is accumulated on the road, the lane is blocked, and it is difficult for the driver to recognize the lane. In this case, when the lane generated by the lane generating apparatus according to the present invention is displayed through the HUD of the vehicle as shown in FIG. 4B, the driver clearly recognizes the lane even when the road is covered with snow. You can drive.
도 5는 안개로 인해 차선 인지가 어려운 상황에서의 차선 안내 동작을 나타낸 것이다. 도 5의 (a)에 도시된 바와 같이, 안개가 짙어지면 시야가 좁아져 운전자는 전방의 차선을 인지하는 것이 어렵다. 이 경우, 도 5의 (b)와 같이 본 발명에 따른 차선 생성 장치에 의해 생성된 차선을 해당 차량의 HUD 등을 통해 표시하면, 운전자는 안개가 짙게 낀 상황에서도 차선을 명확하게 인식함으로써 안전운전을 할 수 있게 된다.5 illustrates a lane guidance operation in a situation in which it is difficult to recognize a lane due to fog. As shown in FIG. 5A, when the fog becomes thick, the field of view becomes narrow, and it is difficult for the driver to recognize the lane ahead. In this case, when the lane generated by the lane generating apparatus according to the present invention is displayed through the HUD of the vehicle as shown in FIG. 5 (b), the driver clearly recognizes the lane even in a heavy fog, thereby driving safely. Will be able to.
상기와 같이 구성되는 본 발명에 따른 차량 주변의 차선 생성 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.Referring to the operation flow of the lane generating apparatus around the vehicle according to the present invention configured as described above in more detail.
도 6은 본 발명에 따른 차량 주변의 차선 생성 방법에 대한 동작 흐름을 도시한 순서도이다.6 is a flowchart illustrating an operation flow of a method for generating a lane around a vehicle according to the present invention.
도 6을 참조하면, 우선 차선 인식을 위해 카메라 기반 차선 감지 시스템을 동작한다(S100). 이때, 카메라 기반 차선 감지 시스템은 카메라를 통해 촬영되는 차량의 전방 영상을 분석하여 전방 영상에 포함된 차선을 감지하게 된다.Referring to FIG. 6, first, a camera-based lane detection system is operated for lane recognition (S100). At this time, the camera-based lane detection system detects the lane included in the front image by analyzing the front image of the vehicle photographed through the camera.
만일, 카메라 기반 차선 감지 시스템에 의해 차선 감지가 불가하게 되면(S110), 차선 생성 장치는 거리측정센서를 동작시켜(S120), 주변차량과의 거리를 측정하고, 거리측정센서에 의해 측정된 거리측정데이터에 근거하여 주변차량을 감지한다(S130). 이때, 차선 생성 장치는 거리측정데이터로부터 자차의 위치에 기반한 로우 데이터를 획득한다(S140).If the lane detection is disabled by the camera-based lane detecting system (S110), the lane generating apparatus operates the distance measuring sensor (S120) to measure the distance to the surrounding vehicle, and to measure the distance measured by the distance measuring sensor. The surrounding vehicle is sensed based on the measured data (S130). In this case, the lane generating apparatus obtains row data based on the position of the host vehicle from the distance measurement data (S140).
한편, 차선 생성 장치는 'S130' 과정에서 감지된 주변차량 정보 및 자차의 위치를 반영한 영상을 탑 뷰로 변환하고(S150), 로우 데이터에 근거하여 주변차량의 위치를 예측하여 탑 뷰 영상 상에 주변차량의 위치를 복원한다(S160). 'S160' 과정은 주변차량의 위치를 복원하기 위해 클러스터링 기법을 통해 노이즈를 제거하거나, 칼만 필터 및 파티클 필터 등을 이용한 필터링 기법을 적용하여 필터링하는 과정이 추가될 수 있다.Meanwhile, the lane generating apparatus converts the image reflecting the position of the surrounding vehicle information and the position of the own vehicle detected in step S130 into the top view (S150), and predicts the position of the surrounding vehicle based on the raw data to surround the image on the top view image. The position of the vehicle is restored (S160). The 'S160' process may remove a noise by using a clustering technique to restore the position of the surrounding vehicle, or may be filtered by applying a filtering technique using a Kalman filter and a particle filter.
이후, 차선 생성 장치는 탑 뷰 영상 상에 복원된 주변차량의 위치와 자차의 위치를 기준으로 하여 도로 모델을 생성한다(S170). 여기서, 도로 모델은 3차 이상의 다항식으로 이루어진 방정식 통해 생성된다. 물론, 'S170' 과정 이후에 생성된 도로 모델을 평가하는 과정이 추가될 수 있다.Thereafter, the lane generating apparatus generates a road model based on the position of the surrounding vehicle and the position of the own vehicle restored on the top view image (S170). Here, the road model is generated through an equation consisting of three or more polynomials. Of course, the process of evaluating the road model generated after the 'S170' process may be added.
'S170' 과정을 통해 도로 모델이 완성되면, 차선 생성 장치는 도로 모델에 기반하여 차선을 생성하고(S180), 'S180' 과정에서 생성된 차선을 디스플레이 화면일 통해 표시함으로써 운전자에게 차선을 안내한다(S190).When the road model is completed through the 'S170' process, the lane generation apparatus generates a lane based on the road model (S180), and guides the lane to the driver by displaying the lane generated in the 'S180' process on the display screen. (S190).
이상과 같이 본 발명에 의한 차량 주변의 차선 생성 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.As described above, the apparatus and method for generating a lane around a vehicle according to the present invention has been described with reference to the illustrated drawings. However, the present invention is not limited by the embodiments and drawings disclosed herein, and the technical idea is within the scope of protection. Can be applied.
110: 제어부 120: 영상 획득부
130: 거리 측정부 140: 차선 감지부
150: 주변차량 인지부 160: 로우 데이터 획득부
170: 뷰 변환부 180: 주변차량 위치 복원부
190: 도로 모델 생성부 200: 차선 생성부
210: 저장부 220: 표시부110: control unit 120: image acquisition unit
130: distance measuring unit 140: lane detection unit
150: peripheral vehicle recognition unit 160: low data acquisition unit
170: view conversion unit 180: surrounding vehicle position restoration unit
190: road model generation unit 200: lane generation unit
210: storage unit 220: display unit
Claims (8)
상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 주변차량 인지부;
상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 주변차량 위치 복원부;
상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 도로 모델 생성부; 및
상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 차선 생성부를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 장치.A distance measuring unit configured to measure a distance to a surrounding vehicle through a distance measuring sensor provided in front of the vehicle when the lane is not detected by a lane detection system that detects a lane from a captured image by a camera while driving a vehicle;
Peripheral vehicle recognition unit for recognizing the peripheral vehicle based on the distance measurement data from the distance measuring sensor;
A surrounding vehicle position restoring unit for restoring the position of the surrounding vehicle on the top view image by predicting the position of the surrounding vehicle on the top view image of the front image reflecting the information of the surrounding vehicle;
A road model generator configured to generate a road model based on the position of the surrounding vehicle and the position of the vehicle restored on the top view image; And
And a lane generator for predicting a lane on the front image based on the road model and generating a lane to be displayed on a display screen of the vehicle.
상기 거리측정데이터는,
상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 장치.The method according to claim 1,
The distance measurement data,
And lane data on the basis of the position of the vehicle.
상기 주변차량에 대응하여 측정된 상기 거리측정데이터의 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 변환하는 뷰 변환부를 더 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 장치.The method according to claim 2,
And a view converting unit converting an image reflecting information of the surrounding vehicle into the top view image based on the row data of the distance measurement data measured corresponding to the surrounding vehicle. .
상기 디스플레이 화면은,
상기 차량에 구비된 모니터, 네비게이션 및 HUD(Head Up Display) 중 적어도 하나의 화면인 것을 특징으로 하는 차량 주변의 차선 생성 장치.The method according to claim 1,
The display screen,
And at least one screen of a monitor, a navigation, and a head up display (HUD) provided in the vehicle.
상기 거리측정센서로부터의 거리측정데이터에 근거하여 주변차량을 인지하는 단계;
상기 주변차량의 정보를 반영한 전방 영상의 탑 뷰(top view) 영상 상에서 상기 주변차량의 위치를 예측하여 상기 탑 뷰 영상 상에 상기 주변차량의 위치를 복원하는 단계;
상기 탑 뷰 영상 상에 위치 복원된 상기 주변차량과 상기 차량의 위치를 기준으로 도로 모델을 생성하는 단계; 및
상기 도로 모델을 기반으로 상기 전방 영상 상의 차선을 예측하여 상기 차량의 디스플레이 화면에 표시할 차선을 생성하는 단계를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.Measuring a distance to a surrounding vehicle through a distance measuring sensor provided in front of the vehicle when the lane is not detected by a lane detection system that detects a lane from a captured image by a camera while driving a vehicle;
Recognizing a peripheral vehicle based on the distance measurement data from the distance measurement sensor;
Restoring the position of the surrounding vehicle on the top view image by predicting the position of the surrounding vehicle on the top view image of the front image reflecting the information of the surrounding vehicle;
Generating a road model based on the surrounding vehicles reconstructed on the top view image and the position of the vehicle; And
And generating a lane to be displayed on a display screen of the vehicle by predicting a lane on the front image based on the road model.
상기 거리측정데이터는,
상기 차량의 위치를 기준으로 한 로우 데이터(raw data)를 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.The method according to claim 5,
The distance measurement data,
And generating raw data based on the position of the vehicle.
상기 주변차량을 인지하는 단계 이후에, 상기 주변차량에 대응하여 측정된 상기 로우 데이터를 기초로 상기 주변차량의 정보를 반영한 영상을 상기 탑 뷰 영상으로 뷰 변환하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.The method of claim 6,
And after the recognizing the surrounding vehicle, converting the image reflecting the information of the surrounding vehicle into the top view image based on the row data measured corresponding to the surrounding vehicle. How to create lanes around your vehicle.
상기 차선을 생성하는 단계에서 생성된 상기 차선을 상기 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 차선 생성 방법.The method according to claim 5,
And displaying the lanes generated in the generating of the lanes on the display screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120058806A KR101316353B1 (en) | 2012-05-31 | 2012-05-31 | Apparatus and method for generating traffic lane of surrounding of vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120058806A KR101316353B1 (en) | 2012-05-31 | 2012-05-31 | Apparatus and method for generating traffic lane of surrounding of vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101316353B1 true KR101316353B1 (en) | 2013-10-08 |
Family
ID=49638037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120058806A KR101316353B1 (en) | 2012-05-31 | 2012-05-31 | Apparatus and method for generating traffic lane of surrounding of vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101316353B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9869860B2 (en) | 2014-10-17 | 2018-01-16 | Hyundai Motor Company | Apparatus and method for controlling head up display |
US10853665B2 (en) | 2017-02-28 | 2020-12-01 | Samsung Electronics Co., Ltd. | Method and device to generate virtual lane |
WO2024003964A1 (en) * | 2022-06-27 | 2024-01-04 | 日立Astemo株式会社 | Vehicle control device and vehicle control method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010072973A (en) * | 2008-09-19 | 2010-04-02 | Hitachi Automotive Systems Ltd | Driving environment recognition apparatus |
KR101163446B1 (en) * | 2009-03-18 | 2012-07-18 | 기아자동차주식회사 | A lane departure warning system using a virtual lane and a system according to the same |
KR20130003308A (en) * | 2011-06-30 | 2013-01-09 | 충북대학교 산학협력단 | Method of lane detection for vehicle |
-
2012
- 2012-05-31 KR KR1020120058806A patent/KR101316353B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010072973A (en) * | 2008-09-19 | 2010-04-02 | Hitachi Automotive Systems Ltd | Driving environment recognition apparatus |
KR101163446B1 (en) * | 2009-03-18 | 2012-07-18 | 기아자동차주식회사 | A lane departure warning system using a virtual lane and a system according to the same |
KR20130003308A (en) * | 2011-06-30 | 2013-01-09 | 충북대학교 산학협력단 | Method of lane detection for vehicle |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9869860B2 (en) | 2014-10-17 | 2018-01-16 | Hyundai Motor Company | Apparatus and method for controlling head up display |
US10853665B2 (en) | 2017-02-28 | 2020-12-01 | Samsung Electronics Co., Ltd. | Method and device to generate virtual lane |
WO2024003964A1 (en) * | 2022-06-27 | 2024-01-04 | 日立Astemo株式会社 | Vehicle control device and vehicle control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10960868B2 (en) | Systems and methods for braking a vehicle based on a detected object | |
EP3110145B1 (en) | External-environment recognition system, vehicle, and camera-dirtiness detection method | |
US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
EP2928178B1 (en) | On-board control device | |
EP2293588A1 (en) | Method for using a stereovision camera arrangement | |
CN103533231A (en) | Diagnostic equipment decontamination vehicle camera devices, diagnostics and vehicle systems | |
JP2001213254A (en) | Side monitoring device for vehicle | |
JP2007140852A (en) | Obstruction position detector and obstruction position detecting method | |
JP2010102427A (en) | Lane division line detection device, lane division line detection method and line division line detection program | |
US11663831B2 (en) | Image processing device and image processing method | |
KR101316353B1 (en) | Apparatus and method for generating traffic lane of surrounding of vehicle | |
KR102017958B1 (en) | Augmented reality head up display system for railway train | |
KR101525516B1 (en) | Camera Image Processing System and Method for Processing Pollution of Camera Lens | |
JP2011103058A (en) | Erroneous recognition prevention device | |
JP4906628B2 (en) | Surveillance camera correction device | |
KR101044728B1 (en) | Lane departure warning system and method | |
US9254844B2 (en) | Apparatus and method for driving control of vehicle | |
EP3438933B1 (en) | Environment recognition device | |
JP5957182B2 (en) | Road surface pattern recognition method and vehicle information recording apparatus | |
EP2735996A2 (en) | Image processing device and method for processing image | |
KR101432727B1 (en) | moving object detection system using Head light beam pattern for crash prevention of vehicle and object and moving object detection method using Thereof | |
US20220067887A1 (en) | System, method and device for heads up display for a vehicle | |
JP6429101B2 (en) | Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object | |
JP2011090490A (en) | Obstacle recognition device | |
KR20160095583A (en) | Car around the obstacle detection system based on top view and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180928 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190926 Year of fee payment: 7 |