KR20210041224A - 자동차 및 그를 위한 주변 정보 출력 방법 - Google Patents
자동차 및 그를 위한 주변 정보 출력 방법 Download PDFInfo
- Publication number
- KR20210041224A KR20210041224A KR1020190123630A KR20190123630A KR20210041224A KR 20210041224 A KR20210041224 A KR 20210041224A KR 1020190123630 A KR1020190123630 A KR 1020190123630A KR 20190123630 A KR20190123630 A KR 20190123630A KR 20210041224 A KR20210041224 A KR 20210041224A
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- vehicle
- sensor
- image
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 241000630329 Scomberesox saurus saurus Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18036—Reversing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/173—Reversing assist
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/178—Warnings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/179—Distances to obstacles or vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/186—Displaying information according to relevancy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/188—Displaying information using colour changes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/191—Highlight information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
- B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2302/00—Responses or measures related to driver conditions
- B60Y2302/03—Actuating a signal or alarm device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Combustion & Propulsion (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 자동차 및 그를 위한 주변 정보 출력 방법에 대한 것으로, 보다 상세히는 차체에서 돌출된 부분을 고려하여 주변 영상을 장애물 정보와 함께 제공할 수 있는 자동차 및 그를 위한 주변 정보 출력 방법에 관한 것이다. 본 발명의 일 실시예에 따른 차량의 주변 정보 제공 방법은, 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하는 단계; 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 단계; 상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하는 단계; 및 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 단계를 포함할 수 있다.
Description
본 발명은 자동차 및 그를 위한 주변 정보 출력 방법에 대한 것으로, 보다 상세히는 차체에서 돌출된 부분을 고려하여 주변 영상을 장애물 정보와 함께 제공할 수 있는 자동차 및 그를 위한 주변 정보 출력 방법에 관한 것이다.
종래에는 차량에서 차량 주변의 장애물을 감지하는 수단이 후방 초음파 센서나 후방 카메라에 머물고 있었으나, 최근에 출시되는 차량에서는 전방 초음파 센서는 물론 실시간 전방위 영상을 실내에서 확인할 수 있는 어라운드 뷰 모니터(AVM: Around View Monitor) 또는 서라운드 뷰 모니터(SVM: Surround View Monitor) 시스템도 널리 장착되고 있다.
이와 같이 차량 주변의 충돌 감지가 보편화 되고 있는 상황에서 주차를 하면서 충돌방지 경고음과 전방위 영상에 의존하는 운전자도 증가하고 있는 추세이다. 하지만, 이러한 차량 주변의 장애물 감지 수단은 차체와의 충돌 방지를 기본으로 하기 때문에, 일반적으로 차체보다 돌출된 부분, 예컨대 사이드 미러 부분의 충돌 여부까지는 감지하지 못하는 경우가 많다. 따라서, 주차 중 장애물 감지 수단을 신뢰하면서 별도의 주의를 기울이지 않는 경우 기둥 등에 사이드 미러가 파손되는 경우가 종종 발생한다. 이를 도 1을 참조하여 설명한다.
도 1은 일반적인 차량에서 사이드 미러 충돌이 발생하는 형태를 설명하기 위한 도면이다.
도 1의 (a)를 참조하면, 차량(10)의 변속단이 R단이 됨에 따라, 후방 초음파 센서가 활성화되고, 차량 측후방의 기둥(20)이 후방 초음파 센서의 감지 범위(30)에 들어오면 경고음을 통해 운전자는 기둥(20)을 보다 쉽게 인지할 수 있다.
만일, 해당 차량(10)에 SVM 시스템이 구비된 경우, 차량 내 디스플레이를 통해 도 1의 (b)와 같이 차량 주변 영상(40)이 출력될 수 있다. 도 1의 (b)를 참조하면, 차량의 탑뷰(10') 영상이 중앙에 위치하고, 기둥(20')을 포함한 그의 주변 전방위 영상이 표시된다. 또한, 차량 주변 영상(40)에는 조향각에 따른 예상 차량 이동 궤적(50)이 표시되기도 한다.
그런데, 일반적인 차량에서는 초음파 센서의 감지 범위를 벗어난 장애물에 대해서는 더 이상 경고음이 출력되지 않으며, SVM 시스템에서 예상 차량 이동 궤적(50)이 제공된다 하더라도 이는 차체를 기준으로 하므로, 도 1의 (c)에 도시된 바와 같이 차폭보다 더 측방으로 돌출된 사이드 미러의 궤적(60)은 고려되지 않는다. 따라서, 운전자가 SVM 시스템에서 제공되는 예상 차량 이동 궤적(50)을 신뢰하고 차량을 이동시켜 도 1의 (c)와 같이 차체는 기둥(20)을 피하더라도, 사이드 미러는 기둥(20)에 충돌하는 경우가 종종 발생한다.
특히, 사이드 미러는 사이드 리피터(깜빡이)가 장착되거나 SVM 시스템을 위한 카메라가 장착된 경우 수리비가 더욱 비싸게 되며, 최근 차량은 사이드 미러 커버의 단독 교체가 어렵고 어셈블리 단위로 교체해야 하는 경우가 많아 차주의 부담은 커져가는 실정이다.
본 발명은 주변 장애물에 대한 정보를 보다 효과적으로 운전자에 전달할 수 있는 자동차 및 그를 위한 주변 정보 출력 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량의 주변 정보 제공 방법은, 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하는 단계; 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 단계; 상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하는 단계; 및 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량은, 주변 감지부 및 복수의 카메라를 포함하는 입력부; 상기 입력부를 통해 획득된 정보를 기반으로 적어도 하나의 주변 장애물을 검출 및 추적하는 제어부; 및 상기 제어부에서 검출 및 추적된 상기 적어도 하나의 주변 장애물과의 거리에 대응되는 가이드 정보를 출력하는 출력부를 포함하되, 상기 제어부는 상기 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하고, 상기 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 장애물 검출부; 및 상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하고 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 장애물 매칭/보정부를 포함할 수 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 자동차 및 그를 위한 주변 정보 출력 방법을 통해, 주변 장애물에 대한 정보가 보다 효과적으로 운전자에 전달될 수 있다.
특히, 차체보다 돌출된 외장품의 궤적이 고려되며, 서로 다른 방법을 통해 획득된 장애물의 위치가 상호 보정되므로 보다 향상된 충돌 방지 효과가 기대될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일반적인 차량에서 사이드 미러 충돌이 발생하는 형태를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량용 주변 정보 제공 장치 구성의 일례를 나타내는 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 주변 정보 제공 과정의 일례를 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 일례를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 다른 일례를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 또 다른 일례를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 기둥 감지 원리를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량용 주변 정보 제공 장치 구성의 일례를 나타내는 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 주변 정보 제공 과정의 일례를 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 일례를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 다른 일례를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 또 다른 일례를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 기둥 감지 원리를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
본 발명의 일 실시예에서는 전방위 영상과 센서 각각을 통해 차량 주변의 장애물의 위치를 검출하고, 각각의 방식으로 검출된 장애물의 위치를 서로 매칭시켜 위치를 보정하되, 전방위 영상을 표시함에 있어서는 이동시 차체보다 더 돌출된 외장품의 궤적을 고려한 영상 가이드가 제공되도록 할 것을 제안한다.
도 2는 본 발명의 일 실시예에 따른 차량용 주변 정보 제공 장치 구성의 일례를 나타내는 블럭도이다.
도 2를 참조하면, 실시예에 따른 주변 정보 제공 장치는 차량 주변의 장애물을 감지 및 추적하기 위한 정보를 획득하는 입력부(110), 입력부(110)를 통해 획득된 정보를 처리하여 장애물의 위치를 검출, 추적, 차량 근접에 따른 경보 정보를 생성하는 제어부(120) 및 다양한 형태의 주변 정보 및 경고 정보를 출력하는 출력부(130)를 포함할 수 있다. 이하, 각 구성요소를 상세히 설명한다.
먼저, 입력부(110)는 카메라(111)와 주변 감지부(113)를 포함할 수 있다.
카메라(111)는 SVM(AVM) 시스템을 구성하는 전방위 영상을 촬영하는 복수의 카메라를 포함할 수 있다. 예를 들어, 카메라(111)는 차량 전방을 촬영하는 전방 카메라, 차량 후방을 촬영하는 후방 카메라 및 차량 우측면과 좌측면을 각각 촬영하는 둘 이상의 측방 카메라를 포함할 수 있다. 측방 카메라는 일반적으로 촬영을 담당하는 측면의 사이드 미러 하부에 각각 배치되는 것이 일반적이나 반드시 이에 한정되는 것은 아니다.
주변 감지부(113)는 전방, 전측방, 후방, 후측방 중 적어도 하나의 영역에 배치되어 해당 영역 주변의 장애물을 감지하는 복수의 초음파 센서와 레이더 중 적어도 하나를 포함할 수 있다.
다음으로, 제어부(120)는 위치 확인부(121), 장애물 검출부(123), 장애물 매칭/보정부(125), 장애물 추적부(127) 및 시각 효과 제어부(129)를 포함할 수 있다.
위치 확인부(121)는 실시예에 따른 장애물 감지/추적/돌출 외장부 궤적에 따른 경고 등의 기능이 수행될지, 일반적인 센서 경고 및 전방위 영상 표시가 수행될지 여부를 결정하기 위해 현재 위치가 실시예에 따른 기능 활성화에 대응되는 위치인지 여부를 판단할 수 있다. 이를 위해, 위치 확인부(121)는 GPS(Global Positioning System)으로부터 차량의 현재 위치 정보를 제공받을 수 있다. 또한, 기능 활성화에 대응되는 위치는 좌표 형태로 미리 설정될 수도 있고, 현재 위치가 해당하는 카테고리 형태(예컨대, 주차장)로 설정될 수도 있다. 이와 달리, 위치 확인부(121)는 차량의 현재 위치와 무관하게 운전자로부터 입력된 기본 설정이나 키버튼 입력 또는 기어 포지션(예컨대, R단 등)에 따라 실시예에 따른 기능 활성화를 결정할 수도 있다.
장애물 검출부(123)는 입력부(110)로부터 입력된 정보를 기반으로 장애물의 존재 여부 및 위치를 검출할 수 있다. 예를 들어, 장애물 검출부(123)는 카메라(111)를 통해 획득된 전방위 영상에서 에지 검출 등 영상 처리를 통한 영상 기반 장애물 검출과 주변 감지부(113)로부터 획득된 센서 정보를 이용한 센서 정보 기반장애물의 검출을 각각 수행할 수 있다.
장애물 매칭/보정부(125)는 장애물 검출부(123)에서 영상 기반 장애물 검출을 통해 검출된 장애물과, 센서 정보 기반 장애물 검출을 통해 검출된 장애물 중 차량을 기준으로 위치가 서로 일정 오차 범위 내에 있는 장애물을 동일한 장애물로 서로 매칭한다. 또한, 장애물 매칭/보정부(125)는 서로 매칭된 장애물에 대하여 위치 보정을 수행할 수도 있다. 예컨대, 장애물 매칭/보정부(125)는 서로 매칭된 장애물에 대하여 위치를 영상 기반 검출 결과 및 센서 정보 기반 검출 결과의 중간 지점으로 보정하거나, 어느 하나의 결과에 소정의 가중치를 부여하거나, 어느 하나의 결과로 위치를 결정할 수도 있다.
장애물 추적부(127)는 한 번 매칭된 장애물에 대하여는 센서 기반 검출을 통해 더 이상 검출되지 않게 되더라도(즉, 차량 이동에 따라 센서 감지 범위를 이탈)하더라도, 전방위 영상 내에 포함되는 동안에는 해당 매칭된 장애물의 위치를 추적할 수 있다. 예컨대, 차량 측후방의 기둥이 영상과 센서 정보를 통해 모두 검출되어 매칭된 장애물로 관리되나, 차량 이동에 따라 기둥이 센서 감지범위를 이탈하여 차량 측방에 위치하더라도, 장애물 추적부(127)는 기둥의 위치를 차량 이동 거리 및 방향에 대응하여 추적하므로 기둥과 차량 간의 거리가 판단될 수 있다.
시각 효과 제어부(129)는 카메라(111)를 통해 획득된 각 방위 영상을 합성하여 탑뷰 형태의 전방위 영상으로 변환하며, 장애물 검출부(123), 장애물 매칭/보정부(125)와 장애물 추적부(127)의 연산/판단 결과에 대응되는 영상 가이드를 생성하여 전방위 영상에 오버레이 시킬 수 있다. 예컨대, 시각 효과 제어부(129)는 장애물 검출부(123)에서 검출한 장애물의 위치에 대응되는 영상 가이드를 생성할 수 있으며, 생성된 영상 가이드는 전방위 영상 상에서 장애물 매칭/보정부(125)의 위치 보정 결과에 대응되는 위치에 표시될 수 있다. 또한, 특정 장애물이 차량 이동에 따라 주변 감지부(113)에서 감지되지 않더라도 해당 장애물에 대한 영상 가이드는 장애물 추적부(127)의 추적 결과에 따른 위치에 계속 표시될 수 있다. 아울러, 시각 효과 제어부(129)는 조향각과 전/후진 여부에 따라 차체의 예상 궤적 및 차체보다 돌출된 외장품의 예상 궤적에 대응되는 영상 가이드를 실시간으로 생성할 수 있다. 그에 따라, 시각 효과 제어부(129)는 예상 궤적들 중 어느 하나가 검출된 장애물의 위치와 오버랩될 경우, 근접도에 따라 서로 다른 형태의 경고 영상 가이드가 출력되도록 할 수도 있다.
출력부(130)는 디스플레이(131)와 스피커(133)를 포함할 수 있다. 디스플레이(131)는 가이드 영상을 포함하는 전방위 영상을 출력할 수 있으며, 헤드 유닛이나 AVN(Audio/Video/Navigation) 시스템에 구비된 디스플레이일 수 있으나 반드시 이에 한정되는 것은 아니다. 스키퍼(133)는 검출된 장애물과 차체 또는 차체보다 돌출된 외장품의 근접에 따른 경고음을 출력할 수 있다.
상술한 장치 구성을 기반으로, 이하에서는 도 3을 참조하여 주변 정보 제공 과정을 설명한다.
도 3은 본 발명의 일 실시예에 따른 주변 정보 제공 과정의 일례를 나타내는 순서도이다.
도 3을 참조하면, 전방위 영상 출력 기능이 활성화될 수 있다(S301). 전방위 영상 출력의 활성화라 함은, AVM 또는 SVM 시스템이 활성화됨을 의미할 수 있으며, AVM/SVM 활성화 버튼 조작, R단 기어 변경을 통해 활성화될 수 있으나 반드시 이에 한정되는 것은 아니다.
위치 확인부(121)는 현재 위치가 기 설정된 지역(예컨대, 주차장)인지 여부를 판단하고, 현재 위치가 그에 해당하면 실시예에 따른 영상 가이드 제공 기능이 수행되도록 할 수 있다(S302). 물론, 실시예에 따라, 본 단계는 생략될 수도 있다.
장애물 검출부(123)는 카메라(111)를 통해 획득된(S303A) 영상을 이용하여 영상 기반 장애물 검출을 수행하며(S304A), 주변 감지부(113)를 통해 획득된(S303B) 센서 정보를 통해 센서 정보 기반 장애물 검출을 수행할 수 있다(S304B). 이때, 영상 기반 장애물 검출(S304A)은 전술한 바와 같이 에지 검출(Edge Detection) 방식을 이용할 수 있으나, 반드시 이에 한정되는 것은 아니며, 도 7을 참조하여 후술되는 바와 같이 이동에 따라 형태가 변경되는 부분을 특정하여 장애물을 검출할 수도 있다. 또한, 영상 기반 장애물 검출(S304A)에 있어서, 차량과의 거리는 전방위 영상에서 픽셀 위치를 차량과의 거리와 미리 매칭시킨 정보를 참조할 수도 있다.
장애물 매칭/보정부(125)는 영상 기반으로 검출된 장애물의 위치와 센서 정보 기반으로 검출된 장애물의 위치를 매칭시켜 동일한 장애물을 판정하고(S305), 동일한 장애물에 대한 위치 오차가 있을 경우(S306의 Yes), 장애물 위치를 보정한다(S307). 이때, 장애물의 위치 보정은 전술한 바와 같이, 상호 보정 방식, 가중치 부여 방식, 두 검출 방법 중 어느 하나의 위치로 보정하는 방식 중 적어도 하나가 적용될 수 있다.
위치 오차가 없거나(S306의 no), 위치 보정이 완료되면(S307), 장애물 추적부(127)는 차량 이동에 따라 주변 감지부(113)의 감지 범위를 이탈한 장애물이 존재하는지 여부를 판단한다(S308). 감지 범위를 이탈한 장애물이 존재하면(S308의 Yes), 장애물 추적부(127)는 차량 이동에 대응하여 해당 장애물의 위치를 추적할 수 있다(S309). 전술한 바와 같이, 해당 장애물의 위치 추적은 해당 장애물과 차량 간의 거리가 일정 범위(예컨대, 전방위 영상에 포함되는 거리)를 초과할 때까지 지속적으로 수행될 수 있다.
시각 효과 제어부(129)는 검출된 차량 주변의 장애물과 조향각, 차체보다 돌출된 외장품(예컨대, 사이드 미러)을 고려한 영상 가이드를 생성하여 디스플레이(131)를 통해 출력되도록 할 수 있다(S310). 이때, 시각 효과 제어부(129)는 장애물 검출부(123)에서 검출한 적어도 하나의 장애물 중 장애물 매칭/보정부(125)에서 매칭되지 않은 장애물의 위치, 장애물 매칭/보정부(125)에서 매칭한 매칭 장애물의 보정된 위치, 장애물 추적부(127)에서 추적중인 장애물의 위치 중 적어도 하나를 각각 고려할 수 있다.
조향각과 차량의 이동에 따라, 시각 효과 제어부(129)는 검출된 적어도 하나의 장애물과 차체 및 돌출 외장품과의 충돌 가능성을 판단하고(S311), 충돌 가능성이 있을 경우(S311의 Yes) 영상 가이드에 경고 시각 효과가 적용되도록 할 수 있다(S312). 예컨대, 시각 효과 제어부(129)는 영상 가이드의 색상, 형태, 점멸 여부 중 적어도 하나를 거리에 대응하여 제어하는 형태로 시각효과를 부여할 수 있으나, 반드시 이에 한정되는 것은 아니다.
이하에서는 도 4 내지 도 7을 참조하여 실시예에 따른 영상 가이드의 구체적인 형태를 설명한다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 일례를 나타낸다. 도 4를 포함한 이하의 도면들에서는 디스플레이(131)를 통해 가이드 영상이 적용된 전방위 영상들이 출력된 도시된다.
도 4의 (a)를 참조하면, 디스플레이 중앙에 차량 이미지(410)가 표시되고, 차량 이미지 주변으로 전방위 영상과 그에 오버레이된 영상 가이드가 표시될 수 있다. 적어도 주변 감지부(113)를 통해 검출된 장애물(420)의 에지에는 영상 가이드의 일종으로 소정의 시각 효과(430)가 부여될 수 있다.
만일, 도 4의 (b)와 같이 차량이 이동하여 장애물(420)이 주변 감지부(113)의 감지 범위를 이탈하더라도, 장애물 추적부(127)를 통한 해당 장애물(420)의 위치 추적을 통해 시각 효과(430)의 위치가 해당 장애물(420)의 위치에 대응되도록 표시될 수 있다.
도 5는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 다른 일례를 나타낸다.
도 5를 참조하면, 전방위 영상에서 차량(510) 주변의 장애물(520)과, 장애물(520)의 검출된 위치에 대응되는 시각 효과(550)가 부여된다. 또한, 변속기 상태가 R단일 경우, 차량(510)의 두 후륜 각각의 위치로부터 조향각에 따른 예상 이동 궤적에 대응되는 가이드 영상(530)이 표시될 수 있다. 물론, 변속기 상태가 D단일 경우, 가이드 영상(530)은 차량(510)의 두 전륜 각각의 위치로부터 조향각에 대응하여 전방으로 연장되도록 표시될 수 있다.
한편, 도 5에 도시된 전방위 영상에서는 차체로부터 측방으로 가장 돌출된 외장품, 즉, 사이드 미러(511)의 예상 궤적에 해당하는 영상 가이드(540)도 조향각과 변속기 상태에 대응하여 표시될 수 있다. 이때, 예상 궤적에 해당하는 영상 가이드(540)가 장애물(520)의 검출된 위치와 만나는 경우(즉, 중첩 또는 교차), 사이드 미러(511)의 예상 궤적에 해당하는 영상 가이드(540)와 장애물(520)의 검출된 위치에 대응되는 시각 효과(550) 중 적어도 하나는 경고에 대응되는 형태로 변형(예컨대, 색상, 점멸 부여 등)될 수 있다.
도 6은 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 또 다른 일례를 나타낸다.
도 5에서와 달리, 도 6에서는 거리에 따라 서로 다른 시각 효과가 부여될 수 있다. 구체적으로, 도 6의 (a)를 참조하면, 사이드 미러(611)의 예상 궤적(640)이 장애물(620)과 만나는 경우라도, 이격 거리가 일정 거리 이상인 경우 예상 궤적(640)은 기 설정된 제1 색상(예컨대, 노란색)으로 표시될 수 있다.
차량이 이동함에 따라 도 6의 (b)와 같이 장애물(620)이 주변 감지부(113)의 감지 영역을 벗어나더라도 장애물 추적부(127)에 의한 장애물 추적을 통해 장애물의 에지 위치는 여전히 추적되고 있으며, 사이드 미러(611)와 장애물의 에지가 기 설정된 제1 거리 이하가 되면 사이드 미러(611)의 예상 궤적(640')이 기 설정된 제2 색상(예컨대, 주황색)으로 변경되고, 장애물(620)의 에지에 부여되는 시각 효과(650)도 표시되기 시작한다.
이후 차량이 더욱 후진함에 따라 도 6의 (c)와 같이 사이드 미러(611)와 장애물의 에지가 제1 거리보다 짧은 제2 거리 이하가 되면 사이드 미러(611)의 예상 궤적(640")이 기 설정된 제3 색상(예컨대, 빨간색)으로 변경되고, 장애물(620)의 에지에 부여되는 시각 효과(650')도 더 높은 경고를 나타내는 다른 색상으로 변경될 수 있다.
도 6의 (a) 내지 (c)에서는 실제 장애물(620)과 사이드 미러(611) 간의 거리가 변화함에 따라 예상 궤적에 부여되는 시각효과가 변경되었으나, 도 6의 (d)와 같이 실제 근접하지 않더라도 거리에 따라 서로 다른 시각 효과가 부여되도록 할 수도 있다. 즉, 예상 궤적과 장애물이 중첩될 경우, 시각 효과 내에서도 색상 및 형태 중 적어도 하나가 거리에 따라 단계적(예컨대, 색상 변경, 색상 그라데이션 부여 등)으로 변경될 수 있다.
도 6에서 차체에 대한 예상 궤적(630)은 충돌 가능성이 없어 하나의 형태로 유지되나, 장애물과의 충돌 가능성이 있을 경우 거리에 따라 사이드 미러(611)의 예상 궤적(640)과 유사한 형태로 시각 효과가 부여/변형될 수 있음은 물론이다.
도 7은 본 발명의 일 실시예에 따른 기둥 감지 원리를 설명하기 위한 도면이다.
도 7의 (a)를 참조하면, 기둥(720)과 같이 입체형 장애물은 바닥면 형상(723) 및 그로부터 연장되는 하나 이상의 면(721, 722)이 검출되게 된다. 도 7의 (b)에 도시된 바와 같이, 차량 이동에 따라 기둥(720)의 카메라에 대한 상대적 위치가 변경되므로 각 면(721', 722')의 형상이 변형된다. 예컨대, 각 면(721, 722)의 대각선 성분은 차량의 후진에 따라 각도가 점점 바닥면 형상(723)에 근접하게 된다. 그러나, 바닥면 형상(723)은 크게 변형되지 않는다. 따라서, 장애물 검출부(123)는 영상 기반 장애물 검출을 수행함에 있어서 상대적으로 변형이 없는 부분과, 상대적으로 변형이 없는 부분으로부터 연장되어 차량의 이동에 따라 각도와 형상이 변경되는 부분을 입체형 장애물이 있는 부분으로 인식할 수 있다. 따라서, 주차선 등 실질적으로 장애물이 아니나 에지 검출을 통해 검출되는 부분에 대한 필터링이 가능하다.
한편, 지금까지 설명한 실시예에 따른 주변 정보 제공 방법은 운전자의 주차 상황을 상정하여 설명하였으나, 반드시 이러한 상황에 한정되는 것은 아니다. 예컨대, 주변 정보 제공 방법은 협소한 골목을 주행하는 경우 사이드 미러의 보호를 위해 적용될 수도 있으며, 원격 주차나 자동 주차 기능에 적용될 수도 있다.
예컨대, 원격 주차나 자동 주차 기능을 실행할 경우, 특히 출차시에 주변 감지부(113)를 통해 근접한 장애물이 검출되어 자동 출차가 불가한 경우가 발생하나, 카메라(111)를 통한 영상 기반 장애물 검출이 함께 적용될 경우 장애물이 실제 충돌될만큼 가까운지 여부가 추가 검증될 수 있으므로 주변 감지부(113)의 감지 결과와 무관하게 출차가 가능할 수 있다.
또한, 전술한 실시예들에서는 시각적인 경고를 위주로 기술하였으나, 실시예는 이에 한정되지 아니하고 스피커(133)를 통한 청각 경고에도 적용될 수 있다. 예를 들어, 장애물에 근접함에 따라 또는 이동에 따른 사이드 미러의 충돌 가능성이 있을 때, 근접 정도에 따라 경고음이 커지거나 출력 빈도가 상승하는 등 충돌 위험에 따른 차별화된 경고음 출력이 가능하다.
아울러, 전술한 실시예들에서는 후진 상황을 위주로 기술하였으나, 실시예는 이에 한정되지 아니하고 전진 상황에도 적용될 수 있음은 당업자에 자명하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
Claims (20)
- 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하는 단계;
복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 단계;
상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하는 단계; 및
상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 단계를 포함하는, 차량의 주변 정보 제공 방법. - 제1 항에 있어서,
상기 적어도 하나의 센서 기반 장애물이 상기 주변 감지부의 감지 범위를 이탈한 경우, 상기 차량의 이동 거리 및 방향을 기반으로 상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치를 추적하는 단계를 더 포함하는, 차량의 주변 정보 제공 방법. - 제2 항에 있어서,
상기 추적하는 단계는,
상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치가 일정 거리 내에 있는 동안 수행되는, 차량의 주변 정보 제공 방법. - 제2 항에 있어서,
상기 적어도 하나의 센서 기반 장애물, 상기 적어도 하나의 영상 기반 장애물, 상기 위치를 추적한 적어도 하나의 센서 기반 장애물 및 상기 위치 보정된 적어도 하나의 매칭 장애물 각각의 위치 정보와, 차체의 예상 이동 궤적에 해당하는 제1 궤적 및 차체로부터 돌출된 외장품의 예상 이동 궤적에 해당하는 제2 궤적의 중첩 여부를 판단하는 단계를 더 포함하는, 차량의 주변 정보 제공 방법. - 제4 항에 있어서,
상기 돌출된 외장품은 사이드 미러를 포함하는, 차량의 주변 정보 제공 방법. - 제4 항에 있어서,
상기 제1 궤적 및 상기 제2 궤적 중 적어도 하나에 대한 중첩이 발생할 경우, 중첩되는 장애물과의 거리에 대응되는 경고 정보가 출력되는 단계를 더 포함하는, 차량의 주변 정보 제공 방법. - 제6 항에 있어서,
상기 경고 정보는,
상기 복수의 카메라를 통해 획득된 영상으로 구성된 전방위 영상 상에 오버레이되는 소정 형태의 시각 효과를 포함하는, 차량의 주변 정보 제공 방법. - 제7 항에 있어서,
상기 시각 효과는,
상기 중첩되는 장애물과의 거리에 따라 색상 및 형태 중 적어도 하나가 변경되는, 차량의 주변 정보 제공 방법. - 제1 항에 있어서,
상기 적어도 하나의 영상 기반 장애물을 검출하는 단계는,
상기 복수의 카메라를 통해 획득된 영상 정보에 대하여 에지 디텍션을 수행하는 단계; 및
상기 에지 디텍션으로 검출된 적어도 하나의 후보 장애물에 대하여 차량 이동에 따른 변형의 정도와 대각선 각도 변화 여부에 따른 적어도 하나의 입체 장애물을 검출하는 단계를 포함하는, 차량의 주변 정보 제공 방법. - 제1 항 내지 제9 항 중 어느 한 항에 따른 차량의 주변 정보 제공 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.
- 주변 감지부 및 복수의 카메라를 포함하는 입력부;
상기 입력부를 통해 획득된 정보를 기반으로 적어도 하나의 주변 장애물을 검출 및 추적하는 제어부; 및
상기 제어부에서 검출 및 추적된 상기 적어도 하나의 주변 장애물과의 거리에 대응되는 경고 정보를 출력하는 출력부를 포함하되,
상기 제어부는,
상기 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하고, 상기 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 장애물 검출부; 및
상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하고 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 장애물 매칭/보정부를 포함하는, 차량. - 제11 항에 있어서,
상기 제어부는,
상기 적어도 하나의 센서 기반 장애물이 상기 주변 감지부의 감지 범위를 이탈한 경우, 상기 차량의 이동 거리 및 방향을 기반으로 상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치를 추적하는 장애물 추적부를 더 포함하는, 차량. - 제12 항에 있어서,
상기 장애물 추적부는,
상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치가 일정 거리 내에 있는 동안 상기 추적을 수행하는, 차량. - 제12 항에 있어서,
상기 제어부는,
상기 적어도 하나의 센서 기반 장애물, 상기 적어도 하나의 영상 기반 장애물, 상기 위치를 추적한 적어도 하나의 센서 기반 장애물 및 상기 위치 보정된 적어도 하나의 매칭 장애물 각각의 위치 정보와, 차체의 예상 이동 궤적에 해당하는 제1 궤적 및 차체로부터 돌출된 외장품의 예상 이동 궤적에 해당하는 제2 궤적의 중첩 여부를 판단하는, 차량. - 제14 항에 있어서,
상기 돌출된 외장품은 사이드 미러를 포함하는, 차량. - 제14 항에 있어서,
상기 제어부는,
상기 제1 궤적 및 상기 제2 궤적 중 적어도 하나에 대한 중첩이 발생할 경우, 중첩되는 장애물과의 거리에 대응되는 경고 정보가 상기 출력부를 통해 출력되도록 제어하는, 차량. - 제16 항에 있어서,
상기 제어부는,
상기 복수의 카메라를 통해 획득된 영상으로 구성된 전방위 영상 상에 상기 경고 정보에 해당하는 소정 형태의 시각 효과를 오버레이 시키는 시각 효과 제어부를 더 포함하는, 차량. - 제17 항에 있어서,
상기 시각 효과 제어부는,
상기 중첩되는 장애물과의 거리에 따라 상기 시각 효과의 색상 및 형태 중 적어도 하나가 변경되도록 제어하는, 차량. - 제18 항에 있어서,
상기 시각 효과 제어부는,
상기 중첩되는 장애물과의 잔존 거리에 따라 상기 시각 효과 내에서의 색상 및 형태 중 적어도 하나가 단계적으로 변경되도록 제어하는, 차량. - 제11 항에 있어서,
상기 장애물 검출부는,
상기 복수의 카메라를 통해 획득된 영상 정보에 대하여 에지 디텍션을 수행하고, 상기 에지 디텍션으로 검출된 적어도 하나의 후보 장애물에 대하여 차량 이동에 따른 변형의 정도와 대각선 각도 변화 여부에 따른 적어도 하나의 입체 장애물을 검출하는, 차량.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190123630A KR20210041224A (ko) | 2019-10-07 | 2019-10-07 | 자동차 및 그를 위한 주변 정보 출력 방법 |
US17/008,010 US11772555B2 (en) | 2019-10-07 | 2020-08-31 | Vehicle and method of providing surrounding information thereof |
CN202011000383.4A CN112622774A (zh) | 2019-10-07 | 2020-09-22 | 车辆及提供车辆周围信息的方法 |
DE102020212098.6A DE102020212098A1 (de) | 2019-10-07 | 2020-09-25 | Fahrzeug und Verfahren zum Bereitstellen von Umgebungsinformationen von diesem |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190123630A KR20210041224A (ko) | 2019-10-07 | 2019-10-07 | 자동차 및 그를 위한 주변 정보 출력 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210041224A true KR20210041224A (ko) | 2021-04-15 |
Family
ID=74875998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190123630A KR20210041224A (ko) | 2019-10-07 | 2019-10-07 | 자동차 및 그를 위한 주변 정보 출력 방법 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11772555B2 (ko) |
KR (1) | KR20210041224A (ko) |
CN (1) | CN112622774A (ko) |
DE (1) | DE102020212098A1 (ko) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113071418A (zh) * | 2021-04-28 | 2021-07-06 | 中国第一汽车股份有限公司 | 车辆的后视镜控制方法、装置、电子设备及存储介质 |
US11940544B2 (en) * | 2021-10-25 | 2024-03-26 | Ford Global Technologies, Llc | Vehicle positioning using V2X RSU messaging and vehicular sensors |
CN114379547A (zh) * | 2021-12-24 | 2022-04-22 | 北京百度网讯科技有限公司 | 制动控制方法、装置、车辆、电子设备及存储介质 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7663502B2 (en) * | 1992-05-05 | 2010-02-16 | Intelligent Technologies International, Inc. | Asset system control arrangement and method |
US11208129B2 (en) * | 2002-06-04 | 2021-12-28 | Transportation Ip Holdings, Llc | Vehicle control system and method |
WO2012029058A1 (en) * | 2010-08-30 | 2012-03-08 | Bk-Imaging Ltd. | Method and system for extracting three-dimensional information |
US9123035B2 (en) * | 2011-04-22 | 2015-09-01 | Angel A. Penilla | Electric vehicle (EV) range extending charge systems, distributed networks of charge kiosks, and charge locating mobile apps |
JP5817843B2 (ja) * | 2011-12-14 | 2015-11-18 | トヨタ自動車株式会社 | 車両用情報伝達装置 |
JP6214775B2 (ja) * | 2014-08-19 | 2017-10-18 | 三菱電機株式会社 | 後方路面照射装置 |
US9884631B2 (en) * | 2015-06-04 | 2018-02-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Transitioning between operational modes of an autonomous vehicle |
US20160357187A1 (en) * | 2015-06-05 | 2016-12-08 | Arafat M.A. ANSARI | Smart vehicle |
US9711050B2 (en) * | 2015-06-05 | 2017-07-18 | Bao Tran | Smart vehicle |
US9836056B2 (en) * | 2015-06-05 | 2017-12-05 | Bao Tran | Smart vehicle |
US9507346B1 (en) * | 2015-11-04 | 2016-11-29 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
US9612123B1 (en) * | 2015-11-04 | 2017-04-04 | Zoox, Inc. | Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes |
US9734455B2 (en) * | 2015-11-04 | 2017-08-15 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
WO2017079341A2 (en) * | 2015-11-04 | 2017-05-11 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
US9754490B2 (en) * | 2015-11-04 | 2017-09-05 | Zoox, Inc. | Software application to request and control an autonomous vehicle service |
US20210295439A1 (en) * | 2016-01-22 | 2021-09-23 | State Farm Mutual Automobile Insurance Company | Component malfunction impact assessment |
KR101827698B1 (ko) * | 2016-11-01 | 2018-02-12 | 현대자동차주식회사 | 차량 및 그 제어방법 |
EP3619643A1 (en) * | 2017-05-03 | 2020-03-11 | Mobileye Vision Technologies Ltd. | Detection and classification systems and methods for autonomous vehicle navigation |
US10571280B2 (en) * | 2017-05-09 | 2020-02-25 | Toyota Research Institute, Inc. | Systems and methods for localizing a vehicle using a roadway signature |
US10372130B1 (en) * | 2017-05-19 | 2019-08-06 | Zoox, Inc. | Communicating reasons for vehicle actions |
US11067993B2 (en) * | 2017-08-25 | 2021-07-20 | Magna Electronics Inc. | Vehicle and trailer maneuver assist system |
KR20190071097A (ko) * | 2017-12-14 | 2019-06-24 | 현대자동차주식회사 | 차량의 디스플레이 제어 장치 및 방법, 그리고 차량 시스템 |
GB2572006A (en) * | 2018-03-16 | 2019-09-18 | Continental Automotive Gmbh | Vehicle alighting assistance device |
KR102420476B1 (ko) * | 2018-05-25 | 2022-07-13 | 에스케이텔레콤 주식회사 | 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 |
US11277956B2 (en) * | 2018-07-26 | 2022-03-22 | Bear Flag Robotics, Inc. | Vehicle controllers for agricultural and industrial applications |
KR102572784B1 (ko) * | 2018-10-25 | 2023-09-01 | 주식회사 에이치엘클레무브 | 운전자 보조 시스템 및 그 제어방법 |
US10609148B1 (en) * | 2019-09-17 | 2020-03-31 | Ha Q Tran | Smart vehicle |
US11150665B2 (en) * | 2019-09-17 | 2021-10-19 | Ha Q Tran | Smart vehicle |
US10768620B1 (en) * | 2019-09-17 | 2020-09-08 | Ha Q Tran | Smart vehicle |
US20210089048A1 (en) * | 2019-09-21 | 2021-03-25 | Ha Q Tran | Smart vehicle |
US11267401B2 (en) * | 2019-09-27 | 2022-03-08 | GM Cruise Holdings, LLC | Safe passenger disembarking for autonomous vehicles via audible signals |
US10783559B1 (en) * | 2019-10-06 | 2020-09-22 | Bao Tran | Mobile information display platforms |
-
2019
- 2019-10-07 KR KR1020190123630A patent/KR20210041224A/ko not_active Application Discontinuation
-
2020
- 2020-08-31 US US17/008,010 patent/US11772555B2/en active Active
- 2020-09-22 CN CN202011000383.4A patent/CN112622774A/zh active Pending
- 2020-09-25 DE DE102020212098.6A patent/DE102020212098A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102020212098A1 (de) | 2021-04-08 |
US11772555B2 (en) | 2023-10-03 |
CN112622774A (zh) | 2021-04-09 |
US20210103743A1 (en) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102648812B1 (ko) | 차량 및 그의 보행자 감지 알림 방법 | |
EP3493179B1 (en) | Driving assisting method and driving assisting device using the same | |
JP4687160B2 (ja) | 周辺監視装置 | |
US9481287B2 (en) | Roadway projection system | |
US9139135B2 (en) | System and method that minimizes hazards of blind spots while driving | |
US7710246B2 (en) | Vehicle driving assist system | |
US11377103B2 (en) | Vehicle control device and recording medium | |
KR20210041224A (ko) | 자동차 및 그를 위한 주변 정보 출력 방법 | |
JP2008227646A (ja) | 障害物検知装置 | |
JP4946682B2 (ja) | 車両用走行支援装置 | |
KR20090125075A (ko) | 반자동 주차 기계 | |
JP5418249B2 (ja) | 車両制御装置 | |
WO2012045323A1 (en) | Method and driver assistance system for warning a driver of a motor vehicle of the presence of an obstacle in an environment of the motor vehicle | |
JP4936060B2 (ja) | 車両用走行支援装置 | |
JP2007124097A (ja) | 車両周辺視認装置 | |
JP2007030603A (ja) | 車両用走行支援装置 | |
JP2018074286A (ja) | 運転支援装置 | |
US20200361376A1 (en) | Rear display device | |
JP4345526B2 (ja) | 物体監視装置 | |
KR101798054B1 (ko) | 레이저 가이드 시스템 및 방법 | |
KR101673306B1 (ko) | 웨어러블 기기를 이용한 차량의 안전 장치 및 그 제어방법 | |
JP5214539B2 (ja) | 自律走行ロボット、自律走行ロボットを用いた追走システム、及び追走方法 | |
JP2020115302A (ja) | 車両の運転支援装置 | |
KR20190081629A (ko) | 차량용 주차제어장치 및 그 장치의 구동방법 | |
US20230001917A1 (en) | Method for detecting an obstacle on a route |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal |