KR20210041224A - 자동차 및 그를 위한 주변 정보 출력 방법 - Google Patents

자동차 및 그를 위한 주변 정보 출력 방법 Download PDF

Info

Publication number
KR20210041224A
KR20210041224A KR1020190123630A KR20190123630A KR20210041224A KR 20210041224 A KR20210041224 A KR 20210041224A KR 1020190123630 A KR1020190123630 A KR 1020190123630A KR 20190123630 A KR20190123630 A KR 20190123630A KR 20210041224 A KR20210041224 A KR 20210041224A
Authority
KR
South Korea
Prior art keywords
obstacle
vehicle
sensor
image
information
Prior art date
Application number
KR1020190123630A
Other languages
English (en)
Inventor
박기원
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190123630A priority Critical patent/KR20210041224A/ko
Priority to US17/008,010 priority patent/US11772555B2/en
Priority to CN202011000383.4A priority patent/CN112622774A/zh
Priority to DE102020212098.6A priority patent/DE102020212098A1/de
Publication of KR20210041224A publication Critical patent/KR20210041224A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자동차 및 그를 위한 주변 정보 출력 방법에 대한 것으로, 보다 상세히는 차체에서 돌출된 부분을 고려하여 주변 영상을 장애물 정보와 함께 제공할 수 있는 자동차 및 그를 위한 주변 정보 출력 방법에 관한 것이다. 본 발명의 일 실시예에 따른 차량의 주변 정보 제공 방법은, 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하는 단계; 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 단계; 상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하는 단계; 및 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 단계를 포함할 수 있다.

Description

자동차 및 그를 위한 주변 정보 출력 방법{VEHICLE AND METHOD OF PROVIDING INFORMATION AROUND THE SAME}
본 발명은 자동차 및 그를 위한 주변 정보 출력 방법에 대한 것으로, 보다 상세히는 차체에서 돌출된 부분을 고려하여 주변 영상을 장애물 정보와 함께 제공할 수 있는 자동차 및 그를 위한 주변 정보 출력 방법에 관한 것이다.
종래에는 차량에서 차량 주변의 장애물을 감지하는 수단이 후방 초음파 센서나 후방 카메라에 머물고 있었으나, 최근에 출시되는 차량에서는 전방 초음파 센서는 물론 실시간 전방위 영상을 실내에서 확인할 수 있는 어라운드 뷰 모니터(AVM: Around View Monitor) 또는 서라운드 뷰 모니터(SVM: Surround View Monitor) 시스템도 널리 장착되고 있다.
이와 같이 차량 주변의 충돌 감지가 보편화 되고 있는 상황에서 주차를 하면서 충돌방지 경고음과 전방위 영상에 의존하는 운전자도 증가하고 있는 추세이다. 하지만, 이러한 차량 주변의 장애물 감지 수단은 차체와의 충돌 방지를 기본으로 하기 때문에, 일반적으로 차체보다 돌출된 부분, 예컨대 사이드 미러 부분의 충돌 여부까지는 감지하지 못하는 경우가 많다. 따라서, 주차 중 장애물 감지 수단을 신뢰하면서 별도의 주의를 기울이지 않는 경우 기둥 등에 사이드 미러가 파손되는 경우가 종종 발생한다. 이를 도 1을 참조하여 설명한다.
도 1은 일반적인 차량에서 사이드 미러 충돌이 발생하는 형태를 설명하기 위한 도면이다.
도 1의 (a)를 참조하면, 차량(10)의 변속단이 R단이 됨에 따라, 후방 초음파 센서가 활성화되고, 차량 측후방의 기둥(20)이 후방 초음파 센서의 감지 범위(30)에 들어오면 경고음을 통해 운전자는 기둥(20)을 보다 쉽게 인지할 수 있다.
만일, 해당 차량(10)에 SVM 시스템이 구비된 경우, 차량 내 디스플레이를 통해 도 1의 (b)와 같이 차량 주변 영상(40)이 출력될 수 있다. 도 1의 (b)를 참조하면, 차량의 탑뷰(10') 영상이 중앙에 위치하고, 기둥(20')을 포함한 그의 주변 전방위 영상이 표시된다. 또한, 차량 주변 영상(40)에는 조향각에 따른 예상 차량 이동 궤적(50)이 표시되기도 한다.
그런데, 일반적인 차량에서는 초음파 센서의 감지 범위를 벗어난 장애물에 대해서는 더 이상 경고음이 출력되지 않으며, SVM 시스템에서 예상 차량 이동 궤적(50)이 제공된다 하더라도 이는 차체를 기준으로 하므로, 도 1의 (c)에 도시된 바와 같이 차폭보다 더 측방으로 돌출된 사이드 미러의 궤적(60)은 고려되지 않는다. 따라서, 운전자가 SVM 시스템에서 제공되는 예상 차량 이동 궤적(50)을 신뢰하고 차량을 이동시켜 도 1의 (c)와 같이 차체는 기둥(20)을 피하더라도, 사이드 미러는 기둥(20)에 충돌하는 경우가 종종 발생한다.
특히, 사이드 미러는 사이드 리피터(깜빡이)가 장착되거나 SVM 시스템을 위한 카메라가 장착된 경우 수리비가 더욱 비싸게 되며, 최근 차량은 사이드 미러 커버의 단독 교체가 어렵고 어셈블리 단위로 교체해야 하는 경우가 많아 차주의 부담은 커져가는 실정이다.
본 발명은 주변 장애물에 대한 정보를 보다 효과적으로 운전자에 전달할 수 있는 자동차 및 그를 위한 주변 정보 출력 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량의 주변 정보 제공 방법은, 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하는 단계; 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 단계; 상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하는 단계; 및 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량은, 주변 감지부 및 복수의 카메라를 포함하는 입력부; 상기 입력부를 통해 획득된 정보를 기반으로 적어도 하나의 주변 장애물을 검출 및 추적하는 제어부; 및 상기 제어부에서 검출 및 추적된 상기 적어도 하나의 주변 장애물과의 거리에 대응되는 가이드 정보를 출력하는 출력부를 포함하되, 상기 제어부는 상기 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하고, 상기 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 장애물 검출부; 및 상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하고 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 장애물 매칭/보정부를 포함할 수 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 자동차 및 그를 위한 주변 정보 출력 방법을 통해, 주변 장애물에 대한 정보가 보다 효과적으로 운전자에 전달될 수 있다.
특히, 차체보다 돌출된 외장품의 궤적이 고려되며, 서로 다른 방법을 통해 획득된 장애물의 위치가 상호 보정되므로 보다 향상된 충돌 방지 효과가 기대될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일반적인 차량에서 사이드 미러 충돌이 발생하는 형태를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량용 주변 정보 제공 장치 구성의 일례를 나타내는 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 주변 정보 제공 과정의 일례를 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 일례를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 다른 일례를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 또 다른 일례를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 기둥 감지 원리를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
본 발명의 일 실시예에서는 전방위 영상과 센서 각각을 통해 차량 주변의 장애물의 위치를 검출하고, 각각의 방식으로 검출된 장애물의 위치를 서로 매칭시켜 위치를 보정하되, 전방위 영상을 표시함에 있어서는 이동시 차체보다 더 돌출된 외장품의 궤적을 고려한 영상 가이드가 제공되도록 할 것을 제안한다.
도 2는 본 발명의 일 실시예에 따른 차량용 주변 정보 제공 장치 구성의 일례를 나타내는 블럭도이다.
도 2를 참조하면, 실시예에 따른 주변 정보 제공 장치는 차량 주변의 장애물을 감지 및 추적하기 위한 정보를 획득하는 입력부(110), 입력부(110)를 통해 획득된 정보를 처리하여 장애물의 위치를 검출, 추적, 차량 근접에 따른 경보 정보를 생성하는 제어부(120) 및 다양한 형태의 주변 정보 및 경고 정보를 출력하는 출력부(130)를 포함할 수 있다. 이하, 각 구성요소를 상세히 설명한다.
먼저, 입력부(110)는 카메라(111)와 주변 감지부(113)를 포함할 수 있다.
카메라(111)는 SVM(AVM) 시스템을 구성하는 전방위 영상을 촬영하는 복수의 카메라를 포함할 수 있다. 예를 들어, 카메라(111)는 차량 전방을 촬영하는 전방 카메라, 차량 후방을 촬영하는 후방 카메라 및 차량 우측면과 좌측면을 각각 촬영하는 둘 이상의 측방 카메라를 포함할 수 있다. 측방 카메라는 일반적으로 촬영을 담당하는 측면의 사이드 미러 하부에 각각 배치되는 것이 일반적이나 반드시 이에 한정되는 것은 아니다.
주변 감지부(113)는 전방, 전측방, 후방, 후측방 중 적어도 하나의 영역에 배치되어 해당 영역 주변의 장애물을 감지하는 복수의 초음파 센서와 레이더 중 적어도 하나를 포함할 수 있다.
다음으로, 제어부(120)는 위치 확인부(121), 장애물 검출부(123), 장애물 매칭/보정부(125), 장애물 추적부(127) 및 시각 효과 제어부(129)를 포함할 수 있다.
위치 확인부(121)는 실시예에 따른 장애물 감지/추적/돌출 외장부 궤적에 따른 경고 등의 기능이 수행될지, 일반적인 센서 경고 및 전방위 영상 표시가 수행될지 여부를 결정하기 위해 현재 위치가 실시예에 따른 기능 활성화에 대응되는 위치인지 여부를 판단할 수 있다. 이를 위해, 위치 확인부(121)는 GPS(Global Positioning System)으로부터 차량의 현재 위치 정보를 제공받을 수 있다. 또한, 기능 활성화에 대응되는 위치는 좌표 형태로 미리 설정될 수도 있고, 현재 위치가 해당하는 카테고리 형태(예컨대, 주차장)로 설정될 수도 있다. 이와 달리, 위치 확인부(121)는 차량의 현재 위치와 무관하게 운전자로부터 입력된 기본 설정이나 키버튼 입력 또는 기어 포지션(예컨대, R단 등)에 따라 실시예에 따른 기능 활성화를 결정할 수도 있다.
장애물 검출부(123)는 입력부(110)로부터 입력된 정보를 기반으로 장애물의 존재 여부 및 위치를 검출할 수 있다. 예를 들어, 장애물 검출부(123)는 카메라(111)를 통해 획득된 전방위 영상에서 에지 검출 등 영상 처리를 통한 영상 기반 장애물 검출과 주변 감지부(113)로부터 획득된 센서 정보를 이용한 센서 정보 기반장애물의 검출을 각각 수행할 수 있다.
장애물 매칭/보정부(125)는 장애물 검출부(123)에서 영상 기반 장애물 검출을 통해 검출된 장애물과, 센서 정보 기반 장애물 검출을 통해 검출된 장애물 중 차량을 기준으로 위치가 서로 일정 오차 범위 내에 있는 장애물을 동일한 장애물로 서로 매칭한다. 또한, 장애물 매칭/보정부(125)는 서로 매칭된 장애물에 대하여 위치 보정을 수행할 수도 있다. 예컨대, 장애물 매칭/보정부(125)는 서로 매칭된 장애물에 대하여 위치를 영상 기반 검출 결과 및 센서 정보 기반 검출 결과의 중간 지점으로 보정하거나, 어느 하나의 결과에 소정의 가중치를 부여하거나, 어느 하나의 결과로 위치를 결정할 수도 있다.
장애물 추적부(127)는 한 번 매칭된 장애물에 대하여는 센서 기반 검출을 통해 더 이상 검출되지 않게 되더라도(즉, 차량 이동에 따라 센서 감지 범위를 이탈)하더라도, 전방위 영상 내에 포함되는 동안에는 해당 매칭된 장애물의 위치를 추적할 수 있다. 예컨대, 차량 측후방의 기둥이 영상과 센서 정보를 통해 모두 검출되어 매칭된 장애물로 관리되나, 차량 이동에 따라 기둥이 센서 감지범위를 이탈하여 차량 측방에 위치하더라도, 장애물 추적부(127)는 기둥의 위치를 차량 이동 거리 및 방향에 대응하여 추적하므로 기둥과 차량 간의 거리가 판단될 수 있다.
시각 효과 제어부(129)는 카메라(111)를 통해 획득된 각 방위 영상을 합성하여 탑뷰 형태의 전방위 영상으로 변환하며, 장애물 검출부(123), 장애물 매칭/보정부(125)와 장애물 추적부(127)의 연산/판단 결과에 대응되는 영상 가이드를 생성하여 전방위 영상에 오버레이 시킬 수 있다. 예컨대, 시각 효과 제어부(129)는 장애물 검출부(123)에서 검출한 장애물의 위치에 대응되는 영상 가이드를 생성할 수 있으며, 생성된 영상 가이드는 전방위 영상 상에서 장애물 매칭/보정부(125)의 위치 보정 결과에 대응되는 위치에 표시될 수 있다. 또한, 특정 장애물이 차량 이동에 따라 주변 감지부(113)에서 감지되지 않더라도 해당 장애물에 대한 영상 가이드는 장애물 추적부(127)의 추적 결과에 따른 위치에 계속 표시될 수 있다. 아울러, 시각 효과 제어부(129)는 조향각과 전/후진 여부에 따라 차체의 예상 궤적 및 차체보다 돌출된 외장품의 예상 궤적에 대응되는 영상 가이드를 실시간으로 생성할 수 있다. 그에 따라, 시각 효과 제어부(129)는 예상 궤적들 중 어느 하나가 검출된 장애물의 위치와 오버랩될 경우, 근접도에 따라 서로 다른 형태의 경고 영상 가이드가 출력되도록 할 수도 있다.
출력부(130)는 디스플레이(131)와 스피커(133)를 포함할 수 있다. 디스플레이(131)는 가이드 영상을 포함하는 전방위 영상을 출력할 수 있으며, 헤드 유닛이나 AVN(Audio/Video/Navigation) 시스템에 구비된 디스플레이일 수 있으나 반드시 이에 한정되는 것은 아니다. 스키퍼(133)는 검출된 장애물과 차체 또는 차체보다 돌출된 외장품의 근접에 따른 경고음을 출력할 수 있다.
상술한 장치 구성을 기반으로, 이하에서는 도 3을 참조하여 주변 정보 제공 과정을 설명한다.
도 3은 본 발명의 일 실시예에 따른 주변 정보 제공 과정의 일례를 나타내는 순서도이다.
도 3을 참조하면, 전방위 영상 출력 기능이 활성화될 수 있다(S301). 전방위 영상 출력의 활성화라 함은, AVM 또는 SVM 시스템이 활성화됨을 의미할 수 있으며, AVM/SVM 활성화 버튼 조작, R단 기어 변경을 통해 활성화될 수 있으나 반드시 이에 한정되는 것은 아니다.
위치 확인부(121)는 현재 위치가 기 설정된 지역(예컨대, 주차장)인지 여부를 판단하고, 현재 위치가 그에 해당하면 실시예에 따른 영상 가이드 제공 기능이 수행되도록 할 수 있다(S302). 물론, 실시예에 따라, 본 단계는 생략될 수도 있다.
장애물 검출부(123)는 카메라(111)를 통해 획득된(S303A) 영상을 이용하여 영상 기반 장애물 검출을 수행하며(S304A), 주변 감지부(113)를 통해 획득된(S303B) 센서 정보를 통해 센서 정보 기반 장애물 검출을 수행할 수 있다(S304B). 이때, 영상 기반 장애물 검출(S304A)은 전술한 바와 같이 에지 검출(Edge Detection) 방식을 이용할 수 있으나, 반드시 이에 한정되는 것은 아니며, 도 7을 참조하여 후술되는 바와 같이 이동에 따라 형태가 변경되는 부분을 특정하여 장애물을 검출할 수도 있다. 또한, 영상 기반 장애물 검출(S304A)에 있어서, 차량과의 거리는 전방위 영상에서 픽셀 위치를 차량과의 거리와 미리 매칭시킨 정보를 참조할 수도 있다.
장애물 매칭/보정부(125)는 영상 기반으로 검출된 장애물의 위치와 센서 정보 기반으로 검출된 장애물의 위치를 매칭시켜 동일한 장애물을 판정하고(S305), 동일한 장애물에 대한 위치 오차가 있을 경우(S306의 Yes), 장애물 위치를 보정한다(S307). 이때, 장애물의 위치 보정은 전술한 바와 같이, 상호 보정 방식, 가중치 부여 방식, 두 검출 방법 중 어느 하나의 위치로 보정하는 방식 중 적어도 하나가 적용될 수 있다.
위치 오차가 없거나(S306의 no), 위치 보정이 완료되면(S307), 장애물 추적부(127)는 차량 이동에 따라 주변 감지부(113)의 감지 범위를 이탈한 장애물이 존재하는지 여부를 판단한다(S308). 감지 범위를 이탈한 장애물이 존재하면(S308의 Yes), 장애물 추적부(127)는 차량 이동에 대응하여 해당 장애물의 위치를 추적할 수 있다(S309). 전술한 바와 같이, 해당 장애물의 위치 추적은 해당 장애물과 차량 간의 거리가 일정 범위(예컨대, 전방위 영상에 포함되는 거리)를 초과할 때까지 지속적으로 수행될 수 있다.
시각 효과 제어부(129)는 검출된 차량 주변의 장애물과 조향각, 차체보다 돌출된 외장품(예컨대, 사이드 미러)을 고려한 영상 가이드를 생성하여 디스플레이(131)를 통해 출력되도록 할 수 있다(S310). 이때, 시각 효과 제어부(129)는 장애물 검출부(123)에서 검출한 적어도 하나의 장애물 중 장애물 매칭/보정부(125)에서 매칭되지 않은 장애물의 위치, 장애물 매칭/보정부(125)에서 매칭한 매칭 장애물의 보정된 위치, 장애물 추적부(127)에서 추적중인 장애물의 위치 중 적어도 하나를 각각 고려할 수 있다.
조향각과 차량의 이동에 따라, 시각 효과 제어부(129)는 검출된 적어도 하나의 장애물과 차체 및 돌출 외장품과의 충돌 가능성을 판단하고(S311), 충돌 가능성이 있을 경우(S311의 Yes) 영상 가이드에 경고 시각 효과가 적용되도록 할 수 있다(S312). 예컨대, 시각 효과 제어부(129)는 영상 가이드의 색상, 형태, 점멸 여부 중 적어도 하나를 거리에 대응하여 제어하는 형태로 시각효과를 부여할 수 있으나, 반드시 이에 한정되는 것은 아니다.
이하에서는 도 4 내지 도 7을 참조하여 실시예에 따른 영상 가이드의 구체적인 형태를 설명한다.
도 4는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 일례를 나타낸다. 도 4를 포함한 이하의 도면들에서는 디스플레이(131)를 통해 가이드 영상이 적용된 전방위 영상들이 출력된 도시된다.
도 4의 (a)를 참조하면, 디스플레이 중앙에 차량 이미지(410)가 표시되고, 차량 이미지 주변으로 전방위 영상과 그에 오버레이된 영상 가이드가 표시될 수 있다. 적어도 주변 감지부(113)를 통해 검출된 장애물(420)의 에지에는 영상 가이드의 일종으로 소정의 시각 효과(430)가 부여될 수 있다.
만일, 도 4의 (b)와 같이 차량이 이동하여 장애물(420)이 주변 감지부(113)의 감지 범위를 이탈하더라도, 장애물 추적부(127)를 통한 해당 장애물(420)의 위치 추적을 통해 시각 효과(430)의 위치가 해당 장애물(420)의 위치에 대응되도록 표시될 수 있다.
도 5는 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 다른 일례를 나타낸다.
도 5를 참조하면, 전방위 영상에서 차량(510) 주변의 장애물(520)과, 장애물(520)의 검출된 위치에 대응되는 시각 효과(550)가 부여된다. 또한, 변속기 상태가 R단일 경우, 차량(510)의 두 후륜 각각의 위치로부터 조향각에 따른 예상 이동 궤적에 대응되는 가이드 영상(530)이 표시될 수 있다. 물론, 변속기 상태가 D단일 경우, 가이드 영상(530)은 차량(510)의 두 전륜 각각의 위치로부터 조향각에 대응하여 전방으로 연장되도록 표시될 수 있다.
한편, 도 5에 도시된 전방위 영상에서는 차체로부터 측방으로 가장 돌출된 외장품, 즉, 사이드 미러(511)의 예상 궤적에 해당하는 영상 가이드(540)도 조향각과 변속기 상태에 대응하여 표시될 수 있다. 이때, 예상 궤적에 해당하는 영상 가이드(540)가 장애물(520)의 검출된 위치와 만나는 경우(즉, 중첩 또는 교차), 사이드 미러(511)의 예상 궤적에 해당하는 영상 가이드(540)와 장애물(520)의 검출된 위치에 대응되는 시각 효과(550) 중 적어도 하나는 경고에 대응되는 형태로 변형(예컨대, 색상, 점멸 부여 등)될 수 있다.
도 6은 본 발명의 일 실시예에 따른 가이드 영상의 출력 형태의 또 다른 일례를 나타낸다.
도 5에서와 달리, 도 6에서는 거리에 따라 서로 다른 시각 효과가 부여될 수 있다. 구체적으로, 도 6의 (a)를 참조하면, 사이드 미러(611)의 예상 궤적(640)이 장애물(620)과 만나는 경우라도, 이격 거리가 일정 거리 이상인 경우 예상 궤적(640)은 기 설정된 제1 색상(예컨대, 노란색)으로 표시될 수 있다.
차량이 이동함에 따라 도 6의 (b)와 같이 장애물(620)이 주변 감지부(113)의 감지 영역을 벗어나더라도 장애물 추적부(127)에 의한 장애물 추적을 통해 장애물의 에지 위치는 여전히 추적되고 있으며, 사이드 미러(611)와 장애물의 에지가 기 설정된 제1 거리 이하가 되면 사이드 미러(611)의 예상 궤적(640')이 기 설정된 제2 색상(예컨대, 주황색)으로 변경되고, 장애물(620)의 에지에 부여되는 시각 효과(650)도 표시되기 시작한다.
이후 차량이 더욱 후진함에 따라 도 6의 (c)와 같이 사이드 미러(611)와 장애물의 에지가 제1 거리보다 짧은 제2 거리 이하가 되면 사이드 미러(611)의 예상 궤적(640")이 기 설정된 제3 색상(예컨대, 빨간색)으로 변경되고, 장애물(620)의 에지에 부여되는 시각 효과(650')도 더 높은 경고를 나타내는 다른 색상으로 변경될 수 있다.
도 6의 (a) 내지 (c)에서는 실제 장애물(620)과 사이드 미러(611) 간의 거리가 변화함에 따라 예상 궤적에 부여되는 시각효과가 변경되었으나, 도 6의 (d)와 같이 실제 근접하지 않더라도 거리에 따라 서로 다른 시각 효과가 부여되도록 할 수도 있다. 즉, 예상 궤적과 장애물이 중첩될 경우, 시각 효과 내에서도 색상 및 형태 중 적어도 하나가 거리에 따라 단계적(예컨대, 색상 변경, 색상 그라데이션 부여 등)으로 변경될 수 있다.
도 6에서 차체에 대한 예상 궤적(630)은 충돌 가능성이 없어 하나의 형태로 유지되나, 장애물과의 충돌 가능성이 있을 경우 거리에 따라 사이드 미러(611)의 예상 궤적(640)과 유사한 형태로 시각 효과가 부여/변형될 수 있음은 물론이다.
도 7은 본 발명의 일 실시예에 따른 기둥 감지 원리를 설명하기 위한 도면이다.
도 7의 (a)를 참조하면, 기둥(720)과 같이 입체형 장애물은 바닥면 형상(723) 및 그로부터 연장되는 하나 이상의 면(721, 722)이 검출되게 된다. 도 7의 (b)에 도시된 바와 같이, 차량 이동에 따라 기둥(720)의 카메라에 대한 상대적 위치가 변경되므로 각 면(721', 722')의 형상이 변형된다. 예컨대, 각 면(721, 722)의 대각선 성분은 차량의 후진에 따라 각도가 점점 바닥면 형상(723)에 근접하게 된다. 그러나, 바닥면 형상(723)은 크게 변형되지 않는다. 따라서, 장애물 검출부(123)는 영상 기반 장애물 검출을 수행함에 있어서 상대적으로 변형이 없는 부분과, 상대적으로 변형이 없는 부분으로부터 연장되어 차량의 이동에 따라 각도와 형상이 변경되는 부분을 입체형 장애물이 있는 부분으로 인식할 수 있다. 따라서, 주차선 등 실질적으로 장애물이 아니나 에지 검출을 통해 검출되는 부분에 대한 필터링이 가능하다.
한편, 지금까지 설명한 실시예에 따른 주변 정보 제공 방법은 운전자의 주차 상황을 상정하여 설명하였으나, 반드시 이러한 상황에 한정되는 것은 아니다. 예컨대, 주변 정보 제공 방법은 협소한 골목을 주행하는 경우 사이드 미러의 보호를 위해 적용될 수도 있으며, 원격 주차나 자동 주차 기능에 적용될 수도 있다.
예컨대, 원격 주차나 자동 주차 기능을 실행할 경우, 특히 출차시에 주변 감지부(113)를 통해 근접한 장애물이 검출되어 자동 출차가 불가한 경우가 발생하나, 카메라(111)를 통한 영상 기반 장애물 검출이 함께 적용될 경우 장애물이 실제 충돌될만큼 가까운지 여부가 추가 검증될 수 있으므로 주변 감지부(113)의 감지 결과와 무관하게 출차가 가능할 수 있다.
또한, 전술한 실시예들에서는 시각적인 경고를 위주로 기술하였으나, 실시예는 이에 한정되지 아니하고 스피커(133)를 통한 청각 경고에도 적용될 수 있다. 예를 들어, 장애물에 근접함에 따라 또는 이동에 따른 사이드 미러의 충돌 가능성이 있을 때, 근접 정도에 따라 경고음이 커지거나 출력 빈도가 상승하는 등 충돌 위험에 따른 차별화된 경고음 출력이 가능하다.
아울러, 전술한 실시예들에서는 후진 상황을 위주로 기술하였으나, 실시예는 이에 한정되지 아니하고 전진 상황에도 적용될 수 있음은 당업자에 자명하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하는 단계;
    복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 단계;
    상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하는 단계; 및
    상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 단계를 포함하는, 차량의 주변 정보 제공 방법.
  2. 제1 항에 있어서,
    상기 적어도 하나의 센서 기반 장애물이 상기 주변 감지부의 감지 범위를 이탈한 경우, 상기 차량의 이동 거리 및 방향을 기반으로 상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치를 추적하는 단계를 더 포함하는, 차량의 주변 정보 제공 방법.
  3. 제2 항에 있어서,
    상기 추적하는 단계는,
    상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치가 일정 거리 내에 있는 동안 수행되는, 차량의 주변 정보 제공 방법.
  4. 제2 항에 있어서,
    상기 적어도 하나의 센서 기반 장애물, 상기 적어도 하나의 영상 기반 장애물, 상기 위치를 추적한 적어도 하나의 센서 기반 장애물 및 상기 위치 보정된 적어도 하나의 매칭 장애물 각각의 위치 정보와, 차체의 예상 이동 궤적에 해당하는 제1 궤적 및 차체로부터 돌출된 외장품의 예상 이동 궤적에 해당하는 제2 궤적의 중첩 여부를 판단하는 단계를 더 포함하는, 차량의 주변 정보 제공 방법.
  5. 제4 항에 있어서,
    상기 돌출된 외장품은 사이드 미러를 포함하는, 차량의 주변 정보 제공 방법.
  6. 제4 항에 있어서,
    상기 제1 궤적 및 상기 제2 궤적 중 적어도 하나에 대한 중첩이 발생할 경우, 중첩되는 장애물과의 거리에 대응되는 경고 정보가 출력되는 단계를 더 포함하는, 차량의 주변 정보 제공 방법.
  7. 제6 항에 있어서,
    상기 경고 정보는,
    상기 복수의 카메라를 통해 획득된 영상으로 구성된 전방위 영상 상에 오버레이되는 소정 형태의 시각 효과를 포함하는, 차량의 주변 정보 제공 방법.
  8. 제7 항에 있어서,
    상기 시각 효과는,
    상기 중첩되는 장애물과의 거리에 따라 색상 및 형태 중 적어도 하나가 변경되는, 차량의 주변 정보 제공 방법.
  9. 제1 항에 있어서,
    상기 적어도 하나의 영상 기반 장애물을 검출하는 단계는,
    상기 복수의 카메라를 통해 획득된 영상 정보에 대하여 에지 디텍션을 수행하는 단계; 및
    상기 에지 디텍션으로 검출된 적어도 하나의 후보 장애물에 대하여 차량 이동에 따른 변형의 정도와 대각선 각도 변화 여부에 따른 적어도 하나의 입체 장애물을 검출하는 단계를 포함하는, 차량의 주변 정보 제공 방법.
  10. 제1 항 내지 제9 항 중 어느 한 항에 따른 차량의 주변 정보 제공 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.
  11. 주변 감지부 및 복수의 카메라를 포함하는 입력부;
    상기 입력부를 통해 획득된 정보를 기반으로 적어도 하나의 주변 장애물을 검출 및 추적하는 제어부; 및
    상기 제어부에서 검출 및 추적된 상기 적어도 하나의 주변 장애물과의 거리에 대응되는 경고 정보를 출력하는 출력부를 포함하되,
    상기 제어부는,
    상기 주변 감지부를 통해 획득된 센서 감지 정보를 이용하여 적어도 하나의 센서 기반 장애물을 검출하고, 상기 복수의 카메라를 통해 획득된 영상 정보를 이용하여 적어도 하나의 영상 기반 장애물을 검출하는 장애물 검출부; 및
    상기 적어도 하나의 센서 기반 장애물 및 상기 적어도 하나의 영상 기반 장애물 중 서로 매칭되는 적어도 하나의 매칭 장애물을 검출하고 상기 적어도 하나의 매칭 장애물에 대한 센서 기반 검출 결과 및 영상 기반 검출 결과 중 적어도 하나를 이용하여 상기 적어도 하나의 매칭 장애물 각각의 위치를 보정하는 장애물 매칭/보정부를 포함하는, 차량.
  12. 제11 항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 센서 기반 장애물이 상기 주변 감지부의 감지 범위를 이탈한 경우, 상기 차량의 이동 거리 및 방향을 기반으로 상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치를 추적하는 장애물 추적부를 더 포함하는, 차량.
  13. 제12 항에 있어서,
    상기 장애물 추적부는,
    상기 감지 범위를 이탈한 적어도 하나의 센서 기반 장애물의 위치가 일정 거리 내에 있는 동안 상기 추적을 수행하는, 차량.
  14. 제12 항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 센서 기반 장애물, 상기 적어도 하나의 영상 기반 장애물, 상기 위치를 추적한 적어도 하나의 센서 기반 장애물 및 상기 위치 보정된 적어도 하나의 매칭 장애물 각각의 위치 정보와, 차체의 예상 이동 궤적에 해당하는 제1 궤적 및 차체로부터 돌출된 외장품의 예상 이동 궤적에 해당하는 제2 궤적의 중첩 여부를 판단하는, 차량.
  15. 제14 항에 있어서,
    상기 돌출된 외장품은 사이드 미러를 포함하는, 차량.
  16. 제14 항에 있어서,
    상기 제어부는,
    상기 제1 궤적 및 상기 제2 궤적 중 적어도 하나에 대한 중첩이 발생할 경우, 중첩되는 장애물과의 거리에 대응되는 경고 정보가 상기 출력부를 통해 출력되도록 제어하는, 차량.
  17. 제16 항에 있어서,
    상기 제어부는,
    상기 복수의 카메라를 통해 획득된 영상으로 구성된 전방위 영상 상에 상기 경고 정보에 해당하는 소정 형태의 시각 효과를 오버레이 시키는 시각 효과 제어부를 더 포함하는, 차량.
  18. 제17 항에 있어서,
    상기 시각 효과 제어부는,
    상기 중첩되는 장애물과의 거리에 따라 상기 시각 효과의 색상 및 형태 중 적어도 하나가 변경되도록 제어하는, 차량.
  19. 제18 항에 있어서,
    상기 시각 효과 제어부는,
    상기 중첩되는 장애물과의 잔존 거리에 따라 상기 시각 효과 내에서의 색상 및 형태 중 적어도 하나가 단계적으로 변경되도록 제어하는, 차량.
  20. 제11 항에 있어서,
    상기 장애물 검출부는,
    상기 복수의 카메라를 통해 획득된 영상 정보에 대하여 에지 디텍션을 수행하고, 상기 에지 디텍션으로 검출된 적어도 하나의 후보 장애물에 대하여 차량 이동에 따른 변형의 정도와 대각선 각도 변화 여부에 따른 적어도 하나의 입체 장애물을 검출하는, 차량.
KR1020190123630A 2019-10-07 2019-10-07 자동차 및 그를 위한 주변 정보 출력 방법 KR20210041224A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190123630A KR20210041224A (ko) 2019-10-07 2019-10-07 자동차 및 그를 위한 주변 정보 출력 방법
US17/008,010 US11772555B2 (en) 2019-10-07 2020-08-31 Vehicle and method of providing surrounding information thereof
CN202011000383.4A CN112622774A (zh) 2019-10-07 2020-09-22 车辆及提供车辆周围信息的方法
DE102020212098.6A DE102020212098A1 (de) 2019-10-07 2020-09-25 Fahrzeug und Verfahren zum Bereitstellen von Umgebungsinformationen von diesem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190123630A KR20210041224A (ko) 2019-10-07 2019-10-07 자동차 및 그를 위한 주변 정보 출력 방법

Publications (1)

Publication Number Publication Date
KR20210041224A true KR20210041224A (ko) 2021-04-15

Family

ID=74875998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190123630A KR20210041224A (ko) 2019-10-07 2019-10-07 자동차 및 그를 위한 주변 정보 출력 방법

Country Status (4)

Country Link
US (1) US11772555B2 (ko)
KR (1) KR20210041224A (ko)
CN (1) CN112622774A (ko)
DE (1) DE102020212098A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113071418A (zh) * 2021-04-28 2021-07-06 中国第一汽车股份有限公司 车辆的后视镜控制方法、装置、电子设备及存储介质
US11940544B2 (en) * 2021-10-25 2024-03-26 Ford Global Technologies, Llc Vehicle positioning using V2X RSU messaging and vehicular sensors
CN114379547A (zh) * 2021-12-24 2022-04-22 北京百度网讯科技有限公司 制动控制方法、装置、车辆、电子设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US11208129B2 (en) * 2002-06-04 2021-12-28 Transportation Ip Holdings, Llc Vehicle control system and method
WO2012029058A1 (en) * 2010-08-30 2012-03-08 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
US9123035B2 (en) * 2011-04-22 2015-09-01 Angel A. Penilla Electric vehicle (EV) range extending charge systems, distributed networks of charge kiosks, and charge locating mobile apps
JP5817843B2 (ja) * 2011-12-14 2015-11-18 トヨタ自動車株式会社 車両用情報伝達装置
JP6214775B2 (ja) * 2014-08-19 2017-10-18 三菱電機株式会社 後方路面照射装置
US9884631B2 (en) * 2015-06-04 2018-02-06 Toyota Motor Engineering & Manufacturing North America, Inc. Transitioning between operational modes of an autonomous vehicle
US20160357187A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
WO2017079341A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9754490B2 (en) * 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US20210295439A1 (en) * 2016-01-22 2021-09-23 State Farm Mutual Automobile Insurance Company Component malfunction impact assessment
KR101827698B1 (ko) * 2016-11-01 2018-02-12 현대자동차주식회사 차량 및 그 제어방법
EP3619643A1 (en) * 2017-05-03 2020-03-11 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
US10571280B2 (en) * 2017-05-09 2020-02-25 Toyota Research Institute, Inc. Systems and methods for localizing a vehicle using a roadway signature
US10372130B1 (en) * 2017-05-19 2019-08-06 Zoox, Inc. Communicating reasons for vehicle actions
US11067993B2 (en) * 2017-08-25 2021-07-20 Magna Electronics Inc. Vehicle and trailer maneuver assist system
KR20190071097A (ko) * 2017-12-14 2019-06-24 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법, 그리고 차량 시스템
GB2572006A (en) * 2018-03-16 2019-09-18 Continental Automotive Gmbh Vehicle alighting assistance device
KR102420476B1 (ko) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US11277956B2 (en) * 2018-07-26 2022-03-22 Bear Flag Robotics, Inc. Vehicle controllers for agricultural and industrial applications
KR102572784B1 (ko) * 2018-10-25 2023-09-01 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어방법
US10609148B1 (en) * 2019-09-17 2020-03-31 Ha Q Tran Smart vehicle
US11150665B2 (en) * 2019-09-17 2021-10-19 Ha Q Tran Smart vehicle
US10768620B1 (en) * 2019-09-17 2020-09-08 Ha Q Tran Smart vehicle
US20210089048A1 (en) * 2019-09-21 2021-03-25 Ha Q Tran Smart vehicle
US11267401B2 (en) * 2019-09-27 2022-03-08 GM Cruise Holdings, LLC Safe passenger disembarking for autonomous vehicles via audible signals
US10783559B1 (en) * 2019-10-06 2020-09-22 Bao Tran Mobile information display platforms

Also Published As

Publication number Publication date
DE102020212098A1 (de) 2021-04-08
US11772555B2 (en) 2023-10-03
CN112622774A (zh) 2021-04-09
US20210103743A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
KR102648812B1 (ko) 차량 및 그의 보행자 감지 알림 방법
EP3493179B1 (en) Driving assisting method and driving assisting device using the same
JP4687160B2 (ja) 周辺監視装置
US9481287B2 (en) Roadway projection system
US9139135B2 (en) System and method that minimizes hazards of blind spots while driving
US7710246B2 (en) Vehicle driving assist system
US11377103B2 (en) Vehicle control device and recording medium
KR20210041224A (ko) 자동차 및 그를 위한 주변 정보 출력 방법
JP2008227646A (ja) 障害物検知装置
JP4946682B2 (ja) 車両用走行支援装置
KR20090125075A (ko) 반자동 주차 기계
JP5418249B2 (ja) 車両制御装置
WO2012045323A1 (en) Method and driver assistance system for warning a driver of a motor vehicle of the presence of an obstacle in an environment of the motor vehicle
JP4936060B2 (ja) 車両用走行支援装置
JP2007124097A (ja) 車両周辺視認装置
JP2007030603A (ja) 車両用走行支援装置
JP2018074286A (ja) 運転支援装置
US20200361376A1 (en) Rear display device
JP4345526B2 (ja) 物体監視装置
KR101798054B1 (ko) 레이저 가이드 시스템 및 방법
KR101673306B1 (ko) 웨어러블 기기를 이용한 차량의 안전 장치 및 그 제어방법
JP5214539B2 (ja) 自律走行ロボット、自律走行ロボットを用いた追走システム、及び追走方法
JP2020115302A (ja) 車両の運転支援装置
KR20190081629A (ko) 차량용 주차제어장치 및 그 장치의 구동방법
US20230001917A1 (en) Method for detecting an obstacle on a route

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal