KR101305310B1 - Method for providing around view of vehicle - Google Patents

Method for providing around view of vehicle Download PDF

Info

Publication number
KR101305310B1
KR101305310B1 KR1020110007128A KR20110007128A KR101305310B1 KR 101305310 B1 KR101305310 B1 KR 101305310B1 KR 1020110007128 A KR1020110007128 A KR 1020110007128A KR 20110007128 A KR20110007128 A KR 20110007128A KR 101305310 B1 KR101305310 B1 KR 101305310B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
around view
gear
enlarged
Prior art date
Application number
KR1020110007128A
Other languages
Korean (ko)
Other versions
KR20120085973A (en
Inventor
하수영
나경진
김종효
Original Assignee
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주) filed Critical 아진산업(주)
Priority to KR1020110007128A priority Critical patent/KR101305310B1/en
Publication of KR20120085973A publication Critical patent/KR20120085973A/en
Application granted granted Critical
Publication of KR101305310B1 publication Critical patent/KR101305310B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q11/00—Arrangement of monitoring devices for devices provided for in groups B60Q1/00 - B60Q9/00
    • B60Q11/005—Arrangement of monitoring devices for devices provided for in groups B60Q1/00 - B60Q9/00 for lighting devices, e.g. indicating if lamps are burning or not
    • B60Q11/007—Arrangement of monitoring devices for devices provided for in groups B60Q1/00 - B60Q9/00 for lighting devices, e.g. indicating if lamps are burning or not the lighting devices indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운행 전에 차량의 각종 상태 정보를 화면에 표시하고, 초기 또는 주차 모드시 사용자의 모션이 입력, 방향 지시등의 조작 신호가 입력 또는 장애물과의 충돌이 예상되는 경우 특정 영역의 화면을 확대 디스플레이하여 운전자의 안전을 확보할 수 있도록 하는 차량의 어라운드 뷰 제공 방법에 관한 것이다.
이를 위한 본 발명의 차량의 어라운드 뷰 제공 방법은, 시동 신호가 감지되면 차량에 설치된 각 센서로부터 차량 정보를 수신하는 단계와, 수신된 차량 정보를 디스플레이하는 단계와, 차량의 각 부분에 설치된 복수의 카메라로부터 촬영 영상을 수신하는 단계와, 수신된 복수의 촬영 영상을 조합하여 어라운드 뷰 영상를 생성하는 단계 및 생성된 어라운드 뷰 영상를 디스플레이하는 단계를 포함한다. The present invention displays various state information of the vehicle on the screen before driving, and enlarges the screen of a specific area when a user's motion is input or an operation signal such as a direction indicator is input or a collision with an obstacle is expected in the initial or parking mode. The present invention relates to a method of providing an around view of a vehicle to ensure driver safety.
The method of providing an around view of the vehicle according to the present invention includes receiving vehicle information from each sensor installed in the vehicle, displaying the received vehicle information, and displaying a plurality of installed in each part of the vehicle. Receiving a captured image from the camera, combining the plurality of received images to generate an around view image and displaying the generated around view image.

Description

차량의 어라운드 뷰 제공 방법{METHOD FOR PROVIDING AROUND VIEW OF VEHICLE}How to provide an around view of your vehicle {METHOD FOR PROVIDING AROUND VIEW OF VEHICLE}

본 발명은 차량의 어라운드 뷰 제공 방법에 관한 것으로서, 특히 운행 전에 차량의 각종 상태 정보를 화면에 표시하고, 초기 또는 주차 모드시 사용자의 모션이 입력, 방향 지시등의 조작 신호가 입력 또는 장애물과의 충돌이 예상되는 경우 특정 영역의 화면을 확대 디스플레이함으로써, 사용자가 간편하게 원하는 영역의 영상을 확대 관찰할 수 있는 차량의 어라운드 뷰 제공 방법에 관한 것이다.
The present invention relates to a method of providing an around view of a vehicle, and in particular, displays various state information of a vehicle before driving, and inputs a user's motion in an initial or parking mode, and an operation signal such as a direction indicator collides with an input or an obstacle. In this case, the present invention relates to a method of providing an around view of a vehicle in which a user can easily enlarge and observe an image of a desired area by enlarging and displaying a screen of a specific area.

일반적으로, 주차시 또는 후진시와 같이 차량의 후방 상황을 파악하기 위해 운전자는 좌/우측의 외부 사이드 미러와 내부 룸 미러를 이용하고 있다. 그러나, 운전자가 외부 사이드 미러와 내부 룸 미러를 통하여 차량의 후방을 파악할 수 있는 방향은 한정되어 사각지대가 생기게 된다. 이에 차량의 주차시 및 후진시 시계가 충분히 확보되지 않아 차량 후방의 상황을 정확히 인식하지 못하는 문제점이 있다. In general, the driver uses the left and right exterior side mirrors and the interior room mirrors to grasp the rear of the vehicle, such as when parking or reversing. However, the direction in which the driver can see the rear of the vehicle through the outer side mirror and the inner room mirror is limited, resulting in a blind spot. Thus, when the vehicle is parked and reversed, the clock is not sufficiently secured so that the situation behind the vehicle may not be correctly recognized.

이러한 단점을 해소하기 위하여 최근에는 차량의 후방에만 카메라를 설치하고 카메라를 통해 촬영된 영상을 차량 내부에서 모니터링 할 수 있도록 하는 후방 감시 카메라를 이용한 모니터링 시스템이 이용되고 있다. 그런데, 후방 감시 카메라를 이용한 모니터링 시스템은 후방 영상만을 제공하기 때문에 차량의 좌우측 또는 전방 영상을 모니터링 할 수 없는 단점이 있다. Recently, a monitoring system using a rear surveillance camera has been used to install a camera only at the rear of a vehicle and to monitor an image captured by the camera in a vehicle. However, since the monitoring system using the rear surveillance camera provides only the rear image, there is a disadvantage in that the left and right or front images of the vehicle cannot be monitored.

이에 최근에는 차량의 전방, 후방, 좌측 및 우측에 장착된 카메라를 이용하여 가상 시점에서 차량을 부감(상공으로부터 내려다 본 상태)시킨 화면을 제공하여 운전자가 볼 수 없는 시야를 확보할 수 있도록 하는 어라운드 뷰(Around view) 모니터링 시스템이 제공되고 있다. Recently, cameras mounted on the front, rear, left and right sides of the vehicle are used to provide a view of the vehicle from a virtual point of view (looking down from the sky) to secure a view that cannot be seen by the driver. Around view monitoring system is provided.

그러나, 종래의 어라운드 뷰 모니터링 시스템은 단순히 자동차의 전후좌우의 영상만을 모니터를 통해 운전자에게 제공하거나 운전자의 조작에 의해 선택된 방향의 영상만을 표시해주는 것으로서, 자동차 운행시 발생될 수 있는 다양한 정보를 운전자에게 제공하지 못하고 있다는 문제점이 있다. However, the conventional around view monitoring system simply provides the driver with only the images of the front, rear, left, and right of the vehicle through the monitor or displays only the image in the direction selected by the driver's operation. There is a problem that it does not provide.

예를 들어, 차량의 진행방향에 있는 장애물이 카메라의 촬상 범위에 포함되지 않을 때 운전자가 화면을 주시하며 운행할 경우 차량의 진행방향에 있는 장애물과 접촉할 우려가 있다. For example, when an obstacle in the driving direction of the vehicle is not included in the imaging range of the camera, the driver may come into contact with the obstacle in the traveling direction of the vehicle when the driver watches the screen.

또한, 운전자가 운행 도중에 특정 방향의 화면 정보만을 보고 싶을 경우 운행을 하면서 특정 화면이 표시되도록 조작을 해야 하므로 운행시 주의력이 저하되어 사고로 이어질 수 있는 문제가 있다.
In addition, when the driver wants to see only the screen information in a specific direction while driving, the driver needs to operate the display so that a specific screen is displayed.

배경기술의 단점을 해소하기 위한 본 발명의 목적은 차량 시동이 감지되면 차량 각부의 상태 정보를 화면에 표시하여, 운전자가 차량 운행 이전에 차량 정보를 확인할 수 있도록 하는 차량의 어라운드 뷰 제공 방법을 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method of providing an around view of a vehicle that enables a driver to check vehicle information before driving a vehicle by displaying state information of each part of a vehicle when a vehicle start is detected. Is in.

또한, 본 발명의 다른 목적은 차량 외부에 복수의 장애물 감지 센서를 설치하고, 장애물 감지 센서의 센싱 결과에 기초로 장애물과의 충돌이 예상될 경우 충돌 예상 방향과 충돌 예상 거리 및 충돌 예상 시간 정보와 함께 충돌 예상 방향의 영상을 확대 디스플레이하는 차량의 어라운드 뷰 제공 방법을 제공함에 있다.In addition, another object of the present invention is to install a plurality of obstacle detection sensors on the outside of the vehicle, and when the collision with the obstacle is expected based on the sensing result of the obstacle detection sensor and the collision prediction direction, collision prediction distance and collision estimated time information The present invention also provides a method of providing an around view of a vehicle that enlarges and displays an image of a collision prediction direction.

또한 본 발명의 또 다른 목적은 차량의 초기 주행 또는 주차 모드시 방향 지시등의 조작 신호가 입력되면 기어의 상태 및 방향 지시등의 상태 정보에 따라 기설정된 영역의 영상을 확대 디스플레이함으로써, 사용자가 간편하게 원하는 영역의 영상을 확대 관찰 할 수 있는 차량의 어라운드 뷰 제공 방법을 제공함에 있다. In addition, another object of the present invention is to enlarge and display the image of the predetermined area according to the state of the gear and the status indicator when the operation signal of the direction indicator is input during the initial driving or parking mode of the vehicle, the user simply desired area The present invention provides a method of providing an around view of a vehicle to enlarge and observe an image of the vehicle.

또한, 본 발명의 또 다른 목적은 차량의 초기 주행 또는 주차 모드시 근접 센서로부터의 센싱 신호에 기초하여 사용자 모션 입력 여부를 판단하고, 사용자 모션이 입력되면 기 설정된 사용자 모션 패턴에 대응하는 영역의 영상을 확대 디스플레이함으로써, 사용자가 간편하게 원하는 영역의 영상을 확대 관찰 할 수 있는 차량의 어라운드 뷰 제공 방법을 제공함에 있다.
In addition, another object of the present invention is to determine whether the user motion input based on the sensing signal from the proximity sensor during the initial driving or parking mode of the vehicle, and if the user motion is input, the image of the area corresponding to the preset user motion pattern The present invention provides a method of providing an around view of a vehicle in which a user can easily enlarge and observe an image of a desired area by displaying the enlarged display.

과제를 해결하기 위한 본 발명의 차량의 어라운드 뷰 제공 방법은, 시동 신호가 감지되면 차량에 설치된 각 센서로부터 차량 정보를 수신하는 단계와, 수신된 차량 정보를 디스플레이하는 단계와, 차량의 각 부분에 설치된 복수의 카메라로부터 촬영 영상을 수신하는 단계와, 수신된 복수의 촬영 영상을 조합하여 어라운드 뷰 영상를 생성하는 단계 및 생성된 어라운드 뷰 영상를 디스플레이하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of providing an around view of a vehicle, including receiving vehicle information from each sensor installed in a vehicle, displaying received vehicle information, Receiving a captured image from a plurality of installed cameras, combining the received plurality of captured images, generating an around view image, and displaying the generated around view image.

여기서, 차량 정보는 어라운드 뷰 영상 생성이 완료되기 이전까지 디스플레이된다.Here, the vehicle information is displayed until generation of the around view image is completed.

또한, 영상 확대 영역을 분할하고 방향 지시등 상태와 기어 상태 정보를 조합하여 영상 확대 영역을 지정하는 단계와, 차량이 초기 주행 또는 주차 모드로 진입하는 단계와, 방향 지시등 조작 신호 입력 여부를 판단하는 단계 및 방향 지시등 조작 신호의 입력이 있을 경우 기어의 상태 및 방향 지시등의 상태 정보에 따라 기설정된 영역의 영상을 확대 디스플레이하는 단계를 더 포함할 수 있다. The method may further include: dividing the image magnification area and combining the turn signal state and the gear state information to designate the image magnification area, entering the vehicle into an initial driving or parking mode, and determining whether to input a turn signal operation signal. And expanding and displaying an image of a predetermined area according to the state of the gear and the state information of the direction indicator when the direction indicator operation signal is input.

이때, 방향 지시등 조작 신호에 따른 영상 확대 디스플레이는 기어가 전진 상태이고 좌측 방향 지시등이 켜진 경우 전방 좌측 영상을 확대 디스플레이하고, 기어가 전진 상태이고 우측 방향 지시등이 켜진 경우 전방 우측 영상을 확대 디스플레이하고, 기어가 후진 상태이고 좌측 방향 지시등이 켜진 경우 후방 좌측 영상을 확대 디스플레이하며, 기어가 후진 상태이고 우측 방향 지시등이 켜진 경우 후방 우측 영상을 확대 디스플레이한다.At this time, the image magnification display according to the turn signal operation signal is enlarged display of the front left image when the gear is in the forward state and the left turn indicator is turned on, and enlarges the front right image when the gear is in the forward position and the right turn indicator is turned on, If the gear is in reverse and the left turn indicator is on, the rear left image is enlarged and displayed. If the gear is in reverse and the right turn indicator is on, the rear right image is enlarged.

또한, 차량이 초기 주행 또는 주차 모드로 진입하는 단계와, 차량이 주변의 장애물과의 충돌이 예상되는지 판단하는 단계 및 충돌이 예상될 경우 충돌 예상 방향의 영상을 확대 디스플레이하는 단계를 더 포함할 수 있다. The method may further include a step in which the vehicle enters an initial driving or parking mode, a determination of whether the vehicle is expected to collide with an obstacle around it, and an enlarged display of an image of a collision anticipation direction when the collision is expected. have.

또한, 차량이 초기 주행 또는 주차 모드로 진입하는 단계와, 근접 센서로부터의 센싱 신호에 기초하여 사용자 모션 입력 여부를 판단하는 단계 및 사용자 모션이 입력되면 기 설정된 사용자 모션 패턴에 대응하는 영역의 영상을 확대 디스플레이하는 단계를 더 포함할 수 있다.
In addition, when the vehicle enters the initial driving or parking mode, determining whether the user motion is input based on the sensing signal from the proximity sensor, and when the user motion is input, the image of the area corresponding to the preset user motion pattern is displayed. The method may further include expanding the display.

본 발명은 시동이 감지되면 차량의 각부 상태 정보를 화면에 디스플레이하여, 운전자가 운행 이전에 차량의 이상 여부를 확인할 수 있도록 함으로써, 차량 이상에 따라 주행중 발생할 수 있는 사고를 미연에 방지하여 안전성을 확보할 수 있는 이점이 있다.The present invention displays the status information of each part of the vehicle on the screen when the start is detected, so that the driver can check whether the vehicle is abnormal before driving, to prevent the accident that may occur during the driving according to the vehicle error in advance to secure safety There is an advantage to this.

또한, 본 발명은 장애물과의 충돌이 예상될 경우 충돌 예상 방향과 충돌 예상 거리 및 충돌 예상 시간 정보와 함께 충돌 예상 방향의 영상을 확대 디스플레이하여, 사용자가 장애물과의 충돌에 미리 대처할 수 있도록 함으로써 안전성을 확보할 수 있는 이점이 있다.In addition, when the collision with the obstacle is expected, the present invention expands and displays the image of the collision prediction direction along with the collision prediction direction, the collision prediction distance, and the collision prediction time information, so that the user can cope with the collision with the obstacle in advance. There is an advantage that can be secured.

또한, 본 발명은 사용자가 터치 화면을 직접 조작하지 않아도 방향 지시등을 조작하거나, 근접 센서 근처에서 특정 모션을 취할 경우 이를 감지하여 기설정 패턴에 대응되는 영역의 영상을 확대 디스플레이하도록 함으로써, 주행 중 터치 화면을 조작하지 않아도 간편하게 원하는 영역의 영상을 확대 관찰할 수 있으므로 운전자의 주의력 분산을 방지하여 안전성을 확보할 수 있는 이점이 있다.
In addition, the present invention, even if the user does not operate the touch screen directly, by operating the direction indicator light, or when taking a specific motion near the proximity sensor to detect the display to enlarge the image of the area corresponding to the preset pattern, touch while driving Since the user can easily enlarge and observe the desired area without manipulating the screen, there is an advantage in that safety can be secured by preventing distraction of the driver's attention.

도 1은 본 발명의 차량의 어라운드 뷰 제공 시스템을 개략적으로 나타낸 구성 블록도.
도 2 및 도 3은 본 발명의 실시예에 따라 데이터 저장부에 저장되는 확대 디스플레이 분할 영역의 예시도.
도 4는 본 발명의 제 1 실시예에 따른 차량의 어라운드 뷰 제공 방법을 설명하기 위한 흐름도.
도 5는 본 발명의 제 2 실시예에 따른 차량의 어라운드 뷰 제공 방법을 설명하기 위한 흐름도.
도 6은 본 발명의 제 3 실시예에 따른 차량의 어라운드 뷰 제공 방법을 설명하기 위한 흐름도.1 is a block diagram schematically showing a system for providing an around view of a vehicle of the present invention.
2 and 3 are exemplary views of an enlarged display partition area stored in a data storage unit according to an embodiment of the present invention.
4 is a flowchart illustrating a method of providing an around view of a vehicle according to the first exemplary embodiment of the present invention.
5 is a flowchart illustrating a method of providing an around view of a vehicle according to a second exemplary embodiment of the present invention.
6 is a flowchart illustrating a method of providing an around view of a vehicle according to a third exemplary embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하기로 한다.
Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 본 발명의 차량의 어라운드 뷰 제공 시스템을 개략적으로 나타낸 구성 블록도로서, 차량 정보 획득부(100), 복수의 장애물 감지 센서(200), 터치 센서(300), 근접 센서(400), 복수의 카메라(500), ECU(600), 디스플레이장치(700) 및 스피커(800)를 포함한다. 1 is a block diagram schematically illustrating a system for providing an around view of a vehicle according to an embodiment of the present invention, wherein the vehicle information acquisition unit 100, a plurality of obstacle detection sensors 200, a touch sensor 300, a proximity sensor 400, The plurality of cameras 500, the ECU 600, the display apparatus 700, and the speaker 800 are included.

차량 정보 획득부(100)는 차량의 각부에 설치된 센서로서, 차량의 각부의 상태정보를 검출한 후 검출 정보를 CAN(Controller Area Network)으로 연결된 ECU(600)로 전송한다. 이때, 차량 정보 획득부(100)는 드로틀 각도, 점화 시기, 부하, 연료 트립 등과 같은 엔진 상태를 검출하는 엔진 센서(110)와, 냉각수의 온도를 검출하는 냉각수 센서(120), 흡기 압력과 온도를 검출하는 흡기 센서(130), 타이어의 공기압을 검출하는 타이어 공압 센서(140), 배터리 상태를 검출하는 배터리 센서(150), 시동 입력 여부를 감지하는 시동 감지 센서(160), 기어 스위치로부터 기어의 상태를 검출하는 기어 위치 감지 센서(170), 차량의 속도를 검출하는 속도 센서(180), 방향 지시등 상태를 검출하는 방향 지시등 감지 센서(190)를 포함한다.The vehicle information acquisition unit 100 is a sensor installed in each unit of the vehicle and detects state information of each unit of the vehicle and transmits the detection information to the ECU 600 connected through a controller area network (CAN). In this case, the vehicle information acquisition unit 100 includes an engine sensor 110 for detecting an engine state such as a throttle angle, an ignition timing, a load, a fuel trip, a coolant sensor 120 for detecting a temperature of the coolant, an intake pressure, and a temperature. Intake sensor 130 for detecting the tire, pneumatic pressure sensor 140 for detecting the air pressure of the tire, battery sensor 150 for detecting the battery state, start detection sensor 160 for detecting whether the start input, gear from the gear switch Gear position detection sensor 170 for detecting the state of the speed, the speed sensor 180 for detecting the speed of the vehicle, and the turn signal detection sensor 190 for detecting the state of the turn signal.

장애물 감지 센서(200)는 차량 외부의 전후좌우에 설치되어 주변 장애물의 접근을 감지하는 것으로서, 본 발명의 실시예에서는 차량의 전후좌우에 설치된 것으로 설명하였으나 센서의 개수나 장착 위치는 변형이 가능하다.Obstacle detection sensor 200 is installed in the front, rear, left and right of the outside of the vehicle to sense the approach of the surrounding obstacle, in the embodiment of the present invention has been described as installed in the front, rear, left and right of the vehicle, the number or mounting position of the sensor can be modified. .

터치 센서(300)는 디스플레이장치(700)에 일체화되어 사용자의 터치를 감지하는 것으로서, 스피커 음량과 모드 선택과 같은 각종 메뉴 정보를 입력받을 수 있다.The touch sensor 300 is integrated into the display apparatus 700 to sense a user's touch and may receive various menu information such as speaker volume and mode selection.

근접 센서(400)는 디스플레이장치(700)의 상하좌우에 복수로 설치되어 사용자의 모션을 감지하는 것으로서, 근접 센서(400)의 개수와 설치 위치는 여기에 한정되지 않고 다양하게 변형할 수 있다. Proximity sensor 400 is installed in a plurality of upper, lower, left, and right of the display device 700 to detect the user's motion, the number and installation position of the proximity sensor 400 can be variously modified without being limited thereto.

복수의 카메라(500)는 차량의 전방과 양측 사이드미러와 후방에 설치되어 차량 주변의 영상을 촬영하는 것으로서, 카메라(500)의 위치와 개수는 여기에 한정되지 않고 차량의 다른 부분에 설치될 수 있다.The plurality of cameras 500 are installed at the front and both side mirrors and the rear of the vehicle to take images of the surroundings of the vehicle, and the position and the number of the cameras 500 are not limited thereto and may be installed in other parts of the vehicle. have.

한편, ECU(600)는 차량의 각부에 설치된 센서로부터 전송되는 검출 정보에 디스플레이장치(700)나 스피커(800) 제어 및 차량의 구동 전반을 제어한다. 여기서, ECU(600)는 영상 처리부(610), 충돌 위험 판단부(620), 터치 좌표 산출부(630), 사용자 모션 패턴 판독부(640), 운행 모드 판단부(650), 데이터 저장부(660) 및 제어부(670)를 포함한다.On the other hand, the ECU 600 controls the display apparatus 700 or the speaker 800 and the overall driving of the vehicle to the detection information transmitted from the sensors installed in the respective parts of the vehicle. Here, the ECU 600 may include an image processor 610, a collision risk determiner 620, a touch coordinate calculator 630, a user motion pattern reader 640, a driving mode determiner 650, and a data storage unit ( 660 and the controller 670.

영상 처리부(610)는 복수의 카메라(500)로부터 전송되는 영상 정보를 조합하여 어라운드 뷰 영상을 생성한다. 이때, 왜곡 보정, 시점 변환, 합성 처리를 하여 어라운드 뷰 영상을 생성한다.The image processor 610 generates an around view image by combining image information transmitted from the plurality of cameras 500. At this time, an around view image is generated by performing distortion correction, viewpoint transformation, and combining process.

충돌 위험 판단부(620)는 장애물 감지 센서(200)와 속도 센서(180)로부터 전송되는 신호를 기초로 장애물과의 거리를 산출하여 충돌 예상 여부를 판단하고, 충돌이 예상될 경우 충돌 예상 시간을 산출한다.The collision risk determination unit 620 calculates the distance between the obstacles based on the signals transmitted from the obstacle detecting sensor 200 and the speed sensor 180 to determine whether to predict a collision, and if the collision is expected, estimates the collision time. Calculate.

터치 좌표 산출부(630)는 터치 센서(300)로부터 전송되는 터치 정보를 분석하여 해당 터치 위치의 좌표를 산출한다.The touch coordinate calculator 630 calculates coordinates of the corresponding touch position by analyzing touch information transmitted from the touch sensor 300.

사용자 모션 패턴 판독부(640)는 복수의 근접 센서로부터 감지 신호가 입력되면, 입력된 감지 신호를 분석하여 데이터베이스에 기 설정된 사용자 모션 패턴과 비교하여 입력된 모션 패턴을 판독한다. 이때, 모션 패턴은 사용자의 손이 특정 방향으로 이동하는 것을 기준으로 설정될 수 있다. When a detection signal is input from a plurality of proximity sensors, the user motion pattern reading unit 640 reads the input motion pattern by comparing the input detection signal with a user motion pattern preset in a database. In this case, the motion pattern may be set based on the movement of the user's hand in a specific direction.

운행 모드 판단부(650)는 시동 감지 센서(160)와, 기어 위치 감지 센서(170)와 속도 센서(180)로부터 전송되는 신호에 기초하여 초기 주행 모드 또는 일반 주행 모드 또는 주차 모드 인지를 판단한다. 예를 들어, 시동이 감지된 직후 차량의 속도가 일정 속도 이하일 경우에는 초기 주행 모드인 것으로 판단하고, 일정 속도 이상으로 속도가 증가하면 주행 모드인 것으로 판단하며, 일정 속도 이상의 주행 모드에서 변속 기어가 "R" 상태가 되고 속도가 일정 속도 이하가 되면 주차 모드인 것으로 판단한다.The driving mode determining unit 650 determines whether the driving mode sensor 160, the gear position detecting sensor 170, and the speed sensor 180 transmit the initial driving mode, the normal driving mode, or the parking mode. . For example, if the speed of the vehicle is less than a certain speed immediately after the start is detected, it is determined that the vehicle is in an initial driving mode. If the speed increases more than a certain speed, it is determined to be a driving mode. When it is in the "R" state and the speed is lower than the predetermined speed, it is determined that the parking mode.

데이터 저장부(660)는 영상 처리부(610)에서 처리된 영상 정보를 실시간으로 저장하여 사고 발생시 등에 증거 자료로 활용할 수 있도록 하며, 각종 센서로부터 입력되는 신호에 대응하여 확대 디스플레이할 영역을 분할 설정한다. The data storage unit 660 stores the image information processed by the image processor 610 in real time so that the data storage unit 610 can be used as evidence in case of an accident, and divides and sets the area to be enlarged and displayed in response to signals input from various sensors. .

도 2 및 도 3은 본 발명의 실시예에 따라 데이터 저장부에 저장되는 확대 디스플레이 분할 영역의 예시도이다.2 and 3 are exemplary views of an enlarged display partition area stored in a data storage unit according to an exemplary embodiment of the present invention.

도 2는 방향 지시등 상태와 기어 상태에 대응하여 분할 설정되는 디스플레이 영역을 도시한 예시도로서, 분할 영역을 전방 좌측과, 전방 우측, 후방 좌측과, 후방 우측으로 분할 설정할 수 있다. 그리고, 기어가 전진 상태이고 좌측 방향 지시등이 켜진 경우 전방 좌측 영상을 확대 디스플레이하고, 기어가 전진 상태이고 우측 방향 지시등이 켜진 경우 전방 우측 영상을 확대 디스플레이하고, 기어가 후진 상태이고 좌측 방향 지시등이 켜진 경우 후방 좌측 영상을 확대 디스플레이하며, 기어가 후진 상태이고 우측 방향 지시등이 켜진 경우 후방 우측 영상을 확대 디스플레이할 수 있다. 여기서, 본 발명은 방향 지시등 상태와 기어 상태에 따른 조합 및 확대 디스플레이 영역을 다르게 설정하는 것으로 변형 실시할 수 있다. FIG. 2 is an exemplary view illustrating a display area divided according to a turn signal state and a gear state, and the divided area may be divided into a front left side, a front right side, a rear left side, and a rear right side. If the gear is in the forward position and the left turn indicator is turned on, the front left image is enlarged and displayed. If the gear is in the forward position and the right turn indicator is turned on, the front right image is enlarged and the gear is in the reverse position and the left turn indicator is turned on. When the rear left image is enlarged and displayed, the rear right image may be enlarged and displayed when the gear is in the reverse state and the right direction indicator is turned on. The present invention can be modified by setting different combination and enlarged display areas according to the turn signal state and the gear state.

도 3은 근접 센서(400)에서 전송되는 사용자 모션 패턴에 대응하여 분할 설정되는 디스플레이 영역을 도시한 예시도로서, 분할 영역을 전방과 후방 및 좌측과 우측으로 분할 설정할 수 있다. 그리고, 좌측 근접 센서 감지 신호 입력 후 우측 근접 센서 감지 신호가 입력되면 우측 영상을 확대 디스플레이하고, 우측 근접 센서 감지 신호 입력 후 좌측 근접 센서 감지 신호가 입력되면 좌측 영상을 확대 디스플레이하고, 상부 근접 센서 감지 신호 입력 후 하부 근접 센서 감지 신호가 입력되면 후방 영상을 확대 디스플레이하며, 하부 근접 센서 감지 신호 입력 후 상부 근접 센서 감지 신호가 입력되면 상부 영상을 확대 디스플레이 하도록 설정될 수 있다. 여기서, 본 발명은 사용자 모션 패턴 및 확대 디스플레이 영역을 다르게 설정하는 것으로 변형 실시할 수 있다. FIG. 3 is an exemplary diagram illustrating a display area that is divided according to a user motion pattern transmitted from the proximity sensor 400. The divided area may be divided into front, rear, left, and right sides. If the right proximity sensor detection signal is input after the left proximity sensor detection signal is input, the right image is enlarged and displayed. If the left proximity sensor detection signal is input after the right proximity sensor detection signal is input, the left image is enlarged. When the lower proximity sensor detection signal is input after the input of the signal, the rear image may be enlarged and displayed. If the upper proximity sensor detection signal is input after the lower proximity sensor detection signal is input, the upper image may be enlarged. The present invention can be modified by setting the user motion pattern and the enlarged display area differently.

제어부(670)는 영상 처리부(610)에서 조합된 어라운드 뷰 영상과 차량 정보 획득부(100)의 각 센서로부터 전송되는 각종 차량 정보가 디스플레이 되도록 디스플레이장치(700)를 구동을 제어하는 것으로서, 충돌 위험 판단부(620)와, 사용자 모션 패턴 판단부(640), 운행 모드 판단부(650)에서 입력되는 신호에 기초하여 하고, 디스플레이장치(700) 구동을 제어한다. 또한, 제어부(670)는 장애물과의 충돌이 예상될 경우 경고음이 출력되도록 스피커(800)의 구동을 제어한다. The controller 670 controls the driving of the display apparatus 700 such that the around view image combined by the image processor 610 and various vehicle information transmitted from each sensor of the vehicle information acquirer 100 are displayed. The driving of the display apparatus 700 is controlled based on the signals input from the determination unit 620, the user motion pattern determination unit 640, and the driving mode determination unit 650. In addition, the controller 670 controls the driving of the speaker 800 so that a warning sound is output when a collision with an obstacle is expected.

구체적으로, 제어부(670)는 충돌 위험 판단부(620)에서 충돌 위험이 있는 것으로 판단하면, 디스플레이장치(700)에 충돌 예상 방향 정보와 장애물과의 거리 정보 및 줌 배율 정보를 포함하도록, 충돌 예상 방향의 영상 확대 디스플레이 신호를 전송하며, 스피커(800)에 경고음 출력 제어 신호를 전송한다.In detail, when the collision risk determination unit 620 determines that there is a collision risk, the controller 670 may predict the collision to include the collision prediction direction information, the distance information between the obstacle, and the zoom magnification information. Transmits an image enlarged display signal in a direction and transmits a warning sound output control signal to the speaker 800.

또한, 제어부(670)는 터치 좌표 산출부(630)에서 산출된 좌표 정보를 기초로 해당 좌표에 대응되는 메뉴에 해당하는 제어 신호를 디스플레이장치(700) 또는 스피커(800)에 전송한다. In addition, the controller 670 transmits a control signal corresponding to a menu corresponding to the coordinates to the display apparatus 700 or the speaker 800 based on the coordinate information calculated by the touch coordinate calculator 630.

또한, 제어부(670)는 사용자 모션 패턴 판독부(640)에서 판독된 모션 정보를 데이터 저장부(660)에 설정된 모션 패턴에 대응하는 영역 정보를 독출하여 해당 영역의 영상이 디스플레이되도록 디스플레이장치(700)에 제어 신호를 전송한다. In addition, the control unit 670 reads the region information corresponding to the motion pattern set in the data storage unit 660 from the motion information read by the user motion pattern reading unit 640 to display an image of the corresponding region. Send a control signal.

또한, 제어부(670)는 방향 지시등 상태와 기어 상태에 따라 디스플레이장치(700)에 특정 영역의 영상을 확대 디스플레이하도록 제어 신호를 전송한다.
In addition, the controller 670 transmits a control signal to the display apparatus 700 to enlarge and display an image of a specific area according to the turn signal state and the gear state.

도 4는 본 발명의 제 1 실시예에 따른 차량의 어라운드 뷰 제공 방법을 설명하기 위한 흐름도로서, 본 발명의 제 1 실시예는 방향 지시등의 상태 정보와 기어 상태 정보를 기초로 특정 영역의 영상을 확대 디스플레이한다.FIG. 4 is a flowchart illustrating a method of providing an around view of a vehicle according to a first embodiment of the present invention. The first embodiment of the present invention provides an image of a specific area based on state information of a turn signal and gear state information. Display enlarged.

우선, 시동 감지 센서(160)로부터 시동 감지 신호가 입력되면(S100), 차량의 각부에 설치된 각 센서로부터 차량 정보를 수신하고(S110), 복수의 카메라(500)로부터 촬영 영상 정보를 수신한다(S120). 여기서, 차량 정보와 영상 정보 수신은 편의상 서로 다른 단계로 분리하였으나 차량 정보와 영상 정보 수신은 동시에 이루어질 수 있다.First, when a start detection signal is input from the start detection sensor 160 (S100), vehicle information is received from each sensor installed in each part of the vehicle (S110), and the captured image information is received from the plurality of cameras 500 ( S120). Here, although the vehicle information and the image information reception are separated into different steps for convenience, the vehicle information and the image information reception may be performed at the same time.

이어서, 수신된 차량 정보를 판독하여 디스플레이장치(700)에 차량 정보가 디스플레이되도록 제어 신호를 전송한다(S130). Subsequently, the received vehicle information is read and a control signal is transmitted to display the vehicle information on the display apparatus 700 (S130).

그리고, 복수의 카메라(500)로부터 전송되는 영상 정보에 대한 왜곡 보정, 시점 변환, 합성 처리를 하여 어라운드 뷰 영상을 생성하고(S140), 생성된 어라운드 뷰 영상이 디스플레이되도록 디스플레이장치(700)에 제어 신호를 전송한다(S160). 여기서, 차량 정보 표시 시간은 차량정보 표시시간을 어라운드뷰 형성시간 동안 또는 형성 후 일정 시간 경과까지 표시되도록 할 수 있다.In addition, the display apparatus 700 controls the display apparatus 700 to generate an around view image by performing distortion correction, viewpoint transformation, and synthesis on image information transmitted from the plurality of cameras 500 (S140). The signal is transmitted (S160). Here, the vehicle information display time may display the vehicle information display time during the around view formation time or until a predetermined time elapses after formation.

이를 위하여, 본 발명은 어라운드 뷰 이미지 생성이 완료되었는지 판단하는 단계(S150)를 더 포함할 수 있다. 즉, 차량 정보가 디스플레이되도록 함과 동시에 어라운드 뷰 영상을 생성하되, 어라운드 뷰 영상이 생성되기 이전에는 차량 정보가 디스플레이 되도록 하고, 어라운드 뷰 영상 생성이 완료된 후에는 차량 정보는 표시하지 않고 어라운드 뷰 영상만 표시하도록 하거나, 어라운드 뷰 영상 생성이 완료된 후에도 일정 시간 경과 할 때까지 차량 정보가 표시되도록 할 수 있다.To this end, the present invention may further comprise the step (S150) of determining whether the around view image generation is complete. That is, the vehicle information is displayed and simultaneously generates an around view image, but before the around view image is generated, the vehicle information is displayed, and after the generation of the around view image is completed, only the around view image is not displayed. The vehicle information may be displayed until a predetermined time elapses even after the around view image generation is completed.

이어서, 기어의 상태와 차량 속도를 기초로 차량이 초기 주행 모드인지 주차 모드 인지를 판단하고(S170), 차량이 초기 주행 모드나 주차 모드가 아닐 경우에는 계속적으로 어라운드 뷰 영상 디스플레이되도록 한다. 이때, 차속이 설정값 이하이고 시동 감지 후 일정 시간 이내인 경우 초기 주행 모드인 것으로 판단한다. 그리고, 차량의 속도가 일정 속도 이하가 되고 기어의 상태가 "R"이 되면 주차 모드인 것으로 판단할 수 있다.Subsequently, it is determined whether the vehicle is in the initial driving mode or the parking mode based on the state of the gear and the vehicle speed (S170). If the vehicle is not the initial driving mode or the parking mode, the around view image is continuously displayed. At this time, when the vehicle speed is less than the set value and within a predetermined time after the start detection, it is determined that the initial driving mode. When the speed of the vehicle becomes lower than the predetermined speed and the state of the gear becomes “R”, it may be determined that the vehicle is in the parking mode.

또한, 차량이 초기 주행 모드 또는 주차 모드인 것으로 판단되면, 방향 지시등 조작 신호가 입력되었는지 판단하고(S200), 방향 지시등 조작 신호가 입력되지 않으면 일반 주행 상태로 판단하여 어라운드 뷰 영상이 계속 디스플레이되도록 한다. In addition, when it is determined that the vehicle is in the initial driving mode or the parking mode, it is determined whether the turn signal manipulation signal is input (S200), and when the turn signal manipulation signal is not input, the vehicle is determined to be the normal driving state so that the around view image is continuously displayed. .

그리고, 방향 지시등 조작 신호가 입력되면 방향 지시등 상태와 기어 상태 정보에 기초하여 특정 영역의 영상이 확대 디스플레이 되도록 한다(S210). 이때, 데이터 저장부(660)에는 방향 지시등 상태와 기어 상태 정보의 조합에 의해 확대할 영역이 기 설정되어 있다.When the turn signal manipulation signal is input, the image of the specific region is enlarged and displayed based on the turn signal state and the gear state information (S210). In this case, an area to be enlarged is set in the data storage unit 660 by a combination of the turn signal state and the gear state information.

이와 같이 본 발명의 제 1 실시예는 사용자가 터치 화면을 직접 조작하지 않아도 방향 지시등과 기어의 상태에 따라, 특정 영역에 대한 영상을 확대 디스플레이 함으로써, 사용자가 보다 편리하게 관찰하자 하는 영역의 영상을 관할할 수 있어 운전자의 주의력 분산을 방지하여 운전자의 안전을 확보할 수 있게 된다.
As described above, the first embodiment of the present invention enlarges and displays an image of a specific area according to the state of a turn signal and a gear even when the user does not directly operate the touch screen. The jurisdiction can prevent driver distraction and ensure driver's safety.

도 5는 본 발명의 제 2 실시예에 따른 차량의 어라운드 뷰 제공 방법을 설명하기 위한 흐름도로서, 본 발명의 제 2 실시예는 충돌 예상 여부를 기초로 특정 영역의 영상을 확대 디스플레이한다. 이때, 본 발명의 제 2 실시예의 설명에 있어서 상술한 본 발명의 제 1 실시예와 동일한 구성에 대해서는 간략하게 설명하도록 한다. 5 is a flowchart illustrating a method of providing an around view of a vehicle according to a second exemplary embodiment of the present invention. The second exemplary embodiment of the present invention enlarges and displays an image of a specific region based on whether a collision is expected. At this time, in the description of the second embodiment of the present invention, the same configuration as that of the first embodiment of the present invention described above will be briefly described.

우선, 시동 감지 센서(160)로부터 시동 감지 신호가 입력되면(S100), 차량의 각부에 설치된 각 센서로부터 차량 정보를 수신하고(S110), 복수의 카메라(500)로부터 촬영 영상 정보를 수신한다(S120). First, when a start detection signal is input from the start detection sensor 160 (S100), vehicle information is received from each sensor installed in each part of the vehicle (S110), and the captured image information is received from the plurality of cameras 500 ( S120).

이어서, 수신된 차량 정보를 판독하여 디스플레이장치(700)에 차량 정보가 디스플레이되도록 제어 신호를 전송한다(S130). Subsequently, the received vehicle information is read and a control signal is transmitted to display the vehicle information on the display apparatus 700 (S130).

그리고, 복수의 카메라(500)로부터 전송되는 촬영된 영상 정보를 왜곡 보정, 시점 변환, 합성 처리를 하여 어라운드 뷰 영상을 생성하고(S140), 생성된 어라운드 뷰 영상이 디스플레이되도록 제어 신호를 전송한다(S160). In addition, distortion image correction, viewpoint transformation, and synthesis processing are performed on the captured image information transmitted from the plurality of cameras 500 to generate an around view image (S140), and transmits a control signal to display the generated around view image ( S160).

그리고, 차량이 초기 주행 모드인지 주차 모드 인지를 판단하고(S170), 차량이 초기 주행 모드나 주차 모드가 아닐 경우에는 계속적으로 어라운드 뷰 영상 디스플레이되도록 한다. Then, it is determined whether the vehicle is the initial driving mode or the parking mode (S170), and if the vehicle is not the initial driving mode or the parking mode, the around view image is continuously displayed.

또한, 차량이 초기 주행 모드 또는 주차 모드인 것으로 판단되면, 장애물과의 충돌 위험이 예상되는지 판단하고(S300), 충돌 위험이 예상되지 않으면 일반 주행 상태로 판단하여 어라운드 뷰 영상이 디스플레이되도록 한다. In addition, if it is determined that the vehicle is in an initial driving mode or a parking mode, it is determined whether a collision risk with an obstacle is expected (S300), and when the collision risk is not expected, a normal driving state is determined so that an around view image is displayed.

그리고, 장애물과의 충돌 위험이 예상되면 충돌 위험 예상 방향의 영상이 확대 디스플레이 되도록 함(S310)과 동시에 스피커(800)를 통해 경고음이 출력되도록 한다. 이때, 충돌 위험 예상 방향의 영상 확대 디스플레이와 함께 화면상에 충돌 예상 방향과 줌 배율 정보를 표시하도록 할 수 있다. 또한, 장애물 감지 센서와 속도 센서로부터 검출된 정보를 기초로 충돌 예상 장애물과의 거리 및 충돌 예상 시간을 산출하여 이를 함께 화면상에 표시하도록 할 수 있다.When the collision risk with the obstacle is anticipated, the image of the anticipation of the collision risk is enlarged to be displayed (S310) and at the same time, a warning sound is output through the speaker 800. In this case, the collision prediction direction and the zoom magnification information may be displayed on the screen together with the image magnification display of the collision risk prediction direction. In addition, based on the information detected from the obstacle sensor and the speed sensor, the distance and the estimated collision time between the collision prediction obstacle may be calculated and displayed together on the screen.

이와 같이 본 발명의 제 2 실시예는 장애물과의 충돌 위험 여부를 선 판단한 후 충돌이 예상될 경우 충돌 예상 방향 정보와 함께 충돌 예상 방향 영상을 확대 디스플레이하며 경고음을 출력함으로써, 운전자가 위험에 미리 대비할 수 있게된다.
As described above, according to the second embodiment of the present invention, after determining whether a collision with an obstacle is in danger, if a collision is expected, the driver may prepare for a risk in advance by displaying an image of a collision prediction direction along with the collision prediction direction information and outputting a warning sound. Will be.

도 6은 본 발명의 제 3 실시예에 따른 차량의 어라운드 뷰 제공 방법을 설명하기 위한 흐름도로서, 본 발명의 제 3 실시예는 근접 센서를 통해 운전자의 모션이 감지되면 기설정된 모션 패턴에 대응하는 영역의 영상을 확대 디스플레이한다. 이때, 본 발명의 제 2 실시예의 설명에 있어서 상술한 본 발명의 제 1 실시예와 동일한 구성에 대해서는 간략하게 설명하도록 한다. FIG. 6 is a flowchart illustrating a method of providing an around view of a vehicle according to a third exemplary embodiment of the present invention. According to the third exemplary embodiment of the present disclosure, when a driver's motion is detected through a proximity sensor, a method corresponding to a preset motion pattern may be described. The image of the area is enlarged and displayed. At this time, in the description of the second embodiment of the present invention, the same configuration as that of the first embodiment of the present invention described above will be briefly described.

우선, 시동 감지 센서(160)로부터 시동 감지 신호가 입력되면(S100), 차량의 각부에 설치된 각 센서로부터 차량 정보를 수신하고(S110), 복수의 카메라(500)로부터 촬영 영상 정보를 수신한다(S120). First, when a start detection signal is input from the start detection sensor 160 (S100), vehicle information is received from each sensor installed in each part of the vehicle (S110), and the captured image information is received from the plurality of cameras 500 ( S120).

이어서, 수신된 차량 정보를 판독하여 디스플레이장치(700)에 차량 정보가 디스플레이되도록 제어 신호를 전송한다(S130). Subsequently, the received vehicle information is read and a control signal is transmitted to display the vehicle information on the display apparatus 700 (S130).

그리고, 복수의 카메라(500)로부터 전송되는 촬영된 영상 정보를 왜곡 보정, 시점 변환, 합성 처리를 하여 어라운드 뷰 영상을 생성하고(S140), 생성된 어라운드 뷰 영상이 디스플레이되도록 제어 신호를 전송한다(S160). In addition, distortion image correction, viewpoint transformation, and synthesis processing are performed on the captured image information transmitted from the plurality of cameras 500 to generate an around view image (S140), and transmits a control signal to display the generated around view image ( S160).

그리고, 차량이 초기 주행 모드인지 주차 모드 인지를 판단하고(S170), 차량이 초기 주행 모드나 주차 모드가 아닐 경우에는 계속적으로 어라운드 뷰 영상 디스플레이되도록 한다. Then, it is determined whether the vehicle is the initial driving mode or the parking mode (S170), and if the vehicle is not the initial driving mode or the parking mode, the around view image is continuously displayed.

또한, 차량이 초기 주행 모드 또는 주차 모드인 것으로 판단되면, 근접 센서로부터의 센싱 신호에 기초하여 사용자 모션 입력 여부를 판단하고(S400), 근접 센서로부터 사용자 모션이 감지되지 않으면 일반 주행 상태로 판단하여 어라운드 뷰 영상이 디스플레이되도록 한다. In addition, if it is determined that the vehicle is in the initial driving mode or the parking mode, it is determined whether the user motion input is based on the sensing signal from the proximity sensor (S400), and if the user motion is not detected from the proximity sensor, it is determined as the normal driving state. Allows the around view image to be displayed.

그리고, 사용자 모션이 입력되면 기 설정된 사용자 모션 패턴에 대응하는 영역의 영상이 확대 디스플레이되도록 한다(S410). When the user motion is input, the image of the region corresponding to the preset user motion pattern is enlarged and displayed (S410).

이와 같이 본 발명의 제 3 실시예는 사용자가 터치 화면을 직접 조작하지 않아도 사용자의 모션 패턴에 대응되는 영역의 영상을 확대 디스플레이 함으로써, 특정 영역에 대한 영상을 확대 디스플레이 함으로써 사용자가 보다 편리하게 관찰하자 하는 영역의 영상을 표시할 수 있어 운전자의 주의력 분산을 방지하여 운전자의 안전을 확보할 수 있게 된다.
As described above, according to the third exemplary embodiment of the present invention, an enlarged display of an image of a region corresponding to a motion pattern of the user may be performed by the enlarged display of an image of a specific region without the user directly operating the touch screen. It is possible to display the image of the area to prevent the driver's distraction and to ensure the driver's safety.

이상에서는 방향 지시등과 기어의 상태, 충돌 예상 여부, 사용자 모션 입력을 각각의 경우로 나누어 설명하였으나, 각각의 경우를 조합 판단하여 특정 영역에 대한 영상을 확대 디스플레이하는 것으로 변형 실시할 수 있다.
In the above description, the direction indicator, the state of the gear, the anticipation of collision, and the user motion input have been divided into respective cases. However, the combination of the cases may be combined to determine and enlarge the image of the specific area.

비록 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.Although the present invention has been described in connection with the above-mentioned preferred embodiments, it is possible to make various modifications and variations without departing from the spirit and scope of the invention. Accordingly, the appended claims are intended to cover such modifications or changes as fall within the scope of the invention.

100 : 차량 정보 획득부 110 : 엔진 센서
120 : 냉각수 센서 130 : 흡기 센서
140 : 타이어 공압 센서 150 : 배터리 센서
160 : 시동 감지 센서 170 : 기어 위치 감지 센서
180 : 속도 센서 190 : 방향 지시등 감지 센서
200 : 장애물 감지 센서 300 : 터치 센서
400 : 근접 센서 500 : 카메라
600 : ECU 610 : 영상 처리부
620 : 충돌 위험 판단부 630 : 터치 좌표 산출부
640 : 사용자 모션 패턴 판독부 650 : 운행 모드 판단부
660 : 데이터 저장부 670 : 제어부
700 : 디스플레이장치 800 : 스피커100: vehicle information acquisition unit 110: engine sensor
120: coolant sensor 130: intake sensor
140: tire pneumatic sensor 150: battery sensor
160: start detection sensor 170: gear position detection sensor
180: speed sensor 190: direction indicator sensor
200: obstacle detection sensor 300: touch sensor
400: proximity sensor 500: camera
600: ECU 610: image processing unit
620: collision risk determination unit 630: touch coordinate calculation unit
640: user motion pattern reading unit 650: driving mode determination unit
660: data storage unit 670: control unit
700: display device 800: speaker

Claims (6)

시동 신호가 감지되면 차량의 각부에 설치된 센서들로부터 차량 각부의 상태정보를 수신하는 단계;
상기 수신된 차량 각부의 상태정보를 디스플레이하는 단계;
상기 차량의 각 부분에 설치된 복수의 카메라로부터 촬영 영상을 수신하는 단계;
상기 수신된 복수의 촬영 영상을 조합하여 어라운드 뷰 영상를 생성하는 단계;
상기 어라운드 뷰 영상이 생성되면, 상기 차량 각부의 상태정보 디스플레이를 종료하고, 상기 생성된 어라운드 뷰 영상를 디스플레이하는 단계;
영상 확대 영역을 분할하고 방향 지시등 상태와 기어 상태 정보를 조합하여 영상 확대 영역을 지정하는 단계;
상기 차량이 초기 주행 또는 주차 모드로 진입하는 단계;
방향 지시등 조작 신호 입력 여부를 판단하는 단계;
상기 방향 지시등 조작 신호의 입력이 있을 경우 기어의 상태 및 방향 지시등의 상태 정보에 따라 기설정된 영역의 영상을 확대 디스플레이하는 단계; 및
근접 센서로부터의 센싱 신호에 기초하여 사용자 모션 입력 여부를 판단하는 단계;
차량의 초기주행 또는 주차모드에서 사용자 모션이 입력되는 경우, 기 설정된 사용자 모션 패턴에 대응하는 영역의 영상을 확대 디스플레이하는 단계;
차량이 주변의 장애물과의 충돌이 예상되는지 판단하는 단계; 및
상기 충돌이 예상될 경우 충돌 예상 방향의 영상을 확대 디스플레이하는 단계를 포함하는 것을 특징으로 하는 차량의 어라운드 뷰 제공 방법.
Receiving state information of each vehicle part from sensors installed in each vehicle part when a start signal is detected;
Displaying status information of the respective parts of the vehicle;
Receiving a captured image from a plurality of cameras installed in each part of the vehicle;
Generating an around view image by combining the received plurality of captured images;
If the around view image is generated, terminating display of status information of each of the vehicle parts, and displaying the generated around view image;
Dividing an image magnification area and designating an image magnification area by combining a turn signal state and gear state information;
The vehicle entering an initial driving or parking mode;
Determining whether to input a turn signal manipulation signal;
Displaying an image of a preset area according to the state of the gear and the state information of the direction indicator when the direction indicator operation signal is input; And
Determining whether a user inputs a motion based on a sensing signal from a proximity sensor;
When the user motion is input in the initial driving or parking mode of the vehicle, displaying an enlarged image of an area corresponding to a preset user motion pattern;
Determining whether a vehicle is expected to collide with an obstacle around it; And
And displaying an image in a collision prediction direction when the collision is anticipated.
삭제delete 삭제delete 제 1항에 있어서,
상기 방향 지시등 조작 신호에 따른 영상 확대 디스플레이는,
기어가 전진 상태이고 좌측 방향 지시등이 켜진 경우 전방 좌측 영상을 확대 디스플레이하고,
기어가 전진 상태이고 우측 방향 지시등이 켜진 경우 전방 우측 영상을 확대 디스플레이하고,
기어가 후진 상태이고 좌측 방향 지시등이 켜진 경우 후방 좌측 영상을 확대 디스플레이하며,
기어가 후진 상태이고 우측 방향 지시등이 켜진 경우 후방 우측 영상을 확대 디스플레이함을 특징으로 하는 차량의 어라운드 뷰 제공 방법.
The method of claim 1,
The image enlarged display according to the turn signal operation signal,
When the gear is in the forward position and the left turn indicator is on, the front left image is enlarged and displayed.
When the gear is in the forward position and the right turn indicator is on, the front right image is enlarged and displayed.
When the gear is in reverse and the left turn indicator is on, the rear left image is enlarged and displayed.
A method of providing an around view of a vehicle, wherein the rear right image is enlarged and displayed when the gear is in the reverse direction and the right direction indicator is turned on.
삭제delete 삭제delete
KR1020110007128A 2011-01-25 2011-01-25 Method for providing around view of vehicle KR101305310B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110007128A KR101305310B1 (en) 2011-01-25 2011-01-25 Method for providing around view of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110007128A KR101305310B1 (en) 2011-01-25 2011-01-25 Method for providing around view of vehicle

Publications (2)

Publication Number Publication Date
KR20120085973A KR20120085973A (en) 2012-08-02
KR101305310B1 true KR101305310B1 (en) 2013-09-06

Family

ID=46871915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110007128A KR101305310B1 (en) 2011-01-25 2011-01-25 Method for providing around view of vehicle

Country Status (1)

Country Link
KR (1) KR101305310B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511610B1 (en) * 2013-07-23 2015-04-13 현대오트론 주식회사 AVM system and method for providing around view image using ultrasonic sensor
KR101652414B1 (en) * 2015-02-04 2016-08-30 경일대학교산학협력단 Getting on and off the vihicle safty system
KR102632361B1 (en) * 2016-12-23 2024-02-02 삼성전기주식회사 System for providing around view image
KR102451910B1 (en) * 2017-12-14 2022-10-06 현대자동차 주식회사 System and method for displaying vehicle buttons
KR102479540B1 (en) * 2017-12-21 2022-12-21 삼성전자주식회사 Method for controlling display based on driving context and electronic device therefor
KR102640397B1 (en) * 2021-07-08 2024-02-28 이하준 Display controlling apparatus for rear image of vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940019202U (en) * 1993-01-28 1994-08-19 최철락 Car exterior monitoring device
JP2010064750A (en) * 2009-12-25 2010-03-25 Fujitsu Ten Ltd Driving assist device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940019202U (en) * 1993-01-28 1994-08-19 최철락 Car exterior monitoring device
JP2010064750A (en) * 2009-12-25 2010-03-25 Fujitsu Ten Ltd Driving assist device

Also Published As

Publication number Publication date
KR20120085973A (en) 2012-08-02

Similar Documents

Publication Publication Date Title
JP5099451B2 (en) Vehicle periphery confirmation device
KR101305310B1 (en) Method for providing around view of vehicle
CA3069114C (en) Parking assistance method and parking assistance device
JP4883977B2 (en) Image display device for vehicle
JP5765995B2 (en) Image display system
JP5509712B2 (en) Driving support system, driving support device, driving support method, and driving support program
JP5743652B2 (en) Image display system, image generation apparatus, and image generation method
JP6856126B2 (en) Parking control method and parking control device
JP2009083764A (en) Driving assisting device, driving assisting method, and computer program
KR101270602B1 (en) Method for providing around view of vehicle
EP3608179B1 (en) Display control device, display control system, display control method, and program
JP6673191B2 (en) Alarm output device
KR20120130456A (en) Method for providing around view of vehicle
JP2018133072A (en) Information processing apparatus and program
JP2010033106A (en) Driver support device, driver support method, and driver support processing program
JPWO2018216184A1 (en) Parking control method and parking control device
JP2011175508A (en) Parking support system
JP2009096347A (en) Parking support device
KR101278064B1 (en) Method for providing of vehicle parking assistant image and system for providing thereof
WO2016042733A1 (en) Electronic mirror device
JP2007282098A (en) Image processing apparatus and image processing program
JPWO2018042976A1 (en) IMAGE GENERATION DEVICE, IMAGE GENERATION METHOD, RECORDING MEDIUM, AND IMAGE DISPLAY SYSTEM
JP2007025739A (en) Image display device for vehicle
JP2013161440A (en) Vehicle surroundings monitoring device
KR20180094717A (en) Driving assistance apparatus using avm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160719

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 7