KR102614820B1 - Driver assistance system, and control method for the same - Google Patents

Driver assistance system, and control method for the same Download PDF

Info

Publication number
KR102614820B1
KR102614820B1 KR1020200110262A KR20200110262A KR102614820B1 KR 102614820 B1 KR102614820 B1 KR 102614820B1 KR 1020200110262 A KR1020200110262 A KR 1020200110262A KR 20200110262 A KR20200110262 A KR 20200110262A KR 102614820 B1 KR102614820 B1 KR 102614820B1
Authority
KR
South Korea
Prior art keywords
detection area
target detection
vehicle
radar
distance
Prior art date
Application number
KR1020200110262A
Other languages
Korean (ko)
Other versions
KR20220028779A (en
Inventor
김재환
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020200110262A priority Critical patent/KR102614820B1/en
Publication of KR20220028779A publication Critical patent/KR20220028779A/en
Application granted granted Critical
Publication of KR102614820B1 publication Critical patent/KR102614820B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 운전자 보조 시스템은, 차량의 전방 시야(field of view)를 갖도록 차량에 배치되고, 영상 데이터를 획득하는 카메라; 상기 차량 외부의 감지 시야를 갖도록 상기 차량에 배치되고, 레이더 데이터를 획득하는 레이더; 및 상기 영상 데이터 및 상기 레이더 데이터를 처리하는 프로세서를 포함하는 제어부;를 포함하고, 상기 제어부는, 상기 영상 데이터의 처리 결과에 기초하여 우천 상황을 결정하고, 상기 우천 상황에 기초하여 상기 레이더의 타겟 감지 영역(target detection area)을 변경하고, 상기 타겟 감지 영역에 기초하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경할 수 있다.The disclosed driver assistance system includes a camera disposed in a vehicle to have a field of view ahead of the vehicle and acquiring image data; A radar disposed on the vehicle to have a detection field of view outside the vehicle and acquiring radar data; and a control unit including a processor that processes the image data and the radar data, wherein the control unit determines a rainy situation based on a result of processing the image data, and determines a target of the radar based on the rainy situation. The target detection area can be changed, and at least one of the inter-vehicle distance to the preceding vehicle or the collision warning time can be changed based on the target detection area.

Description

운전자 보조 시스템 및 그 제어 방법{DRIVER ASSISTANCE SYSTEM, AND CONTROL METHOD FOR THE SAME}Driver assistance system and its control method {DRIVER ASSISTANCE SYSTEM, AND CONTROL METHOD FOR THE SAME}

운전자 보조 시스템 및 그 제어 방법에 관한 것이다.It relates to driver assistance systems and their control methods.

차량 탑승자의 안전과 직결되는 차량 간 충돌 혹은 장애물과의 충돌은 언제나 중요한 문제로 취급되고 있다. 최근에는 선행 차량 혹은 후속 차량 간의 충돌 경고 및 회피에 관한 많은 연구가 진행되고 있고, 운전자를 지원하는 첨단 시스템이 차량에 탑재되고 있다.Collisions between vehicles or collisions with obstacles, which are directly related to the safety of vehicle occupants, are always treated as important issues. Recently, much research has been conducted on collision warning and avoidance between preceding or following vehicles, and advanced systems to support drivers are being installed in vehicles.

예를 들면, 운전자 보조 시스템(DAS, Driver Assistance System)은 선행 차량과의 차간 거리를 유지시키는 ACC(Adaptive Cruise Control) 시스템 또는 위험 상황에서 긴급 제동을 통해 충돌을 방지하는 AEB(Autonomous Emergence Braking) 시스템 등을 포함할 수 있다.For example, the Driver Assistance System (DAS) is the Adaptive Cruise Control (ACC) system that maintains the distance between vehicles in front of the vehicle ahead, or the Autonomous Emergence Braking (AEB) system that prevents collisions through emergency braking in dangerous situations. It may include etc.

이러한 운전자 보조 시스템은 레이더(Radar)/라이다(Lidar)로부터 획득되는 데이터 뿐만 아니라 카메라를 통해 획득되는 이미지를 처리하여 객체를 인식하고 분류하는 기술을 필수적으로 요구한다.These driver assistance systems essentially require technology to recognize and classify objects by processing images acquired through cameras as well as data obtained from radar/lidar.

그런데, 우천 시 운행 혹은 야간 운행에서는 카메라나 레이더가 차량 외부의 객체에 관한 데이터를 충분히 획득하지 못할 수 있고, 외부 객체를 잘못 감지하게 되는 문제가 발생할 수 있다. 카메라나 레이더가 외부 객체를 정확히 식별하지 못할 경우 사고 발생 확률이 높아질 수 있는 문제가 있다.However, when driving in rainy weather or at night, cameras or radars may not be able to obtain sufficient data about objects outside the vehicle, and problems may arise in which external objects are incorrectly detected. There is a problem that the probability of an accident may increase if cameras or radars do not accurately identify external objects.

개시된 발명은, 카메라를 이용하여 우천 상황을 판단할 수 있고, 우천 상황에서 레이더의 타겟 감지 영역을 변경하여 타겟 오감지를 줄일 수 있는 운전자 보조 시스템 및 그 제어 방법을 제공한다.The disclosed invention provides a driver assistance system and a control method that can determine a rainy situation using a camera and reduce target misdetection by changing the target detection area of the radar in a rainy situation.

또한, 개시된 발명은, 우천 상황에서 레이더의 타겟 감지 영역이 변경되는 것에 대응하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경함으로써, 방어 운전 능력을 향상시킬 수 있고, 사고 위험을 줄일 수 있는 운전자 보조 시스템 및 그 제어 방법을 제공한다.In addition, the disclosed invention can improve defensive driving ability and reduce the risk of accidents by changing at least one of the inter-vehicle distance with the preceding vehicle or the collision warning point in response to a change in the target detection area of the radar in a rainy situation. Provides a driver assistance system and its control method.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따른 운전자 보조 시스템은 차량의 전방 시야(field of view)를 갖도록 차량에 배치되고, 영상 데이터를 획득하는 카메라; 상기 차량 외부의 감지 시야를 갖도록 상기 차량에 배치되고, 레이더 데이터를 획득하는 레이더; 및 상기 영상 데이터 및 상기 레이더 데이터를 처리하는 프로세서를 포함하는 제어부;를 포함하고, 상기 제어부는, 상기 영상 데이터의 처리 결과에 기초하여 우천 상황을 결정하고, 상기 우천 상황에 기초하여 상기 레이더의 타겟 감지 영역(target detection area)을 변경하고, 상기 타겟 감지 영역에 기초하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경할 수 있다.As a technical means for achieving the above-described technical problem, a driver assistance system according to an embodiment includes a camera disposed in a vehicle to have a field of view ahead of the vehicle and acquiring image data; A radar disposed on the vehicle to have a detection field of view outside the vehicle and acquiring radar data; and a control unit including a processor that processes the image data and the radar data, wherein the control unit determines a rainy situation based on a result of processing the image data, and determines a target of the radar based on the rainy situation. The target detection area can be changed, and at least one of the inter-vehicle distance to the preceding vehicle or the collision warning time can be changed based on the target detection area.

상기 제어부는 상기 레이더로부터 송신되는 전파의 진행 거리에 기초하여 상기 레이더의 타겟 감지 영역을 축소할 수 있다.The control unit may reduce the target detection area of the radar based on the travel distance of radio waves transmitted from the radar.

상기 제어부는 상기 전파의 진행 거리가 증가할수록 상기 타겟 감지 영역의 크기를 감소시킬 수 있다.The control unit may reduce the size of the target detection area as the travel distance of the radio wave increases.

상기 제어부는 상기 전파의 진행 방향에 수직한 상기 타겟 감지 영역을 축소할 수 있다.The control unit may reduce the target detection area perpendicular to the direction in which the radio wave travels.

상기 제어부는 상기 타겟 감지 영역의 축소량에 기초하여 상기 선행 차량과의 차간 거리를 증가시킬 수 있다.The control unit may increase the inter-vehicle distance to the preceding vehicle based on the reduction amount of the target detection area.

상기 제어부는 상기 타겟 감지 영역의 축소량에 기초하여 거리 오프셋을 결정하고, 상기 거리 오프셋만큼 상기 선행 차량과의 차간 거리를 증가시킬 수 있다.The control unit may determine a distance offset based on the reduction amount of the target detection area and increase the inter-vehicle distance to the preceding vehicle by the distance offset.

상기 제어부는 상기 타겟 감지 영역의 축소량에 미리 정해진 거리 보정 지수를 적용하여 상기 거리 오프셋을 결정할 수 있다.The control unit may determine the distance offset by applying a predetermined distance correction index to the reduction amount of the target detection area.

상기 제어부는 상기 타겟 감지 영역의 축소량에 기초하여 상기 충돌 경고 시점을 앞당길 수 있다.The control unit may advance the collision warning timing based on the reduction amount of the target detection area.

일 실시예에 따른 운전자 보조 시스템의 제어 방법에 있어서, 상기 제어부는 상기 타겟 감지 영역의 축소량에 기초하여 시간 오프셋을 결정하고, 상기 시간 오프셋만큼 상기 충돌 경고 시점을 앞당길 수 있다.In a method for controlling a driver assistance system according to an embodiment, the controller may determine a time offset based on a reduction amount of the target detection area and advance the collision warning time by the time offset.

상기 제어부는 상기 타겟 감지 영역의 축소량에 미리 정해진 시간 보정 지수를 적용하여 상기 시간 오프셋을 결정할 수 있다.The control unit may determine the time offset by applying a predetermined time correction index to the reduction amount of the target detection area.

일 실시예에 따른 차량의 전방 시야(field of view)를 갖도록 차량에 배치되어 영상 데이터를 획득하는 카메라, 상기 차량 외부의 감지 시야를 갖도록 상기 차량에 배치되고, 레이더 데이터를 획득하는 레이더 및 상기 영상 데이터를 처리하는 프로세서를 포함하는 운전자 보조 시스템의 제어 방법은, 상기 영상 데이터의 처리 결과에 기초하여 우천 상황을 결정하고; 상기 우천 상황에 기초하여 상기 레이더의 타겟 감지 영역(target detection area)을 변경하고; 및 상기 타겟 감지 영역에 기초하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경하는 것;을 포함할 수 있다.A camera disposed on the vehicle to have a field of view in front of the vehicle and acquire image data according to an embodiment, a radar disposed in the vehicle to have a field of view outside the vehicle and acquire radar data, and the image A control method of a driver assistance system including a processor that processes data, determines a rain situation based on a result of processing the image data; change a target detection area of the radar based on the rainy weather situation; and changing at least one of the inter-vehicle distance to the preceding vehicle or the collision warning time based on the target detection area.

상기 레이더의 타겟 감지 영역을 변경하는 것은, 상기 레이더로부터 송신되는 전파의 진행 거리에 기초하여 상기 레이더의 타겟 감지 영역을 축소하는 것;을 포함할 수 있다.Changing the target detection area of the radar may include reducing the target detection area of the radar based on the travel distance of radio waves transmitted from the radar.

상기 레이더의 타겟 감지 영역을 축소하는 것은, 상기 전파의 진행 거리가 증가할수록 상기 타겟 감지 영역의 크기를 감소시키는 것;을 포함할 수 있다.Reducing the target detection area of the radar may include reducing the size of the target detection area as the travel distance of the radio wave increases.

상기 레이더의 타겟 감지 영역을 축소하는 것은, 상기 전파의 진행 방향에 수직한 상기 타겟 감지 영역을 축소하는 것;을 포함할 수 있다.Reducing the target detection area of the radar may include reducing the target detection area perpendicular to the direction in which the radio wave travels.

상기 선행 차량과의 차간 거리를 변경하는 것은 상기 타겟 감지 영역의 축소량에 기초하여 상기 선행 차량과의 차간 거리를 증가시키는 것;을 포함할 수 있다.Changing the distance between vehicles and the preceding vehicle may include increasing the distance between vehicles and the preceding vehicle based on a reduction amount of the target detection area.

상기 선행 차량과의 차간 거리를 변경하는 것은, 상기 타겟 감지 영역의 축소량에 기초하여 거리 오프셋을 결정하고; 및 상기 거리 오프셋만큼 상기 선행 차량과의 차간 거리를 증가시키는 것;을 포함할 수 있다.Changing the inter-vehicle distance to the preceding vehicle includes determining a distance offset based on a reduction amount of the target detection area; and increasing the inter-vehicle distance with the preceding vehicle by the distance offset.

상기 거리 오프셋을 결정하는 것은, 상기 타겟 감지 영역의 축소량에 미리 정해진 보정 지수를 적용하여 상기 거리 오프셋을 결정하는 것;을 포함할 수 있다.Determining the distance offset may include determining the distance offset by applying a predetermined correction index to the reduction amount of the target detection area.

상기 충돌 경고 시점을 변경하는 것은, 상기 타겟 감지 영역의 축소량에 기초하여 상기 충돌 경고 시점을 앞당기는 것;을 포함할 수 있다.Changing the collision warning timing may include advancing the collision warning timing based on a reduction amount of the target detection area.

상기 충돌 경고 시점을 변경하는 것은, 상기 타겟 감지 영역의 축소량에 기초하여 시간 오프셋을 결정하고; 및 상기 시간 오프셋만큼 상기 충돌 경고 시점을 앞당기는 것;을 포함할 수 있다.Changing the collision warning timing includes determining a time offset based on a reduction amount of the target detection area; and advancing the collision warning timing by the time offset.

상기 시간 오프셋을 결정하는 것은, 상기 타겟 감지 영역의 축소량에 미리 정해진 보정 지수를 적용하여 상기 시간 오프셋을 결정하는 것;을 포함할 수 있다.Determining the time offset may include determining the time offset by applying a predetermined correction index to the reduction amount of the target detection area.

개시된 운전자 보조 시스템 및 그 제어 방법은, 카메라를 이용하여 우천 상황을 판단할 수 있고, 우천 상황에서 레이더의 타겟 감지 영역을 변경하여 타겟 오감지를 줄일 수 있다.The disclosed driver assistance system and its control method can determine a rainy situation using a camera and can reduce target misdetection by changing the target detection area of the radar in a rainy situation.

또한, 개시된 운전자 보조 시스템 및 그 제어 방법은, 우천 상황에서 레이더의 타겟 감지 영역이 변경되는 것에 대응하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경함으로써, 방어 운전 능력을 향상시킬 수 있고, 사고 위험을 줄일 수 있다.In addition, the disclosed driver assistance system and its control method can improve defensive driving ability by changing at least one of the inter-vehicle distance to the preceding vehicle or the collision warning point in response to a change in the target detection area of the radar in a rainy situation. and can reduce the risk of accidents.

도 1은 일 실시예에 따른 차량의 구성을 도시한다.
도 2은 일 실시예에 따른 운전자 보조 시스템의 구성을 도시한다.
도 3은 일 실시예에 따른 차량에 마련되는 카메라 및 레이더를 도시한다.
도 4 는 레이더의 타겟 감지 영역이 변경되는 것을 설명한다.
도 5는 선행 차량과의 차간 거리와 충돌 경고 시점이 변경되는 것을 설명한다.
도 6 은 충돌 경고의 발생에 관한 예시로서 AVN장치의 화면을 도시한다.
도 7 및 도 8은 일 실시예에 따른 운전자 보조 시스템의 제어방법을 설명하는 순서도이다.1 shows the configuration of a vehicle according to one embodiment.
Figure 2 shows the configuration of a driver assistance system according to one embodiment.
Figure 3 shows a camera and radar provided in a vehicle according to one embodiment.
Figure 4 explains that the target detection area of the radar is changed.
Figure 5 explains that the distance between vehicles and the collision warning point changes with the preceding vehicle.
Figure 6 shows a screen of an AVN device as an example of the occurrence of a collision warning.
7 and 8 are flowcharts explaining a control method of a driver assistance system according to an embodiment.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.Like reference numerals refer to like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present invention pertains is omitted. The term 'unit, module, member, block' used in the specification may be implemented as software or hardware, and depending on the embodiment, a plurality of 'unit, module, member, block' may be implemented as a single component, or It is also possible for one 'part, module, member, or block' to include multiple components.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Additionally, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first and second are used to distinguish one component from another component, and the components are not limited by the above-mentioned terms.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly makes an exception.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.The identification code for each step is used for convenience of explanation. The identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the operating principle and embodiments of the present invention will be described with reference to the attached drawings.

도 1은 일 실시예에 의한 차량의 구성을 도시한다. 도 2는 일 실시예에 따른 운전자 보조 시스템의 구성을 도시한다.1 shows the configuration of a vehicle according to one embodiment. Figure 2 shows the configuration of a driver assistance system according to one embodiment.

도 1을 참조하면, 차량(1)은 엔진(10)과, 변속기(20)와, 제동 장치(30)와, 조향 장치(40)를 포함한다. 엔진(10)은 실린더와 피스톤을 포함하며, 차량(1)이 주행하기 위한 동력을 생성할 수 있다. 변속기(20)는 복수의 기어들을 포함하며, 엔진(10)에 의하여 생성된 동력을 차륜까지 전달할 수 있다. 제동 장치(30)는 차륜과의 마찰을 통하여 차량(1)을 감속하거나 차량(1)을 정지시킬 수 있다. 조향 장치(40)는 차량(1)의 주행 방향을 변경시킬 수 있다.Referring to FIG. 1 , the vehicle 1 includes an engine 10, a transmission 20, a braking device 30, and a steering device 40. The engine 10 includes a cylinder and a piston and can generate power for the vehicle 1 to run. The transmission 20 includes a plurality of gears and can transmit power generated by the engine 10 to the wheels. The braking device 30 can slow down the vehicle 1 or stop the vehicle 1 through friction with the wheels. The steering device 40 can change the driving direction of the vehicle 1.

차량(1)은 복수의 전장 부품들을 포함할 수 있다. 예를 들어, 차량(1)은 엔진 관리 시스템(Engine Management System, EMS)(11), 변속기 제어 유닛(Transmission Control Unit, TCU)(21), 전자식 제동 제어 모듈(Electronic Brake Control Module)(31), 전자식 조향 장치(Electronic Power Steering, EPS)(41), 바디 컨트롤 모듈(Body Control Module, BCM)(51), AVN(Audio Video Navigation) 장치(60) 및 운전자 보조 시스템(Driver Assistance System, DAS)(100)을 포함할 수 있다.The vehicle 1 may include a plurality of electrical components. For example, the vehicle (1) includes an Engine Management System (EMS) (11), a Transmission Control Unit (TCU) (21), and an Electronic Brake Control Module (31). , Electronic Power Steering (EPS) (41), Body Control Module (BCM) (51), Audio Video Navigation (AVN) device (60), and Driver Assistance System (DAS) It may include (100).

엔진 관리 시스템(11)은 가속 페달을 통한 운전자의 가속 의지 또는 운전자 보조 시스템(100)의 요청에 응답하여 엔진(10)을 제어할 수 있다. 예를 들어, 엔진 관리 시스템(11)은 엔진(10)의 토크를 제어할 수 있다.The engine management system 11 may control the engine 10 in response to the driver's intention to accelerate through the accelerator pedal or a request from the driver assistance system 100. For example, engine management system 11 may control the torque of engine 10.

변속기 제어 유닛(21)은 변속 레버를 통한 운전자의 변속 명령 및/또는 차량(1)의 주행 속도에 응답하여 변속기(20)를 제어할 수 있다. 예를 들어, 변속기 제어 유닛(21)은 엔진(10)으로부터 차륜까지의 변속 비율을 조절할 수 있다.The transmission control unit 21 may control the transmission 20 in response to the driver's shift command through the shift lever and/or the driving speed of the vehicle 1. For example, the transmission control unit 21 can adjust the shift ratio from the engine 10 to the wheels.

차량(1)이 전기 차량일 경우, 엔진(10), 변속기(20), 엔진 관리 시스템(11) 및 변속기 제어 유닛(21)은 차량(1)의 구성요소에서 제외될 수 있다.If the vehicle 1 is an electric vehicle, the engine 10, transmission 20, engine management system 11 and transmission control unit 21 may be excluded from the components of the vehicle 1.

전자식 제동 제어 모듈(31)은 제동 페달을 통한 운전자의 제동 의지 및/또는 차륜들의 슬립(slip)에 응답하여 제동 장치(30)를 제어할 수 있다. 예를 들어, 전자식 제동 제어 모듈(31)은 차량(1)의 제동 시에 감지되는 차륜의 슬립에 응답하여 차륜의 제동을 일시적으로 해제할 수 있다(Anti-lock Braking Systems, ABS). 전자식 제동 제어 모듈(31)은 차량(1)의 조향 시에 감지되는 오버스티어링(oversteering) 및/또는 언더스티어링(understeering)에 응답하여 차륜의 제동을 선택적으로 해제할 수 있다(Electronic stability control, ESC). 또한, 전자식 제동 제어 모듈(31)은 차량(1)의 구동 시에 감지되는 차륜의 슬립에 응답하여 차륜을 일시적으로 제동할 수 있다(Traction Control System, TCS).The electronic brake control module 31 may control the braking device 30 in response to the driver's intention to brake through the brake pedal and/or slip of the wheels. For example, the electronic brake control module 31 may temporarily release the brakes on the wheels in response to wheel slip detected when braking the vehicle 1 (Anti-lock Braking Systems, ABS). The electronic brake control module 31 can selectively release the brakes on the wheels in response to oversteering and/or understeering detected when steering the vehicle 1 (electronic stability control, ESC). ). Additionally, the electronic braking control module 31 can temporarily brake the wheels in response to wheel slip detected when driving the vehicle 1 (Traction Control System, TCS).

전자식 조향 장치(41)는 스티어링 휠을 통한 운전자의 조향 의지에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다. 예를 들어, 전자식 조향 장치(41)는 저속 주행 또는 주차 시에는 조향력을 감소시키고 고속 주행 시에는 조향력을 증가시키도록 조향 장치(40)의 동작을 보조할 수 있다.The electronic steering device 41 can assist the operation of the steering device 40 so that the driver can easily operate the steering wheel in response to the driver's steering intention through the steering wheel. For example, the electronic steering device 41 may assist the operation of the steering device 40 to reduce steering force when driving at low speeds or parking and increase steering force when driving at high speeds.

바디 컨트롤 모듈(51)은 운전자에게 편의를 제공하거나 운전자의 안전을 보장하는 전장 부품들의 동작을 제어할 수 있다. 예를 들어, 바디 컨트롤 모듈(51)은 헤드 램프, 와이퍼, 클러스터, 다기능 스위치 및 방향 지시 램프 등을 제어할 수 있다.The body control module 51 can control the operation of electrical components that provide convenience to the driver or ensure the driver's safety. For example, the body control module 51 can control headlamps, wipers, clusters, multi-function switches, and turn signal lamps.

AVN 장치(60)는 차량(1)의 센터페시아에 마련될 수 있다. AVN 장치(60)는 디스플레이와 오디오 장치를 포함할 수 있다. 또한, 차량(1)의 대시보드 및 도어에 설치되는 스피커는 AVN 장치(60)에 포함되는 것으로 이해될 수 있다. AVN 장치(60)의 디스플레이는 화면을 출력하고, AVN 장치(60)의 오디오 장치는 사운드를 출력할 수 있다. 디스플레이는 사용자와 인터랙션 가능한 그래픽 사용자 인터페이스(Graphic User Interface, GUI)를 표시할 수 있다.The AVN device 60 may be provided in the center fascia of the vehicle 1. AVN device 60 may include a display and an audio device. Additionally, speakers installed on the dashboard and doors of the vehicle 1 may be understood as being included in the AVN device 60. The display of the AVN device 60 can output a screen, and the audio device of the AVN device 60 can output sound. The display may display a graphical user interface (GUI) that can interact with the user.

AVN 장치(60)의 디스플레이는 발광 다이오드(Light Emitting Diode: LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 또는 액정 디스플레이(Liquid Crystal Display) 패널일 수 있다. The display of the AVN device 60 may be a Light Emitting Diode (LED) panel, an Organic Light Emitting Diode (OLED) panel, or a Liquid Crystal Display (Liquid Crystal Display) panel.

AVN 장치(60)는 다양한 입력 버튼을 포함할 수 있다. 또한, AVN 장치(60)의 디스플레이는 터치 패널을 포함할 수 있다. AVN 장치(60)는 입력 버튼 또는 터치 패널을 통해 입력되는 사용자 명령에 기초하여 다양한 기능을 실행할 수 있다. 예를 들면, AVN 장치(60)는 내비게이션 기능, 오디오 기능 또는 비디오 기능 중 하나 이상을 수행할 수 있다.AVN device 60 may include various input buttons. Additionally, the display of the AVN device 60 may include a touch panel. The AVN device 60 can execute various functions based on user commands input through an input button or touch panel. For example, the AVN device 60 may perform one or more of a navigation function, an audio function, or a video function.

운전자 보조 시스템(100)은 운전자가 차량(1)을 조작(구동, 제동, 조향)하는 것을 보조할 수 있다. 예를 들어, 운전자 보조 시스템(100)은 차량(1) 주변의 환경(예를 들어, 다른 차량, 보행자, 사이클리스트(cyclist), 차선, 도로 표지판 등)을 감지하고, 감지된 환경에 응답하여 차량(1)의 구동 및/또는 제동 및/또는 조향을 제어할 수 있다.The driver assistance system 100 can assist the driver in operating (driving, braking, and steering) the vehicle 1. For example, the driver assistance system 100 detects the environment around the vehicle 1 (e.g., other vehicles, pedestrians, cyclists, lanes, road signs, etc.), and responds to the detected environment to The driving and/or braking and/or steering of (1) can be controlled.

운전자 보조 시스템(100)은 다양한 보조 기능을 제공할 수 있다. 예를 들어, 운전자 보조 시스템(100)은 차선 이탈 경고(Lane Departure Warning, LDW) 시스템, 차선 유지 보조(Lane Keeping Assist, LKA), 차선 추종 보조(Lane Following Assist, LFA), 상향등 보조(High Beam Assist, HBA), 자동 긴급 제동(Autonomous Emergency Braking, AEB), 교통 표지판 인식(Traffic Sign Recognition, TSR), 스마트 크루즈 컨트롤(Smart Cruise Control, SCC), 어댑티브 크루즈 컨트롤(Adaptive Cruise Control, ACC) 또는 사각지대 감지(Blind Spot Detection, BSD) 기능 중 적어도 하나를 제공할 수 있다. 이러한 기능들은 각각 별도의 시스템으로 구현될 수도 있다.The driver assistance system 100 may provide various assistance functions. For example, the driver assistance system 100 includes a Lane Departure Warning (LDW) system, Lane Keeping Assist (LKA), Lane Following Assist (LFA), and High Beam Assist. Assist (HBA), Autonomous Emergency Braking (AEB), Traffic Sign Recognition (TSR), Smart Cruise Control (SCC), Adaptive Cruise Control (ACC), or Blind Spot Assist (HBA) At least one of the blind spot detection (BSD) functions may be provided. These functions may each be implemented as separate systems.

차량(1)의 전자 부품들은 차량용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 전장 부품들은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다.Electronic components of the vehicle 1 can communicate with each other through a vehicle communication network (NT). For example, electronic components transmit data through Ethernet, MOST (Media Oriented Systems Transport), Flexray, CAN (Controller Area Network), LIN (Local Interconnect Network), etc. You can give and receive.

운전자 보조 시스템(100)은 차량용 통신 네트워크(NT)를 통하여 엔진 관리 시스템(11), 변속기 제어 유닛(21), 전자식 제동 제어 모듈(31) 및 전자식 조향 장치(41) 각각에 구동 제어 신호, 제동 신호 및 조향 신호를 전송할 수 있다. 또한, 운전자 보조 시스템(100)은 차량용 통신 네트워크(NT)를 통하여 바디 컨트롤 모듈(51) 및 AVN 장치(60)에 제어 신호를 전송할 수 있다. 다시 말해, 엔진 관리 시스템(11), 변속기 제어 유닛(21), 전자식 제동 제어 모듈(31) 및 전자식 조향 장치(41), 바디 컨트롤 모듈(51) 및 AVN 장치(60)는 운전자 보조 시스템(100)으로부터 수신한 제어 신호에 기초하여 작동할 수 있다.The driver assistance system 100 provides a drive control signal, brake signal, and brake signal to each of the engine management system 11, transmission control unit 21, electronic brake control module 31, and electronic steering device 41 through the vehicle communication network (NT). Signals and steering signals can be transmitted. Additionally, the driver assistance system 100 may transmit control signals to the body control module 51 and the AVN device 60 through a vehicle communication network (NT). In other words, the engine management system 11, the transmission control unit 21, the electronic brake control module 31 and the electronic steering device 41, the body control module 51 and the AVN device 60 are integrated into the driver assistance system (100). ) can operate based on control signals received from ).

도 2를 참조하면, 운전자 보조 시스템(100)은 카메라(110), 전방 레이더(120), 코너 레이더(130), 거동 센서(140) 및 제어부(200)를 포함할 수 있다. 카메라(110), 전방 레이더(120), 코너 레이더(130) 및 거동 센서(140)는 제어부(200)와 전기적으로 연결될 수 있다.Referring to FIG. 2 , the driver assistance system 100 may include a camera 110, a front radar 120, a corner radar 130, a behavior sensor 140, and a control unit 200. The camera 110, front radar 120, corner radar 130, and behavior sensor 140 may be electrically connected to the control unit 200.

제어부(200)는 카메라(110), 전방 레이더(120), 코너 레이더(130) 및 거동 센서(140)를 제어할 수 있다. 또한, 제어부(200)는 도 1에서 설명된 차량(1)의 전자 장치들과 전기적으로 연결될 수 있고, 각 전자 장치들을 제어할 수 있다.The control unit 200 can control the camera 110, front radar 120, corner radar 130, and behavior sensor 140. Additionally, the control unit 200 may be electrically connected to the electronic devices of the vehicle 1 described in FIG. 1 and may control each electronic device.

카메라(110), 전방 레이더(120), 코너 레이더(130) 및 거동 센서(140) 각각은 제어기(Electronic Control Unit, ECU)를 포함할 수 있다. 제어부(200)는 카메라(110)의 제어기, 전방 레이더(120)의 제어기, 코너 레이더(130)의 제어기 및 거동 센서(140)의 제어기를 포함하는 통합 제어기로 구현될 수도 있다.Each of the camera 110, front radar 120, corner radar 130, and motion sensor 140 may include a controller (Electronic Control Unit, ECU). The control unit 200 may be implemented as an integrated controller including a controller for the camera 110, a controller for the front radar 120, a controller for the corner radar 130, and a controller for the behavior sensor 140.

카메라(110)는 차량(1)의 전방과 주변을 촬영하여 영상 데이터를 획득하고, 다른 차량, 보행자, 사이클리스트, 차선, 도로 표지판 등을 식별할 수 있다. 카메라(110)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.The camera 110 can acquire image data by photographing the front and surroundings of the vehicle 1 and identify other vehicles, pedestrians, cyclists, lanes, road signs, etc. Camera 110 may include a plurality of lenses and an image sensor. The image sensor may include a plurality of photo diodes that convert light into an electrical signal, and the plurality of photo diodes may be arranged in a two-dimensional matrix.

카메라(110)는 제어부(200)와 전기적으로 연결될 수 있다. 예를 들어, 카메라(110)는 차량용 통신 네트워크(NT)를 통하여 제어부(200)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(200)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(200)와 연결될 수 있다. 카메라(110)는 영상 데이터를 제어부(200)로 전달할 수 있다.The camera 110 may be electrically connected to the control unit 200. For example, the camera 110 is connected to the control unit 200 through a vehicle communication network (NT), connected to the control unit 200 through a hard wire, or a printed circuit board (PCB). ) can be connected to the control unit 200 through. The camera 110 may transmit image data to the control unit 200.

전방 레이더(120)와 코너 레이더(130)는 차량(1)의 전방과 주변에 존재하는 객체(예를 들어, 다른 차량, 보행자, 사이클리스트 등)의 상대 위치, 상대 속도 등을 획득할 수 있다. 전방 레이더(120)와 코너 레이더(130)는 차량용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(200)와 연결될 수 있다. 전방 레이더(120)와 코너 레이더(130)는 레이더 데이터를 제어부(200)로 전달할 수 있다. 한편, 레이더들은 라이다(Lidar)로 구현될 수도 있다.The front radar 120 and the corner radar 130 can acquire the relative positions and relative speeds of objects (eg, other vehicles, pedestrians, cyclists, etc.) existing in front and around the vehicle 1. The front radar 120 and the corner radar 130 may be connected to the control unit 200 through a vehicle communication network (NT) or a hard wire or printed circuit board. The front radar 120 and the corner radar 130 can transmit radar data to the control unit 200. Meanwhile, radars may also be implemented as Lidar.

거동 센서(140)는 차량(1)의 거동 데이터를 획득할 수 있다. 예를 들면, 거동 센서(140)는 휠의 속도를 검출하는 속도 센서, 차량의 횡 가속도 및 종 가속도를 검출하는 가속도 센서, 차량의 각속도의 변화를 검출하는 요레이트 센서, 차량의 기울기를 검출하는 자이로 센서 및/또는 스티어링 휠의 회전과 조향각을 검출하는 조향각 센서를 포함할 수 있다. 거동 데이터는 차량(1)의 속도, 종가속도, 횡가속도, 조향각, 주행 방향, 요레이트(yaw rate) 및/또는 기울기를 포함할 수 있다.The behavior sensor 140 may acquire behavior data of the vehicle 1. For example, the behavior sensor 140 includes a speed sensor that detects the speed of the wheels, an acceleration sensor that detects the lateral acceleration and longitudinal acceleration of the vehicle, a yaw rate sensor that detects a change in the angular velocity of the vehicle, and a sensor that detects the inclination of the vehicle. It may include a gyro sensor and/or a steering angle sensor that detects the rotation and steering angle of the steering wheel. The behavior data may include speed, longitudinal acceleration, lateral acceleration, steering angle, driving direction, yaw rate, and/or inclination of the vehicle 1.

제어부(200)는 프로세서(210)와 메모리(220)를 포함한다. 제어부(200)는 하나 이상의 프로세서(210)를 포함할 수 있다. 제어부(200)에 포함되는 하나 이상의 프로세서(210)는 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리되는 것도 가능하다. 또한, 프로세서(210)와 메모리(220)가 단일 칩으로 구현될 수도 있다.The control unit 200 includes a processor 210 and a memory 220. The control unit 200 may include one or more processors 210. One or more processors 210 included in the control unit 200 may be integrated into one chip or may be physically separated. Additionally, the processor 210 and memory 220 may be implemented as a single chip.

프로세서(210)는 카메라(110)의 영상 데이터, 전방 레이더(120)의 전방 레이더 데이터 및 코너 레이더(130)의 코너 레이더 데이터를 처리할 수 있다. 또한, 프로세서(210)는 차량(1)의 전자 장치들을 제어하기 위한 제어 신호를 생성할 수 있다.The processor 210 may process image data from the camera 110, forward radar data from the front radar 120, and corner radar data from the corner radar 130. Additionally, the processor 210 may generate a control signal for controlling the electronic devices of the vehicle 1.

예를 들면, 프로세서(210)는 카메라(110)의 영상 데이터를 처리하는 이미지 시그널 프로세서를 포함할 수 있고, 레이더들(120, 130)의 레이더 데이터를 처리하는 디지털 시그널 프로세서를 포함할 수 있다. 또한, 프로세서(210)는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)을 포함할 수 있다.For example, the processor 210 may include an image signal processor that processes image data from the camera 110 and a digital signal processor that processes radar data from the radars 120 and 130. Additionally, the processor 210 may include a micro control unit (Micro Control Unit, MCU).

메모리(220)는 프로세서(210)가 영상 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 메모리(220)는 프로세서(210)가 레이더 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 또한, 메모리(220)는 프로세서(210)가 차량(1)의 전자 장치들에 관한 제어 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.The memory 220 may store programs and/or data for the processor 210 to process image data. The memory 220 may store programs and/or data for the processor 210 to process radar data. Additionally, the memory 220 may store programs and/or data for the processor 210 to generate control signals related to electronic devices of the vehicle 1.

메모리(220)는 카메라(110)로부터 수신된 영상 데이터 및/또는 레이더들(120, 130)로부터 수신된 레이더 데이터를 임시로 기억할 수 있다. 또한, 메모리(220)는 프로세서(210)가 영상 데이터 및/또는 레이더 데이터를 처리한 결과를 임시로 기억할 수 있다. 메모리(220)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.The memory 220 may temporarily store image data received from the camera 110 and/or radar data received from the radars 120 and 130. Additionally, the memory 220 may temporarily store the results of the processor 210 processing image data and/or radar data. The memory 220 includes not only volatile memories such as S-RAM and D-RAM, but also flash memory, Read Only Memory (ROM), Erasable Programmable Read Only Memory (EPROM), etc. It may include non-volatile memory.

도 3은 일 실시예에 따른 운전자 보조 시스템에 포함되는 카메라 및 레이더를 도시한다.Figure 3 shows a camera and radar included in a driver assistance system according to one embodiment.

도 3을 참조하면, 카메라(110)는 차량(1)의 전방을 향하는 시야(field of view)(110a)를 가질 수 있다. 예를 들면, 카메라(110)는 차량(1)의 프론트 윈드 쉴드에 설치될 수 있다. 카메라(110)는 차량(1)의 전방을 촬영하고, 차량(1) 전방의 영상 데이터를 획득할 수 있다. 차량(1) 전방의 영상 데이터는 차량(1) 전방에 위치하는 다른 차량 또는 보행자 또는 사이클리스트 또는 차선에 관한 위치 정보를 포함할 수 있다.Referring to FIG. 3 , the camera 110 may have a field of view 110a facing the front of the vehicle 1. For example, camera 110 may be installed on the front windshield of vehicle 1. The camera 110 can photograph the front of the vehicle 1 and acquire image data of the front of the vehicle 1. The image data in front of the vehicle 1 may include location information about other vehicles, pedestrians, cyclists, or lanes located in front of the vehicle 1.

도시되지는 않았으나, 카메라(110)는 차량(1)의 측면과 후면에 설치될 수도 있다. 예를 들면, 카메라(110)는 사이드 미러, A필러, B필러, C필러 및 리어 윈도우에 설치될 수도 있다.Although not shown, the camera 110 may be installed on the side and rear of the vehicle 1. For example, the camera 110 may be installed in a side mirror, A-pillar, B-pillar, C-pillar, and rear window.

전방 레이더(120)는 차량(1)의 전방을 향하는 감지 시야(field of sensing)(120a)을 가질 수 있다. 전방 레이더(120)는 예를 들어 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있다.The front radar 120 may have a field of sensing 120a facing the front of the vehicle 1. The front radar 120 may be installed, for example, on the grille or bumper of the vehicle 1.

전방 레이더(120)는 차량(1)의 전방을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 객체에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다. 전방 레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 전방 레이더 데이터를 획득할 수 있다. 전방 레이더 데이터는 차량(1) 전방에 위치하는 다른 차량 또는 보행자 또는 사이클리스트에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 전방 레이더(120)는 송신 전파와 반사 전파 사이의 위상 차이(또는 시간 차이)에 기초하여 객체까지의 상태 거리를 산출하고, 송신 전파와 반사 전파 사이의 주파수 차이에 기초하여 객체의 상대 속도를 산출할 수 있다.The front radar 120 may include a transmitting antenna (or transmitting antenna array) that radiates transmitted radio waves toward the front of the vehicle 1, and a receiving antenna (or receiving antenna array) that receives reflected radio waves reflected by an object. there is. The front radar 120 can acquire front radar data from a transmitted radio wave transmitted by a transmitting antenna and a reflected radio wave received by a receiving antenna. Forward radar data may include distance information and speed information regarding other vehicles or pedestrians or cyclists located in front of the vehicle 1. The front radar 120 calculates the state distance to the object based on the phase difference (or time difference) between the transmitted radio wave and the reflected radio wave, and calculates the relative speed of the object based on the frequency difference between the transmitted radio wave and the reflected radio wave. can do.

코너 레이더(130)는 차량(1)의 전방 우측에 설치되는 제1 코너 레이더(130-1), 차량(1)의 전방 좌측에 설치되는 제2 코너 레이더(130-2), 차량(1)의 후방 우측에 설치되는 제3 코너 레이더(130-3) 및 차량(1)의 후방 좌측에 설치되는 제4 코너 레이더(130-4)를 포함할 수 있다.The corner radar 130 includes a first corner radar 130-1 installed on the front right side of the vehicle 1, a second corner radar 130-2 installed on the front left side of the vehicle 1, and a second corner radar 130-2 installed on the front left side of the vehicle 1. It may include a third corner radar 130-3 installed on the rear right side of the vehicle 1 and a fourth corner radar 130-4 installed on the rear left side of the vehicle 1.

제1 코너 레이더(130-1)는 차량(1)의 전방 우측을 향하는 감지 시야(130-1a)를 가질 수 있다. 제2 코너 레이더(132)는 차량(1)의 전방 좌측을 향하는 감지 시야(130-2a)를 가질 수 있고, 제3 코너 레이더(130-3)는 차량(1)의 후방 우측을 향하는 감지 시야(130-3a)를 가질 수 있으며, 제4 코너 레이더(130-4)는 차량(1)의 후방 좌측을 향하는 감지 시야(130-4a)를 가질 수 있다.The first corner radar 130-1 may have a detection field of view 130-1a facing the front right side of the vehicle 1. The second corner radar 132 may have a detection field of view 130-2a facing toward the front left side of the vehicle 1, and the third corner radar 130-3 may have a detection field of view toward the rear right side of the vehicle 1. It may have (130-3a), and the fourth corner radar (130-4) may have a detection field of view (130-4a) facing the rear left side of the vehicle (1).

코너 레이더들(130) 각각은 송신 안테나와 수신 안테나를 포함할 수 있다. 제1, 제2, 제3 및 제4 코너 레이더들(130-1, 130-2, 130-3, 130-4)은 각각 제1 코너 레이더 데이터와 제2 코너 레이더 데이터와 제3 코너 레이더 데이터와 제4 코너 레이더 데이터를 획득할 수 있다. 제1 코너 레이더 데이터는 차량(1) 전방 우측에 위치하는 객체에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 제2 코너 레이더 데이터는 차량(1) 전방 좌측에 위치하는 객체의 거리 정보 및 속도 정도를 포함할 수 있다. 제3 및 제4 코너 레이더 데이터는 차량(1) 후방 우측 및 차량(1) 후방 좌측에 위치하는 객체의 거리 정보 및 속도 정보를 포함할 수 있다.Each of the corner radars 130 may include a transmitting antenna and a receiving antenna. The first, second, third, and fourth corner radars 130-1, 130-2, 130-3, and 130-4 respectively provide first corner radar data, second corner radar data, and third corner radar data. and fourth corner radar data can be acquired. The first corner radar data may include distance information and speed information about an object located on the front right side of the vehicle 1. The second corner radar data may include distance information and speed of an object located on the front left of the vehicle 1. The third and fourth corner radar data may include distance information and speed information of objects located on the rear right side of the vehicle 1 and the rear left side of the vehicle 1.

프로세서(210)는 카메라(110)의 영상 데이터와 전방 레이더(120)의 전방 레이더 데이터에 기초하여 차량(1) 전방의 객체들(예를 들어, 다른 차량, 보행자, 사이클리스트, 차선 등)을 감지 및/또는 식별할 수 있고, 차량(1) 전방의 객체들의 위치 정보(거리 및 방향) 및 속도 정보(상대 속도)를 획득할 수 있다. 또한, 프로세서(210)는 복수의 코너 레이더들(130)의 코너 레이더 데이터에 기초하여 차량(1) 측방(전방 우측, 전방 좌측, 후방 우측, 후방 좌측)의 객체들의 위치 정보(거리 및 방향) 및 속도 정보(상대 속도)를 획득할 수 있다.The processor 210 detects objects in front of the vehicle 1 (e.g., other vehicles, pedestrians, cyclists, lanes, etc.) based on the image data of the camera 110 and the front radar data of the front radar 120. And/or can be identified, and position information (distance and direction) and speed information (relative speed) of objects in front of the vehicle 1 can be obtained. In addition, the processor 210 provides location information (distance and direction) of objects on the side of the vehicle 1 (front right, front left, rear right, rear left) based on the corner radar data of the plurality of corner radars 130. and speed information (relative speed) can be obtained.

도 4 는 레이더의 타겟 감지 영역이 변경되는 것을 설명한다.Figure 4 explains that the target detection area of the radar is changed.

먼저, 운전자 보조 시스템(100)의 제어부(200)는 카메라(110)에 의해 획득되는 영상 데이터의 처리 결과에 기초하여 우천 상황을 결정할 수 있다. 구체적으로, 제어부(200)는 카메라(110)에 의해 촬영되는 이미지의 번짐 정도 또는 흐림 정도를 결정하여 우천 상황을 판단할 수 있다. 예를 들면, 제어부(200)는 이미지의 밝기, 선명도, 색온도 또는 색상 값 중 하나 이상을 획득할 수 있고, 이들에 기초하여 이미지의 번짐 정도 또는 흐림 정도를 결정할 수 있다. 제어부(200)는 이미지의 번짐 정도 또는 흐림 정도가 미리 정해진 기준 값을 초과할 경우 우천 상황으로 결정할 수 있다.First, the control unit 200 of the driver assistance system 100 may determine a rainy situation based on a result of processing image data acquired by the camera 110. Specifically, the control unit 200 may determine a rainy situation by determining the degree of blurring or blurring of the image captured by the camera 110. For example, the controller 200 may obtain one or more of the brightness, sharpness, color temperature, or color value of the image, and determine the degree of blurring or blurring of the image based on these. The controller 200 may determine a rainy situation when the degree of blurring or blurring of the image exceeds a predetermined standard value.

레인 센서의 고장 시에도 카메라(110)에 의해 획득되는 이미지를 분석함으로써 우천 상황을 판단할 수 있으므로, 시스템의 안전성과 견고성이 확보될 수 있다. 한편, 우천 상황을 식별하기 위한 다양한 이미지 처리 방식이 적용될 수 있다.Even in the event of a failure of the rain sensor, the rainy situation can be determined by analyzing the image acquired by the camera 110, so the safety and robustness of the system can be secured. Meanwhile, various image processing methods can be applied to identify rainy situations.

우천 상황에서는 카메라(110)의 이미지로부터 전방의 객체를 식별하기 어려울 수 있다. 레이더(120, 130)는 우천 상황에서 상대적으로 강한 감지 성능을 가지므로, 레이더(120, 130)를 이용하여 객체의 감지가 수행될 수 있다. 다만, 반사되는 전파에 기초하여 객체를 감지하는 레이더(120, 130)의 특성 상 우천 상황에서는 오감지가 발생할 수 있다. 따라서 레이더(120, 130)의 타겟 감지 영역이 보수적으로 설정될 필요가 있다.In rainy situations, it may be difficult to identify an object in front from the image of the camera 110. Since the radars 120 and 130 have relatively strong detection performance in rainy situations, object detection can be performed using the radars 120 and 130. However, due to the characteristics of the radars 120 and 130 that detect objects based on reflected radio waves, misdetection may occur in rainy situations. Therefore, the target detection areas of the radars 120 and 130 need to be set conservatively.

운전자 보조 시스템(100)의 제어부(200)는 우천 상황에 기초하여 레이더(120, 130)의 타겟 감지 영역(target detection area)을 변경할 수 있다. 제어부(200)는 레이더(120, 130)로부터 송신되는 전파의 진행 거리에 기초하여 레이더(120, 130)의 타겟 감지 영역을 축소할 수 있다. 제어부(200)는 전파의 진행 거리가 증가할수록 타겟 감지 영역의 크기를 감소시킬 수 있다. 제어부(200)는 전파의 진행 방향에 수직한 타겟 감지 영역을 축소할 수 있다.The control unit 200 of the driver assistance system 100 may change the target detection area of the radars 120 and 130 based on rainy conditions. The control unit 200 may reduce the target detection area of the radars 120 and 130 based on the travel distance of radio waves transmitted from the radars 120 and 130. The control unit 200 may reduce the size of the target detection area as the travel distance of radio waves increases. The control unit 200 may reduce the target detection area perpendicular to the direction in which radio waves travel.

도 4에서는 전방 레이더(120)를 예로 들어 설명한다. 전방 레이더(120)는 차량(1)의 전방으로 전파를 송신할 수 있다. 전방 레이더(120)로부터 방출되는 전파는 차량(1)의 종방향과 횡방향으로 진행할 수 있다. 차량(1)의 종방향은 차량(1)의 주행 방향으로 정의될 수 있고, 차량(1)의 횡방향은 주행 방향에 수직한 방향으로 정의될 수 있다.In Figure 4, the front radar 120 is explained as an example. The front radar 120 can transmit radio waves to the front of the vehicle 1. Radio waves emitted from the front radar 120 may travel in the longitudinal and lateral directions of the vehicle 1. The longitudinal direction of the vehicle 1 may be defined as the driving direction of the vehicle 1, and the lateral direction of the vehicle 1 may be defined as a direction perpendicular to the driving direction.

또한, 도 4에서는 전파의 진행 방향이 전방 레이더(120)의 감지 시야(120a)의 중심선 방향으로 이해될 수도 있다. 전방 레이더(120)의 감지 시야(120a)의 중심선 방향은 차량(1)의 주행 방향과 동일할 수 있다. 도 4에서 설명된 전파의 진행 방향은 본 발명의 이해를 돕기 위한 것이므로, 한정적인 것으로 이해되지 않아야 한다.Additionally, in FIG. 4 , the direction of propagation of radio waves may be understood as the direction of the center line of the detection field 120a of the front radar 120. The direction of the center line of the detection field 120a of the front radar 120 may be the same as the driving direction of the vehicle 1. The direction of propagation of radio waves described in FIG. 4 is intended to aid understanding of the present invention and should not be understood as limiting.

도 4를 참조하면, 제어부(200)는 전방 레이더(120)로부터 송신되는 전파의 진행 거리에 기초하여 전방 레이더(120)의 타겟 감지 영역(TDA, Target Detection Area)을 축소할 수 있다. 제어부(200)는 전파의 진행 방향에 수직한 평면을 타겟 감지 영역(TDA)으로 설정할 수 있다.Referring to FIG. 4, the control unit 200 may reduce the target detection area (TDA) of the front radar 120 based on the travel distance of the radio wave transmitted from the front radar 120. The control unit 200 may set a plane perpendicular to the direction of propagation of radio waves as the target detection area (TDA).

구체적으로, 제어부(200)는 전파의 진행 거리가 증가할수록 타겟 감지 영역(TDA)을 감소시킬 수 있다. 예를 들면, 제1 타겟 감지 영역(TDA1)은 전방 레이더(120)로부터 제1 거리만큼 떨어진 제1 위치에 설정될 수 있다. 제2 타겟 감지 영역(TDA2)은 전방 레이더(120)로부터 제2 거리만큼 떨어진 제2 위치에 설정될 수 있다. 제3 타겟 감지 영역(TDA3)은 전방 레이더(120)로부터 제3 거리만큼 떨어진 제3 위치에 설정될 수 있다. 제1 타겟 감지 영역(TDA1)은 기준 타겟 감지 영역으로 정의될 수 있다.Specifically, the control unit 200 may reduce the target detection area (TDA) as the travel distance of radio waves increases. For example, the first target detection area TDA1 may be set at a first location away from the front radar 120 by a first distance. The second target detection area TDA2 may be set at a second location away from the front radar 120 by a second distance. The third target detection area TDA3 may be set at a third location away from the front radar 120 by a third distance. The first target detection area TDA1 may be defined as a reference target detection area.

제1 거리, 제2 거리 및 제3 거리는 미리 정해질 수 있다. 제1 위치, 제2 위치 및 제3 위치 순서대로 전방 레이더(120) 또는 차량(1)의 전면으로부터 멀리 위치한다. 예를 들면, 제1 거리, 제2 거리 및 제3 거리는 각각 10미터, 20미터 및 30미터 일 수 있다.The first distance, second distance and third distance may be predetermined. The first position, the second position, and the third position are located far from the front radar 120 or the front of the vehicle 1 in that order. For example, the first distance, second distance, and third distance may be 10 meters, 20 meters, and 30 meters, respectively.

제1 타겟 감지 영역(TDA1)의 크기가 가장 크게 설정되고, 제3 타겟 감지 영역(TDA3)의 크기가 가장 작게 설정될 수 있다. 즉, 제1 타겟 감지 영역(TDA1), 제2 타겟 감지 영역(TDA2) 및 제3 타겟 감지 영역(TDA3) 순으로 그 크기가 작아진다. 다시 말해, 제어부(200)는 타겟 감지 영역(TDA)이 설정되는 위치가 전방 레이더(120) 또는 차량(1)의 전면으로부터 멀수록 타겟 감지 영역(TDA)의 크기를 작게 설정할 수 있다.The size of the first target detection area (TDA1) may be set to the largest, and the size of the third target detection area (TDA3) may be set to the smallest. That is, the sizes of the first target detection area (TDA1), the second target detection area (TDA2), and the third target detection area (TDA3) decrease in that order. In other words, the control unit 200 may set the size of the target detection area (TDA) to be smaller as the location where the target detection area (TDA) is set is farther from the front radar 120 or the front of the vehicle 1.

도 4에서 전파의 진행 방향에 수직한 제1 타겟 감지 영역(TDA1), 제2 타겟 감지 영역(TDA2) 및 제3 타겟 감지 영역(TDA3)이 원형으로 설정되어 있으나, 다른 모양으로 설정될 수도 있다. 예를 들면, 타겟 감지 영역은 사각형일 수도 있다.In Figure 4, the first target detection area (TDA1), the second target detection area (TDA2), and the third target detection area (TDA3) perpendicular to the direction of propagation of radio waves are set to a circular shape, but may be set to other shapes. . For example, the target detection area may be square.

이와 같이, 운전자 보조 시스템(100)은 우천 상황에서 레이더(120, 130)의 타겟 감지 영역을 보수적으로 설정함으로써 원거리에 존재하는 타겟의 오감지를 줄일 수 있다.In this way, the driver assistance system 100 can reduce misdetection of distant targets by conservatively setting the target detection areas of the radars 120 and 130 in rainy situations.

제어부(200)는 타겟 감지 영역에 기초하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경할 수 있다.The control unit 200 may change at least one of the inter-vehicle distance to the preceding vehicle or the collision warning time based on the target detection area.

도 5는 선행 차량과의 차간 거리와 충돌 경고 시점이 변경되는 것을 설명한다.Figure 5 explains that the distance between vehicles and the collision warning point changes with the preceding vehicle.

도 5를 참조하면, 운전자 보조 시스템(100)의 제어부(200)는 타겟 감지 영역(TDA)의 축소량에 기초하여 선행 차량(2)과의 차간 거리를 증가시킬 수 있다. 타겟 감지 영역(TDA)의 축소량은 기준 타겟 감지 영역과 축소된 타겟 감지 영역의 차이로 정의될 수 있다. 예를 들면, 타겟 감지 영역(TDA)의 축소량은 제1 타겟 감지 영역(TDA1)의 크기와 제2 타겟 감지 영역(TDA2)의 크기 간 차이 값으로 결정될 수 있다.Referring to FIG. 5 , the control unit 200 of the driver assistance system 100 may increase the inter-vehicle distance to the preceding vehicle 2 based on the reduction amount of the target detection area (TDA). The reduction amount of the target detection area (TDA) may be defined as the difference between the reference target detection area and the reduced target detection area. For example, the amount of reduction of the target detection area (TDA) may be determined by the difference between the size of the first target detection area (TDA1) and the size of the second target detection area (TDA2).

제어부(200)는 타겟 감지 영역(TDA)의 축소량에 기초하여 거리 오프셋(D_offset)을 결정하고, 거리 오프셋(D_offset)만큼 선행 차량(2)과의 차간 거리를 증가시킬 수 있다. 타겟 감지 영역(TDA)의 축소량이 클수록 거리 오프셋(D_offset)이 커질 수 있다.The control unit 200 may determine the distance offset (D_offset) based on the reduction amount of the target detection area (TDA) and increase the inter-vehicle distance with the preceding vehicle 2 by the distance offset (D_offset). As the amount of reduction of the target detection area (TDA) increases, the distance offset (D_offset) may increase.

기준 차간 거리(D_ref)는 우천 상황이 아닐 때 운전자 보조 시스템(100)이 기본으로 설정하는 차간 거리로 정의될 수 있다. 예를 들면, 맑은 날씨에서 제어부(200)는 기준 차간 거리(D_ref)를 3미터로 설정할 수 있다.The reference distance between vehicles (D_ref) may be defined as the distance between vehicles that the driver assistance system 100 sets as default when it is not raining. For example, in clear weather, the control unit 200 may set the standard intervehicle distance (D_ref) to 3 meters.

우천 상황에서, 제어부(200)는 거리 오프셋(D_offset)을 2미터로 결정할 수 있고, 기준 차간 거리(D_ref)에 거리 오프셋(D_offset)을 더할 수 있다. 따라서 변경된 차간 거리(D_rain)는 5미터일 수 있다.In a rainy situation, the controller 200 may determine the distance offset (D_offset) to be 2 meters and add the distance offset (D_offset) to the reference inter-vehicle distance (D_ref). Therefore, the changed inter-vehicle distance (D_rain) may be 5 meters.

제어부(200)는 타겟 감지 영역(TDA)의 축소량에 미리 정해진 거리 보정 지수를 적용하여 거리 오프셋(D_offset)을 결정할 수 있다. 예를 들면, 제어부(200)는 타겟 감지 영역(TDA)의 축소량에 거리 보정 지수를 곱하여 거리 오프셋(D_offset)을 결정할 수 있다.The control unit 200 may determine the distance offset D_offset by applying a predetermined distance correction index to the reduction amount of the target detection area TDA. For example, the control unit 200 may determine the distance offset D_offset by multiplying the reduction amount of the target detection area TDA by the distance correction index.

메모리(220)는 타겟 감지 영역(TDA)의 크기와 차간 거리 사이의 상관 관계를 정의하는 보정 지수 맵을 저장할 수 있다. 다시 말해, 보정 지수 맵은 타겟 감지 영역(TDA)의 축소량에 대응하는 거리 보정 지수를 포함할 수 있다.The memory 220 may store a correction index map that defines the correlation between the size of the target detection area (TDA) and the distance between vehicles. In other words, the correction index map may include a distance correction index corresponding to the reduction amount of the target detection area (TDA).

운전자 보조 시스템(100)은 설정되는 차간 거리에 기초하여 스마트 크루즈 컨트롤(Smart Cruise Control, SCC) 또는 어댑티브 크루즈 컨트롤(Adaptive Cruise Control, ACC)을 수행할 수 있다.The driver assistance system 100 may perform smart cruise control (SCC) or adaptive cruise control (ACC) based on the set distance between vehicles.

한편, 운전자 보조 시스템(100)의 제어부(200)는 차량(1) 주변 객체의 위치 정보(거리)와 속도 정보(상대 속도)를 이용하여 객체에 관한 충돌 예상 시간(Time to Collision, TTC)을 산출할 수 있다. 제어부(200)는 충돌 예상 시간과 충돌 경고 시점에 기초하여 충돌에 관한 경고를 제공하도록 AVN 장치(60)를 제어할 수 있다. 예를 들면, 충돌 예상 시간이 6초일 경우, 충돌 경고 시점은 현재 시각으로부터 2초 후로 설정될 수 있다. 즉, 현재 시각으로부터 2초 후 충돌에 관한 경고가 제공될 수 있다.Meanwhile, the control unit 200 of the driver assistance system 100 calculates the expected time to collision (TTC) for the object using the location information (distance) and speed information (relative speed) of objects around the vehicle 1. It can be calculated. The control unit 200 may control the AVN device 60 to provide a warning about a collision based on the expected collision time and the collision warning time. For example, if the expected collision time is 6 seconds, the collision warning time may be set to 2 seconds from the current time. That is, a warning regarding a collision may be provided 2 seconds from the current time.

또한, 제어부(200)는 는 충돌 예상 시간과 충돌 경고 시점에 기초하여 자동 긴급 제동(Autonomous Emergency Braking, AEB)을 수행할 수 있다.Additionally, the control unit 200 may perform automatic emergency braking (AEB) based on the expected collision time and collision warning time.

우천 상황이 아닐 경우, 제어부(200)는 기준 경고 시점에 충돌에 관한 경고를 제공하도록 AVN 장치(60)를 제어할 수 있다. 예를 들면, 기준 경고 시점은 현재 시각으로부터 2초 후로 설정될 수 있다.If it is not a rainy situation, the controller 200 may control the AVN device 60 to provide a warning about a collision at the standard warning time. For example, the reference warning time may be set to 2 seconds from the current time.

우천 상황에서, 제어부(200)는 타겟 감지 영역(TDA)의 축소량에 기초하여 충돌 경고 시점을 앞당길 수 있다. 타겟 감지 영역(TDA)의 축소량은 기준 타겟 감지 영역과 축소된 타겟 감지 영역의 차이로 정의될 수 있다. 예를 들면, 타겟 감지 영역(TDA)의 축소량은 제1 타겟 감지 영역(TDA1)의 크기와 제2 타겟 감지 영역(TDA2)의 크기 간 차이 값으로 결정될 수 있다.In a rainy situation, the control unit 200 may advance the collision warning timing based on the amount of reduction of the target detection area (TDA). The reduction amount of the target detection area (TDA) may be defined as the difference between the reference target detection area and the reduced target detection area. For example, the amount of reduction of the target detection area (TDA) may be determined by the difference between the size of the first target detection area (TDA1) and the size of the second target detection area (TDA2).

제어부(200)는 타겟 감지 영역(TDA)의 축소량에 기초하여 시간 오프셋을 결정하고, 시간 오프셋만큼 충돌 경고 시점을 앞당길 수 있다. 다시 말해, 제어부(200)는 미리 정해진 기준 경고 시간보다 시간 오프셋만큼 이른 시간에 경고를 발생시킬 수 있다. 예를 들면, 시간 오프셋이 1초로 결정될 수 있고, 충돌 경고 시점은 기준 경고 시점보다 1초 앞당겨질 수 있다. 즉, 현재 시각으로부터 1초 후 충돌에 관한 알림이 제공될 수 있다. 제어부(200)는 변경된 충돌 경고 시점에 충돌에 관한 경고를 제공하도록 AVN 장치(60)를 제어할 수 있다.The control unit 200 may determine a time offset based on the reduction amount of the target detection area (TDA) and advance the collision warning timing by the time offset. In other words, the control unit 200 may generate a warning earlier than the predetermined reference warning time by a time offset. For example, the time offset may be determined to be 1 second, and the collision warning time may be 1 second earlier than the reference warning time. That is, a notification regarding a collision may be provided 1 second from the current time. The control unit 200 may control the AVN device 60 to provide a warning about a collision at the changed collision warning time.

제어부(200)는 타겟 감지 영역(TDA)의 축소량에 미리 정해진 시간 보정 지수를 적용하여 시간 오프셋을 결정할 수 있다. 예를 들면, 제어부(200)는 타겟 감지 영역(TDA)의 축소량에 시간 보정 지수를 곱하여 시간 오프셋을 결정할 수 있다.The control unit 200 may determine the time offset by applying a predetermined time correction index to the reduction amount of the target detection area (TDA). For example, the control unit 200 may determine the time offset by multiplying the reduction amount of the target detection area (TDA) by a time correction index.

또한, 메모리(220)에 저장된 보정 지수 맵은 타겟 감지 영역(TDA)의 크기와 충돌 경고 시점 사이의 상관 관계를 포함할 수 있다. 보정 지수 맵은 타겟 감지 영역(TDA)의 축소량에 대응하는 시간 보정 지수를 포함할 수 있다.Additionally, the correction index map stored in the memory 220 may include a correlation between the size of the target detection area (TDA) and the collision warning time. The correction index map may include a time correction index corresponding to the reduction amount of the target detection area (TDA).

도 6 은 충돌 경고의 발생에 관한 예시로서 AVN장치의 화면을 도시한다.Figure 6 shows a screen of an AVN device as an example of the occurrence of a collision warning.

도 6을 참조하면, 제어부(200)는 충돌 경고 시점에 충돌에 관한 경고를 제공하도록 AVN 장치(60)를 제어할 수 있다. 충돌에 관한 경고는 AVN 장치(60)의 디스플레이 또는 스피커 중 적어도 하나를 통해 제공될 수 있다. 예를 들면, AVN 장치(60)는 "전방주의" 또는 "충돌주의" 와 같은 경고 텍스트를 화면에 표시할 수 있고, 스피커를 통해 경고음을 출력할 수 있다.Referring to FIG. 6, the control unit 200 may control the AVN device 60 to provide a warning about a collision at the time of the collision warning. A warning regarding a collision may be provided through at least one of the display or speaker of the AVN device 60. For example, the AVN device 60 can display warning text such as “Beware Ahead” or “Beware of Collision” on the screen and output a warning sound through a speaker.

도 7 및 도 8은 일 실시예에 따른 운전자 보조 시스템의 제어방법을 설명하는 순서도이다.7 and 8 are flowcharts explaining a control method of a driver assistance system according to an embodiment.

도 7과 도 8을 참조하면, 운전자 보조 시스템(100)의 작동이 개시되면(701, 801), 운전자 보조 시스템(100)의 제어부(200)는 카메라(110)에 의해 획득되는 영상 데이터에 기초하여 우천 상황을 판단할 수 있다(702, 802).7 and 8, when the driver assistance system 100 starts operating (701, 801), the control unit 200 of the driver assistance system 100 operates based on image data acquired by the camera 110. Thus, the rainy situation can be determined (702, 802).

우천 상황인 경우, 제어부(200)는 레이더(120, 130)의 타겟 감지 영역을 변경할 수 있다(703, 704). 구체적으로, 제어부(200)는 레이더(120, 130)로부터 송신되는 전파의 진행 거리에 기초하여 레이더(120, 130)의 타겟 감지 영역을 축소할 수 있다(803). 제어부(200)는 전파의 진행 거리가 증가할수록 타겟 감지 영역의 크기를 감소시킬 수 있다. 제어부(200)는 전파의 진행 방향에 수직한 타겟 감지 영역을 축소할 수 있다.In a rainy situation, the control unit 200 may change the target detection area of the radars 120 and 130 (703, 704). Specifically, the control unit 200 may reduce the target detection area of the radars 120 and 130 based on the travel distance of radio waves transmitted from the radars 120 and 130 (803). The control unit 200 may reduce the size of the target detection area as the travel distance of radio waves increases. The control unit 200 may reduce the target detection area perpendicular to the direction in which radio waves travel.

이어서, 제어부(200)는 변경된 타겟 감지 영역에 기초하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경할 수 있다(705). 구체적으로, 제어부(200)는 타겟 감지 영역(TDA)의 축소량에 기초하여 선행 차량(2)과의 차간 거리를 증가시킬 수 있다(804). 또한, 제어부(200)는 타겟 감지 영역(TDA)의 축소량에 기초하여 충돌 경고 시점을 앞당길 수 있다(805).Subsequently, the control unit 200 may change at least one of the inter-vehicle distance to the preceding vehicle or the collision warning time based on the changed target detection area (705). Specifically, the control unit 200 may increase the inter-vehicle distance to the preceding vehicle 2 based on the reduction amount of the target detection area (TDA) (804). Additionally, the control unit 200 may advance the collision warning time based on the reduction amount of the target detection area (TDA) (805).

우천 상황이 아닌 경우, 제어부(200)는 카메라(110)의 영상 데이터와 레이더(120, 130)의 레이더 데이터를 함께 이용하여 차량(1) 주변의 객체를 식별할 수 있다. 카메라(110)의 영상 데이터와 레이더(120, 130)의 레이더 데이터를 함께 이용하는 방식은 센서 퓨전 방식으로 정의될 수 있다.If it is not a rainy situation, the control unit 200 may identify objects around the vehicle 1 by using the image data of the camera 110 and the radar data of the radars 120 and 130 together. A method of using image data from the camera 110 and radar data from the radars 120 and 130 together can be defined as a sensor fusion method.

상술한 바와 같이, 개시된 운전자 보조 시스템 및 그 제어 방법은, 카메라를 이용하여 우천 상황을 판단할 수 있고, 우천 상황에서 레이더의 타겟 감지 영역을 변경하여 타겟 오감지를 줄일 수 있다.As described above, the disclosed driver assistance system and its control method can determine a rainy situation using a camera and can reduce target misdetection by changing the target detection area of the radar in a rainy situation.

또한, 개시된 운전자 보조 시스템 및 그 제어 방법은, 우천 상황에서 레이더의 타겟 감지 영역이 변경되는 것에 대응하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경함으로써, 방어 운전 능력을 향상시킬 수 있고, 사고 위험을 줄일 수 있다.In addition, the disclosed driver assistance system and its control method can improve defensive driving ability by changing at least one of the inter-vehicle distance to the preceding vehicle or the collision warning point in response to a change in the target detection area of the radar in a rainy situation. and can reduce the risk of accidents.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create program modules to perform operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. Computer-readable recording media include all types of recording media storing instructions that can be decoded by a computer. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, etc.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the attached drawings. A person skilled in the art to which the present invention pertains will understand that the present invention can be practiced in forms different from the disclosed embodiments without changing the technical idea or essential features of the present invention. The disclosed embodiments are illustrative and should not be construed as limiting.

1: 차량
100: 운전자 보조 시스템
110: 카메라
120: 전방 레이더
130: 코너 레이더
140: 거동 센서
200: 제어부1: vehicle
100: Driver assistance system
110: camera
120: Front radar
130: Corner Raider
140: motion sensor
200: control unit

Claims (20)

차량의 전방 시야(field of view)를 갖도록 차량에 배치되고, 영상 데이터를 획득하는 카메라;
상기 차량 외부의 감지 시야를 갖도록 상기 차량에 배치되고, 레이더 데이터를 획득하는 레이더; 및
상기 영상 데이터 및 상기 레이더 데이터를 처리하는 프로세서를 포함하는 제어부;를 포함하고,
상기 제어부는,
상기 영상 데이터의 처리 결과에 기초하여 우천 상황을 결정하고, 상기 우천 상황에 기초하여 상기 레이더의 타겟 감지 영역(target detection area)을 변경하고, 상기 타겟 감지 영역에 기초하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경하며,
상기 제어부는
상기 레이더로부터 송신되는 전파의 진행 거리에 기초하여 상기 레이더의 타겟 감지 영역을 축소하는 운전자 보조 시스템.A camera disposed on the vehicle to have a field of view ahead of the vehicle and acquiring image data;
A radar disposed on the vehicle to have a detection field of view outside the vehicle and acquiring radar data; and
A control unit including a processor that processes the image data and the radar data,
The control unit,
Determine a rainy situation based on the processing results of the image data, change the target detection area of the radar based on the rainy situation, and change the inter-vehicle distance to the preceding vehicle based on the target detection area or Change at least one of the collision warning timings,
The control unit
A driver assistance system that reduces the target detection area of the radar based on the travel distance of radio waves transmitted from the radar. 삭제delete 제1항에 있어서,
상기 제어부는
상기 전파의 진행 거리가 증가할수록 상기 타겟 감지 영역의 크기를 감소시키는 운전자 보조 시스템.According to paragraph 1,
The control unit
A driver assistance system that reduces the size of the target detection area as the travel distance of the radio wave increases. 제1항에 있어서,
상기 제어부는
상기 전파의 진행 방향에 수직한 상기 타겟 감지 영역을 축소하는 운전자 보조 시스템.According to paragraph 1,
The control unit
A driver assistance system that reduces the target detection area perpendicular to the direction of travel of the radio wave. 제1항에 있어서,
상기 제어부는
상기 타겟 감지 영역의 축소량에 기초하여 상기 선행 차량과의 차간 거리를 증가시키는 운전자 보조 시스템.According to paragraph 1,
The control unit
A driver assistance system that increases the distance between vehicles and the preceding vehicle based on the reduction of the target detection area. 제5항에 있어서,
상기 제어부는
상기 타겟 감지 영역의 축소량에 기초하여 거리 오프셋을 결정하고, 상기 거리 오프셋만큼 상기 선행 차량과의 차간 거리를 증가시키는 운전자 보조 시스템.According to clause 5,
The control unit
A driver assistance system that determines a distance offset based on a reduction of the target detection area and increases the inter-vehicle distance to the preceding vehicle by the distance offset. 제6항에 있어서,
상기 제어부는
상기 타겟 감지 영역의 축소량에 미리 정해진 거리 보정 지수를 적용하여 상기 거리 오프셋을 결정하는 운전자 보조 시스템.According to clause 6,
The control unit
A driver assistance system that determines the distance offset by applying a predetermined distance correction index to the reduction amount of the target detection area. 제1항에 있어서,
상기 제어부는
상기 타겟 감지 영역의 축소량에 기초하여 상기 충돌 경고 시점을 앞당기는 운전자 보조 시스템.According to paragraph 1,
The control unit
A driver assistance system that advances the collision warning timing based on the reduction of the target detection area. 제8항에 있어서,
상기 제어부는
상기 타겟 감지 영역의 축소량에 기초하여 시간 오프셋을 결정하고, 상기 시간 오프셋만큼 상기 충돌 경고 시점을 앞당기는 운전자 보조 시스템.According to clause 8,
The control unit
A driver assistance system that determines a time offset based on a reduction of the target detection area and advances the collision warning timing by the time offset. 제9항에 있어서,
상기 제어부는
상기 타겟 감지 영역의 축소량에 미리 정해진 시간 보정 지수를 적용하여 상기 시간 오프셋을 결정하는 운전자 보조 시스템.According to clause 9,
The control unit
A driver assistance system that determines the time offset by applying a predetermined time correction index to the reduction amount of the target detection area. 차량의 전방 시야(field of view)를 갖도록 차량에 배치되어 영상 데이터를 획득하는 카메라, 상기 차량 외부의 감지 시야를 갖도록 상기 차량에 배치되고, 레이더 데이터를 획득하는 레이더 및 상기 영상 데이터를 처리하는 프로세서를 포함하는 운전자 보조 시스템의 제어 방법에 있어서,
상기 영상 데이터의 처리 결과에 기초하여 우천 상황을 결정하고;
상기 우천 상황에 기초하여 상기 레이더의 타겟 감지 영역(target detection area)을 변경하고; 및
상기 타겟 감지 영역에 기초하여 선행 차량과의 차간 거리 또는 충돌 경고 시점 중 적어도 하나를 변경하는 것;을 포함하며,
상기 레이더의 타겟 감지 영역을 변경하는 것은,
상기 레이더로부터 송신되는 전파의 진행 거리에 기초하여 상기 레이더의 타겟 감지 영역을 축소하는 것을 포함하는 운전자 보조 시스템의 제어 방법.A camera disposed in the vehicle to have a field of view in front of the vehicle and acquire image data, a radar disposed in the vehicle to have a field of view outside the vehicle and acquire radar data, and a processor to process the image data. In a control method of a driver assistance system including,
determine a rainy weather situation based on a result of processing the image data;
change a target detection area of the radar based on the rainy weather situation; and
It includes changing at least one of the inter-vehicle distance to the preceding vehicle or the collision warning time based on the target detection area,
Changing the target detection area of the radar,
A method of controlling a driver assistance system comprising narrowing the target detection area of the radar based on the travel distance of radio waves transmitted from the radar. 삭제delete 제11항에 있어서,
상기 레이더의 타겟 감지 영역을 축소하는 것은,
상기 전파의 진행 거리가 증가할수록 상기 타겟 감지 영역의 크기를 감소시키는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 11,
Reducing the target detection area of the radar,
A control method for a driver assistance system comprising: reducing the size of the target detection area as the travel distance of the radio wave increases. 제11항에 있어서,
상기 레이더의 타겟 감지 영역을 축소하는 것은,
상기 전파의 진행 방향에 수직한 상기 타겟 감지 영역을 축소하는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 11,
Reducing the target detection area of the radar,
A method of controlling a driver assistance system comprising: reducing the target detection area perpendicular to the direction of propagation of the radio wave. 제11항에 있어서,
상기 선행 차량과의 차간 거리를 변경하는 것은
상기 타겟 감지 영역의 축소량에 기초하여 상기 선행 차량과의 차간 거리를 증가시키는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 11,
Changing the distance between vehicles and the preceding vehicle is
A control method of a driver assistance system comprising: increasing the distance between vehicles and the preceding vehicle based on the reduction amount of the target detection area. 제15항에 있어서,
상기 선행 차량과의 차간 거리를 변경하는 것은,
상기 타겟 감지 영역의 축소량에 기초하여 거리 오프셋을 결정하고; 및
상기 거리 오프셋만큼 상기 선행 차량과의 차간 거리를 증가시키는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 15,
Changing the distance between vehicles and the preceding vehicle,
determine a distance offset based on a reduction amount of the target detection area; and
A control method of a driver assistance system including: increasing the inter-vehicle distance with the preceding vehicle by the distance offset. 제16항에 있어서,
상기 거리 오프셋을 결정하는 것은,
상기 타겟 감지 영역의 축소량에 미리 정해진 보정 지수를 적용하여 상기 거리 오프셋을 결정하는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 16,
Determining the distance offset is,
Determining the distance offset by applying a predetermined correction index to the reduction amount of the target detection area. 제11항에 있어서,
상기 충돌 경고 시점을 변경하는 것은,
상기 타겟 감지 영역의 축소량에 기초하여 상기 충돌 경고 시점을 앞당기는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 11,
Changing the collision warning timing is as follows:
A control method of a driver assistance system comprising: advancing the collision warning timing based on a reduction amount of the target detection area. 제18항에 있어서,
상기 충돌 경고 시점을 변경하는 것은,
상기 타겟 감지 영역의 축소량에 기초하여 시간 오프셋을 결정하고; 및
상기 시간 오프셋만큼 상기 충돌 경고 시점을 앞당기는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 18,
Changing the collision warning timing is as follows:
determine a time offset based on a reduction amount of the target detection area; and
A method of controlling a driver assistance system comprising: advancing the collision warning timing by the time offset. 제19항에 있어서,
상기 시간 오프셋을 결정하는 것은,
상기 타겟 감지 영역의 축소량에 미리 정해진 보정 지수를 적용하여 상기 시간 오프셋을 결정하는 것;을 포함하는 운전자 보조 시스템의 제어 방법.According to clause 19,
Determining the time offset is,
Determining the time offset by applying a predetermined correction index to the reduction amount of the target detection area.
KR1020200110262A 2020-08-31 2020-08-31 Driver assistance system, and control method for the same KR102614820B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200110262A KR102614820B1 (en) 2020-08-31 2020-08-31 Driver assistance system, and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200110262A KR102614820B1 (en) 2020-08-31 2020-08-31 Driver assistance system, and control method for the same

Publications (2)

Publication Number Publication Date
KR20220028779A KR20220028779A (en) 2022-03-08
KR102614820B1 true KR102614820B1 (en) 2023-12-18

Family

ID=80813124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200110262A KR102614820B1 (en) 2020-08-31 2020-08-31 Driver assistance system, and control method for the same

Country Status (1)

Country Link
KR (1) KR102614820B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962701B1 (en) * 2017-09-25 2019-03-27 주식회사 만도 Method and Apparatus of vehicle alarm that alarm area is changed by visible distance

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180044605A (en) * 2016-10-24 2018-05-03 엘에스오토모티브테크놀로지스 주식회사 Parking Assist Apparatus and Method for Varying Detecting-Area of Obstacle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962701B1 (en) * 2017-09-25 2019-03-27 주식회사 만도 Method and Apparatus of vehicle alarm that alarm area is changed by visible distance

Also Published As

Publication number Publication date
KR20220028779A (en) 2022-03-08

Similar Documents

Publication Publication Date Title
CN113060141B (en) Advanced driver assistance system, vehicle having the same, and method of controlling the vehicle
KR102673147B1 (en) Driver assistance system and controlling method thereof
KR20200047886A (en) Driver assistance system and control method for the same
KR102440255B1 (en) Driver assistance system and method thereof
US11518373B2 (en) Vehicle and control method thereof
US20210343148A1 (en) Driver assistance system and control method for the same
KR20200115827A (en) Driver assistance system, and control method for the same
US11505183B2 (en) Driver assistance system and method
US11235741B2 (en) Vehicle and control method for the same
US11634120B2 (en) Driver assistance system and driver assistance method
KR20220124397A (en) Vehicle and controlling method of vehicle
CN111497838A (en) Driver assistance system and control method thereof
US11890939B2 (en) Driver assistance system
US20230294682A1 (en) Driver assistance system and vehicle including the same
US11970167B2 (en) Driver assistance apparatus and driver assistance method
US20230101872A1 (en) Vehicle and control method thereof
JP6881323B2 (en) Vehicle driving support control device, vehicle driving support system and vehicle driving support control method
US20220203974A1 (en) Vehicle and method of controlling the same
KR102614820B1 (en) Driver assistance system, and control method for the same
KR102662730B1 (en) Driver assistance apparatus and method thereof
KR102673387B1 (en) Driver assistance system and method thereof
KR20240085088A (en) Driver assistance system and driver assistance method
US20240042972A1 (en) Apparatus for traveling assistance and control method thereof
US20220410879A1 (en) Vehicle and control method thereof
KR20220078833A (en) Driver assistance system, and control method for the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant