KR20170014159A - 운전지원장치 및 운전지원방법 - Google Patents
운전지원장치 및 운전지원방법 Download PDFInfo
- Publication number
- KR20170014159A KR20170014159A KR1020150107035A KR20150107035A KR20170014159A KR 20170014159 A KR20170014159 A KR 20170014159A KR 1020150107035 A KR1020150107035 A KR 1020150107035A KR 20150107035 A KR20150107035 A KR 20150107035A KR 20170014159 A KR20170014159 A KR 20170014159A
- Authority
- KR
- South Korea
- Prior art keywords
- road
- lane
- distance
- edge
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 25
- 231100001261 hazardous Toxicity 0.000 claims 2
- 238000001514 detection method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 239000000470 constituent Substances 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B60N2/4805—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4044—Direction of movement, e.g. backwards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4045—Intention, e.g. lane change or imminent movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/30—Auxiliary equipments
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
Abstract
본 발명은 도로의 엣지(Edge), 도로의 차선 및 도로에서 일정범위 이내에 위치하는 객체(Object) 중 적어도 하나를 감지하는 감지부와 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도를 산출하고, 산출된 거리들과 속도에 기초하여 각각에 대한 접근시간을 산출하는 산출부와 엣지(Edge), 차선 및 객체 중 적어도 하나에 대해 위험등급을 각각 설정하고 접근시간에 기초하여 위험등급을 조정하는 관리부 및 위험등급에 따라 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어하는 제어부를 포함하는 운전지원장치에 관한 것이다.
Description
본 발명은 차량에 적용될 수 있는 운전지원 기술에 관한 것이다.
차량에는 운전자에게 특정상황을 알려주기 위한 알림장치, 차량의 주행방향을 조종하기 위한 조향장치, 주행하는 차량을 정지시키기 위한 제동장치, 운전자의 머리를 지탱하여 안락함을 주는 헤드레스트(Headrest) 및 급제동하는 차량으로부터 운전자를 보호하기 위한 벨트가 설치되어 있다.
알림장치는 차량 내부의 상태만을 운전자에게 알려주며, 조향장치 및 제동장치는 운전자의 조종에 따라 동작하며, 헤드레스트 및 벨트는 제조된 특성에 따라 동작하거나 혹은 운행 전 운전자에 의한 설정에 따라 동작한다.
하지만, 주행하는 차량은 다양한 환경에 노출되며, 이러한 다양한 환경을 알림장치가 알려주고 상기 다양한 환경에 적합하도록 조향장치 및 제동장치를 운전자가 조종하여 동작시키며 헤드레스트 및 벨트를 미리 설정하는 것은 현실적으로 불가능에 가깝다.
이러한 배경에서, 본 발명의 목적은, 일 측면에서, 주행하는 차량이 노출될 수 있는 다양한 환경에 따라 알림장치, 조향장치, 제동장치, 헤드레스트 및 벨트를 제어할 수 있는 장치 및 방법을 제공하는 것이다.
일 측면에서, 본 발명은 도로의 엣지(Edge), 도로의 차선 및 도로에서 일정범위 이내에 위치하는 객체(Object) 중 적어도 하나를 감지하는 감지부와 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도를 산출하고, 산출된 거리들과 속도에 기초하여 각각에 대한 접근시간(Time To Collision, TTC)을 산출하는 산출부와 엣지(Edge), 차선 및 객체 중 적어도 하나에 대해 위험등급을 각각 설정하고 접근시간에 기초하여 위험등급을 조정하는 관리부 및 위험등급에 따라 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어하는 제어부를 포함하는 운전지원장치를 제공한다.
다른 일 측면에서, 본 발명은 도로의 엣지, 도로의 차선 및 도로에서 일정범위 이내에 위치하는 객체(Object) 중 적어도 하나를 감지하는 감지단계와 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도를 산출하고, 산출된 거리들과 속도에 기초하여 각각에 대한 접근시간(Time To Collision, TTC)을 산출하는 산출단계와 엣지(Edge), 차선 및 객체 중 적어도 하나에 대해 위험등급을 각각 설정하고 접근시간에 기초하여 위험등급을 조정하는 관리단계 및 위험등급 중 가장 높은 등급에 따라 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어하는 제어단계를 포함하는 운전지원방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 주행하는 차량이 노출될 수 있는 다양한 환경에 따라 알림장치, 조향장치, 제동장치, 헤드레스트 및 벨트를 제어할 수 있는 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 상황의 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 상황의 다른 일 예를 도시한 도면이다.
도 5는 본 발명의 다른 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 6는 본 발명의 다른 일 실시 예에 따른 주행경로 생성부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 7은 본 발명의 다른 일 실시 예에 따른 주행경로 생성부의 동작을 설명하기 위한 다른 일 예를 도시한 도면이다.
도 8은 본 발명의 다른 일 실시 예에 따른 감지부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 9은 본 발명의 일 실시 예에 따른 감지부의 동작을 설명하기 위한 다른 일 예를 도시한 도면이다.
도 9a은 본 발명의 일 실시 예에 따른 감지부의 동작을 설명하기 위한 또 다른 일 예를 도시한 도면이다.
도 10는 본 발명의 일 실시 예에 따른 운전지원방법의 흐름도를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 상황의 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 상황의 다른 일 예를 도시한 도면이다.
도 5는 본 발명의 다른 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 6는 본 발명의 다른 일 실시 예에 따른 주행경로 생성부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 7은 본 발명의 다른 일 실시 예에 따른 주행경로 생성부의 동작을 설명하기 위한 다른 일 예를 도시한 도면이다.
도 8은 본 발명의 다른 일 실시 예에 따른 감지부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 9은 본 발명의 일 실시 예에 따른 감지부의 동작을 설명하기 위한 다른 일 예를 도시한 도면이다.
도 9a은 본 발명의 일 실시 예에 따른 감지부의 동작을 설명하기 위한 또 다른 일 예를 도시한 도면이다.
도 10는 본 발명의 일 실시 예에 따른 운전지원방법의 흐름도를 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 운전지원장치(100)는 도로의 엣지(Edge), 도로의 차선 및 도로에서 일정범위 이내에 위치하는 객체(Object) 중 적어도 하나를 감지하는 감지부(110)와 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체와의 속도를 산출하고, 산출된 거리들과 속도에 기초하여 각각에 대한 접근시간을 산출하는 산출부(120)와 도로의 엣지, 차선 및 객체 중 적어도 하나에 대해 위험등급을 각각 설정하고 접근시간에 기초하여 위험등급을 조정하는 관리부(130) 및 위험등급에 따라 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어하는 제어부(140)를 포함할 수 있다.
일 예를 들어, 감지부(110)는 전하결합소자(Charge Coupled Device, CCD)를 사용하는 CCD카메라를 사용하여 도로의 엣지, 차선 및 객체를 감지할 수 있다.
CCD는 빛을 전하로 변환시켜 화상을 얻어내는 센서로서, 여러 개의 축전기(Condenser)가 쌍으로 상호 연결되어 있는 회로로 구성되어 있고 회로 내의 각 축전기는 자신 주변의 축전지로 충적된 전하를 전달하여 화상을 얻을 수 있다. 이러한 CCD들로 구성된 CCD칩에 빛이 비추어지면 광자의 양에 따라 전자가 생기고 밝기에 대응되는 해당 CCD의 전자량의 정보를 재구성 함으로써 화면을 이루는 이미지 정보를 생성할 수 있다.
다른 일 예를 들어, 감지부(110)는 2개의 렌즈를 설치하여 동시에 2장의 화상을 얻을 수 있는 스테레오카메라(Stereo-camera)를 사용하여 도로의 엣지, 차선 및 객체를 감지할 수 있다. 쉽게 설명하면, 사람은 두 눈으로 물체를 감지하여 원근을 판단하는 것과 유사하게 스테레오카메라는 물체를 감지할 수 있다. 스테레오카메라는 렌즈를 사람의 두 눈의 간격(약 6∼7[cm])과 유사하게 6.5∼7[cm] 정도의 간격으로 좌우에 나란히 설치함으로써 입체적으로 감지할 수 있다.
상기 객체는 도로에 설치된 시설물, 도로를 건너는 보행자, 도로에 주행중인 차량 및 도로에 놓인 물체가 될 수 있다. 상기 물체는 감지부(110)에서 인식은 되나 미리 저장된 항목 리스트에 존재하지 않음을 의미한다. 즉, 시설물, 보행자 및 차량은 상기 항목 리스트에 저장되어 감지되었음을 의미한다. 상기 시설물은 도로 인근에 고정되어 존재하는 연석, 외벽, 중앙 분리대, 가드레일 등을 포함할 수 있다.
전술한 바와 같이 감지부(110)는 CCD카메라 또는 스테레오카메라를 사용함으로써, 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체를 감지할 수 있지만 이에 제한되지 않는다. 즉, 감지부(110)는 도로의 엣지, 도로의 차선 및 도로에서 일정범위 이내에 위치하는 객체를 감지할 수 있는 어떠한 장치를 이용할 수도 있다.
산출부(120)는 감지부(110)가 감지한 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체 각각과의 거리를 산출할 수 있다.
일 예를 들어, 산출부(120)는 감지부(110)가 촬영한 영상에서 미리 알고 있는 일정위치에서의 거리를 이용함으로써 거리를 산출할 수 있다.
또한, 산출부(120)는 일정시간의 간격으로 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체를 감지함으로써, 일정시간 동안의 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체의 변화된 거리를 산출할 수 있다. 또한, 산출부(120)는 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체의 속도를 산출할 수 있으며 더 나아가, 산출부(120)는 산출된 변화된 거리 및 속도에 기초하여 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체와의 접근시간(Time To Collision, TTC)을 산출할 수 있다.
관리부(130)는 감지부(110)에서 감지된 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체에 대해 위험등급을 각각 설정할 수 있다.
일 예를 들어, 관리부(130)는 미리 설정된 항목별 위험등급 데이터에 기초하여 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체에 대해 위험등급을 각각 설정할 수 있다.
예를 들어, 자차량이 낮은 위험등급인 차선에 맞닿거나 또는 차선을 침범하면 상황에 따라 교통사고가 발생할 수 있지만 이는 확률적으로 낮을 수 있다. 이에 반해, 자차량이 높은 위험등급인 보행자에 맞닿거나 또는 더 이동하여 보행자를 치면 보행자는 부상을 당할 수 있으며 상황에 따라서는 사망에 이를 수 있다.
이에 따라, 관리부(130)는 차선, 시설물과 물체, 도로의 엣지, 차량, 보행자 순으로 상기 위험등급을 높게 설정할 수 있다. 전술한 위험등급 순서는 이동하여 맞닿거나 또는 더 이동하는 경우에 따른 결과에 기반하여 설정될 수 있다.
또한, 관리부(130)는 설정된 차선, 시설물과 물체, 도로의 엣지, 차량, 보행자 각각의 위험등급을 산출부(120)에서 산출된 접근시간(Time To Collision, TTC)에 기초하여 조정할 수 있다.
일 예를 들어, 관리부(130)는 접근시간이 미리 설정된 시간영역들 간에 관계에 기초하여 상기 위험등급을 상향 조정할 수 있다. 상기 시간영역들은 실험 데이터에 기초하여 차선, 시설물과 물체, 도로의 엣지, 차량, 보행자 각각마다 달리 설정될 수 있다.
제어부(140)는 관리부(130)에서 관리된 위험등급에 따라 자차량에 포함된 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어할 수 있다.
일 예를 들어 관리부(130)가 위험등급을 4단계로 관리하면, 제어부(140)는 위험도가 가장 낮은 단계인 제1 위험등급에서 알림장치를 작동시키고, 다음 단계인 제2 위험등급에서 알림장치 및 조향장치 중 하나 이상을 제어하고, 제3 위험등급에서 알림장치, 조향장치 및 제동장치 중 하나 이상을 제어하고, 위험도가 가장 높은 단계인 제4 위험등급에서 알림장치, 조향장치, 제동장치, 헤드레스트 및 벨트 중 하나 이상을 제어할 수 있다.
다른 일 예를 들어, 관리부(130)가 감지부(110)에서 감지된 차선, 시설물, 물체, 도로의 엣지, 차량 및 보행자 각각의 위험등급을 제1 위험등급, 제2 위험등급, 제2 위험등급, 제3 위험등급, 제3 위험등급 및 제4 위험등급으로 관리하면, 제어부(140)는 가장 높은 등급인 제4 위험등급에 따라 알림장치를 제어하여 운전자에게 알림을 제공하고, 제4 위험등급에 해당하는 보행자와 충돌하지 않도록 조향장치를 제어하고, 제4 위험등급에 해당하는 보행자와 충돌하지 않도록 제동장치를 제어하고, 운전자로 하여금 적은 충격을 받도록 헤드레스트 및 벨트가 조정되도록 제어할 수 있다.
전술한 제어부(140)의 제어동작은 하나의 일 예로서 이에 제한되지 않는다.
도 2는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 상황의 일 예를 도시한 도면이고, 도 3은 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이며, 도 4는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 상황의 다른 일 예를 도시한 도면이다.
도 2를 참조하면, 자차량(210)이 횡 방향의 끝인 엣지(220), 차선(230) 및 시설물인 중앙 분리대(240)를 포함하는 2차선 도로를 주행하고 있는 상황이다. 또한, 상기 도로의 2차선에 차선 또는 도로의 보수공사로 인해 일 물체로서 러버콘(Rubber-cone, 260 내지 265)과 보행자(250)가 있으며, 상기 도로의 1차선에 타차량(270)이 주행하고 있다.
도 2의 상황에서 도 3을 참조하면, 본 발명의 일 실시 예에 따른 운전지원장치의 감지부는 도로의 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270) 중 적어도 하나를 감지할 수 있다(S300).
전술한 적어도 하나의 의미는 감지부가 도로의 상황에 의해 감지함을 의미하는 것으로서, 도로의 차선(230) 및 객체로서 중앙분리대(240)만 감지할 수도 또는 차선(230)만 감지할 수도 있다.
이하의 설명에서 적어도 하나의 의미는 전술한 바와 같이 도로의 상황에 의해 결정되는 것으로 이해되어야 할 것이다.
감지부가 S300 단계를 수행하면, 산출부가 S300에서 감지한 도로의 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270) 중 적어도 하나의 각각에 대해 거리 및 속도를 산출하고(S310), 산출된 하나 이상의 거리와 하나 이상의 속도 및 자차량(210)의 속도에 기초하여 접근시간(Time To Collision, TTC)을 산출할 수 있다(S320).
도 4를 더 참조하면, 감지부가 S300 단계에서 객체로서 타차량(270)을 감지하면, 산출부가 S310 단계에서 일정시간 간격으로 타차량(270)과의 거리를 산출하며, 일정시간에 따른 타차량(270)의 거리변화와 일정시간에 기초하여 타차량(270)의 속도(V3)를 산출할 수 있다. 또한, 산출부가 S310 단계에서 산출된 타차량(270)과의 거리(L3), 타차량(270)의 속도(V3) 및 자차량(210)의 속도(V1)를 다음 수학식 1에 기초하여 타차량(270)과의 접근시간(T3)을 산출할 수 있다.
[수학식 1]
T3 = L3 / (V3 - V1)
자차량(210)이 타차량(270)과의 접근시간을 상기 수학식 1을 이용하여 산출한 바와 같이 도로의 엣지(220), 차선(230), 시설물인 중앙분리대(240), V2의 속도로 이동하는 보행자(250) 및 물체인 러버콘(260 내지 265)과의 접근시간을 산출할 수 있다.
본 발명의 일 실시 예에 따른 운전지원장치를 포함하는 자차량(210)이 이동함에 따라, 일정시간에 따른 타차량(270)의 거리변화를 산출하기 어려울 수 있다. 하지만 이동중인 타차량(270)이 아닌 고정된 시설물로서 중앙분리대(240), 차선(230), 엣지(220) 및 러버콘(260 내지 265) 중 적어도 하나에 기초하여 자차량(210)의 이동에 따른 거리변화를 먼저 산출함으로써, 이동중인 타차량(270) 뿐만 아니라 보행자(250)의 일정시간에 거리변화를 산출할 수 있다.
전술한 바와 같이 S320 단계에서 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270)의 접근시간을 산출하면, 관리부가 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270)의 위험등급을 설정하고, S320 단계에서 산출된 각각의 접근시간을 더 반영하여 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270)의 위험등급을 조정할 수 있다(S330).
상기 위험등급은 자차량(210)이 이동하여 맞닿거나 또는 더 이동하여 발생되는 결과에 기반하여 저장된 데이터에 기초하여 설정될 수 있다.
예를 들어, 자차량(210)이 차선(230)에 맞닿거나 또는 차선을 침범하면 상황에 따라 교통사고가 발생할 수 있지만 이는 확률적으로 낮을 수 있기 때문에 차선(230)의 위험등급은 상기 데이터에 낮게 저장될 수 있다. 이에 반해, 자차량(210)이 보행자(250)에 맞닿거나 또는 더 이동하여 보행자(250)를 치면 보행자(250)는 부상을 당할 수 있으며 상황에 따라서는 사망에 이를 수 있으므로 보행자(250)의 위험등급은 상기 데이터에 높게 저장될 수 있다.
또한, 관리부는 S320에서 산출된 접근시간을 미리 설정된 시간영역들 간에 관계에 기초하여 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270)의 위험등급을 조정할 수 있다.
예를 들어 시간영역(T1, T2, T3)이 각각 0[s] ≤ T1 < 1[s], 1[s] ≤ T2 < 3[s], 3[s] ≤ T3 로 미리 설정되면, 관리부는 S320 단계에서 산출한 접근시간이 T1 또는 T2 영역에 해당하면 각각 위험등급을 2단계 또는 1단계 상향 조정할 수 있다.
시간영역 및 시간영역에 따라 상향되는 단계는 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270) 마다 달리 설정될 수 있다.
전술한 바와 같이 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270)의 위험등급이 정해지면, 제어부가 정해진 위험등급에 따라 자차량(210)에 포함된 알림장치, 조향장치, 제동장치, 헤드레스트 및 벨트 중 하나 이상을 제어할 수 있다(S340).
일 예를 들어, 제어부는 알림장치를 제어하여 운전자에게 알림을 제공하고, 조향장치 또는 제동장치를 제어하여 엣지(220), 도로의 차선(230) 및 도로에서 일정범위 이내에 위치하는 객체(240, 250, 260 내지 265, 270) 중 하나 이상과의 접촉하지 않도록 하고, 헤드레스트 또는 벨트를 제어하여 운전자로 하여금 적은 충격을 받도록 할 수 있다.
도 5는 본 발명의 다른 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 5를 참조하면, 본 발명의 다른 일 실시 예에 따른 운전지원장치는 감지부(110), 산출부(120), 관리부(130) 및 제어부(140)를 포함하는 본 발명의 일 실시 예에 따른 운전지원장치(100)에 주행경로 생성부(510)를 더 포함할 수 있다.
주행경로 생성부(510)는 산출부(120)에서 산출된 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도 중 적어도 하나에 기초하여 주행경로를 생성할 수 있다.
산출부(120)에서 산출된 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도를 기초하여 주행경로를 생성할 수도 있으나, 도로 위 상황에 따라 주행경로는 생성되지 않을 수 있다. 이러한 상황에서, 주행경로 생성부(510)는 관리부(130)에서 관리된 위험등급을 참고하여 산출부(120)에서 산출된 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도 중 적어도 하나에 기초하여 주행경로를 생성할 수 있다.
예를 들어, 관리부(130)에서 상기 객체 중의 하나인 보행자의 위험등급을 제4 위험등급으로 관리되고, 보행자 외의 차선, 시설물, 차량 및 물체 등이 제1 위험등급 내지 제3 위험등급으로 관리된 상황에서, 주행경로 생성부(510)가 산출부(120)에서 산출된 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도를 만족하는 주행경로가 생성하지 못하면, 위험등급이 가장 높은 보행자와의 거리 및 속도를 중점으로 만족하는 주행경로를 생성할 수 있다.
이후, 제어부(140)는 주행경로 생성부(510)가 생성한 주행경로에 따라 이동하도록 자차량에 포함된 조향장치 및 제동장치를 제어할 수 있다.
도 6 및 도 7는 본 발명의 다른 일 실시 예에 따른 주행경로 생성부의 동작을 설명하기 위한 일 예 및 다른 일 예를 도시한 도면이다.
도 6 내지 도 7을 참조하면, 주행경로 생성부는 산출부가 산출한 엣지(220)와의 거리, 차선(230)과의 거리, 객체의 일부로서 중앙분리대(240)와의 거리, 객체의 일부로서 러버콘(260 내지 265)과의 거리, 객체의 일부로서 타차량(270)과의 거리 및 타차량(270)의 속도 중 적어도 하나에 기초하여 주행경로(610)를 생성할 수 있다.
만약, 자차량(210)이 1차선으로 변경하면 타차량(270)과 충돌이 예상되면 주행경로 생성부는 주행경로를 생성하지 않을 수 있다. 일 예를 들어, 주행경로 생성부는 타차량(270)의 속도에서 자차량(210)의 속도의 뺄셈값과 타차량(270)과의 거리에 대한 데이터에 기초하여 충돌할 것을 예상할 수 있다. 상기 데이터는, 타차량(270)의 속도에서 자차량(210)의 속도의 뺄셈값이 클수록 타차량(270)과 충돌확률이 증가하고, 타차량(270)과의 거리가 작을수록 타차량(270)과 충돌확률이 증가되는 특징을 가질 수 있다.
또한, 도 7과 같이 러버콘(260a, 261a, 262a, 263a, 264a, 265a)의 간격이 자차량(210)의 폭보다 크면 주행경로 생성부는 주행경로(610, 710)를 생성할 수 있으며, 자차량(210)이 생성된 주행경로(710)에 따라 이동하는 문제점이 발생할 수 있다.
상기 문제점의 발생을 예방하기 위해, 본 발명의 다른 일 실시 예에 따른 감지부는 도 8과 같이 미리 설정된 임계값 이상의 동일한 객체로서 러버콘(260a, 261a, 262a, 263a, 264a, 265a)의 개수를 감지하면, 하나의 그룹(810)으로 감지할 수 있다. 이에 따라, 주행경로 생성부는 주행경로(610)만을 생성될 것이다.
도 9 및 도 9a은 본 발명의 일 실시 예에 따른 감지부의 동작을 설명하기 위한 다른 일 예 및 또 다른 일 예를 도시한 도면이다.
도 9를 참조하면, 자차량의 전방을 감지하는 감지부는 도로의 차선(230), 객체로서 중앙분리대(240), 보행자(250), 러버콘(260, 261, 262, 263, 264, 265) 및 타차량(270)을 감지할 수 있다.
도 9의 상황에서, 본 발명의 일 실시 예에 따른 감지부는 하나의 인식영역으로서 도로의 차선(230-1), 중앙분리대(240-1), 보행자(250-1) 러버콘(260-1, 261-1, 262-1, 263-1, 264-1, 265-1) 및 타차량(270-1)을 감지할 수 있다.
이로써, 감지부는 색상 및 형상에 관한 정보를 포함하지 않게 되어 적은 데이터 공간을 사용할 수 있으며, 또한 산출부가 거리와 속도를 산출하는데 걸리는 시간을 줄일 수 있는 효과가 있다.
이 외에도, 감지부는 자차량이 주행하는 노면을 더 감지할 수도 있다. 예를 들어 균일한 노면의 표면을 감지하면, 감지부는 도로가 포장도로인 것으로 감지할 수 있다. 이와 달리, 균일하지 않는 노면의 표면을 감지하면, 감지부는 도로가 비포장도로인 것으로 감지할 수 있다. 이와 같이, 감지부가 감지한 노면에 따라 제어부는 자차량에 포함된 알림장치, 조향장치, 제동장치, 헤드레스트 및 벨트 중 적어도 하나를 제어할 수 있다.
예를 들어, 감지부가 비포장도로인 것으로 감지하면 제어부는 알림장치를 제어하여 운전자에게 비포장도로임을 알릴 수 있으며, 조향장치가 급격히 동작하지 않도록 제어할 수 있다. 또한, 제어부는 양측의 휠의 속도가 동일하도록 제동장치를 제어할 수 있으며, 운전자가 충격을 덜 느끼도록 헤드레스트 및 벨트를 제어할 수 있다.
이하에서는 도 1 내지 도 10을 이용하여 설명한 운전지원장치가 수행하는 동작인 운전지원방법에 대해서 간략하게 설명한다.
도 10는 본 발명의 일 실시 예에 따른 운전지원방법의 흐름도를 도시한 도면이다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 운전지원방법은 도로의 엣지(Edge), 도로의 차선 및 도로에서 일정범위 이내에 위치하는 객체(Object) 중 적어도 하나를 감지하는 감지단계(S1000)와 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체와의 속도를 산출하고, 산출된 거리들과 속도에 기초하여 각각에 대한 접근시간을 산출하는 산출단계(S1010)와 도로의 엣지, 차선 및 객체 중 적어도 하나에 대해 위험등급을 각각 설정하고 접근시간에 기초하여 위험등급을 조정하는 관리 단계(S1020) 및 위험등급에 따라 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어하는 제어단계(S1030)를 포함할 수 있다.
일 예를 들어, 감지단계(S1000)는 전하결합소자(Charge Coupled Device, CCD)를 사용하는 CCD카메라를 사용하여 도로의 엣지, 차선 및 객체를 감지할 수 있다.
CCD는 빛을 전하로 변환시켜 화상을 얻어내는 센서로서, 여러 개의 축전기(Condenser)가 쌍으로 상호 연결되어 있는 회로로 구성되어 있고 회로 내의 각 축전기는 자신 주변의 축전지로 충적된 전하를 전달하여 화상을 얻을 수 있다. 이러한 CCD들로 구성된 CCD칩에 빛이 비추어지면 광자의 양에 따라 전자가 생기고 밝기에 대응되는 해당 CCD의 전자량의 정보를 재구성 함으로써 화면을 이루는 이미지 정보를 생성할 수 있다.
다른 일 예를 들어, 감지단계(S1000)는 2개의 렌즈를 설치하여 동시에 2장의 화상을 얻을 수 있는 스테레오카메라(Stereo-camera)를 사용하여 도로의 엣지, 차선 및 객체를 감지할 수 있다. 쉽게 설명하면, 사람은 두 눈으로 물체를 감지하여 원근을 판단하는 것과 유사하게 스테레오카메라는 물체를 감지할 수 있다. 스테레오카메라는 렌즈를 사람의 두 눈의 간격(약 6∼7[cm])과 유사하게 6.5∼7[cm] 정도의 간격으로 좌우에 나란히 설치함으로써 입체적으로 감지할 수 있다.
상기 객체는 도로에 설치된 시설물, 도로를 건너는 보행자, 도로에 주행중인 차량 및 도로에 놓인 물체가 될 수 있다. 상기 물체는 감지단계(S1000)에서 인식은 되나 미리 저장된 항목 리스트에 존재하지 않음을 의미한다. 즉, 시설물, 보행자 및 차량은 상기 항목 리스트에 저장되어 감지되었음을 의미한다.
전술한 바와 같이 감지단계(S1000)는 CCD카메라 또는 스테레오카메라를 사용함으로써, 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체를 감지할 수 있지만 이에 제한되지 않는다. 즉, 감지단계(S1000)는 도로의 엣지, 도로의 차선 및 도로에서 일정범위 이내에 위치하는 객체를 감지할 수 있는 어떠한 장치를 이용할 수도 있다.
산출단계(S1010)는 감지단계(S1000)에서 감지한 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체 각각과의 거리를 산출할 수 있다.
일 예를 들어, 산출단계(S1010)는 감지단계(S1000)에서 촬영한 영상에서 미리 알고 있는 일정위치에서의 거리를 이용함으로써 거리를 산출할 수 있다.
또한, 산출단계(S1010)는 일정시간의 간격으로 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체를 감지함으로써, 일정시간 동안의 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체의 변화된 거리를 산출할 수 있다. 또한, 산출단계(S1010)는 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체의 속도를 산출할 수 있으며 더 나아가, 산출단계(S1010)는 산출된 변화된 거리 및 속도에 기초하여 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체와의 접근시간을 산출할 수 있다.
관리단계(S1020)는 감지단계(S1000)에서 감지된 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체에 대해 위험등급을 각각 설정할 수 있다.
일 예를 들어, 관리단계(S1020)는 미리 설정된 항목별 위험등급 데이터에 기초하여 도로의 엣지, 차선 및 도로에서 일정범위 이내에 위치하는 객체에 대해 위험등급을 각각 설정할 수 있다.
예를 들어, 자차량이 낮은 위험등급인 차선에 맞닿거나 또는 차선을 침범하면 상황에 따라 교통사고가 발생할 수 있지만 이는 확률적으로 낮을 수 있다. 이에 반해, 자차량이 높은 위험등급인 보행자에 맞닿거나 또는 더 이동하여 보행자를 치면 보행자는 부상을 당할 수 있으며 상황에 따라서는 사망에 이를 수 있다.
이에 따라, 관리단계(S1020)는 차선, 시설물과 물체, 도로의 엣지, 차량, 보행자 순으로 상기 위험등급을 높게 설정할 수 있다. 전술한 위험등급 순서는 이동하여 맞닿거나 또는 더 이동하는 경우에 따른 결과에 기반하여 설정될 수 있다.
또한, 관리단계(S1020)는 설정된 차선, 시설물과 물체, 도로의 엣지, 차량, 보행자 각각의 위험등급을 산출단계(S1010)에서 산출된 접근시간에 기초하여 조정할 수 있다.
일 예를 들어, 관리단계(S1020)는 접근시간이 미리 설정된 시간영역들 간에 관계에 기초하여 상기 위험등급을 상향 조정할 수 있다. 상기 시간영역들은 실험 데이터에 기초하여 차선, 시설물과 물체, 도로의 엣지, 차량, 보행자 각각마다 달리 설정될 수 있다.
제어단계(S1030)는 관리단계(S1020)에서 관리된 위험등급에 따라 자차량에 포함된 알림장치, 조향장치, 제동장치, 헤드레스트 및 벨트 중 적어도 하나를 제어할 수 있다.
일 예를 들어 관리단계(S1020)가 위험등급을 4단계로 관리하면, 제어 단계(S1030)는 위험도가 가장 낮은 단계인 제1 위험등급에서 알림장치를 작동시키고, 다음 단계인 제2 위험등급에서 알림장치 및 조향장치 중 하나 이상을 제어하고, 제3 위험등급에서 알림장치, 조향장치 및 제동장치 중 하나 이상을 제어하고, 위험도가 가장 높은 단계인 제4 위험등급에서 알림장치, 조향장치, 제동장치, 헤드레스트 및 벨트 중 하나 이상을 제어할 수 있다.
다른 일 예를 들어, 관리단계(S1020)가 감지단계(S1000)에서 감지된 차선, 시설물, 물체, 도로의 엣지, 차량 및 보행자 각각의 위험등급을 제1 위험등급, 제2 위험등급, 제2 위험등급, 제3 위험등급, 제3 위험등급 및 제4 위험등급으로 관리하면, 제어단계(S1030)는 가장 높은 등급인 제4 위험등급에 따라 알림장치를 제어하여 운전자에게 알림을 제공하고, 제4 위험등급에 해당하는 보행자와 충돌하지 않도록 조향장치를 제어하고, 제4 위험등급에 해당하는 보행자와 충돌하지 않도록 제동장치를 제어하고, 운전자로 하여금 적은 충격을 받도록 헤드레스트 및 벨트가 조정되도록 제어할 수 있다.
본 발명의 다른 일 실시 예에 따른 운전지원방법은 엣지와의 거리, 차선과의 거리, 객체와의 거리 및 객체의 속도 중 적어도 하나에 기초하여 주행경로를 생성하는 생성단계를 더 포함할 수 있으며, 이에 따라, 제어단계는 생성된 주행경로에 따라 이동하도록 상기 조향장치 및 상기 제동장치를 제어할 수 있다.
본 발명의 다른 일 실시 예에 따른 운전지원방법에서, 감지단계는 동일한 객체의 개수를 미리 설정한 임계값 이상으로 감지하면 하나의 그룹으로 감지할 수 있다.
이 외에도 본 발명의 운전지원방법은 도 1 내지 도 9a에 기초하여 설명한 본 발명의 운전지원장치가 수행하는 각 동작을 모두 수행할 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (13)
- 도로의 엣지(Edge), 상기 도로의 차선 및 상기 도로에서 일정범위 이내에 위치하는 객체(Object) 중 적어도 하나를 감지하는 감지부;
상기 엣지와의 거리, 상기 차선과의 거리, 상기 객체와의 거리 및 상기 객체의 속도를 산출하고, 산출된 거리들과 속도에 기초하여 각각에 대한 접근시간(Time To Collision, TTC)을 산출하는 산출부;
상기 엣지(Edge), 상기 차선 및 상기 객체 중 적어도 하나에 대해 위험등급을 각각 설정하고 상기 접근시간에 기초하여 상기 위험등급을 조정하는 관리부; 및
상기 위험등급에 따라 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어하는 제어부를 포함하는 운전지원장치. - 제 1항에 있어서,
상기 객체는 시설물, 보행자, 차량 및 물체를 포함하며,
상기 관리부는,
상기 도로의 차선, 상기 시설물과 상기 물체, 상기 도로의 엣지, 상기 차량, 상기 보행자 순으로 상기 위험등급을 높게 설정하는 운전지원장치. - 제 1항에 있어서,
상기 관리부는,
상기 접근시간이 미리 설정된 시간영역들 간에 관계에 기초하여 상기 위험등급을 상향 조정하는 것을 특징으로 하는 운전지원장치. - 제 1항에 있어서,
상기 관리부는 상기 위험등급을 4단계로 관리하며,
상기 제어부는,
위험도가 가장 낮은 단계인 제1 위험등급에서 상기 알림장치를 작동시키고, 다음 단계인 제2 위험등급에서 상기 알림장치 및 조향장치 중 하나 이상을 제어하고, 제3 위험등급에서 상기 알림장치, 상기 조향장치 및 상기 제동장치 중 하나 이상을 제어하고, 위험도가 가장 높은 단계인 제4 위험등급에서 상기 알림장치, 상기 조향장치, 상기 제동장치, 상기 헤드레스트 및 상기 벨트 중 하나 이상을 제어하는 운전지원장치. - 제 1항에 있어서,
상기 엣지와의 거리, 상기 차선과의 거리, 상기 객체와의 거리 및 상기 객체의 속도 중 적어도 하나에 기초하여 주행경로를 생성하는 주행경로 생성부를 더 포함하고,
상기 제어부는,
상기 주행경로에 따라 이동하도록 상기 조향장치 및 상기 제동장치를 제어하는 운전지원장치. - 제 5항에 있어서,
상기 감지부는,
미리 설정된 임계값 이상의 동일한 객체의 개수를 감지하면 하나의 그룹으로 감지하는 것을 특징으로 하는 운전지원장치. - 제 1항에 있어서,
상기 감지부는,
하나의 인식영역으로서 상기 엣지, 상기 차선 및 상기 객체 중 적어도 하나를 감지하는 운전지원장치. - 제 1항에 있어서,
상기 감지부는, 도로의 노면을 더 감지하고,
상기 제어부는,
상기 노면에 따라 상기 알림장치, 상기 조향 장치, 상기 제동장치, 상기 헤드레스트 및 상기 벨트 중 적어도 하나를 제어하는 운전지원장치. - 제 1항에 있어서,
상기 제어부는,
상기 위험등급 중 가장 높은 등급에 따라 상기 알림장치, 상기 조향장치, 상기 제동장치, 상기 헤드레스트 및 상기 벨트 중 적어도 하나를 제어하는 운전지원장치. - 도로의 엣지(Edge), 상기 도로의 차선 및 상기 도로에서 일정범위 이내에 위치하는 객체(Object) 중 적어도 하나를 감지하는 감지단계;
상기 엣지와의 거리, 상기 차선과의 거리, 상기 객체와의 거리 및 상기 객체의 속도를 산출하고, 산출된 거리들과 속도에 기초하여 각각에 대한 접근시간(Time To Collision, TTC)을 산출하는 산출단계;
상기 엣지(Edge), 상기 차선 및 상기 객체 중 적어도 하나에 대해 위험등급을 각각 설정하고 상기 접근시간에 기초하여 상기 위험등급을 조정하는 관리단계; 및
상기 위험등급 중 가장 높은 등급에 따라 알림장치, 조향장치, 제동장치, 헤드레스트(Headrest) 및 벨트 중 적어도 하나를 제어하는 제어단계를 포함하는 운전지원방법. - 제 10항에 있어서,
상기 관리단계는,
상기 접근시간이 미리 설정된 시간영역들 간에 관계에 기초하여 상기 위험등급을 상향 조정하는 것을 특징으로 하는 운전지원방법. - 제 10항에 있어서,
상기 엣지와의 거리, 상기 차선과의 거리, 상기 객체와의 거리 및 상기 객체의 속도 중 적어도 하나에 기초하여 주행경로를 생성하는 생성단계를 더 포함하고,
상기 제어단계는,
상기 주행경로에 따라 이동하도록 상기 조향장치 및 상기 제동장치를 제어하는 운전지원방법. - 제 12항에 있어서,
상기 감지단계는,
동일한 객체의 개수를 미리 설정한 임계값 이상으로 감지하면 하나의 그룹으로 감지하는 것을 특징으로 하는 운전지원방법.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150107035A KR102356656B1 (ko) | 2015-07-29 | 2015-07-29 | 운전지원장치 및 운전지원방법 |
US15/214,449 US10068482B2 (en) | 2015-07-29 | 2016-07-20 | Driving assistant device and driving assistant method |
DE102016213490.6A DE102016213490A1 (de) | 2015-07-29 | 2016-07-22 | Fahrassistenzvorrichtung und fahrassistenzverfahren |
CN201610620663.2A CN106394552B (zh) | 2015-07-29 | 2016-07-29 | 驾驶辅助装置和驾驶辅助方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150107035A KR102356656B1 (ko) | 2015-07-29 | 2015-07-29 | 운전지원장치 및 운전지원방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170014159A true KR20170014159A (ko) | 2017-02-08 |
KR102356656B1 KR102356656B1 (ko) | 2022-01-28 |
Family
ID=57795716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150107035A KR102356656B1 (ko) | 2015-07-29 | 2015-07-29 | 운전지원장치 및 운전지원방법 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10068482B2 (ko) |
KR (1) | KR102356656B1 (ko) |
CN (1) | CN106394552B (ko) |
DE (1) | DE102016213490A1 (ko) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101996418B1 (ko) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법 |
KR102309420B1 (ko) * | 2017-03-03 | 2021-10-07 | 현대자동차주식회사 | 차량 및 그 제어방법 |
DE102019218504A1 (de) * | 2019-01-30 | 2020-07-30 | Mando Corporation | Fahrerassistenzsystem und steuerverfahren dafür |
US11370329B2 (en) * | 2019-02-27 | 2022-06-28 | Toyota Jidosha Kabushiki Kaisha | Control apparatus of vehicle seat |
KR20210026248A (ko) * | 2019-08-29 | 2021-03-10 | 현대자동차주식회사 | 차량 사고 통보 장치, 그를 포함한 시스템 및 그 방법 |
CN112758088A (zh) * | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | 危险源的提醒方法及高级驾驶辅助*** |
JP7347405B2 (ja) * | 2020-11-30 | 2023-09-20 | トヨタ自動車株式会社 | 運転支援システム |
JP7472807B2 (ja) | 2021-01-26 | 2024-04-23 | トヨタ自動車株式会社 | 車両制御システム及び衝突回避支援装置 |
CN113034971B (zh) * | 2021-02-28 | 2023-04-14 | 重庆长安汽车股份有限公司 | 一种车辆自动换道中的偏移控制方法、装置及汽车 |
US20230083803A1 (en) * | 2021-09-16 | 2023-03-16 | Toyota Research Institute, Inc. | Lateral vehicle position and steering wheel torque control |
US20230303113A1 (en) * | 2022-02-10 | 2023-09-28 | Motional Ad Llc | Curb-based feature extraction for localization and lane detection using radar |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010023721A (ja) * | 2008-07-22 | 2010-02-04 | Hitachi Ltd | 走行支援装置 |
JP2010282350A (ja) * | 2009-06-03 | 2010-12-16 | Toyota Motor Corp | 衝突安全システム |
JP2012088285A (ja) * | 2010-10-22 | 2012-05-10 | Toyota Motor Corp | 障害物認識装置及び障害物認識方法 |
KR101515482B1 (ko) * | 2013-12-13 | 2015-04-29 | 전자부품연구원 | 차량 주변의 장애물 위험도를 고려한 운전 지원 장치 및 그 동작 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102449672B (zh) * | 2009-06-02 | 2013-05-01 | 丰田自动车株式会社 | 车辆用周边监视装置 |
DE102010050167B4 (de) * | 2010-10-30 | 2012-10-25 | Audi Ag | Verfahren und Vorrichtung zur Bestimmung eines plausiblen Fahrstreifens zur Führung eines Fahrzeugs sowie Kraftwagen |
US9292471B2 (en) * | 2011-02-18 | 2016-03-22 | Honda Motor Co., Ltd. | Coordinated vehicle response system and method for driver behavior |
DE102011082126B4 (de) * | 2011-09-05 | 2020-07-23 | Robert Bosch Gmbh | Sicherheitseinrichtung für kraftfahrzeuge |
DE102011113916A1 (de) * | 2011-09-21 | 2013-03-21 | Volkswagen Aktiengesellschaft | Verfahren zur Klassifikation von Parkszenarien für ein Einparksystem eines Kraftfahrzeugs |
DE102012004791A1 (de) * | 2012-03-07 | 2013-09-12 | Audi Ag | Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur |
KR20150107035A (ko) | 2014-03-13 | 2015-09-23 | 주식회사휴플러스 | 플레이트 파일 기초를 이용한 데크 및 그 시공방법 |
US10007854B2 (en) * | 2016-07-07 | 2018-06-26 | Ants Technology (Hk) Limited | Computer vision based driver assistance devices, systems, methods and associated computer executable code |
US20180032891A1 (en) * | 2016-07-29 | 2018-02-01 | International Business Machines Corporation | Adaptive architecture for crash prediction in vehicle collision avoidance systems |
-
2015
- 2015-07-29 KR KR1020150107035A patent/KR102356656B1/ko active IP Right Grant
-
2016
- 2016-07-20 US US15/214,449 patent/US10068482B2/en active Active
- 2016-07-22 DE DE102016213490.6A patent/DE102016213490A1/de active Pending
- 2016-07-29 CN CN201610620663.2A patent/CN106394552B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010023721A (ja) * | 2008-07-22 | 2010-02-04 | Hitachi Ltd | 走行支援装置 |
JP2010282350A (ja) * | 2009-06-03 | 2010-12-16 | Toyota Motor Corp | 衝突安全システム |
JP2012088285A (ja) * | 2010-10-22 | 2012-05-10 | Toyota Motor Corp | 障害物認識装置及び障害物認識方法 |
KR101515482B1 (ko) * | 2013-12-13 | 2015-04-29 | 전자부품연구원 | 차량 주변의 장애물 위험도를 고려한 운전 지원 장치 및 그 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
US10068482B2 (en) | 2018-09-04 |
DE102016213490A1 (de) | 2017-02-02 |
CN106394552B (zh) | 2019-03-08 |
CN106394552A (zh) | 2017-02-15 |
KR102356656B1 (ko) | 2022-01-28 |
US20170032678A1 (en) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20170014159A (ko) | 운전지원장치 및 운전지원방법 | |
CN110155048B (zh) | 用于评估行人碰撞风险和确定驾驶员警告级别的方法和设备 | |
AU2015262344B2 (en) | Processing apparatus, processing system, processing program, and processing method | |
CN104340152B (zh) | 在避免碰撞任务中用于情形评估和决策的动态安全防护罩 | |
US9704404B2 (en) | Lane detection apparatus and operating method for the same | |
JP2016001464A (ja) | 処理装置、処理システム、処理プログラム、及び、処理方法 | |
JP2016001170A (ja) | 処理装置、処理プログラム、及び、処理方法 | |
JP6254084B2 (ja) | 画像処理装置 | |
CN109305164B (zh) | 用于车辆的紧急制动预备*** | |
US20050137774A1 (en) | Single vision sensor object detection system | |
US10747219B2 (en) | Processing apparatus, vehicle, processing method, and storage medium | |
KR102300899B1 (ko) | 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트한, 자동차간 통신 기반의 협조적인 블라인드 스팟 경보 방법 및 장치 | |
US11312376B2 (en) | Device for lateral guidance assistance for a road vehicle | |
KR20180040012A (ko) | 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법 | |
JP7042185B2 (ja) | 距離算出装置 | |
KR20180063524A (ko) | 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치 | |
JP7119317B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
MX2014009942A (es) | Dispositivo de deteccion de objetos tridimensionales. | |
JP5452004B2 (ja) | 車両の運転支援装置 | |
KR20180076799A (ko) | 차량의 가상 엔진음 제어 장치 및 그 방법 | |
CN113895433A (zh) | 通过传感器角度调整的前向避撞***及其方法 | |
JP5794379B2 (ja) | 立体物検出装置及び立体物検出方法 | |
US11688180B2 (en) | Lane departure warning without lane lines | |
JP2006240444A (ja) | 車両用制御装置 | |
CN113954880B (zh) | 一种涉及行驶盲区的自动驾驶车速规划方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |