KR20150047214A - 카메라 센서를 이용한 ｓｃｃ 시스템 및 방법 - Google Patents

카메라 센서를 이용한 ｓｃｃ 시스템 및 방법 Download PDF

Info

Publication number
KR20150047214A
KR20150047214A KR1020130126994A KR20130126994A KR20150047214A KR 20150047214 A KR20150047214 A KR 20150047214A KR 1020130126994 A KR1020130126994 A KR 1020130126994A KR 20130126994 A KR20130126994 A KR 20130126994A KR 20150047214 A KR20150047214 A KR 20150047214A
Authority
KR
South Korea
Prior art keywords
vehicle
signal
scc
detecting
color
Prior art date
Application number
KR1020130126994A
Other languages
English (en)
Inventor
송동호
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130126994A priority Critical patent/KR20150047214A/ko
Publication of KR20150047214A publication Critical patent/KR20150047214A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 영상 인식 기술을 이용하여 도로 교통 신호를 인식하고 이를 고려하여 차량의 주행을 제어하는 카메라 센서를 이용한 SCC 시스템 및 방법을 제안한다. 본 발명에 따른 SCC 시스템은 주행중인 자기 차량에서 카메라 센서를 이용하여 신호등을 감지하는 신호등 감지부; 신호등에 점등된 신호의 색상을 식별하는 신호색 식별부; 전방에 정지중인 선행 차량이나 전방 도로 상에 있는 정지선을 검출하는 오브젝트 검출부; 및 신호의 색상이 적색 또는 황색으로 식별되면 선행 차량 또는 정지선에 접촉하기 전에 정지되도록 자기 차량의 속도를 제어하는 SCC 제어부를 포함한다.

Description

카메라 센서를 이용한 ＳＣＣ 시스템 및 방법 {Smart cruise control system and method using camera sensor}
본 발명은 스마트 크루즈 컨트롤(SCC; Smart Cruise Control) 시스템 및 방법에 관한 것이다. 보다 상세하게는, 카메라 센서에 의해 획득된 영상을 이용하는 스마트 크루즈 컨트롤 시스템 및 방법에 관한 것이다.
스마트 크루즈 컨트롤(SCC; Smart Cruise Control)이란 레이더 센서를 이용하여 전방을 감지하여 선행 차량이 존재하면 선행 차량과의 특정 거리를 유지하며 주행하는 추종 기능과, 선행 차량이 존재하지 않으면 특정 속도로 주행하는 설정 속도 주행 기능을 모두 갖춘 크루즈 컨트롤(Cruise Control)의 발전된 형태이다.
스마트 크루즈 컨트롤은 엔진 제어 유닛과 전자식 제동 유닛을 이용하여 차량의 가/감속을 자동화하여 운전자의 편의성 향상과 더불어 전방 충돌의 위험을 감소할 수 있는 효과를 지닌 대표적인 운전자 보조/지원 시스템이다.
스마트 크루즈 컨트롤은 레이더 센서를 이용하여 전방에서 차량이 검지되면 선행 차량과의 특정 거리를 유지하며 선행 차량을 추종하는 제어를 하며, 선행 차량이 검지되지 않는 경우 운전자가 기 설정한 속도를 유지한 채 주행하는 설정 속도 제어를 하게 된다.
그런데 종래의 SCC(Smart Cruise Control) 시스템은 전방 타겟 차량이 존재하는 경우에만 작동하는 시스템으로서, 전방에 어떤 차량도 존재하지 않은 경우에는 설정된 속도의 정속 주행만 이용할 수 있고 교차로와 같은 신호등이 존재하는 지점에서는 그 기능을 발휘할 수 없다는 단점이 있었다.
또한 종래의 SCC의 경우 교차로와 같은 도로 상의 교통 신호가 녹색에서 적색으로 바뀌는 순간 전방의 대상 차량이 신호등 너머로 주행하는 경우, 측방에서 출발하는 차량과 충돌할 수 있는 위험을 가지고 있다.
한국공개특허 제2009-0096039호는 자동 순항 제어 장치(ACC; Adaptive Cruise Control)에 대하여 기술하고 있다. ACC는 SCC와 마찬가지로 선행 차량과의 거리를 판단해서 운전자가 엑셀 페달을 조작하지 않아도 자동적으로 차량의 속도를 제어하는 장치이다. 그러나 이 ACC는 자기 차량의 주행을 제어할 때 선행 차량의 속도와 선행 차량과의 거리만을 고려할 뿐 신호등을 고려하지 않기 때문에 전술한 문제점을 해결할 수 없다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 영상 인식 기술을 이용하여 도로 교통 신호를 인식하고 이를 고려하여 차량의 주행을 제어하는 카메라 센서를 이용한 SCC(Smart Cruise Control) 시스템 및 방법을 제안함을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 주행중인 자기 차량에서 카메라 센서를 이용하여 신호등을 감지하는 신호등 감지부; 상기 신호등에 점등된 신호의 색상을 식별하는 신호색 식별부; 전방에 정지중인 선행 차량이나 전방 도로 상에 있는 정지선을 검출하는 오브젝트 검출부; 및 상기 신호의 색상이 적색(red) 또는 황색(yellow)으로 식별되면 상기 선행 차량 또는 상기 정지선에 접촉하기 전에 정지되도록 상기 자기 차량의 속도를 제어하는 SCC 제어부를 포함하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템을 제안한다.
바람직하게는, 상기 오브젝트 검출부는 상기 선행 차량이 검출되지 않으면 상기 정지선을 검출한다.
바람직하게는, 상기 오브젝트 검출부는 레이더 센서를 이용하여 상기 선행 차량을 검출하며, 상기 카메라 센서를 이용하여 상기 정지선을 검출한다.
바람직하게는, 상기 신호색 식별부는 상기 자기 차량이 정지하면 미리 정해진 시간마다 상기 신호의 색상을 식별하며, 상기 SCC 제어부는 상기 신호의 색상이 녹색(green)으로 식별되면 정지된 상기 자기 차량을 가속시킨다.
바람직하게는, 상기 SCC 시스템은 전방에 추종하려는 타겟 차량이 있는지 여부를 판별하는 타겟차 유무 판별부를 더 포함한다.
바람직하게는, 상기 SCC 제어부는 상기 타겟 차량이 있는 것으로 판별되면 상기 타겟 차량과 일정 거리를 유지하기 위한 제1 가속도/제1 감속도를 계산하여 상기 제1 가속도/제1 감속도를 기초로 상기 자기 차량의 주행을 제어하며, 상기 타겟 차량이 없는 것으로 판별되면 설정 속도를 유지하기 위한 제2 가속도/제2 감속도를 계산하여 상기 제2 가속도/제2 감속도를 기초로 상기 자기 차량의 주행을 제어한다.
바람직하게는, 상기 SCC 시스템은 상기 자기 차량의 현재 위치를 검출하는 현재 위치 검출부; 및 상기 현재 위치와 관련된 도로 정보를 검출하거나 외부로부터 수신하는 도로 정보 수집부를 더 포함하며, 상기 SCC 제어부는 상기 도로 정보에 포함된 제한 속도를 기초로 상기 설정 속도를 결정한다.
또한 본 발명은 주행중인 자기 차량에서 카메라 센서를 이용하여 신호등을 감지하는 신호등 감지 단계; 상기 신호등에 점등된 신호의 색상을 식별하는 신호색 식별 단계; 상기 신호의 색상이 녹색(green)으로 식별되면 상기 자기 차량이 계속 주행하도록 상기 자기 차량의 속도를 제어하는 제1 SCC 제어 단계; 상기 신호의 색상이 적색(red) 또는 황색(yellow)으로 식별되면 전방에 정지중인 선행 차량이나 전방 도로 상에 있는 정지선을 검출하는 오브젝트 검출 단계; 및 상기 선행 차량 또는 상기 정지선에 접촉하기 전에 정지되도록 상기 자기 차량의 속도를 제어하는 제2 SCC 제어 단계를 포함한다.
바람직하게는, 상기 신호등 감지 단계 이전에, 전방에 추종하려는 타겟 차량이 있는지 여부를 판별하는 타겟차 유무 판별 단계; 및 상기 타겟 차량이 있는 것으로 판별되면 상기 타겟 차량과 일정 거리를 유지하기 위한 제1 가속도/제1 감속도를 계산하여 상기 제1 가속도/제1 감속도를 기초로 상기 자기 차량의 주행을 제어하고, 상기 타겟 차량이 없는 것으로 판별되면 설정 속도를 유지하기 위한 제2 가속도/제2 감속도를 계산하여 상기 제2 가속도/제2 감속도를 기초로 상기 자기 차량의 주행을 제어하는 제3 SCC 제어 단계를 더 포함한다.
바람직하게는, 상기 타겟차 유무 판별 단계와 상기 제3 SCC 제어 단계 사이에, 상기 자기 차량의 현재 위치를 검출하는 현재 위치 검출 단계; 및 상기 현재 위치와 관련된 도로 정보를 검출하거나 외부로부터 수신하는 도로 정보 수집 단계를 더 포함하며, 상기 제3 SCC 제어 단계는 상기 도로 정보에 포함된 제한 속도를 기초로 상기 설정 속도를 결정한다.
본 발명은 상기한 목적 달성을 위한 구성을 통해 다음 효과를 얻을 수 있다.
첫째, 영상 인식 기술을 이용하여 도로 교통 신호를 인식하고 이를 고려하여 차량의 주행을 제어함으로써, 운전자로 하여금 운전중 편의성을 증대시킬 수 있고 운전자의 안전성도 향상시킬 수 있다.
둘째, 종래의 SCC 시스템에서는 전방 대상 차량이 없는 경우, 설정된 속도로 주행만 가능할 뿐 도로 교통 신호에 따른 지능적인 주행은 불가능했으나, 본 발명에 의한 SCC 시스템은 이를 적절히 해결함으로써 그 성능을 향상시킬 수 있다.
셋째, 종래의 SCC 시스템에 비해, 전방 대상 차량이 존재하지 않는 경우에도 비교적 장시간의 크루즈 컨트롤 기능을 사용 가능하게 함으로써, 편의성을 향상시킬 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 SCC 시스템을 개략적으로 도시한 블록도이다.
도 2는 도 1의 SCC 시스템에 추가될 수 있는 구성들을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 시스템의 구성도이다.
도 4는 도 3에 도시된 시스템을 이용하여 차량의 주행을 제어하는 방법을 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 SCC(Smart Cruise Control) 시스템을 개략적으로 도시한 블록도이다.
도 1에 따르면, 본 발명의 바람직한 실시예에 따른 SCC 시스템 즉, 카메라 센서를 이용한 SCC 시스템(100)은 신호등 감지부(110), 신호색 식별부(120), 오브젝트 검출부(130), SCC 제어부(140), 전원부(150) 및 주제어부(160)를 포함한다.
전원부(150)는 SCC 시스템(100)을 구성하는 각 구성에 전원을 공급하는 기능을 수행한다.
주제어부(160)는 SCC 시스템(100)을 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.
신호등 감지부(110)는 주행중인 자기 차량에서 카메라 센서를 이용하여 신호등을 감지하는 기능을 수행한다.
신호색 식별부(120)는 신호등에 점등된 신호의 색상을 식별하는 기능을 수행한다.
오브젝트 검출부(130)는 전방에 정지중인 선행 차량이나 전방 도로 상에 있는 정지선을 검출하는 기능을 수행한다.
오브젝트 검출부(130)는 먼저 전방에 정지중인 선행 차량을 검출한다. 그 이유는 전방에 정지중인 차량이 있음에도 불구하고 이를 무시하고 정지선을 검출하여 그 정지선에 근접하게 차량을 정차시킬 경우 자칫 전방에 정지중인 차량과 충돌하는 사고가 발생할 수 있기 때문이다. 오브젝트 검출부(130)는 전방에서 정지중인 선행 차량이 검출되지 않는 경우에는 정지선을 검출한다.
오브젝트 검출부(130)는 전방에 정지중인 선행 차량의 경우 레이더 센서를 이용하여 그 대상을 검출하며, 정지선의 경우 카메라 센서를 이용하여 그 대상을 검출한다.
SCC 제어부(140)는 신호색 식별부(120)에 의해 신호의 색상이 적색(red) 또는 황색(yellow)으로 식별되면 선행 차량 또는 정지선에 접촉하기 전에 정지되도록 자기 차량의 속도를 제어하는 기능을 수행한다. SCC 제어부(140)는 신호색 식별부(120)에 의해 신호의 색상이 녹색(green)으로 식별되면 이전 속도를 유지하도록 자기 차량의 속도를 제어하는 기능을 수행한다.
한편 신호색 식별부(120)는 자기 차량이 정지하면 미리 정해진 시간마다 신호등에 표시된 신호의 색상을 식별한다. 그리고 SCC 제어부(140)는 신호의 색상이 녹색(green)으로 식별되면 정지된 자기 차량을 가속시켜 자기 차량의 주행을 제어한다.
본 발명의 바람직한 실시예에 따른 SCC 시스템(100)은 도 2에 도시된 바와 같이 타겟차 유무 판별부(210), 현재 위치 검출부(220), 도로 정보 수집부(230) 등을 더 포함할 수 있다.
타겟차 유무 판별부(210)는 전방에 추종하려는 타겟 차량이 있는지 여부를 판별하는 기능을 수행한다. 전방에 추종하려는 타겟 차량이 있는 것으로 판별되면, SCC 제어부(140)는 타겟 차량과 일정 거리를 유지하기 위한 제1 가속도/제1 감속도를 계산하여 이 제1 가속도/제1 감속도를 기초로 자기 차량의 주행을 제어한다. 반면 전방에 추종하려는 타겟 차량이 없는 것으로 판별되면, SCC 제어부(140)는 설정 속도를 유지하기 위한 제2 가속도/제2 감속도를 계산하여 이 제2 가속도/제2 감속도를 기초로 자기 차량의 주행을 제어한다.
현재 위치 검출부(220)는 자기 차량의 현재 위치를 검출하는 기능을 수행한다. 현재 위치 검출부(220)는 GPS 센서를 이용하여 자기 차량의 현재 위치를 검출하며, 내비게이션 장치로부터 자기 차량의 현재 위치를 제공받는 것도 가능하다.
도로 정보 수집부(230)는 자기 차량의 현재 위치와 관련된 도로 정보를 검출하거나 외부로부터 수신하는 기능을 수행한다. 도로 정보를 검출하는 경우, 현재 위치 검출부(220)에 의해 자기 차량의 현재 위치가 확인되면 도로 정보 수집부(230)는 내비게이션 장치를 이용하여 현재 위치에 해당하는 도로를 추출하고 그 도로에 대한 각종 교통 정보(ex. 제한 속도 등)를 검출한다. 외부로부터 수신하는 경우, 현재 위치 검출부(220)에 의해 자기 차량의 현재 위치가 확인되면 도로 정보 수집부(230)는 교통 정보 센터측 서버로부터 해당 도로에 대한 각종 교통 정보를 수신한다.
현재 위치 검출부(220)에 의해 자기 차량의 현재 위치가 검출되고 도로 정보 수집부(230)에 의해 현재 위치에 해당하는 도로 정보가 수집되면, SCC 제어부(140)는 그 도로 정보에 포함된 제한 속도를 기초로 설정 속도를 결정한다.
이상 본 발명의 바람직한 실시예에 대하여 설명하였다. 이하 본 발명을 구현했을 경우의 일례에 대하여 설명한다.
도 3은 본 발명의 일실시예에 따른 시스템의 구성도이다.
종래 SCC(Smart Cruise Control) 시스템은 전방 타겟 차량이 존재하는 경우에만 작동하는 시스템으로서, 전방에 어떤 차량도 존재하지 않은 경우에는 설정된 속도의 정속 주행만 이용할 수 있고 교차로와 같은 신호등이 존재하는 지점에서는 그 기능을 발휘할 수 없다는 단점이 있었다. 또한, 종래 SCC의 경우 교차로와 같은 도로 상의 교통 신호가 녹색에서 적색으로 바뀌는 순간 전방의 대상 차량이 신호등 너머로 주행하는 경우, 측방에서 출발하는 차량과 충돌할 수 있는 위험을 가지고 있다.
이와 같은 문제점을 해결하기 위해, 본 발명에서는 영상 인식 기술 기반 도로 교통 신호를 고려한 SCC 시스템을 제안하고자 한다. 본 발명에서 제안하고자 하는 시스템(300)은 도 3과 같이 구성될 수 있다.
카메라 센서(320)는 도로 상의 신호등을 인식하는 구성이다.
GPS 센서(330)는 주행중인 차량의 현재 위치 인식을 위한 구성이다.
레이더 센서(310)는 추종 가능한 전방 대상 차량이 존재하는 경우 전방 차량 인식을 위한 구성이다.
교통 신호등 인식부(351)는 카메라 센서(320)에 의해 촬영된 정보로부터 교통 신호를 인식하기 위한 구성이다.
신호 정지선 인식부(352)는 주행 중 적색 신호등 점등시 제동하기 위해 신호 정지선을 인식하는 구성이다.
교통 신호등 인식부(351)와 신호 정지선 인식부(352)는 카메라 센서(320)에 의해 획득된 영상을 분석하여 교통 신호와 신호 정지선을 각각 인식한다. 본 실시예에서는 교통 신호등 인식부(351)와 신호 정지선 인식부(352)를 하나의 영상 인식부(350)로 통합시켜 운영하는 것도 가능하다.
도로 정보 인식부(360)는 전방 차량이 존재하지 않아 주행 속도를 설정해야 하는 경우 현재 주행 도로의 제한 속도를 알려주기 위한 구성이다.
전방 대상 차량 존재 유무 확인부(340)는 레이더 센서(310)에 의해 획득된 센싱 정보를 기초로 전방에 대상 차량이 존재하는지 여부를 결정하는 구성이다.
SCC 시스템 제어부(370)는 SCC 기능을 총괄적으로 제어하는 구성이다.
본 발명에서 제안하고자 하는 시스템(300)은 도 4와 같은 절차를 통해 수행된다. 도 4는 도 3에 도시된 시스템을 이용하여 차량의 주행을 제어하는 방법을 도시한 흐름도이다.
가장 먼저 SCC 시스템 작동시 추종 가능한 전방 대상 차량의 유무를 확인한다(S405).
경우 1) 추종할 전방의 대상 차량이 존재하는 경우(S410 ~ S440)
추종할 대상이 되는 차량을 선정하고(S410), 대상 차량 추종 제어를 위한 가속도를 계산한다(S415).
다음으로 계산된 가속도 추종을 위한 가속/제동 입력을 계산하여 차량을 주행하게 된다(S420). 주행 중 장착된 카메라 센서를 이용하여 도로 교통 신호등 인식을 유지하고 신호등의 색에 따라 주행 조건을 다르게 한다(S425).
만약 녹색 신호등이 점등되었을 경우(S430), 계속적으로 주행을 유지하고, S425 단계로 회귀한다.
반면 적색 혹은 황색 신호등이 점등되었을 경우(S430), 전방 차량 추종을 정지하고 카메라 센서로 인식된 신호 정지선 앞에서 제동을 수행한다(S435).
신호 정지선 대기 중 녹색 신호등이 다시 점등되었을 경우에는 전방 추종 대상 차량이 존재하지 않으므로 미리 설정된 주행 속도로 주행을 시작한다(S440). 이때 도로 정보 인식부로부터 전달받은 제한 속도 미만인 경우, 제한 속도 초과시 주행 속도를 재설정해야 한다.
경우 2) 추종할 전방의 대상 차량이 존재하지 않는 경우(S445 ~ S480)
전방에 대상 차량이 존재하지 않는 경우, 도로 정보 인식부로부터 전달받은(S445) 제한 속도 내에서 주행 속도를 설정하게 된다(S450).
이후, 설정 속도 제어를 위한 가속도를 계산하고(S455), 가속도 추종을 위한 가속/제동 입력을 계산하여 주행하게 된다(S460).
주행 중 장착된 카메라 센서를 이용하여 도로 교통 신호등 인식을 유지하고 신호등의 색에 따라 주행 조건을 다르게 한다(S465).
만약 녹색 신호등이 점등되었을 경우(S470), 계속적으로 주행을 유지하고, 적색 혹은 황색 신호등이 점등되었을 경우(S470), 전방 차량 추종을 정지하고 카메라 센서로 인식된 신호 정지선 앞에서 제동을 수행한다(S475).
신호 정지선 대기 중 녹색 신호등이 다시 점등되었을 경우에는 전방 추종 대상 차량이 존재하지 않으므로 미리 설정된 주행 속도로 주행을 시작한다(S480). 이때 도로 정보 인식부로부터 전달받은 제한 속도 미만인 경우, 제한 속도 초과시 주행 속도를 재설정해야 한다.
본 발명은 종래의 SCC 시스템 작동시 운전자가 운전 상황에 부주의하게 되는 상황에서도 보다 높은 안전 주행을 지원할 수 있으며, 자율 주행을 위한 시스템에도 바로 적용될 수 있다.
다음으로 도 1 및 도 2의 SCC 시스템에 의한 SCC 방법에 대하여 설명한다.
먼저 타겟차 유무 판별부(210)가 전방에 추종하려는 타겟 차량이 있는지 여부를 판별한다.
타겟 차량이 있는 것으로 판별되면, SCC 제어부(140)가 타겟 차량과 일정 거리를 유지하기 위한 제1 가속도/제1 감속도를 계산하여 이 제1 가속도/제1 감속도를 기초로 자기 차량의 주행을 제어한다.
반면 타겟 차량이 없는 것으로 판별되면, 현재 위치 검출부(220)가 자기 차량의 현재 위치를 검출한다. 이후 도로 정보 수집부(230)가 현재 위치와 관련된 도로 정보를 검출하거나 외부로부터 수신한다. 이후 SCC 제어부(140)가 도로 정보에 포함된 제한 속도를 기초로 설정 속도를 결정하며, 이 설정 속도를 유지하기 위한 제2 가속도/제2 감속도를 계산하여 이 제2 가속도/제2 감속도를 기초로 자기 차량의 주행을 제어한다.
이후 신호등 감지부(110)가 주행중인 자기 차량에서 카메라 센서를 이용하여 신호등을 감지한다.
이후 신호색 식별부(120)가 신호등에 표시된 신호의 색상을 식별한다.
신호의 색상이 녹색(green)으로 식별되면, SCC 제어부(140)가 자기 차량이 계속 주행하도록 자기 차량의 속도를 제어한다.
반면 신호의 색상이 적색(red) 또는 황색(yellow)으로 식별되면, 오브젝트 검출부(130)가 전방에 정지중인 선행 차량이나 전방 도로 상에 있는 정지선을 검출한다.
이후 SCC 제어부(140)가 선행 차량 또는 정지선에 접촉하기 전에 정지되도록 자기 차량의 속도를 제어한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 주행중인 자기 차량에서 카메라 센서를 이용하여 신호등을 감지하는 신호등 감지부;
    상기 신호등에 표시된 신호의 색상을 식별하는 신호색 식별부;
    전방에 정지중인 선행 차량이나 전방 도로 상에 있는 정지선을 검출하는 오브젝트 검출부; 및
    상기 신호의 색상이 적색(red) 또는 황색(yellow)으로 식별되면 상기 선행 차량 또는 상기 정지선에 접촉하기 전에 정지되도록 상기 자기 차량의 속도를 제어하는 SCC 제어부
    를 포함하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템.
  2. 제 1 항에 있어서,
    상기 오브젝트 검출부는 상기 선행 차량이 검출되지 않으면 상기 정지선을 검출하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템.
  3. 제 2 항에 있어서,
    상기 오브젝트 검출부는 레이더 센서를 이용하여 상기 선행 차량을 검출하며, 상기 카메라 센서를 이용하여 상기 정지선을 검출하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템.
  4. 제 1 항에 있어서,
    상기 신호색 식별부는 상기 자기 차량이 정지하면 미리 정해진 시간마다 상기 신호의 색상을 식별하며,
    상기 SCC 제어부는 상기 신호의 색상이 녹색(green)으로 식별되면 정지된 상기 자기 차량을 가속시키는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템.
  5. 제 1 항에 있어서,
    전방에 추종하려는 타겟 차량이 있는지 여부를 판별하는 타겟차 유무 판별부
    를 더 포함하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템.
  6. 제 5 항에 있어서,
    상기 SCC 제어부는 상기 타겟 차량이 있는 것으로 판별되면 상기 타겟 차량과 일정 거리를 유지하기 위한 제1 가속도/제1 감속도를 계산하여 상기 제1 가속도/제1 감속도를 기초로 상기 자기 차량의 주행을 제어하며,
    상기 타겟 차량이 없는 것으로 판별되면 설정 속도를 유지하기 위한 제2 가속도/제2 감속도를 계산하여 상기 제2 가속도/제2 감속도를 기초로 상기 자기 차량의 주행을 제어하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템.
  7. 제 6 항에 있어서,
    상기 자기 차량의 현재 위치를 검출하는 현재 위치 검출부; 및
    상기 현재 위치와 관련된 도로 정보를 검출하거나 외부로부터 수신하는 도로 정보 수집부
    를 더 포함하며,
    상기 SCC 제어부는 상기 도로 정보에 포함된 제한 속도를 기초로 상기 설정 속도를 결정하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 시스템.
  8. 주행중인 자기 차량에서 카메라 센서를 이용하여 신호등을 감지하는 신호등 감지 단계;
    상기 신호등에 표시된 신호의 색상을 식별하는 신호색 식별 단계;
    상기 신호의 색상이 녹색(green)으로 식별되면 상기 자기 차량이 계속 주행하도록 상기 자기 차량의 속도를 제어하는 제1 SCC 제어 단계;
    상기 신호의 색상이 적색(red) 또는 황색(yellow)으로 식별되면 전방에 정지중인 선행 차량이나 전방 도로 상에 있는 정지선을 검출하는 오브젝트 검출 단계; 및
    상기 선행 차량 또는 상기 정지선에 접촉하기 전에 정지되도록 상기 자기 차량의 속도를 제어하는 제2 SCC 제어 단계
    를 포함하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 방법.
  9. 제 8 항에 있어서,
    전방에 추종하려는 타겟 차량이 있는지 여부를 판별하는 타겟차 유무 판별 단계; 및
    상기 타겟 차량이 있는 것으로 판별되면 상기 타겟 차량과 일정 거리를 유지하기 위한 제1 가속도/제1 감속도를 계산하여 상기 제1 가속도/제1 감속도를 기초로 상기 자기 차량의 주행을 제어하고, 상기 타겟 차량이 없는 것으로 판별되면 설정 속도를 유지하기 위한 제2 가속도/제2 감속도를 계산하여 상기 제2 가속도/제2 감속도를 기초로 상기 자기 차량의 주행을 제어하는 제3 SCC 제어 단계
    를 더 포함하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 방법.
  10. 제 9 항에 있어서,
    상기 자기 차량의 현재 위치를 검출하는 현재 위치 검출 단계; 및
    상기 현재 위치와 관련된 도로 정보를 검출하거나 외부로부터 수신하는 도로 정보 수집 단계
    를 더 포함하며,
    상기 제3 SCC 제어 단계는 상기 도로 정보에 포함된 제한 속도를 기초로 상기 설정 속도를 결정하는 것을 특징으로 하는 카메라 센서를 이용한 SCC 방법.
KR1020130126994A 2013-10-24 2013-10-24 카메라 센서를 이용한 ｓｃｃ 시스템 및 방법 KR20150047214A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130126994A KR20150047214A (ko) 2013-10-24 2013-10-24 카메라 센서를 이용한 ｓｃｃ 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130126994A KR20150047214A (ko) 2013-10-24 2013-10-24 카메라 센서를 이용한 ｓｃｃ 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20150047214A true KR20150047214A (ko) 2015-05-04

Family

ID=53386305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130126994A KR20150047214A (ko) 2013-10-24 2013-10-24 카메라 센서를 이용한 ｓｃｃ 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20150047214A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123294A (zh) * 2017-06-19 2017-09-01 郑州大学西亚斯国际学院 信号灯模式识别提醒***和方法
CN107618510A (zh) * 2016-07-13 2018-01-23 罗伯特·博世有限公司 用于在行驶期间改变车辆的至少一个行驶参数的方法和设备
KR102070320B1 (ko) * 2018-11-20 2020-01-28 이혁준 신호변경에 따른 운전자 안전운행 가이드 시스템
KR20200128145A (ko) * 2018-06-29 2020-11-11 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스
CN113954832A (zh) * 2020-07-02 2022-01-21 奥迪股份公司 车辆驾驶辅助***、包括其的车辆及相应的方法和介质
CN114360260A (zh) * 2022-01-08 2022-04-15 中国公路工程咨询集团有限公司 基于智能道钉的雾天行车预警方法、***及可存储介质
WO2023158058A1 (ko) * 2022-02-18 2023-08-24 경북대학교 산학협력단 교차로 딜레마 존에서의 자율주행 차량의 안전 운행 지원 장치 및 안전 운행 지원 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107618510A (zh) * 2016-07-13 2018-01-23 罗伯特·博世有限公司 用于在行驶期间改变车辆的至少一个行驶参数的方法和设备
CN107123294A (zh) * 2017-06-19 2017-09-01 郑州大学西亚斯国际学院 信号灯模式识别提醒***和方法
KR20200128145A (ko) * 2018-06-29 2020-11-11 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스
KR102070320B1 (ko) * 2018-11-20 2020-01-28 이혁준 신호변경에 따른 운전자 안전운행 가이드 시스템
CN113954832A (zh) * 2020-07-02 2022-01-21 奥迪股份公司 车辆驾驶辅助***、包括其的车辆及相应的方法和介质
CN114360260A (zh) * 2022-01-08 2022-04-15 中国公路工程咨询集团有限公司 基于智能道钉的雾天行车预警方法、***及可存储介质
CN114360260B (zh) * 2022-01-08 2023-09-22 中国公路工程咨询集团有限公司 基于智能道钉的雾天行车预警方法、***及可存储介质
WO2023158058A1 (ko) * 2022-02-18 2023-08-24 경북대학교 산학협력단 교차로 딜레마 존에서의 자율주행 차량의 안전 운행 지원 장치 및 안전 운행 지원 방법

Similar Documents

Publication Publication Date Title
KR20150047214A (ko) 카메라 센서를 이용한 ｓｃｃ 시스템 및 방법
EP3407327B1 (en) Vehicle driving assist control method and control device
US9797734B2 (en) Object recognition apparatus
US10068480B2 (en) Driving support apparatus
US10503985B2 (en) Pedestrian determination method and determination device
US10134282B2 (en) On-vehicle tracking control apparatus
US20170106859A1 (en) Driver assistance apparatus and method for operating the same
JP6404634B2 (ja) 予測的な先進運転支援システムの一貫性のある挙動生成
US10935976B2 (en) Blinker judgment device and autonomous driving system
US9275548B2 (en) Method and device for detecting a starting intention of a stopped vehicle
KR101843073B1 (ko) 차량의 운전 지원 장치 및 차량 탑재 컴퓨터
KR20160066053A (ko) 운행을 감시하기 위한 방법 및 제어 유닛
CN109478065A (zh) 用于车辆的自主驾驶方法
KR102530497B1 (ko) 교통표지판 인식 정보를 활용한 자율 주행 장치 및 방법
US11975715B2 (en) Driving assistance apparatus
US20230090474A1 (en) Vehicle control device
JP2010072947A (ja) 障害物検出装置
US11247647B2 (en) Vehicle and control method thereof
KR20120031778A (ko) 자동 주차 장치 및 그 트래픽 시그널 경고 방법
CN113255540A (zh) 一种基于毫米波雷达和摄像头融合的礼让行人***及方法
US9495873B2 (en) Other-vehicle detection device and other-vehicle detection method
US11932239B2 (en) Driving assistance methods, driving assistance apparatus, driving assistance systems, and computer program
KR102515683B1 (ko) 블랙박스 영상을 기반으로 한 운전자 보조 방법 및 이러한 방법을 수행하는 장치
US11954896B2 (en) Driving support device
KR101359336B1 (ko) 스마트 크루즈 제어 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination