KR101428414B1 - Apparatus and method for displaying road guide information on the windshield - Google Patents
Apparatus and method for displaying road guide information on the windshield Download PDFInfo
- Publication number
- KR101428414B1 KR101428414B1 KR1020130099609A KR20130099609A KR101428414B1 KR 101428414 B1 KR101428414 B1 KR 101428414B1 KR 1020130099609 A KR1020130099609 A KR 1020130099609A KR 20130099609 A KR20130099609 A KR 20130099609A KR 101428414 B1 KR101428414 B1 KR 101428414B1
- Authority
- KR
- South Korea
- Prior art keywords
- windshield
- eye position
- driver
- road
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3641—Personalized guidance, e.g. limited guidance on previously travelled routes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 길안내 정보의 윈드쉴드 표시 장치 및 그 방법에 관한 것으로, 운전자의 눈 위치를 기반으로 내비게이션의 길안내 정보를 실제 도로와 맵핑시켜 차량의 윈드쉴드 상에 표시함으로써, 운전자가 목적지와 연계된 도로를 정확하게 인지할 수 있도록 하는, 길안내 정보의 윈드쉴드 표시 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 길안내 정보의 윈드쉴드 표시 장치에 있어서, 운전자가 설정한 목적지까지의 길안내 정보를 획득하는 내비게이션 연동수단; 전방 도로 영상을 인식하는 전방영상 인식수단; 상기 운전자의 얼굴 영상에서 눈 위치를 검출하는 눈 위치 검출수단; 상기 눈 위치 검출수단이 검출한 운전자의 눈 위치를 기준으로 윈드쉴드 상에 실제 도로와 상기 길안내 정보를 맵핑시켜 표시하도록 윈드쉴드 표시수단을 제어하는 제어수단; 및 상기 제어수단의 제어에 따라 실제 도로에 길안내 정보를 맵핑시켜 표시하는 상기 윈드쉴드 표시수단을 포함한다.[0001] The present invention relates to a windshield display device and method for guiding road information, and it relates to a windshield display device and a method for guiding navigation information by mapping the navigation guidance information on an actual road on the windshield of a vehicle based on a driver's eye position, Which is capable of accurately recognizing a road that is a route guidance information, and a method thereof.
To this end, according to the present invention, there is provided a windshield display device of road guiding information, comprising: navigation interlocking means for obtaining road guiding information to a destination set by a driver; Forward image recognition means for recognizing a forward road image; Eye position detecting means for detecting an eye position in the face image of the driver; Control means for controlling the windshield display means to map and display the actual road and the guidance information on the windshield on the basis of the eye position of the driver detected by the eye position detection means; And the windshield display means for mapping and displaying the route guidance information on an actual road under the control of the control means.
Description
본 발명은 길안내 정보의 윈드쉴드 표시 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 운전자의 눈 위치를 기반으로 내비게이션의 길안내 정보를 실제 도로와 맵핑(mapping)시켜 차량의 윈드쉴드(전면유리) 상에 표시하는 길안내 정보의 윈드쉴드 표시 장치 및 그 방법에 관한 것이다.
[0001] The present invention relates to a windshield display apparatus and method for guiding road information, and more particularly, to a windshield display apparatus and method for guiding windshield information by mapping a navigation guidance information to an actual road based on a driver's eye position, The present invention relates to a windshield display apparatus and a method thereof.
일반적으로, 텔레매틱스 단말기(Telematics Terminal)는 차량 내에 장착되어, 무선통신망을 통해 전화 기능, 지도 정보, 교통 정보, 멀티미디어 정보, GPS(Global Positioning System) 항법(navigation) 기능 등을 사용자에게 제공하는 장치이다.2. Description of the Related Art Generally, a telematics terminal is installed in a vehicle and provides a user with a phone function, map information, traffic information, multimedia information, and GPS (Global Positioning System) navigation function through a wireless communication network .
이러한 텔레매틱스 단말기 내에 설치된 차량 항법시스템은, GPS 신호 및 지도 정보를 근거로 차량의 위치를 나타내는 다수의 지도 페이지들(map pages)을 사용자에게 제공한다.A vehicle navigation system installed in such a telematics terminal provides a user with a plurality of map pages representing the location of the vehicle based on the GPS signal and the map information.
종래의 차량 항법시스템은 텔레매틱스 단말기의 표시부 상에 길안내지도를 표시함으로써, 운전자는 텔레매틱스 단말기의 표시부 상에 표시된 길안내지도와 실제 도로를 번갈아 가면서 비교해야 하는 불편함이 있었다.The conventional vehicle navigation system displays a route guidance map on the display unit of the telematics terminal so that the driver has to compare the route guidance map displayed on the display unit of the telematics terminal with the actual roads alternately.
예를 들면, 운전자는 차량의 전면유리를 통해 보이는 실제 도로(예를 들면, 복잡한 교차로)와 텔레매틱스 단말기의 표시부에 표시된 길안내지도에 나타난 도로를 서로 번갈아 보면서 비교해야 하기 때문에 목적지로 가기 위한 도로를 정확하게 인지하기 어려운 문제점이 있었다.
For example, the driver must compare the actual roads (e.g., complex intersections) viewed through the windshield of the vehicle with the roads displayed on the road map displayed on the display of the telematics terminal, There was a problem that it was difficult to accurately recognize.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 운전자의 눈 위치를 기반으로 내비게이션의 길안내 정보를 실제 도로와 맵핑시켜 차량의 윈드쉴드 상에 표시함으로써, 운전자가 목적지와 연계된 도로를 정확하게 인지할 수 있도록 하는, 길안내 정보의 윈드쉴드 표시 장치 및 그 방법을 제공하는데 그 목적이 있다.According to an aspect of the present invention, there is provided a navigation system for a vehicle, comprising: a display unit for displaying the navigation information of a navigation device on an actual road based on a driver's eye position; And to provide a windshield display device and method therefor of the guidance information.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.
상기 목적을 달성하기 위한 본 발명의 장치는, 길안내 정보의 윈드쉴드 표시 장치에 있어서, 운전자가 설정한 목적지까지의 길안내 정보를 획득하는 내비게이션 연동수단; 전방 도로 영상을 인식하는 전방영상 인식수단; 상기 운전자의 얼굴 영상에서 눈 위치를 검출하는 눈 위치 검출수단; 상기 눈 위치 검출수단이 검출한 운전자의 눈 위치를 기준으로 윈드쉴드 상에 실제 도로와 상기 길안내 정보를 맵핑시켜 표시하도록 윈드쉴드 표시수단을 제어하는 제어수단; 및 상기 제어수단의 제어에 따라 실제 도로에 길안내 정보를 맵핑시켜 표시하는 상기 윈드쉴드 표시수단을 포함한다.According to an aspect of the present invention, there is provided a windshield display apparatus for road guidance information, comprising: navigation interlocking means for obtaining road guidance information to a destination set by a driver; Forward image recognition means for recognizing a forward road image; Eye position detecting means for detecting an eye position in the face image of the driver; Control means for controlling the windshield display means to map and display the actual road and the guidance information on the windshield on the basis of the eye position of the driver detected by the eye position detection means; And the windshield display means for mapping and displaying the route guidance information on an actual road under the control of the control means.
또한 상기 목적을 달성하기 위한 본 발명의 방법은, 길안내 정보의 윈드쉴드 표시 방법에 있어서, 차량의 내비게이션 시스템과 연동하여 운전자가 설정한 목적지까지의 길안내 정보를 획득하는 단계; 전방 도로 영상을 인식하는 인식단계; 상기 운전자의 얼굴 영상에서 눈 위치를 검출하는 단계; 및 상기 검출한 운전자의 눈 위치를 기준으로 윈드쉴드 상에 실제 도로와 상기 길안내 정보를 맵핑시켜 표시하는 단계를 포함한다.
According to another aspect of the present invention, there is provided a windshield display method of guiding information, comprising: acquiring navigation information to a destination set by a driver in cooperation with a navigation system of a vehicle; A recognition step of recognizing a forward road image; Detecting an eye position in the face image of the driver; And mapping the actual road and the guidance information on the windshield based on the detected driver's eye position.
상기와 같은 본 발명은, 운전자의 눈 위치를 기반으로 내비게이션의 길안내 정보를 실제 도로와 맵핑시켜 차량의 윈드쉴드 상에 표시함으로써, 운전자로 하여금 목적지와 연계된 도로를 정확하게 인지할 수 있도록 하는 효과가 있다.
According to the present invention as described above, the navigation guidance information of the navigation device is mapped to an actual road based on the driver's eye position and displayed on the windshield of the vehicle, thereby enabling the driver to accurately recognize the road connected with the destination .
도 1 은 본 발명에 따른 길안내 정보의 윈드쉴드 표시 장치에 대한 일실시예 구성도,
도 2 는 본 발명에 따른 곡선로 인식 과정에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 운전자의 눈 위치 검출 과정에 대한 일실시예 설명도,
도 4 는 본 발명에 따른 실제 도로상에 길안내 정보를 맵핑하는 과정에 대한 일실시예 설명도,
도 5 는 본 발명에 따른 실제 도로상에 길안내 정보를 맵핑한 상태를 나타내는 일예시도,
도 6 은 본 발명에 따른 길안내 정보의 윈드쉴드 표시 방법에 대한 일실시예 흐름도이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of an embodiment of a windshield display apparatus for road guidance information according to the present invention.
FIG. 2 is an explanatory diagram of a curved line recognition process according to an embodiment of the present invention,
3 is a diagram illustrating an eye position detection process of the driver according to an embodiment of the present invention.
4 is a diagram illustrating a process of mapping route guidance information on an actual road according to an embodiment of the present invention.
FIG. 5 is an exemplary view showing a state in which the route guidance information is mapped on an actual road according to the present invention;
FIG. 6 is a flowchart of an embodiment of a windshield display method of road guiding information according to the present invention.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명에 따른 길안내 정보의 윈드쉴드 표시 장치에 대한 일실시예 구성도이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of an embodiment of a windshield display apparatus for road guidance information according to the present invention. FIG.
도 1에 도시된 바와 같이, 본 발명에 따른 길안내 정보의 윈드쉴드 표시 장치는, 내비게이션 연동부(10), 전방영상 인식부(20), 눈 위치 검출부(30), 제어부(40), 및 윈드쉴드 표시부(50)를 포함한다.1, the windshield display apparatus of the guidance information according to the present invention includes a
상기 각 구성요소들에 대해 상세히 살펴보면, 내비게이션 연동부(10)는 차량에 구비된 내비게이션 시스템과 연동하여 운전자가 설정한 목적지까지의 길안내 정보를 획득한다.The
전방영상 인식부(20)는 차량의 전방부위에 장착된 카메라를 통해 촬영된 주행중인 도로의 전방영상에서 주행 차선, 도로의 끝 위치를 인식한다.The forward
전방영상 인식부(20)는 차량에 탑재된 차선이탈방지시스템(Lane Keeping Assistance System) 또는 차선이탈경보시스템(Lane Departure Warning System) 등과 연동하여 주행차선을 인식할 수도 있다.The forward
차량이 주행차선을 인식함으로써 정확한 길안내 정보 제공이 가능하다. 가령, 1차선 주행 중에 3차선에 우측에 위치한 나들목으로 나가야 할 경우, 차선인식이 불가능하면 1차선에서 3차선 나들목까지의 직선방향 안내만이 가능하나, 차선인식이 가능하면 1차선, 2차선, 3차선으로 변경하기 위해 적절한 위치에서 차선변경을 유도할 수 있다.Accurate guidance information can be provided by recognizing the driving lane of the vehicle. For example, if the lane recognition is not possible, only the linear direction guidance from the first lane to the third lane will be possible, but if the lane recognition is possible, the first lane, the second lane, The lane change can be induced at the appropriate location to change to the three lanes.
눈 위치 검출부(30)는 차량의 내부에 장착된 카메라를 통해 촬영된 운전자의 얼굴 영상에서 눈 위치를 검출한다.The eye
제어부(40)는 눈 위치 검출부(30)에서 검출된 운전자의 눈 위치를 기반으로, 내비게이션 연동부(10)가 획득한 길안내 정보를 실제 도로와 맵핑시켜 윈드쉴드 표시부(50)에 표시한다. 이때, 제어부(40)의 기능은 차량의 ECU(Electronic Control Units)가 수행할 수도 있다.The
따라서, 본 발명은 운전자의 눈 위치에 관계없이 항상 운전자에게 맞게 실제 도로와 길안내 정보를 맵핑시킬 수 있으며, 운전자는 실제 도로에 맵핑되어 표시되는 길안내정보를 보면서 목적지까지의 길을 안내받을 수 있어 불필요한 행동으로 인한 방해를 받지 않고 안전하게 목적지까지 주행할 수 있다.Therefore, the present invention can map the actual road and route guidance information to the driver at all times regardless of the driver's eyes position, and the driver can be guided to the destination while viewing the route guidance information displayed on the actual road And can safely travel to the destination without being disturbed by unnecessary actions.
윈드쉴드 표시부(50)는 제어부(40)의 제어에 따라 실제 도로에 길안내 정보를 맵핑시켜 표시한다. 이때, 윈드쉴드 표시부(50)는 HUD(Head Up Display) 장치, 프로젝션 투사 장치, 윈드쉴드 투명 디스플레이 장치, 및 윈드쉴드 도트(Dot) 디스플레이 장치 등을 포함할 수 있다.The
한편, 본 발명에서 눈 위치 검출부(30) 대신 눈 위치정보 획득부(30)를 구비하여, 차량에 구비되어 있는 운전자 모니터링 시스템(Driver Monitering System) 또는 시선추적 시스템(Eye Tracking System) 등과 연동하여 운전자의 눈 위치정보를 획득할 수도 있다.In the present invention, an eye position
이하, 도 2를 참조하여 전방영상 인식부(20)에서의 곡선로 인식 과정에 대해 살펴보기로 한다. 이때, 직진 차선의 인식은 주지 관용의 기술이므로 상세한 설명은 생략한다.Hereinafter, the process of recognizing a curve in the forward
전방영상 인식부(20)는 카메라, 영상처리기, 전처리기, 및 곡률 산출기를 포함한다.The forward
카메라는 디지털 영상을 실시간으로 촬영할 수 있는 CCD(Charge-Coupled Device) 카메라로서, 도로 영상을 촬영한다.A camera is a CCD (Charge-Coupled Device) camera that can shoot digital images in real time. It shoots road images.
영상처리기는 카메라가 촬영한 도로 영상을 두 개의 영역으로 분할한다. 일예로, 상/하 2개 영역으로 분할한다. 이처럼 분리된 영상처리영역은 도 2에 도시된 바와 같이, 각각 영역 1과 영역 2로 칭한다.The image processor divides the road image taken by the camera into two regions. For example, the upper and lower regions are divided into two regions. The separated image processing regions are referred to as region 1 and region 2, respectively, as shown in FIG.
이후, 전처리기는 2개의 영역에 대해 1차원 직선으로 차선 모델링을 수행한다. 이때, 차선 모델링은 영역 1과 영역 2에서 각각 도로 영상의 에지 성분(a)을 검출하고, 상기 검출된 에지 성분의 각 점간을 잊는 직선(b)을 산출하는 과정을 의미한다.Thereafter, the preprocessor performs lane modeling on the two regions with a one-dimensional straight line. In this case, the lane modeling means a process of detecting the edge component (a) of the road image in the area 1 and the area 2, respectively, and calculating a straight line (b) for forgetting each point of the detected edge component.
그리고 전처리기는 상기 모델링된 각 직선이 이루는 삼각형을 선정한다. 이때, 전처리기는 도 2에 도시된 바와 같이, 영역 1과 영역 2에서 모델링된 각 직선(b) 간 교점의 중심점(B, C) 및 소실점(A)을 꼭지점으로 하도록 선정한다.The preprocessor selects a triangle formed by each of the modeled straight lines. At this time, the preprocessor selects the center points (B, C) and the vanishing point (A) of the intersections between the straight lines (b) modeled in the area 1 and the area 2 as vertices as shown in FIG.
그리고 전처리기는 상기 선정한 삼각형의 외접원 반지름을 산출한다. 이때 삼각형의 외접원 반지름(R)은 유일하게 결정되며, 그 연산은 하기의 [수학식 1]과 같이 나타낼 수 있다.
Then, the preprocessor calculates the radius of the circumscribed circle of the selected triangle. At this time, the radius of the circumscribed circle (R) of the triangle is uniquely determined, and the calculation can be expressed as the following equation (1).
여기서, AB와 BC 및 AC는 각 점이 이루는 선분, Len(x)은 선분 x의 길이, S는 삼각형 ABC의 넓이를 각각 의미한다.Where AB, BC and AC are the line segments, Len (x) is the length of the segment x, and S is the width of the triangle ABC.
곡률 산출기는 전처리기가 산출한 외접원 반지름을 이용하여 도로의 곡률을 산출한다. 외접원 반지름의 역수가 곡률이 된다.The curvature calculator calculates the curvature of the road using the radius of the circumscribed circle calculated by the preprocessor. The reciprocal of the radius of the circumscribed circle becomes the curvature.
이러한 과정을 통해 전방영상 인식부(20)는 곡선로를 인식할 수 있다.Through this process, the forward
이하, 도 3을 참조하여 눈 위치 검출부(30)에서의 눈 위치 검출 과정에 대해 좀 더 상세히 살펴보기로 한다.Hereinafter, the eye position detection process in the eye
눈 위치 검출부(30)는 카메라(일예로, CCD 카메라)를 통해 촬영한 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위, 즉 눈썹 부위인 제1대칭점영역(a)과 눈 부위인 제2대칭점영역(b) 및 콧구멍 부위인 제3대칭점영역(c)을 집중 검사해 모양과 크기 및 거리와 명암등을 고려하여 판단 기준이 되는 대칭점을 판단한다.The eye
이때, 얼굴 영상에서 나타나는 대칭점 중 콧구멍에 가장 적합한 부위를 판단 기준이 되는 대칭점인 제3대칭점영역(c)을 기준점으로 설정하게 되는데, 이는 통상 콧구멍 부위는 다른 부위에 비해 빛에 의한 명암 변화가 없고 가장 낮은 위치에 있으면서 짧은 간격의 대칭 부위를 형성함을 이용하는 것이다.In this case, the third symmetry point (c), which is a symmetric point that is a criterion for determining the most suitable part of the nostrils of the facial image, is set as a reference point, And that they are located at the lowest position and form a short interval of symmetry.
이어, 얼굴 영상에서 콧구멍이 있는 제3대칭점영역(c)을 판단 기준이 되는 대칭점으로 설정한 후, 제3대칭점영역(c)의 윗부분을 눈위치후보영역(d, 즉 제1ㆍ2대칭점영역(a,b)임)으로 설정한다.Next, the third symmetric point region c having the nostrils in the face image is set as a symmetric point serving as a determination reference, and then the upper portion of the third symmetric point region c is set as the eye position candidate region d, that is, Is a region (a, b)).
이와 같이, 얼굴 영상에서 눈위치후보영역(d)이 설정된 후 필터(소벨필터를 사용함)를 사용하여 눈위치후보영역(d)에서 눈의 위치를 집중 검사하게 되는데, 이는 필터(소벨필터) 사용시 로드(Load)가 많이 걸리면서 윤곽 라인을 집중적으로 표현할 수 있기 때문이다.As described above, the position of the eye is intensively inspected in the eye position candidate region d using the filter (using the Sobel filter) after the eye position candidate region d is set in the face image. This is because when the filter (Sobel filter) is used This is because it takes a lot of load and can express the contour lines intensively.
이어, 눈위치후보영역(d)에 대한 필터 영상을 통해 눈위치확정영역(e)을 선택하게 되는데, 이는 통상적으로 감기지 않은 눈은 타원형상이므로 이를 판단기준으로 하여 눈위치후보영역(d)에서 눈의 윤곽 라인이 타원 형상을 갖는 제1눈형상(A)을 검출한다. 즉, 눈 위치를 검출한다.Next, the eye position determination area e is selected through the filter image for the eye position candidate region d. This is because the eye region that is not normally wound is an elliptical image, The eye contour line of the eye has an elliptical shape. That is, the eye position is detected.
이하, 도 4를 참조하여 제어부(40)에서의 맵핑 과정에 대해 좀 더 상세히 살펴보기로 한다.Hereinafter, the mapping process in the
도 4 는 본 발명에 따른 실제 도로상에 길안내 정보를 맵핑하는 과정에 대한 일실시예 설명도이다.FIG. 4 is a diagram illustrating a process of mapping route guidance information on an actual road according to an embodiment of the present invention.
도 4에 도시된 바와 같이, P는 주행 차로, L1은 주행 차로의 좌측 차선, L2는 주행 차로의 우측 차선, A는 운전자의 눈 위치, x1은 현재 운전자 눈에서 윈드쉴드까지의 벡터(vector), x2는 소정 시간() 후 운전자의 눈에서 윈드쉴드까지의 벡터를 각각 의미한다.As shown in Fig. 4, P is a traveling lane, L1 is a left lane of a driving lane, L2 is a right lane of a driving lane, A is a driver's eye position, x1 is a vector from the current driver's eye to the windshield, , x2 is a predetermined time ( ), Respectively, from the eyes of the driver to the windshield.
먼저, L1, L2, P를 통해 차량이 위치한 차로 정보(n차로)를 파악한다. 이때, 전방영상 인식부(20)가 도로의 차선정보를 통해 차선 변경을 인지할 수 있다.First, it learns lane information (n lanes) where the vehicle is located through L1, L2, and P. At this time, the forward
다음으로, A와 P값을 이용하여 x값을 계산한다. 윈드쉴드는 고정되어 있으므로 윈드쉴드 평면에 해당 벡터를 투영(projection)함으로써 윈드쉴드에 표시되어야 할 위치를 알 수 있다.Next, the x value is calculated using the A and P values. Since the windshield is fixed, you can project the vector onto the windshield plane to determine where it should appear on the windshield.
또한, 윈드쉴드 평면의 방정식은 차량의 자이로센서 혹은 요레이트센서를 통해 차량이 바라보고 있는 방향 벡터의 계산 결과에 따라 달라진다. 즉, 진행방향이 동일하면서 차량이 바라보고 있는 방향이 달라져도 운전자가 보기에 실제 가고자 하는 방향과 동일하게 위화감 없는 맵핑이 가능하다.In addition, the equation of the windshield plane depends on the calculation result of the direction vector that the vehicle is looking through the vehicle's gyro sensor or yaw rate sensor. That is, even if the direction of the vehicle is the same and the direction in which the vehicle is looking at is different, mapping without discomfort is possible in the same direction as the driver actually wants to see.
이와 같은 로직을 이용하면 비단 윈드쉴드 만이 아니라 차량 후드에 장착될 수 있는 홀로그램 영상으로도 똑같은 맵핑 작업이 가능하다.Using this logic, it is possible to perform the same mapping operation not only with a windshield but also with a hologram image that can be mounted on a vehicle hood.
다음으로, 내비게이션 연동부(10)를 통해 획득한 GPS 정보를 통해 후 ,,를 계산한다. 이때, GPS 정보를 통해 분기점까지의 거리를 알고 있으므로, L1, L2까지의 거리와 비교하여 오차보정이 가능하다.Next, through the GPS information acquired through the
다음으로, ,,를 이용하여 x2값을 계산한다.to the next, , , To calculate the x2 value.
결국, 상기와 과정을 일정 횟수 반복하면, 도 5에 도시된 바와 같이 윈드쉴드 상에 실제 도로와 길안내 정보를 맵핑시켜 표시할 수 있다.As a result, if the above process is repeated a predetermined number of times, actual road and route guidance information can be mapped and displayed on the windshield as shown in FIG.
도 6 은 본 발명에 따른 길안내 정보의 윈드쉴드 표시 방법에 대한 일실시예 흐름도이다.FIG. 6 is a flowchart of an embodiment of a windshield display method of road guiding information according to the present invention.
먼저, 내비게이션 연동부(10)는 차량의 내비게이션 시스템과 연동하여 운전자가 설정한 목적지까지의 길안내 정보를 획득한다(601).First, the
그리고, 전방영상 인식부(20)는 도로 영상에서 주행차선을 인식한다(602). 아울러 전방 영상 인식부(20)는 상세한 길안내 기능 및 오차 보정 기능을 수행한다.Then, the forward
그리고, 눈 위치 검출부(30)는 카메라를 통해 촬영한 운전자의 얼굴 영상에서 운전자의 눈 위치를 검출한다(603).Then, the eye
이후, 제어부(40)는 눈 위치 검출부(30)가 검출한 운전자의 눈 위치를 기준으로 윈드쉴드 상에 실제 도로와 상기 길안내 정보를 맵핑시켜 윈드쉴드 표시부(50)를 통해 표시한다(604).Then, the
이러한 과정을 통해, 운전자는 목적지와 연계된 도로를 정확하게 인지할 수 있다.Through this process, the driver can accurately recognize the road associated with the destination.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.Meanwhile, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily deduced by a computer programmer in the field. In addition, the created program is stored in a computer-readable recording medium (information storage medium), and is read and executed by a computer to implement the method of the present invention. And the recording medium includes all types of recording media readable by a computer.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. The present invention is not limited to the drawings.
10 : 내비게이션 연동부 20 : 전방영상 인식부
30 : 눈 위치 검출부 40 : 제어부
50 : 윈드쉴드 표시부10: Navigation interlocking unit 20: Front image recognition unit
30: eye position detecting unit 40:
50: Windshield display
Claims (10)
전방의 도로 영상에서 주행차선을 인식하는 전방영상 인식수단;
상기 운전자의 얼굴 영상에서 눈 위치를 검출하는 눈 위치 검출수단;
상기 눈 위치 검출수단이 검출한 운전자의 눈 위치 및 상기 전방영상 인식수단이 검출한 주행차로의 각 위치를 이용하여 계산된 상기 눈 위치에서 윈드쉴드까지의 벡터를 기준으로 실제 도로와 상기 길안내 정보를 윈드쉴드 상에 맵핑시켜 표시하도록 윈드쉴드 표시수단을 제어하는 제어수단; 및
상기 제어수단의 제어에 따라 실제 도로에 길안내 정보를 맵핑시켜 표시하는 상기 윈드쉴드 표시수단을 포함하고,
상기 제어수단은, 상기 운전자의 눈 위치 및 상기 현재 주행 차로의 정보로부터 현재 운전자의 눈 위치에서 상기 윈드쉴드까지의 벡터를 계산하고, 상기 내비게이션 연동수단으로부터 획득한 GPS 정보를 통해 소정시간 후의 주행 차로 및 상기 주행 차로의 좌, 우측 차선에 대한 위치를 계산하여 상기 소정시간 후의 운전자의 눈 위치에서 상기 윈드쉴드까지의 벡터를 계산하며,
상기 전방영상 인식수단은, 카메라가 촬영한 도로 영상을 두 개의 영역으로 분할하고, 분할된 두 영역에 대해 1차원 직선으로 차선 모델링을 수행한 후 모델링된 각 직선이 이루는 삼각형의 외접원 반지름으로부터 도로의 곡률을 산출하여 곡선로를 인식하는 것을 특징으로 하는 길안내 정보의 윈드쉴드 표시 장치.
Navigation interlocking means for obtaining route guidance information to a destination set by the driver;
Forward image recognition means for recognizing a driving lane in a forward road image;
Eye position detecting means for detecting an eye position in the face image of the driver;
Wherein the vehicle position detecting means detects the position of the actual road on the basis of the vector from the eye position to the windshield calculated using the eye position of the driver detected by the eye position detecting means and the position of the traveling lane detected by the forward image recognizing means, A control unit for controlling the windshield display means so as to display the map on the windshield; And
And the windshield display means for mapping and displaying the route guidance information on an actual road under the control of the control means,
Wherein the control means calculates a vector from the current driver's eye position to the windshield on the basis of the driver's eye position and the current driving lane information and outputs the vector to the windshield from the current driver's eye position using the GPS information acquired from the navigation interlocking means And calculating a position from the driver's eye position after the predetermined time to the windshield by calculating the position of the left and right lanes of the driving lane,
The forward image recognizing means divides the road image photographed by the camera into two regions, performs lane modeling on the two divided regions with a one-dimensional straight line, and then calculates the distance from the circumscribed circle radius of the triangle formed by each modeled straight line And the curved road is recognized by calculating the curvature of the curved road.
상기 눈 위치 검출수단은,
상기 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위에 대한 영역을 선택하고, 상기 얼굴 영상에서 나타나는 대칭점 중 콧구멍부위를 판단 기준으로 하여 상기 콧구멍부위의 위쪽을 눈이 위치된 눈위치후보영역으로 선택하며, 상기 얼굴 영상에서 선택된 눈위치후보영역에 대해 필터를 이용하여 필터링하여 눈 위치를 검출하는 것을 특징으로 하는 길안내 정보의 윈드쉴드 표시 장치.
The method according to claim 1,
Wherein the eye position detecting means comprises:
Selecting an area for a symmetric part of the face from the face image of the driver and selecting the upper part of the nostril part as a snow position candidate area in which the eyes are positioned with the nostril part of the symmetric point appearing in the face image as a criterion And the eye position is detected by filtering the selected eye position candidate region in the face image using a filter.
상기 얼굴이 갖는 대칭 부위에 대한 영역은,
눈썹 부위와 눈 부위 및 콧구멍 부위인 것을 특징으로 하는 길안내 정보의 윈드쉴드 표시 장치.
3. The method of claim 2,
The area for the symmetric part of the face may be,
Eyebrows, eyes, and nostrils of the windshield.
상기 콧구멍 부위는,
빛에 의한 명암 변화가 없고 가장 낮은 위치에 있으면서 짧은 간격의 대칭 부위를 형성함을 이용해 대칭점 판단 기준으로 선택되는 것을 특징으로 하는 길안내 정보의 윈드쉴드 표시 장치.
The method of claim 3,
The nostril portion
Wherein the light source is selected as a symmetry point judgment reference by using the fact that there is no light and dark change and that the light source is located at the lowest position and forms a symmetric portion with a short interval.
상기 필터는,
소벨 필터인 것을 특징으로 하는 길안내 정보의 윈드쉴드 표시 장치.
3. The method of claim 2,
The filter includes:
Wherein the filter is a Sobel filter.
상기 윈드쉴드 표시수단은,
HUD(Head Up Display) 장치, 프로젝션 투사 장치, 윈드쉴드 투명 디스플레이 장치, 및 윈드쉴드 도트(Dot) 디스플레이 장치 중 어느 하나인 것을 특징으로 하는 길안내 정보의 윈드쉴드 표시 장치.
6. The method according to any one of claims 1 to 5,
The windshield display means includes:
A head-up display (HUD) device, a projection-projection device, a windshield transparent display device, and a windshield dot display device.
전방의 도로 영상을 인식하는 인식단계;
상기 운전자의 얼굴 영상에서 눈 위치를 검출하는 눈 위치 검출단계; 및
상기 검출한 운전자의 눈 위치 및 상기 전방의 도로 영상으로부터 인식된 주행차로의 각 위치를 이용하여 계산된 상기 눈 위치에서 윈드쉴드까지의 벡터를 기준으로 실제 도로와 상기 길안내 정보를 윈드쉴드 상에 맵핑시켜 표시하는 단계를 포함하고,
상기 표시하는 단계는, 상기 운전자의 눈 위치 및 상기 현재 주행 차로의 정보로부터 현재 운전자의 눈 위치에서 상기 윈드쉴드까지의 벡터를 계산하고, 상기 내비게이션 연동수단으로부터 획득한 GPS 정보를 통해 소정시간 후의 주행 차로 및 상기 주행 차로의 좌, 우측 차선에 대한 위치를 계산하여 상기 소정시간 후의 운전자의 눈 위치에서 상기 윈드쉴드까지의 벡터를 계산하며,
상기 인식단계는, 상기 도로 영상을 두 개의 영역으로 분할하고, 분할된 두 영역에 대해 1차원 직선으로 차선 모델링을 수행한 후 모델링된 각 직선이 이루는 삼각형의 외접원 반지름으로부터 도로의 곡률을 산출하여 곡선로를 인식하는 것을 특징으로 하는 길안내 정보의 윈드쉴드 표시 방법.
Obtaining route guidance information to a destination set by a driver in cooperation with a navigation system of the vehicle;
A recognition step of recognizing a road image ahead;
An eye position detecting step of detecting an eye position in the face image of the driver; And
On the basis of a vector from the eye position to the windshield calculated using the detected eye position of the driver and each position of the traveling lane recognized from the road image in front of the actual road and the guidance information on the windshield Mapping and displaying,
Wherein the displaying step includes a step of calculating a vector from the current driver's eye position to the windshield from the driver's eye position and the current driving lane information and driving the vehicle after a predetermined period of time through GPS information acquired from the navigation interlocking means Calculates the position from the driver's eye position after the predetermined time to the windshield by calculating the positions of the lane and the left and right lanes of the driving lane,
The recognition step may include a step of dividing the road image into two regions, performing lane modeling with a one-dimensional straight line on the two divided regions, calculating the curvature of the road from the circumscribed circle radius of the triangle formed by each modeled straight line, Of the windshield guiding information.
상기 눈 위치 검출단계는,
상기 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위에 대한 영역을 선택하는 대칭점 판단단계;
상기 대칭점 판단단계에서 얼굴 영상에서 나타나는 대칭점 중 콧구멍부위를 판단 기준으로, 상기 콧구멍부위의 위쪽을 눈이 위치된 눈위치후보영역으로 선택하는 눈위치선정단계;
상기 눈위치선정단계 후 얼굴 영상에서 선택된 눈위치후보영역을 필터링하여 눈의 윤곽 라인을 파악하는 눈위치확정영역으로 결정하는 단계;
를 포함하는 길안내 정보의 윈드쉴드 표시 방법.
9. The method of claim 8,
The eye position detecting step may include:
A symmetry point determination step of selecting an area for a symmetric part of the face in the face image of the driver;
Selecting an eye position candidate region in which an eye is positioned above the nostril portion based on a nostril portion of a symmetric point appearing in a face image in the step of determining the symmetry point;
Determining an eye position candidate region in the face image after the eye position determination step as an eye position determination region for grasping an outline line of the eye;
And displaying the windshield information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130099609A KR101428414B1 (en) | 2013-08-22 | 2013-08-22 | Apparatus and method for displaying road guide information on the windshield |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130099609A KR101428414B1 (en) | 2013-08-22 | 2013-08-22 | Apparatus and method for displaying road guide information on the windshield |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110031352A Division KR20120113579A (en) | 2011-04-05 | 2011-04-05 | Apparatus and method for displaying road guide information on the windshield |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130097701A KR20130097701A (en) | 2013-09-03 |
KR101428414B1 true KR101428414B1 (en) | 2014-08-13 |
Family
ID=49449953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130099609A KR101428414B1 (en) | 2013-08-22 | 2013-08-22 | Apparatus and method for displaying road guide information on the windshield |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101428414B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101510954B1 (en) * | 2013-11-04 | 2015-04-09 | 한국오므론전장주식회사 | Driving guide apparatus using Head Up Display and the method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07257228A (en) * | 1994-03-18 | 1995-10-09 | Nissan Motor Co Ltd | Display device for vehicle |
JP2002019491A (en) * | 2000-07-11 | 2002-01-23 | Mazda Motor Corp | Display device of vehicle |
KR20020053346A (en) * | 2000-12-27 | 2002-07-05 | 이계안 | Method for detecting curve for road modeling system |
JP2008194309A (en) | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | Eye detector, nap detector, and method of eye detector |
-
2013
- 2013-08-22 KR KR1020130099609A patent/KR101428414B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07257228A (en) * | 1994-03-18 | 1995-10-09 | Nissan Motor Co Ltd | Display device for vehicle |
JP2002019491A (en) * | 2000-07-11 | 2002-01-23 | Mazda Motor Corp | Display device of vehicle |
KR20020053346A (en) * | 2000-12-27 | 2002-07-05 | 이계안 | Method for detecting curve for road modeling system |
JP2008194309A (en) | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | Eye detector, nap detector, and method of eye detector |
Also Published As
Publication number | Publication date |
---|---|
KR20130097701A (en) | 2013-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20120113579A (en) | Apparatus and method for displaying road guide information on the windshield | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
JP5708449B2 (en) | Lane guidance display system, method and program | |
US8275542B2 (en) | Navigation device, navigation method, and navigation program | |
JP2019032243A (en) | Head-up display device, navigation device, and display method | |
KR102485480B1 (en) | A method and apparatus of assisting parking by creating virtual parking lines | |
US20150204687A1 (en) | Apparatus and method of guiding lane change based on augmented reality | |
JP6834704B2 (en) | Driving support device and computer program | |
US20120224060A1 (en) | Reducing Driver Distraction Using a Heads-Up Display | |
JP2014181927A (en) | Information provision device, and information provision program | |
JP2018040693A (en) | Driving support device and driving support method | |
JP2013096913A (en) | Lane guidance display system, method and program | |
US20170061203A1 (en) | Detection device, detection method, computer program product, and information processing system | |
JP5994574B2 (en) | Position guidance system, method and program | |
WO2020004231A1 (en) | Lane estimation device, method, and program | |
JP2018173399A (en) | Display device and computer program | |
JP2015049221A (en) | Route guide display system, method, and program | |
CN112519677A (en) | Control device | |
JP2019164611A (en) | Traveling support device and computer program | |
JP2014163814A (en) | Travel guide system, travel guide method, and computer program | |
JP6396672B2 (en) | Information display device and information display method | |
CN116394981B (en) | Vehicle control method, automatic driving prompting method and related devices | |
US20160153802A1 (en) | Drive assist system, method, and program | |
CN112781600A (en) | Vehicle navigation method, device and storage medium | |
JP4968369B2 (en) | In-vehicle device and vehicle recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |