KR20190091900A - Image processing apparatus for dehazing - Google Patents
Image processing apparatus for dehazing Download PDFInfo
- Publication number
- KR20190091900A KR20190091900A KR1020180011044A KR20180011044A KR20190091900A KR 20190091900 A KR20190091900 A KR 20190091900A KR 1020180011044 A KR1020180011044 A KR 1020180011044A KR 20180011044 A KR20180011044 A KR 20180011044A KR 20190091900 A KR20190091900 A KR 20190091900A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fog
- camera
- processing apparatus
- control unit
- Prior art date
Links
- 238000000149 argon plasma sintering Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 claims 3
- 238000004501 airglow Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G06T5/003—
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 영상에 포함된 안개를 제거하여 선명한 영상을 얻기 위한 영상처리장치에 관한 것이다.The present invention relates to an image processing apparatus for obtaining a clear image by removing the fog included in the image.
안개란 대기 중의 수증기가 응결된 형태의 물방울로 떠있는 현상이다. 안개가 끼었을 때 대기 중에 물방울 입자들이 생기고, 이 물방울 입자들로 인한 빛의 산란 현상이 발생한다. 산란의 정도는 빛의 파장과 입자 크기에 따라 다르다. 물방울과 같이 산란의 원인이 되는 입자의 크기가 클 때에는 산란의 양이 파장의 영향을 적게 받아서 가시광선 영역의 모든 빛을 거의 동일하게 산란시킨다. Fog is a phenomenon in which water vapor in the atmosphere floats as condensed water droplets. When fogged, water droplets form in the atmosphere, causing light scattering to occur. The degree of scattering depends on the wavelength and particle size of the light. When the size of particles that cause scattering, such as water droplets, is large, the amount of scattering is less affected by the wavelength and scatters almost all the light in the visible region.
이러한 산란효과에 의해 안개가 끼었을 때에는 물체들이 뿌옇게 보이게 된다. 안개가 발생한 경우, 자동차의 주행 중에는 운전자의 시야가 제대로 확보되지 않아 사고가 발생할 위험이 증가하게 된다. 따라서 보조장치를 이용하여 운전자의 시야를 개선해줄 수 있다면 운전자의 시야 방해에 의한 사고 발생률을 감소시킬 수 있을 것으로 기대된다.These scattering effects make objects look cloudy when fogged. When the fog occurs, the driver's field of view is not properly secured while driving the car, increasing the risk of an accident. Therefore, if the driver can improve the driver's vision, it is expected to reduce the incidence of accidents caused by the driver's vision disturbance.
안개가 있는 경우, 카메라에 의해 촬영된 영상은 안개에 의해 그 객체가 선명하게 보이지 않는다. 따라서 촬영된 객체가 선명하게 보이도록 하기 위해서는 영상에서 안개를 제거하는 영상처리작업을 거칠 필요가 있다.If there is a fog, the image taken by the camera does not clearly see the object by the fog. Therefore, in order to make the photographed object appear clearly, it is necessary to go through the image processing to remove the fog from the image.
본 발명의 일 실시예에 따르면, 운전자의 시야 방해 요소인 안개를 제거한 영상을 운전자에게 제공하는 영상처리장치를 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide an image processing apparatus for providing a driver with an image from which fog is removed, which is a driver's view obstruction.
또한, 대기광을 찾는 알고리즘이 개선되고 정보처리속도를 높인 영상처리장치를 제공할 수 있다.In addition, an algorithm for finding atmospheric light may be improved and an image processing apparatus having increased information processing speed may be provided.
일 실시예에 따른 안개 제거를 위한 영상처리장치는, 영상을 촬영하는 카메라, 상기 카메라에 의해 촬영된 영상에 포함된 안개를 제거하는 제어유닛 및 상기 제어유닛에서 안개가 제거된 영상을 출력하는 디스플레이부를 포함하고, 상기 제어유닛은, 상기 카메라에서 촬영된 영상의 각각의 픽셀의 R,G,B 값 중 가장 작은 값을 찾고, 그 중 가장 큰 값이 대기광으로 입력된다.An image processing apparatus for removing fog according to an embodiment may include a camera photographing an image, a control unit for removing fog included in an image captured by the camera, and a display for outputting an image from which fog is removed from the control unit. And a control unit, the control unit finds the smallest value among the R, G, and B values of each pixel of the image photographed by the camera, and the largest value thereof is input to the atmospheric light.
또한, 빛이 산란되지 않고 카메라에 전달되는 전달량(t(x))은에 의해 계산된다.Also, the amount of transmission t (x) transmitted to the camera without scattering light Is calculated by.
또한, 상기 대기광은 촬영된 영상의 상단부에 위치한 픽셀의 R,G,B 값 중에서 입력된다.In addition, the atmospheric light is input from the R, G, B value of the pixel located at the upper end of the captured image.
또한, 상기 카메라에 의해 움직이는 객체가 촬영되는 경우, 상기 제어유닛에서 촬영된 영상의 안개가 제거되고, 상기 디스플레이부에는 움직이는 객체에 대한 영상이 실시간으로 출력된다.In addition, when a moving object is photographed by the camera, the fog of the image photographed by the control unit is removed, and the image of the moving object is output to the display unit in real time.
본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의하면, 운전자에게 안개가 제거된 선명한 영상을 제공함으로써 운전자의 시야를 확보하여 운전 중 사고발생의 위험을 줄일 수 있다.According to the image processing apparatus for removing the fog according to an embodiment of the present invention, by providing a clear image from which the fog is removed to the driver to secure the driver's view can reduce the risk of accidents during driving.
또한, 정보처리속도를 높여 차량의 주행 중 실시간으로 영상처리가 가능하게 한다.In addition, the information processing speed is increased to enable image processing in real time while the vehicle is driving.
도 1 은 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치를 도시한 도면이다.
도 2 는 안개가 있는 도로의 영상에 관한 도면이다.
도 3은 도 2의 영상에서 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의해 안개가 제거된 영상을 표시한 도면이다.1 is a diagram illustrating an image processing apparatus for removing fog according to an embodiment of the present invention.
2 is a view of an image of a road with fog.
3 is a view showing an image from which fog is removed by the image processing apparatus for removing fog according to an embodiment of the present invention.
이하, 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 관하여 도면을 참조하여 상세히 설명한다.Hereinafter, an image processing apparatus for removing fog according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치를 도시한 도면이고, 도 2 는 안개가 있는 도로의 영상에 관한 도면이고, 도 3은 도 2의 영상에서 본 발명의 일 실시예에 따른 안개 제거를 위한 영상처리장치에 의해 안개가 제거된 영상을 표시한 도면이다.1 is a view showing an image processing apparatus for removing fog according to an embodiment of the present invention, Figure 2 is a view of the image of the road with fog, Figure 3 is a view of the image of the present invention FIG. Is a view showing an image from which fog is removed by an image processing apparatus for removing fog according to an embodiment.
도 1 내지 도 3을 참조하면, 일 실시예에 따른 안개 제거를 위한 영상처리장치(1)는, 영상을 촬영하기 위한 카메라(10), 카메라로부터 영상신호를 입력 받아 분석하는 제어유닛(20) 및 제어유닛(20)에서 처리된 결과를 표시하는 디스플레이부(30)를 포함한다. 안개 등에 의해 시야 확보가 힘든 경우, 운전자는 주행 중 영상처리장치(1)의 디스플레이부(30)에 표시되는 외부의 영상을 참고할 수 있다. 디스플레이부(30)에는 안개가 제거된 선명한 영상이 실시간으로 표시될 수 있다.1 to 3, the
카메라(10)는 자동차에 설치되어 자동차의 외부 환경을 촬영할 수 있다. 안개가 발생한 날 운전자의 시야 확보를 위해 카메라(10)는 자동차의 전방 또는 후 방을 촬영하도록 위치될 수 있다. 그러나 카메라(10)의 촬영 위치는 상기 기재된 바에 한정되지 않는다. 자동차가 주행 중에 촬영된 영상과 운전자가 바라보는 외부 환경의 거리 차이를 최소한으로 유지하도록, 카메라의 초당 프레임수는 자동차의 주행 환경에 따라 적절히 선택될 수 있다. 일례로, 카메라(10)로는 TRDB-D5M 카메라 모듈이 사용될 수 있다.The
카메라(10)에 의해 촬영된 외부 영상은 제어유닛(20)으로 전송될 수 있다. 제어유닛(20)은 FPGA(Field Programmable Gate Array)을 포함한다. FPGA 보드에는 카메라(10)와 디스플레이부(30)가 연결될 수 있다. 일례로, 제어유닛(20)에는 DE2-115 FPGA 보드가 사용될 수 있다. 또한, 일례로, 디스플레이부(30)는 7인치 VGA(Video Graphic Array) 디스플레이를 포함할 수 있다.The external image captured by the
카메라(10)에 의해 촬영된 외부 영상은 제어유닛(20)으로 전송되고, 제어유닛(20)은 촬영된 영상에서 안개를 제거하는 작업을 한다. 안개가 제거된 선명한 영상은 디스플레이부(30)를 통해 출력된다. 운전자는 디스플레이부(30)에 표시된 선명한 외부 영상을 확인하고 안전하게 주행할 수 있다.The external image photographed by the
이하에서는, 제어유닛(20)에 의해 영상에서 안개가 제거되는 알고리즘에 관하여 설명한다.Hereinafter, an algorithm for removing fog from an image by the
안개가 있는 영상은 일반적으로 다음과 같은 수식으로 표현될 수 있다.In general, a fog image may be expressed by the following equation.
I(x) = J(x)t(x)+A(1-t(x))I (x) = J (x) t (x) + A (1-t (x))
여기서, I(x)는 안개 낀 영상, J(x)는 안개가 제거된 영상, t(x)는 빛이 안개에 산란되지 않고 카메라에 전달되는 전달량, A는 대기광을 의미한다.Here, I (x) is a misted image, J (x) is a mist-free image, t (x) is a transmission amount of light transmitted to the camera without being scattered in the fog, A means atmospheric light.
안개가 제거된 영상인 J(x)는 결과로 도출할 값이다. 안개 낀 영상 I(x)은 카메라에 의해 촬영된 영상으로부터 입력받는 값이다. 그러나 전달량 t(x)와 전달량 A는 추정되어야 하는 값이다.J (x), which is the image from which the fog is removed, is a value to be obtained. The misted image I (x) is a value received from an image captured by the camera. However, the transfer amount t (x) and the transfer amount A are values to be estimated.
대기광 A를 추정하는 데에는 DCP(Dark Channel Prior)이라 불리는 알고리즘이 사용될 수 있다. DCP는 입력받은 영상에서 각각의 픽셀마다 R,G,B 값을 비교하여 가장 작은 값으로 하나의 채널을 형성한다. An algorithm called Dark Channel Prior (DCP) may be used to estimate the atmospheric light A. The DCP compares the R, G, and B values of each pixel in the input image to form one channel with the smallest value.
종래에는 채널에 일정한 크기의 최소값 필터를 적용하여, 최소값 필터가 적용된 값 중에서 상위 0.1% 값들을 추출하고, 그 중 가장 큰 값을 갖는 위치의 픽셀의 R,G,B 값을 대기광으로 추정하였다.Conventionally, a minimum size filter having a constant size is applied to a channel to extract upper 0.1% values among the values to which the minimum value filter is applied, and the R, G, and B values of the pixel having the largest value are estimated as atmospheric light. .
그러나 본 발명의 경우, 필터를 사용하지 않고 각 픽셀의 R,G,B 값 중 가장 작은 값을 찾고 그 중 가장 큰 값을 대기광 A으로 정한다. 또한, 대기광 A은 촬영된 영상 전체에서 찾지 않고 영상의 상단부에서 찾도록 한다. 대기광 A를 이런 방식으로 추정하는 이유는 카메라(10)에 의해 촬영된 영상 중에 존재하는 흰색 물체, 예를 들어, 인근에 위치하는 흰색 자동차 등과 같은 흰색 물체가 대기광으로 오인되는 것을 방지하기 위한 것이다.However, in the present invention, the smallest value among the R, G, and B values of each pixel is found without using a filter, and the largest value thereof is set as the atmospheric light A. In addition, the atmospheric light A is not found in the entire photographed image, but is found in the upper portion of the image. The reason for estimating the atmospheric light A in this manner is to prevent a white object existing in the image photographed by the
종래의 경우, 전달량 t(x)를 추정할 때에, 안개가 없는 영상 J(x)의 DCP가 0에 가깝다는 사실을 이용하여, 다음과 같이 안개 낀 영상에 관한 식을 변형하여 t(x)를 구했다. In the conventional case, when estimating the transmission amount t (x), using the fact that the DCP of the fog-free image J (x) is close to zero, the equation for the fogged image is modified as follows to t (x). Saved.
상기와 같이 추정된 대기광 A와 전달량 t(x)을 이용하여 입력받은 안개 낀 영상 I(x)으로부터 안개가 제거된 영상 J(x)을 구할 수 있었다.Using the estimated ambient light A and the transmission amount t (x), the image J (x) from which the fog was removed was obtained from the input misty image I (x).
그러나 본 발명의 경우, 전달량 t(x)를 구할 때에도 필터를 사용하지 않고 다음과 같은 식을 사용한다. However, in the case of the present invention, the following equation is used without using a filter to calculate the delivery amount t (x).
필터가 없이, 상기와 같은 식에 의해 대기광 A, 전달량 t(x)를 구함으로써 계산을 간소화시켜 정보처리속도를 높일 수 있다. 빠른 정보처리속도에 의해 자동차가 주행 주인 경우에도 촬영된 영상이 실시간으로 처리되어 출력될 수 있다. 따라서 안개가 발생한 날에도 운전자는 주행 중 주변 환경의 모습을 실시간으로 확인하면서 안전하게 운전할 수 있다. Without the filter, by calculating the atmospheric light A and the transmission amount t (x) by the above equation, the calculation can be simplified and the information processing speed can be increased. Due to the fast information processing speed, even when the vehicle is driven, the captured image may be processed and output in real time. Therefore, even on a foggy day, the driver can safely drive while checking the surrounding environment in real time while driving.
또한, 본 발명의 경우와 같이 대기광 A과 전달량 t(x)을 구하더라도, 종래의 방법에 의할 경우와 비슷한 안개 제거 효과를 나타내면서, 도 3과 같이, 영상이 자연스럽게 보일 수 있다. In addition, even when the atmospheric light A and the transmission amount t (x) are obtained as in the case of the present invention, the image can be naturally seen as shown in FIG. 3 while exhibiting a similar fog removal effect as in the conventional method.
이와 같이 처리된 영상은 디스플레이부(30)를 통해 출력될 수 있다. 운전자는 디스플레이부(30)에 표시된 안개가 제거된 영상을 통해 시야를 확보할 수 있고, 주행 중 발생할 수 있는 사고의 위험을 줄일 수 있다.The processed image may be output through the
10: 카메라
20: 제어유닛
30: 디스플레이부10: camera
20: control unit
30: display unit
Claims (4)
상기 카메라에 의해 촬영된 영상에 포함된 안개를 제거하는 제어유닛; 및
상기 제어유닛에서 안개가 제거된 영상을 출력하는 디스플레이부;를 포함하고,
상기 제어유닛은, 상기 카메라에서 촬영된 영상의 각각의 픽셀의 R,G,B 값 중 가장 작은 값을 찾고, 그 중 가장 큰 값이 대기광으로 입력되는 안개 제거를 위한 영상처리장치.A camera for taking an image;
A control unit for removing fog included in the image photographed by the camera; And
And a display unit configured to output an image from which fog is removed from the control unit.
The control unit, the image processing apparatus for removing the fog to find the smallest value of the R, G, B value of each pixel of the image photographed by the camera, the largest value of which is input to the atmospheric light.
빛이 산란되지 않고 카메라에 전달되는 전달량(t(x))은에 의해 계산되는 안개 제거를 위한 영상처리장치.The method of claim 1,
The amount of propagation (t (x)) transmitted to the camera without light scattering Image processing apparatus for removing fog calculated by the.
상기 대기광은 촬영된 영상의 상단부에 위치한 픽셀의 R,G,B 값 중에서 입력되는 안개 제거를 위한 영상처리장치.The method of claim 1,
The atmospheric light is an image processing apparatus for removing the fog input from among the R, G, B value of the pixel located in the upper portion of the captured image.
상기 카메라에 의해 움직이는 객체가 촬영되는 경우, 상기 제어유닛에서 촬영된 영상의 안개가 제거되고, 상기 디스플레이부에는 움직이는 객체에 대한 영상이 실시간으로 출력되는 안개 제거를 위한 영상처리장치.The method of claim 1,
When the moving object is photographed by the camera, the fog of the image taken by the control unit is removed, the image processing apparatus for removing the fog is displayed in real time the image of the moving object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180011044A KR102016838B1 (en) | 2018-01-30 | 2018-01-30 | Image processing apparatus for dehazing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180011044A KR102016838B1 (en) | 2018-01-30 | 2018-01-30 | Image processing apparatus for dehazing |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190091900A true KR20190091900A (en) | 2019-08-07 |
KR102016838B1 KR102016838B1 (en) | 2019-08-30 |
Family
ID=67621670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180011044A KR102016838B1 (en) | 2018-01-30 | 2018-01-30 | Image processing apparatus for dehazing |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102016838B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230044063A (en) * | 2021-09-24 | 2023-04-03 | 김태훈 | System for providing artificial intelligence based vehicle defogging service |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130127654A (en) * | 2012-05-15 | 2013-11-25 | 에스케이텔레콤 주식회사 | Image processing apparatus for moving image haze removal and method using that |
WO2016189901A1 (en) * | 2015-05-22 | 2016-12-01 | 三菱電機株式会社 | Image processing device, image processing method, program, recording medium recording same, video capture device, and video recording/reproduction device |
JP2017138647A (en) * | 2016-02-01 | 2017-08-10 | 三菱電機株式会社 | Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium |
-
2018
- 2018-01-30 KR KR1020180011044A patent/KR102016838B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130127654A (en) * | 2012-05-15 | 2013-11-25 | 에스케이텔레콤 주식회사 | Image processing apparatus for moving image haze removal and method using that |
WO2016189901A1 (en) * | 2015-05-22 | 2016-12-01 | 三菱電機株式会社 | Image processing device, image processing method, program, recording medium recording same, video capture device, and video recording/reproduction device |
JP2017138647A (en) * | 2016-02-01 | 2017-08-10 | 三菱電機株式会社 | Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230044063A (en) * | 2021-09-24 | 2023-04-03 | 김태훈 | System for providing artificial intelligence based vehicle defogging service |
Also Published As
Publication number | Publication date |
---|---|
KR102016838B1 (en) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101470831B1 (en) | Appatatus for image dehazing using the user controllable radical root operation | |
US7693344B2 (en) | Method and device for image processing and a night vision system for motor vehicles | |
KR101756173B1 (en) | Image dehazing system by modifying the lower-bound of transmission rate and method therefor | |
TWI423166B (en) | Method for determining if an input image is a foggy image, method for determining a foggy level of an input image and cleaning method for foggy images | |
KR101445577B1 (en) | System for enhancing the foggy luminance image using the estimation model of haze removal | |
JP6364797B2 (en) | Image analysis apparatus and image analysis method | |
CN102831591B (en) | Gaussian filter-based real-time defogging method for single image | |
Tan et al. | Fast single-image defogging | |
CN110135235B (en) | Glare processing method and device and vehicle | |
US20120162425A1 (en) | Device and method for securing visibility for driver | |
EP3199914B1 (en) | Imaging device | |
CN109584176B (en) | Vision enhancement system for motor vehicle driving | |
KR101788660B1 (en) | Apparatus and method for removing haze in a single image | |
CN103226816A (en) | Haze image medium transmission rate estimation and optimization method based on quick gaussian filtering | |
KR102016838B1 (en) | Image processing apparatus for dehazing | |
Wongsaree et al. | Distance detection technique using enhancing inverse perspective mapping | |
KR20160024297A (en) | Pedestrian detection device and method for driving vehicle at night | |
KR101470833B1 (en) | Apparatus for enhancing the foggy luminance image using lower bound of transmission rate | |
KR101522757B1 (en) | Method for removing noise of image | |
EP2463621A1 (en) | Distance calculation device for vehicle | |
Jiwani et al. | Single image fog removal using depth estimation based on blur estimation | |
Mittal et al. | IoT based image defogging system for road accident control during winters | |
KR102115579B1 (en) | Vehicle side view system | |
EP3282420B1 (en) | Method and apparatus for soiling detection, image processing system and advanced driver assistance system | |
KR102127166B1 (en) | Control system and method for driving video recorder having the foreign object removal function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |