KR100585659B1 - 이동 통신 단말기의 문자인식 장치와 방법 - Google Patents
이동 통신 단말기의 문자인식 장치와 방법 Download PDFInfo
- Publication number
- KR100585659B1 KR100585659B1 KR1020030086875A KR20030086875A KR100585659B1 KR 100585659 B1 KR100585659 B1 KR 100585659B1 KR 1020030086875 A KR1020030086875 A KR 1020030086875A KR 20030086875 A KR20030086875 A KR 20030086875A KR 100585659 B1 KR100585659 B1 KR 100585659B1
- Authority
- KR
- South Korea
- Prior art keywords
- character
- image
- character code
- character recognition
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000010295 mobile communication Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 238000012952 Resampling Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
본 발명은 카메라 부착형 휴대 정보 단말기의 문자인식 및 음성출력 장치와 방법에 관한 것으로, 촬영 이미지를 프레임 단위로 입력받아 소정의 선택영역에 대하여 확대 및 축소 등의 처리를 수행하는 이미지 입력부와; 상기 이미지 입력부에서 받은 이미지를 주파수 영역에서 디지털 신호처리하고, 문자 영역을 획득하여 문자의 획, 폭 등의 문자정보를 이진화해서 처리해주는 이미지 전처리부와; 상기 이진화된 문자 정보를 미리 만들어 놓은 문자코드 데이터베이스의 문자코드와 비교해서 구조적으로 최적의 문자코드를 탐색하는 문자인식 엔진부를 포함하여 구성함으로써 달성할 수 있다.
Description
도 1은 본 발명에 의한 카메라 부착형 휴대 정보 단말기의 문자인식 및 음성출력 장치의 구성을 보인 블록도.
도 2는 본 발명에 의한 휴대 정보 단말기로 촬영한 이미지의 전처리에 의한 문자인식 과정을 보인 순서도.
*도면의 주요 부분에 대한 부호의 설명*
101 : 디지털 카메라 센서부 102 : 이미지 입력부
103 : 이미지 전처리부 104 : 문자인식 엔진부
105 : 이미지 후처리부 106 : 음성합성 처리부
107 : 사용자 인터페이스부 108 : 문자코드 데이터베이스
본 발명은 이동 통신 단말기의 문자인식 장치와 방법에 관한 것으로, 특히 카메라 부착형 휴대 정보 단말기를 이용하여 촬영한 문자정보를 인식하고, 그 인식된 문자를 화면으로 출력하거나 음성으로 동시에 출력할 수 있도록 하는 이동 통신 단말기의 문자인식 장치와 방법에 관한 것이다.
일반적으로, 휴대 정보 단말기란 중앙처리장치와 메모리 및 사용자에게 이미지를 보여줄 수 있는 디스플레이 장치 등을 구비하고 휴대가 가능할 정도로 부피가 작은 단말기를 의미하는 것으로, 디지털 카메라의 장착이 가능한 이동 통신 단말기, PDA(Personal digital Assistant) 등을 포함한다.
최근의 각종 휴대 정보 단말기들은 디지털 기술의 비약적인 발전에 힘입어, 통신기능이나 PDA 기능 외에도 고성능 디지털 카메라를 장착하여 많이 출시되고 있다. 특히, 고성능 디지털 카메라는 CCD/CMOS 등의 센서 기술의 발달로 메가 픽셀급 이상으로 해상도가 급속도로 높아지고 있으며, 디지털 이미지 처리 등으로 광학 줌 뿐만 아니라 디지털 줌의 구현이 가능함으로써, 이미지 확대 및 축소 등의 이미지 처리기능이 과거에 비해 훨씬 정교하게 되고 있다.
상기와 같은 고성능 디지털 카메라를 장착한 휴대 정보 단말기들의 카메라 응용 기능으로써, 정지영상의 캡처, 앨범기능 뿐만 아니라 동영상 촬영 및 재생 등의 기능을 제공하고 있으며, 그 외에도 별도의 스캐너 없이도 문자인식이 가능하게 하는 등의 여러 가지 기능들이 개발되고 있는 실정이다.
특히, 문자인식의 경우 육안으로 식별하기 어려운 문자들의 판독이나 기존의 시력에만 국한되어 문자정보를 얻는 체계를 보완해 줌으로써, 그에 따른 부가가치가 크며 보다 선명한 문자인식 및 얻어진 문자정보를 사용자에게 전달하는 방법에 있어서의 편리성 등을 향상시키기 위한 연구가 지속적으로 이루어지고 있는 상황이다.
그러나, 종래의 문자인식 방법은 아직 문자인식 엔진의 계산량이 많아 문자인식 속도가 느릴 뿐 아니라, 육안식별이 어려운 작은 글씨에 대해서 인식의 정확도가 많이 떨어지는 문제점이 있다.
따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 카메라 부착형 휴대 정보 단말기를 이용하여 촬영한 문자정보를 인식하고, 그 인식된 문자를 화면으로 출력하거나 음성으로 동시에 출력할 수 있도록 하는 이동 통신 단말기의 문자인식 장치와 방법을 제공함에 그 목적이 있다.
이와 같은 목적을 달성하기 위한 본 발명은 촬영 이미지를 프레임 단위로 입력받아 소정의 선택영역에 대하여 확대 및 축소 등의 처리를 수행하는 이미지 입력부와; 상기 이미지 입력부에서 받은 이미지를 주파수 영역에서 디지털 신호처리하고, 문자 영역을 획득하여 문자의 획, 폭 등의 문자정보를 이진화해서 처리해주는 이미지 전처리부와; 상기 이진화된 문자 정보를 미리 만들어 놓은 문자코드 데이터베이스의 문자코드와 비교해서 구조적으로 최적의 문자코드를 탐색하는 문자인식 엔진부를 포함하여 구성한 것을 특징으로 한다.
또한, 본 발명은 상기 목적을 달성하기 위하여 선택된 소정 영역의 촬영 이미지를 주파수 영역에서 필터링 하는 단계와; 상기 필터링된 이미지에서 배경 영역과 문자 영역 블록을 구분하는 단계와; 상기 문자영역 블록을 각 문자별 세부 문자영역으로 분할하는 단계와; 상기 분할된 각 세부 문자영역 내의 문자를 문자코드 데이터베이스의 문자코드와 비교하여 기준 문자코드를 탐색하는 단계와; 상기 탐색된 각 문자코드를 재 표본화하여 하나(한 단어 또는 한 문장)로 통합하여 출력하는 단계를 포함하여 이루어진 것을 특징으로 한다.
본 발명은 휴대 정보 단말기에 장착된 디지털 카메라의 디지털 이미지 확대 및 디지털 이미지 처리기능을 활용하여, 육안으로 식별하기 어려운 작은 글씨에 대한 문자인식을 통해, 그 인식된 문자를 사후 이미지 처리 및 음성합성을 통한 음성 출력에 의해 사용자에게 알려줌으로써, 사용자의 편의성을 향상시키기 위한 장치 및 방법의 제공을 요지로 한다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.
도1은 본 발명에 의한 카메라 부착형 휴대 정보 단말기의 문자인식 및 음성출력 장치의 구성을 보인 블록도로서, 이에 도시된 바와 같이 피사체를 전기적인 신호로 변환하는 디지털 카메라 센서부(101)와, 상기 디지털 카메라 센서부(101)를 통해 촬영된 피사체 이미지를 프레임 단위로 입력받아, 소정의 선택영역에 대하여 이미지의 확대 및 축소 등의 처리를 위한 이미지 입력부(102)와, 상기 이미지 입력부(102)에서 받은 이미지를 주파수 영역에서 디지털 신호처리하고, 문자 영역을 획득하여 문자의 획, 폭 등의 문자정보를 이진화해서 처리해주는 이미지 전처리부(103)와, 상기 이진화된 문자 정보를 미리 만들어 놓은 문자코드 데이터베이스(108)의 문자코드와 비교해서 구조적으로 최적의 문자코드를 탐색하는 문자인식 엔진부(104)와, 상기 문자인식 엔진부(104)를 통해 인식된 문자를 사용자에게 보다 선명하게 나타내줄 수 있도록 문자 및 배경에 대한 이미지 처리를 수행하는 이미지 후처리부(105)와, 상기 문자인식 엔진부(104)를 통해 인식된 문자를 음성합성에 의해 음성으로 변환하는 음성합성 처리부(106)와, 상기 이미지 후처리부를 통해 처리된 문자의 디스플레이 및 음성합성 처리부를 통해 변환된 음성을 출력하기 위한 사용자 인터페이스부(107)를 포함하여 구성한다.
이하, 상기와 같이 구성된 카메라를 장착한 휴대 정보 단말기의 문자인식 및 음성출력 장치의 동작 및 작용에 대해서 설명한다.
사용자의 시력저하(근시 또는 원시 등)로 인해 육안으로 식별하기 어려운 문자(먼 곳의 광고 간판이나 도로 표지판 등)들을, 휴대 정보 단말기내에 장착된 디지털 카메라를 통해 판독하고자 하는 경우, 사용자는 해당하는 문자영역을 카메라의 줌 기능을 이용해서 적절하게 확대 및 해상도를 높여서 이미지를 캡처한다.
그러면, 이미지 전처리부(103)에서 상기 캡처한 이미지를 주파수 영역에서의 필터링을 통해, 배경 이미지에 비해 고주파에 해당하는 문자정보만을 선택적으로 얻고, 문자영역이라고 판단되는 부분만을 블록 단위로 다시 세부 분류하여 정규화 한 후, 데이터베이스(어느 한가지 문자에 대하여 다양한 형태의 문자들을 통계화한 데이터베이스)로 가지고 있는 문자 코드 데이터와 비교해서 문자의 획, 폭 등을 다시 표본화하여 불필요한 정보를 없애고, 문자인식 엔진에 필요한 데이터만을 이진화 한다.
다음, 상기와 같은 방법으로 얻어진 이진 데이터를 바탕으로 문자의 구조적 특성에 근거하여 문자인식 엔진에서 문자를 인식해서 문자정보를 얻고, 그 문자정보를 다시 문자 코드 데이터를 통해서 소정의 크기와 형태를 갖는 문자로 합성하고, 이를 선명하게 나타내기 위해서 이미지 후처리부(105)에서 배경 이미지에 대하여 문자의 선명도를 높게 재처리한 후 사용자 인터페이스부(107)의 디스플레이 수단을 통해 출력한다.
또한, 음성합성 처리부(106)에서는 문자인식 엔진(104)에서 인식된 문자정보를 기반으로, 해당 문자에 맞는 음성을 합성하여 사용자 인터페이스부(107)의 음성 출력수단 통해 출력함으로써, 상기 인식된 문자정보를 음성과 화면을 통해 정확히 사용자에게 알려주게 된다.
다음, 도2는 본 발명에 의한 휴대 정보 단말기로 촬영한 이미지의 전처리에 의한 문자인식 과정을 보인 순서도로서, 촬영 이미지를 이미지 입력부를 통해 프레임 단위로 입력받아(S201), 디지털 줌 등을 이용한 사용자의 선택영역을 최대의 해상도로 다시 설정하여 이미지를 확보하고(S202), 상기 최대의 해상도로 획득한 선택영역의 이미지를 주파수 영역에서 선택적으로 필터링 한 후(S203), 그 필터링된 이미지에서 배경 이미지 블록을 제외한 문자영역에 해당하는 블록을 여러 개의 세부 문자영역으로 분할하고(S204, S205), 상기 세부 문자영역의 문자와 미리 만들어 놓은 문자코드 데이터베이스의 문자코드와 비교해서 최적의 문자코드를 탐색하여(S206), 상기 탐색에 의해 선택된 기준 문자코드를 기반으로 재 표본화를 수행한 후(S207), 상기 각 세부 문자영역 별로 표본화된 문자데이터를 통합하여(S208), 이미지 후처리 과정을 거쳐 화면상으로 디스플레이 하거나 음성합성 과정을 거쳐 음성으로 출력하는 과정(S209)을 포함하여 이루어진다.
즉, 상기 이미지 사전 처리과정은 카메라를 통해서 입력된 프레임 단위의 이미지 데이터의 선택영역을 사용자로부터 지정 받고, 이를 토대로 선택영역 내 최대의 해상도로 다시 이미지 데이터를 얻은 다음, 주파수 영역에서의 필터링을 통해 배경 이미지와 차별되는 문자이미지 데이터를 얻고, 배경 이미지는 버리고 문자 영역에 해당되는 이미지를 세부 문자영역으로 분할한다.
다음, 문자코드 데이터베이스(다양한 형태의 문자들을 통계화한 데이터베이스)를 참조하여 상기 각 세부 문자영역별로 가장 적절한 문자코드를 비교, 탐색한 다음 선택되어진 문자코드로 재 샘플링을 수행해서 해당 세부 문자코드의 대표 값으로 하고, 각 세부 문자 영역별로 대표 값을 통합해서 문자영역을 다시 구성한 다 음, 이 값을 이진화해서 문자인식 엔진의 입력으로 적용한다.
상기와 같은 방식의 이미지 사전처리에 의한 문자인식 엔진에서의 문자인식 과정은, 문자코드 데이터베이스에서 문자인식을 위한 최소한의 문자이미지 데이터만을 대표 값으로 취함으로써, 문자인식 엔진의 계산량을 줄이고, 문자 인식과정의 정확성을 높이며, 소요시간을 단축시켜 빠른 응답속도를 제공하게 된다.
상기와 같이 본 발명의 카메라를 장착한 휴대 정보 단말기를 이용한 문자인식 및 음성출력 방법은, 사용자의 선택영역(광학 줌이나 디지털 줌을 이용한 선택영역)을 최대 해상도로 확대해서 문자를 인식하고, 문자를 선명하게 디스플레이 하면서 동시에 음성합성을 통해 음성으로 문자를 출력함으로써, 육안으로 식별하기 어려운 문자(먼 곳의 광고 간판이나 도로 표지판 등)를 정확하게 인식하여 사용자에게 알려주는 편리함을 제공할 수 있으며, 문자 이미지 데이터를 이진화해서 처리함으로써, 문자인식 엔진의 계산량을 줄이면서 문자인식의 정확도를 높이고 전체인식 시스템의 빠른 응답속도를 제공하여, 보다 빠르고 정확한 문자정보를 사용자에게 제공하게 된다.
이상에서 설명한 바와 같이 본 발명 이동 통신 단말기의 문자인식 장치와 방법은, 카메라 부착형 휴대 정보 단말기를 이용하여 촬영한 문자정보를 인식하고, 그 인식된 문자를 화면으로 출력하거나 음성으로 동시에 출력할 수 있도록 함으로써 사용자의 편의성을 향상시킬 수 있도록 하는 효과가 있다.
Claims (6)
- 촬영 이미지를 프레임 단위로 입력받아 소정의 선택영역에 대하여 확대 및 축소 등의 처리를 수행하는 이미지 입력부와;상기 이미지 입력부에서 받은 이미지를 주파수 영역에서 디지털 신호처리하고, 문자 영역을 획득하여 문자의 획, 폭 등의 문자정보를 이진화해서 처리해주는 이미지 전처리부와;상기 이진화된 문자 정보를 미리 만들어 놓은 문자코드 데이터베이스의 문자코드와 비교해서 구조적으로 최적의 문자코드를 탐색하는 문자인식 엔진부를 포함하여 구성한 것을 특징으로 하는 이동 통신 단말기의 문자인식 장치.
- 제1항에 있어서, 상기 문자코드 데이터베이스는동일한 문자에 대하여 다양한 형태의 문자로 구성한 데이터베이스인 것을 특징으로 하는 이동 통신 단말기의 문자인식 장치.
- 삭제
- 제1항에 있어서, 상기 문자인식 엔진부를 통해 인식된 문자를 배경에 대하여 이미지 처리를 수행하여, 배경 영역과 문자 영역 블록을 구분하고, 그 문자영역 블록을 각 문자별 세부 문자영역으로 분할하여 각 세부 문자별 인식을 수행할 수 있도록 하는 이미지 후처리부와;상기 문자인식 엔진부를 통해 인식된 문자를 음성합성에 의해 음성으로 변환하는 음성합성 처리부를 더 포함하여 구성한 것을 특징으로 하는 이동 통신 단말기의 문자인식 장치.
- 선택된 소정 영역의 촬영 이미지를 주파수 영역에서 필터링 하는 단계와;상기 필터링된 이미지에서 배경 영역과 문자 영역 블록을 구분하는 단계와;상기 문자영역 블록을 각 문자별 세부 문자영역으로 분할하는 단계와;상기 분할된 각 세부 문자영역 내의 문자를 문자코드 데이터베이스의 문자코드와 비교하여 기준 문자코드를 탐색하는 단계와;상기 탐색된 각 문자코드를 재 표본화하여 하나(한 단어 또는 한 문장)로 통합하여 출력하는 단계를 포함하여 이루어진 것을 특징으로 하는 이동 통신 단말기의 문자인식 방법.
- 제5항에 있어서, 상기 통합한 문자데이터는단말기의 화면상으로 디스플레이 및 음성합성을 통해 음성으로 출력하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 이동 통신 단말기의 문자인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030086875A KR100585659B1 (ko) | 2003-12-02 | 2003-12-02 | 이동 통신 단말기의 문자인식 장치와 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030086875A KR100585659B1 (ko) | 2003-12-02 | 2003-12-02 | 이동 통신 단말기의 문자인식 장치와 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050053236A KR20050053236A (ko) | 2005-06-08 |
| KR100585659B1 true KR100585659B1 (ko) | 2006-06-07 |
Family
ID=37248972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030086875A KR100585659B1 (ko) | 2003-12-02 | 2003-12-02 | 이동 통신 단말기의 문자인식 장치와 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100585659B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100641791B1 (ko) | 2006-02-14 | 2006-11-02 | (주)올라웍스 | 디지털 데이터에 대한 태깅 방법 및 시스템 |
| KR20120076458A (ko) * | 2010-11-24 | 2012-07-09 | 주식회사 하렉스인포텍 | 이동통신 단말기를 이용한 결제 시스템 및 그 방법 |
| CN112151029A (zh) * | 2020-09-04 | 2020-12-29 | 深圳创维－Rgb电子有限公司 | 语音唤醒与识别自动化测试方法、存储介质及测试终端 |
-
2003
- 2003-12-02 KR KR1020030086875A patent/KR100585659B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050053236A (ko) | 2005-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101864759B1 (ko) | 영역 인식 방법 및 장치 | |
| JP5318122B2 (ja) | バーコードに含まれている情報を読み出す方法及び装置 | |
| JP4274233B2 (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
| JP4535164B2 (ja) | 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム | |
| US7403657B2 (en) | Method and apparatus for character string search in image | |
| US8005319B2 (en) | Method for digitally magnifying images | |
| US20090061949A1 (en) | System, method and mobile unit to sense objects or text and retrieve related information | |
| KR101002899B1 (ko) | 문자 인식 방법 및 장치 | |
| Fujisawa et al. | Information capturing camera and developmental issues | |
| KR20060050729A (ko) | 카메라로 촬영된 문서 영상 처리 방법과 장치 | |
| Rajesh et al. | Text recognition and face detection aid for visually impaired person using Raspberry PI | |
| KR100746755B1 (ko) | 문자인식을 통한 전자사전 기능을 갖는 피.엠.피 및 그제어 방법 | |
| CN111382744B (zh) | 商铺信息获取方法、装置、终端设备及存储介质 | |
| CN110717452B (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
| JPH0855133A (ja) | 顔画像による登録データ検索装置 | |
| CN106485246B (zh) | 字符识别方法及装置 | |
| US20130208984A1 (en) | Content scene determination device | |
| CN108769521B (zh) | 一种拍照方法、移动终端及计算机可读存储介质 | |
| KR100585659B1 (ko) | 이동 통신 단말기의 문자인식 장치와 방법 | |
| JPH09138802A (ja) | 文字認識翻訳システム | |
| CN111145283A (zh) | 一种用于输入法的表情个性化生成方法及装置 | |
| JP2011049866A (ja) | 画像表示装置 | |
| CN1773523A (zh) | 带摄像头的便携式信息终端机的文字识别及声音输出的装置和方法 | |
| JP2005135210A (ja) | 文字認識機能を有する携帯機器 | |
| Tsai et al. | Text detection in bus panel for visually impaired people" seeing" bus route number |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |