KR100750113B1 - 화상 독취 장치 및 방법 - Google Patents

화상 독취 장치 및 방법 Download PDF

Info

Publication number
KR100750113B1
KR100750113B1 KR1020030088780A KR20030088780A KR100750113B1 KR 100750113 B1 KR100750113 B1 KR 100750113B1 KR 1020030088780 A KR1020030088780 A KR 1020030088780A KR 20030088780 A KR20030088780 A KR 20030088780A KR 100750113 B1 KR100750113 B1 KR 100750113B1
Authority
KR
South Korea
Prior art keywords
data
image
shading
pixel
reading apparatus
Prior art date
Application number
KR1020030088780A
Other languages
English (en)
Other versions
KR20050055554A (ko
Inventor
김한신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030088780A priority Critical patent/KR100750113B1/ko
Priority to US11/002,064 priority patent/US7609419B2/en
Publication of KR20050055554A publication Critical patent/KR20050055554A/ko
Application granted granted Critical
Publication of KR100750113B1 publication Critical patent/KR100750113B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40006Compensating for the effects of ageing, i.e. changes over time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4076Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on references outside the picture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)

Abstract

본 발명은 화상 독취(scanning) 장치의 화이트 레퍼런스(white reference) 또는 쉐이딩(shading) 레퍼런스가 가장 청결한 상태를 유지하는 화상 독취 장치의 제조 공정시 쉐이딩 데이터를 획득(shading acquistion) 하여 이때 얻은 쉐이딩 데이터를 실제 원고 스캐닝 시에 이용함으로써 쉐이딩 레퍼런스(또는 화이트 레퍼런스)에 붙은 오염 물질 등에 의한 화질 백선 등의 왜곡 현상을 제거하고, 이로써 화상 독취 장치의 성능을 향상시킬 수 있도록 한 화상 독취 장치 및 방법에 관한 것이다. 이를 위한 본 발명은, 상기 화상 독취 장치의 제조공정시 쉐이딩 데이터(M_DATA)를 획득하여 소정의 메모리 수단에 저장하는 단계; 및 상기 제조공정시 획득된 M_DATA와 상기 화상 독취 장치의 실제 사용시 획득한 쉐이딩 데이터(U_DATA)를 비교 참조하여 이를 통해 실제 원고의 스캐닝 화상을 처리하는 단계를 포함하는 것을 특징으로 한다.

Description

화상 독취 장치 및 방법{Image scanning apparatus and method}
도 1은 종래기술에 의한 화상 독취 장치의 구성도.
도 2는 종래기술에 의한 화상 독취 장치의 화상 처리부의 상세 구성도.
도 3은 본 발명에 따른 화상 독취 장치의 구성도.
도 4는 본 발명의 화상 독취 장치의 화상 처리부의 상세 구성도.
도 5는 본 발명에 따른 화상 독취 방법에서 화상 독취 장치의 제조공정시의 흐름도.
도 6은 본 발명에 따른 화상 독취 방법에서 화상 독취 장치 사용시의 흐름도.
<도면의 주요부분에 대한 부호의 설명>
100 : 중앙처리장치(CPU) 200 : 화상 처리부
220 : 아날로그/디지털(A/D) 컨버터 240 : 스캐너 컨트롤러
260 : 이미지 프로세서 300 : 스캐너 모듈
500 : 화상 메모리 600 : 시스템 메모리
610 : 제조공정시 획득된 쉐이딩 데이터를 저장하는 메모리
본 발명은 화상(image)을 독취(scanning)하는 장치 및 방법에 관한 것으로서, 더 상세하게는 화상 독취 장치의 화이트 레퍼런스(white reference) 또는 쉐이딩(shading) 레퍼런스가 가장 청결한 상태를 유지하는 화상 독취 장치의 제조 공정시 쉐이딩 데이터를 획득(shading acquistion) 하여 이때 얻은 쉐이딩 데이터를 실제 원고 스캐닝 시에 이용함으로써 쉐이딩 레퍼런스(또는 화이트 레퍼런스)에 붙은 오염 물질 등에 의한 화질 백선 등의 왜곡 현상을 제거하고, 이로써 화상 독취 장치의 성능을 향상시킬 수 있도록 한 화상 독취 장치 및 방법에 관한 것이다.
잘 알려져 있는 바와 같이, 스캐너와 같은 화상 독취 장치는 인쇄물, 사진, 사람의 손으로 작성한 메모 형태의 글자나 그림 등을 칼라 또는 흑백으로 스캐닝(scanning; 독취)하기 위한 가장 일반적인 수단으로써, 복합기, 문서 번역기, CAD(Computer Aided Design)용 컴퓨터, 팩시밀리, 문자 인식기, 디지털 복사기 등에 필수 구성 요소로 채용된다. 이와 같은 화상 독취 장치는 크게 시트 페드 시스템(sheet-fed system)과 플랫 베드 시스템(flat-bed system)으로 분류된다. 시트 페드 시스템은 일반적인 팩시밀리와 같이 낱장의 원고를 읽어 들이는 방식이다. 따라서, 시트 페드 시스템에서는 이미지센서는 고정되고 원고가 움직인다. 시트 페드 시스템에 ADF(Automatic Document Feeder) 장치를 추가하면 여러 장을 자동으로 스캐닝할 수 있다. 플랫 베드 시스템은 일반적인 복사기와 같이 낱장은 물론 북 스캔(book scan)이 가능하도록 구성된다. 따라서, 플랫 베드 시스템에서는 원고가 고정되고 이미지센서가 움직인다.
이러한 화상 독취 장치에서 CCD(Charge Coupled Device)나 CIS(Contact Image Sensor)와 같은 이미지센서는 스캐닝할 원고에서 반사되는 빛에 비례하여 광전 변환됨으로써, 본래의 이미지에 해당하는 픽셀 패턴을 생성한다. CCD를 이용하는 화상 독취 장치는 광원으로 통상 할로겐 램프나 형광등을 사용하는 반면, CIS를 이용하는 화상 독취 장치는 광원으로 통상 소형 발광 다이오드(LED: Light Emitting Diode)를 사용한다. 흑백 CIS는 녹색 발광 다이오드(GREEN LED) 한 종류만을 사용하여 원고의 흑백을 읽어 들이는 반면, 칼라 CIS는 적색 발광 다이오드(RED LED), 녹색 발광 다이오드(GREEN LED), 청색 발광 다이오드(BLUE LED)를 번갈아 조사하여 각 발광 다이오드에 대한 광량을 읽어 들여 이 세 값의 조합에 의해 원고의 컬러를 인식하게 된다.
이러한 소형 발광 다이오드는, 램프류의 광원은 물론 외부빛에 비해서도 그 광량이 현저히 적음으로, CIS가 외부의 빛에 노출되지 않도록 기구적으로 막아주는 것이 매우 중요하다. 이것은, 외부의 빛이 원고에서 반사된 빛과 섞이면 입사 광량이 커지고 이에 따라 원고의 컬러를 화이트(white)에 가까운 이미지로 스캐닝하기 때문이다. 시트 페드 시스템 방식의 화상 독취 장치는 외부의 빛에 노출되지 않는 구조이기 때문에 외부의 빛을 차단하기 쉬우나, 플랫 베드 시스템 방식의 화상 독취 장치는 스캐닝 커버가 열려 있으면 외부의 빛에 노출되는 구조이기 때문에 외부의 빛을 차단하는데 많은 주의가 필요하다.
한편, 원고에서 반사된 빛이 정확하게 이미지센서에 입사되지 않거나, 또는 광학계 조립 공차로 인해 편차가 발생하게 되면, 원고에서 반사된 빛의 양을 이미 지센서에서 정확하게 측정하지 못하게 되므로, 화상이 왜곡되는 현상이 발생되는데, 이러한 현상을 쉐이딩(shading) 현상이라 한다.
따라서, 화상 독취 장치는 실제 원고를 스캐닝할 때 안정된 레벨로 데이터를 읽을 수 있도록 실제 원고를 스캐닝하기 전에 쉐이딩 보정 작업을 수행한다.
쉐이딩 보정(shading correction) 이란, 예를 들어 부분적으로 밝기가 다르게 읽혀지는 쉐이딩 현상을 보상하기 위하여 실제 원고를 스캐닝하기 전에 화이트 패널(white panel) 및 화이트 롤러(roller), 화이트 바(bar), 화이트 시트(sheet) 등의 쉐이딩 레퍼런스(shading reference)에 대하여 더미(Dummy) 스캐닝을 수행하여 화이트 레벨을 조정하는 것이며, 이를 위하여 이미지센서의 홈 위치(Home Position)와 실제 스캐닝이 이루어지는 영역의 사이에 쉐이딩 레퍼런스가 포함된다.
도 1을 참조하여 쉐이딩 보정 과정에 대하여 보다 구체적으로 설명하면 다음과 같다. 도 1은 화상 독취 장치가 포함되는 복합기의 구성도이다. 상기 복합기는 프린터, 복사기, 스캐너 및 팩시밀리의 기능을 복합적으로 구비하는 장치이다.
도 1을 참조하면, 중앙처리장치(CPU; 1)는 복합기 시스템 전체를 컨트롤하는 부분으로 복합기 시스템을 구동하는 프로그램이 내장된 시스템 메모리(60)를 컨트롤한다. 또한, 중앙처리장치(10)는 통상 마이크로컴퓨터를 내장하는 조작패널부(40)와 UART(Universal Asynchronous Receiver Transmitter) 채널을 통하여 직렬 통신으로 키 입력(key input) 데이터 및 표시부(42)에 디스플레이할 수 있는 데이터를 교환한다. 상기 표시부(42)는 통상적으로 LCD로 이루어진다. 그리 고, 중앙처리장치(10)는 스캐너 모듈(30)을 통해 화상을 스캐닝하기 위한 화상 처리부(20)를 제어하며, 화상 처리부(20)에서 처리된 화상 데이터를 제어한다. 중앙처리장치(10)는 공중전화망(PSTN)을 통해 외부장치와의 화상 데이터 송수신을 위해 모뎀(90)을 제어하고, 컴퓨터(PC)와의 화상 데이터 송수신을 위해 USB(Universal Serial Bus; 72)를 제어한다. 프린터 드라이버(74)는 컴퓨터에서의 인쇄 또는 팩스 수신시의 인쇄를 위한 제어를 수행한다. 화상 처리부(20)는 스캐너 모듈(30)로부터 들어온 화상 데이터의 쉐이딩 보정 및 감마 보정(Gamma Correction), 축소/확대 변환(Conversion), 에지 강조(Edge Emphasis), 에러 분산(Error Diffusion) 등을 수행한다. 스캐너 모듈(30)은 원고의 화상 데이터를 스캐닝하는 부분이다. 스캐너 모듈(30)은 이미지센서 및 광원으로 사용하는 적,녹,청(R,G,B) 발광 다이오드(LED)와, 렌즈 등을 포함한다.
상기한 조작패널부(40)는 예를 들어 3x4 전화버튼 키와 여러 가지 옵션을 조작할 수 있도록 배열된 조작 판넬이다. LCD로 이루어지는 표시부(42)는 사용자에게 현재의 복합기 상태를 표시해 주는 역할을 한다. 화상 메모리(50)는 화상 처리부(20)에서 화상처리를 하기 위해 필요한 화상 데이터를 저장하는 메모리이다. 시스템 메모리(60)는 복합기 시스템 전체 프로그램이 내장된 플래시 메모리 및 기타 데이터의 처리를 위한 휘발성 메모리인 SDRAM 등을 포함한다. 프린터(80)는 프린터 드라이버(74)를 통해 전송되는 데이터를 인쇄한다.
한편, 상기 화상 처리부(20)는 도 2에 도시한 바와 같이 아날로그/디지털(A/D) 컨버터(22)와, 스캐너 컨트롤러(24) 및 이미지 프로세서(26) 를 포함한다. A/D 컨버터(22)는 스캐너 모듈(30)에서 받아들인 아날로그 화상 데이터를 디지털 화상 데이터로 변환한다. 스캐너 컨트롤러(24)는 이미지센서를 구동하기 위한 클럭 소스인 마스터 클럭, 시프트 레지스터 클럭, 전송 게이트 클럭 등을 발생하고, 데이터 전송을 위한 데이터 전송 모듈(24a)을 포함한다.
상기와 같이 구성된 복합기에서의 쉐이딩 보정 과정을 살펴보면 다음과 같다.
예를 들면, 스캐너 모듈(30)의 발광 다이오드에서 조사된 빛은 화이트 패널, 화이트 롤러, 화이트 바 및 화이트 시트 등의 쉐이딩 레퍼런스에서 반사되어 이미지센서에 입사되고, 상기 이미지센서는 입사된 빛의 양에 비례하는 수치의 전압을 발생시킨다. 상기 이미지센서에서 출력된 아날로그 형태의 화상 데이터는 화상 처리부(20)의 A/D 컨버터(22)에 의해 디지털 화상 데이터로 변환되는데, 이때 상기 쉐이딩 레퍼런스에 대한 디지털 화상 데이터, 즉 밝기 값은 일정한 레벨을 유지해야 한다.
그러나, 상기 쉐이딩 레퍼런스에서 반사된 빛이 상기 이미지센서에 정확하게 입사되지 못하면 이미지센서에서 출력되는 전압레벨이 감소되기 때문에, 화이트 레벨이 감소되어 화상이 왜곡되는 쉐이딩 현상이 발생한다. 이러한 쉐이딩 현상을 보정하는 종래기술의 일실시예에 따른 쉐이딩 보정 방법은 상기 쉐이딩 레퍼런스를 스캐닝하여 획득된 밝기 값이 소정 값으로 일정하게 유지되도록, 감소된 화이트 레벨에 대응하는 쉐이딩 보정 요소(shading correction factor)를 검출한다. 이와 같이 상기 쉐이딩 레퍼런스를 스캐닝하여 검출된 쉐이딩 보정 요소는, 실제 원고를 스캐닝한 스캐닝 데이터에 대하여 각 픽셀(화소) 위치별로 적용된다. 실제 원고를 스캐닝한 스캐닝 데이터에 감소된 화이트 레벨을 보정하는 쉐이딩 데이터를 가산함으로써, 왜곡된 화상이 보정된다.
상기한 종래기술에 따른 쉐이딩 보정 방법은 발광 다이오드에서 조사된 빛이 이미지센서에 정확하게 입사되지 못하거나 외부의 빛이 입사된 경우를 파악하여 실제로 원고 독취시 쉐이딩 값만큼 보상해주는 방법으로 어느 정도 효과를 달성하고 있다.
상기한 쉐이딩 보정 방법과 유사한 기술은 미국 특허 번호 제 6,421,146 호에 개시된다.
그러나, 상기한 종래기술은 원고 사용에 따른 지분(紙粉) 등의 유입 또는 외부로부터의 이물 유입 등으로 인해 쉐이딩 레퍼런스(Reference)에 오염 물질이 붙었을 때, 이를 적절하게 처리하지 못하는 문제점을 가지고 있었다. 즉, 화상 독취 장치는 일반적으로 원고의 사용에 따른 지분 등의 유입 혹은 외부로부터의 이물 유입에 의하여 상기 쉐이딩 레퍼런스에 오염 물질들이 붙을 수 있는 환경을 가지고 있다. 따라서, 상기 쉐이딩 레퍼런스에 오염 물질이 붙어 있는 상태에서, 화상을 스캐닝하기 전에 상기 쉐이딩 레퍼런스를 기준으로 화이트 쉐이딩을 취하게 되면 상기 오염 물질을 기준으로 쉐이딩 보정을 하기 때문에, 실제 원고를 스캐닝할 때 화질 백선 등의 화질의 열화 현상이 초래될 수 있었다.
상기와 같은 문제점은 외부에 개방(open)되어 있는 화이트 레퍼런스를 쉐이딩 레퍼런스로 사용하는 시트 페드 (sheet-fed) 시스템 방식의 화상 독취 장치에서 심각하다. 즉, 상기 화상 독취 장치는 매번 실제 원고의 화상을 스캐닝하기 전에, 쉐이딩 획득(acquisition)을 수행하는데, 이때 지분이나 외부 이물에 의하여 쉐이딩 레퍼런스가 오염되어 있으면, 상기 화상 독취 장치는 오염된 상태의 쉐이딩 레퍼러스를 스캐닝하고 이것을 기준으로 쉐이딩 보정을 수행하기 때문에 화질의 질 저하를 막을 수 없었다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 상기한 문제점들을 해결하기 위한 것으로서, 화상 독취 장치의 화이트 레퍼런스 또는 쉐이딩 레퍼런스가 가장 청결한 상태를 유지하는 화상 독취 장치의 제조 공정시 쉐이딩 데이터를 획득하여 이때 얻은 쉐이딩 데이터를 실제 원고 스캐닝 시에 이용함으로써 쉐이딩 레퍼런스(또는 화이트 레퍼런스)에 붙은 오염 물질 등에 의한 화질 백선 등의 왜곡 현상을 제거하고, 이로써 화상 독취 장치의 성능을 향상시킬 수 있도록 한 화상 독취 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위하여 본 발명에 따른 화상 독취 장치는, 화상을 독취하기 위한 화상 독취 장치에 있어서, 상기 화상 독취 장치의 제조공정시 획득된 쉐이딩 데이터(M_DATA)를 저장하는 메모리 수단; 및 상기 제조공정시 획득된 M_DATA와 상기 화상 독취 장치의 실제 사용시 획득한 쉐이딩 데이터(U_DATA)를 비교 참조하여 이를 통해 실제 원고의 스캐닝 화상을 처리하는 화상처리 수단을 포함하고, 상기 화상처리 수단은 상기 M_DATA와 U_DATA를 비교하여 미리 설정된 범위내에 있지 않은 U_DATA를 불합격(Fail) 픽셀로 처리하며; 상기 U_DATA의 평균값과 상기 M_DATA의 평균값을 구한 후 이들 평균값을 이용하여 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)를 구하는 것을 특징으로 한다.
바람직하게는, 상기 화상처리 수단은, 상기 M_DATA와 U_DATA를 비교하여 얻은 비교값이 소정의 설정된 임계값 범위 내에 있는지를 판단하여 상기 비교값이 상기 범위 내에 있지 않으면 상기 U_DATA에 대응하는 픽셀을 불합격(Fail) 픽셀로 처리하고; 상기 불합격 픽셀에 해당하는 픽셀 수(number)를 소정의 화상메모리 수단에 저장하고; 상기 불합격 픽셀을 제외한 각 픽셀들의 U_DATA들의 평균값을, 상기 불합격 픽셀들을 제외한 각 픽셀들의 M_DATA들의 평균값으로 나누어서 쉐이딩 평균 기준값(AVG)을 구하고; 상기 쉐이딩 평균 기준값을 상기 불합격 픽셀의 위치에 대응하는 상기 M_DATA에 곱하여 얻은 값을 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)로 정한다.
그리고, 본 발명에 따른 화상 독취 장치에 의해 구현되는 본 발명의 화상 독취 방법은, 상기 화상 독취 장치의 제조공정시 쉐이딩 데이터(M_DATA)를 획득하여 소정의 메모리 수단에 저장하는 단계; 및 상기 제조공정시 획득된 M_DATA와 상기 화상 독취 장치의 실제 사용시 획득한 쉐이딩 데이터(U_DATA)를 비교 참조하여 이를 통해 실제 원고의 스캐닝 화상을 처리하는 단계를 포함하고, 상기 M_DATA와 U_DATA를 비교하여 미리 설정된 범위내에 있지 않은 U_DATA를 불합격(Fail) 픽셀로 처리하며, 상기 U_DATA의 평균값과 상기 M_DATA의 평균값을 구한 후 이들 평균값을 이용하여 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)를 구하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 본 발명의 방법은, 상기 제조공정시의 M_DATA를 획득하기 전에 상기 화상 독취 장치의 이미지 센서 및 쉐이딩 레퍼런스를 세척하는 단계; 상기 M_DATA와 U_DATA를 비교하여 얻은 비교값이 소정의 설정된 임계값 범위 내에 있는지를 판단하는 단계; 상기 비교값이 상기 임계값 범위 내에 있지 않으면 상기 U_DATA에 대응하는 픽셀을 불합격(Fail) 픽셀로 처리하는 단계; 상기 불합격 픽셀 에 해당하는 픽셀 수(number)를 소정의 화상메모리 수단에 저장하는 단계; 상기 불합격 픽셀을 제외한 각 픽셀들의 U_DATA들의 평균값을, 상기 불합격 픽셀들을 제외한 각 픽셀들의 M_DATA들의 평균값으로 나누어서 쉐이딩 평균 기준값(AVG)을 구하는 단계; 상기 AVG를 상기 불합격 픽셀의 위치에 대응하는 상기 M_DATA에 곱하여 얻은 값을 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)로 정하는 단계; 상기 UC_DATA를 상기 화상메모리 수단에 저장하는 단계; 상기 UC_DATA와 U_DATA를 사용하여 실제 원고의 화상을 스캐닝하여 스캐닝 데이터를 획득하는 단계를 포함한다.
이하, 첨부한 도면을 참조하면서 본 발명에 따른 화상 독취 장치 및 방법의 바람직한 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
한편, 이하의 설명에 있어서, 종래기술에 따른 구성부재와 본 발명에 의한 구성부재가 동일한 경우에는 종래기술에서 사용하였던 도면 부호를 그대로 사용하고, 이에 대한 상세한 설명은 생략한다.
도 3은 본 발명에 따른 화상 독취 장치의 구성도이고, 도 4는 본 발명에 따른 화상 독취 장치의 화상 처리부의 상세 구성도, 도 5는 본 발명에 따른 화상 독 취 방법에서 화상 독취 장치의 제조공정시의 흐름도, 도 6은 본 발명에 따른 화상 독취 방법에서 화상 독취 장치의 사용시의 흐름도이다.
도 3을 참조하면, 본 발명의 화상 독취 장치는, 상기 화상 독취 장치의 제조공정시 획득된 쉐이딩 데이터(M_DATA)를 저장하는 메모리(510)와, 상기 제조공정시 획득된 쉐이딩 데이터(M_DATA)와 상기 화상 독취 장치의 실제 사용시 획득된 쉐이딩 데이터(U_DATA)를 비교 참조하여 이를 통해 실제 원고의 스캐닝 화상을 처리하는 화상 처리부(200)를 포함한다. 상기 M_DATA를 저장하는 메모리(510)는 도시한 바와 같이 화상 메모리(500)에 구비된다. 상기 M_DATA를 저장하는 메모리(510)는 바람직하게 비휘발성 메모리로 한다. 본 발명의 일실시예에서 상기 M_DATA를 저장하는 메모리(510)가 화상 메모리(500)에 구비되는 것으로 하였지만, 경우에 따라서 상기 메모리(510)는 시스템 메모리(600)에 구비될 수도 있고, 별도의 독립적인 메모리로도 될 수 있다.
화상 처리부(200)는 상기 M_DATA와 U_DATA를 비교하여 얻은 비교값이 소정의 설정된 임계값 범위 내에 있는지를 판단하여 상기 비교값이 상기 범위 내에 있지 않으면 상기 U_DATA에 대응하는 픽셀을 불합격(Fail) 픽셀로 처리한다. 여기서, 상기 비교값은 예를 들어 상기 U_DATA를 이 U_DATA에 대응하는 M_DATA로 나눈 값으로 정한다. 상기 설정된 임계값 범위는 예를 들어 0.2~1.2로 한다.
그리고 화상 처리부(200)는 상기 불합격 픽셀에 해당하는 픽셀 수(number)를 화상 메모리(500)에 저장하고; 상기 불합격 픽셀을 제외한 각 픽셀들의 U_DATA들의 평균값을, 상기 불합격 픽셀들을 제외한 각 픽셀들의 M_DATA들의 평균값으로 나누 어서 쉐이딩 평균 기준값(AVG)을 구하고; 상기 AVG를 상기 불합격 픽셀의 위치에 대응하는 상기 M_DATA에 곱하여 얻은 값(UC_DATA)을 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터로 정하는 작용을 한다.
상기와 같은 작용을 위해 화상 처리부(200)는 도 4에 도시한 바와 같이 아날로그/디지털(A/D) 컨버터(220)와, 스캐너 컨트롤러(240) 및 이미지 프로세서(260)를 포함한다. A/D 컨버터(220)는 스캐너 모듈(300)에서 받아들인 아날로그 화상 데이터를 디지털 화상 데이터로 변환한다. 스캐너 컨트롤러(240)는 이미지센서를 구동하기 위한 클럭 소스인 마스터 클럭, 시프트 레지스터 클럭, 전송 게이트 클럭 등을 발생하고, 데이터 전송을 위한 데이터 전송 모듈(240a)을 포함한다.
스캐너 모듈(300)의 이미지 센서 및 쉐이딩 레퍼런스는 화상 독취 장치의 제조 공정시 쉐이딩 데이터를 획득하기 위해 청결하게 세척되는 과정을 거친 것이다. 시스템 메모리(600)는 도 5 및 도 6을 참조하여 후술할 화상 독취 방법을 구현하는 프로그램을 내장한다. 중앙처리장치(CPU; 100)는 화상 처리부(200)와 시스템 메모리(600)를 제어한다.
도 3 및 도 4에 도시한 각 구성요소들은 대응되는 도 1 및 도 2에 도시한 구성요소들의 기능 모두를 수행한다. 그러나, 도 3 및 도 4에 도시한 구성요소들 중에서 일부 구성요소들(100, 200, 300, 500, 600)은 도 5 및 도 6에 도시한 기능을 별도로 더 수행한다.
상기와 같이 구성된 본 발명의 화상 독취 장치에 의해 구현되는 본 발명의 화상 독취 방법을 도 5 및 도 6을 참조하여 설명하면 다음과 같다.
도 5를 참조하면, 화상 독취 장치의 제조 공정(S10)에, 제조공정시의 쉐이딩 데이터(M_DATA)를 획득할 것인지를 판단하는 단계가 마련된다(S11)(S13). 상기 쉐이딩 데이터(M_DATA)의 획득 단계가 선택된 경우, 온전한 쉐이딩 데이터의 획득을 위해 이미지 센서 및 쉐이딩 레퍼런스를 청결하게 세척하는 단계가 마련된다(S15). 그 다음, 상기 제조공정 중에 있는 화상 독취 장치의 쉐이딩 데이터(M_DATA)를 획득하여 쉐이딩 데이터 메모리(510)에 저장하는 단계가 마련된다(S17)(S19). 즉, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 화상 독취 장치의 제조 공정시에 쉐이딩 레퍼런스(또는 화이트 레퍼런스)의 각 픽셀에 대한 M_DATA를 획득하여 이를 쉐이딩 데이터 메모리(510)에 저장한다. 상기 M_DATA에는 적,녹,청(R,G,B) 색상과 관련한 쉐이딩 데이터가 당연히 포함될 수 있고, 이들 데이터는 비 휘발성 메모리인 쉐이딩 데이터 메모리(510)에 저장된다.
상기 M_DATA를 획득하기 전에 수행되는 상기 이미지 센서 및 쉐이딩 레퍼런스의 세척은 화상 독취 장치의 제조 공정 라인에 있는 작업자에 의해 수행될 것이라는 것은 명백하다. 또한, 제조공정 중에 있는 화상 획득 장치를 조작하여 상기 M_DATA가 쉐이딩 데이터 메모리(510)에 저장되도록 하는 것도 작업자에 의해 수행될 것이라는 것도 명백하다.
그리고, 도 6을 참조하면, 상기 화상 독취 장치의 사용 과정(S100)에는, 사용자 모드인지를 확인하고(S112), 원고의 스캐닝 진입이 시작되었는가를 확인하는 단계가 포함된다(S114). 즉, 사용자가 원고의 화상을 스캐닝하기 위해 조작패널부(40)를 조작하면, 중앙처리장치(100)는 실제 원고의 화상을 스캐닝하기 전에 쉐이딩 레퍼런스를 스캐닝하여 쉐이딩 데이터(U_DATA)를 획득하도록 화상 처리부(200)를 제어한다(S116).
본 발명의 일실시예에서 상기 쉐이딩 레퍼런스를 스캐닝하여 얻는 픽셀 총수는 N개로 가정한다. 중앙처리장치(100)는 상기 쉐이딩 레퍼런스의 첫번째(n=1) 픽셀 위치의 쉐이딩 데이터(U_DATA_1)로부터 N번째 픽셀 위치의 쉐이딩 데이터(U_DATA_N)까지 총 N개의 쉐이딩 데이터(U_DATA)를 획득하도록 화상 처리부를 제어한다(S118, S124, S126).
상기와 같이 총 N개의 U_DATA를 획득하면서, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 각 U_DATA(즉, n번째 U_DATA)를 대응하는 M_DATA(즉, n번째 M_DATA)로 나누어서 그 나눈 값(DIV_DATA)이, 설정된 임계값 범위 내(예; 0.8~1.2)에 있는지를 판단한다(S120). S120 단계에서 판단결과, 상기 DIV_DATA가 예를 들어 0.8~1.2 범위 내에 있으면, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 해당하는 U_DATA가 획득된 픽셀 위치의 쉐이딩 레퍼런스 부분이 먼지 등으로 오염되지 않은 것으로 판단하고, 상기 해당하는 U_DATA를 정상 쉐이딩 데이터로서 화상 메모리(500)에 저장한다(S121).
그러나, 만일 상기 DIV_DATA가 설정된 임계값 범위 내에 있지 않으면, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 해당하는 U_DATA가 획득된 픽셀 위치의 쉐이딩 레퍼런스 부분이 먼지 등으로 오염되어 있는 것으로 판단한다. 그 다음 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 상기 해당하는 U_DATA를 불합격(FAIL) 처리, 즉 사용 불가 데이터로 처리하고, 해당하는 픽셀의 n 값을 화상 메모리(500)에 저장한다(S122).
화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 상기 S120 단계 내지 S126 단계를 1번째 픽셀부터 시작하여 N번째 픽셀까지 반복하여 수행한다. N번째 픽셀까지 상기 단계들을 수행한 후, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 불합격 픽셀에 대응한 n 값이 화상 메모리(500)에 저장되어 있는지를 확인한다(S128). S128 단계에서 상기 불합격 픽셀에 대응한 n 값이 화상 메모리(500)에 저장되어 있지 않으면, 중앙처리장치(100)는 화상 메모리(500)에 저장된 정상 U_DATA들을 사용하여 실제 원고의 화상을 스캐닝한다(S134). 만일 S128 단계에서 상기 불합격 픽셀에 대응한 n 값이 화상 메모리(500)에 저장되어 있으면, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 상기 불합격 픽셀을 제외한 각 픽셀들의 U_DATA들의 평균값과, 상기 불합격 픽셀들을 제외한 각 픽셀들의 M_DATA들의 평균값을 구한다. 그 다음, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 상기 U_DATA들의 평균값을 상기 M_DATA들의 평균값으로 나누어서 쉐이딩 평균 기준값(AVG)을 구한다(S130).
상기 AVG가 구해졌으면, 화상 처리부(200)는 중앙처리장치(100)의 제어에 따라 상기 불합격 픽셀의 위치에 대응하는 상기 M_DATA에 상기 AVG를 곱하여 새로운 쉐이딩 데이터(UC_DATA)를 구하고, 이 UC_DATA를 상기 불합격 픽셀의 새로운 쉐이딩 데이터로 한다(S132). 상기 UC_DATA를 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터로 사용하기 위해 이를 화상 메모리(500)에 저장한 후, 중앙처리장치(100)는 화상 메모리(500)에 저장된 정상 U_DATA 및 UC_DATA들을 사용하여 실제 원고의 화 상을 스캐닝한다(S134).
따라서, 본 발명은 쉐이딩 레퍼런스에 붙어 있는 오염 물질로 인한 화질 백선 등의 왜곡 현상을 제거할 수 있고, 이로써 화상 독취 장치의 성능을 향상시킬 수 있다.
상술한 바와 같이 본 발명에 따른 화상 독취 장치 및 방법은, 화상 독취 장치의 화이트 레퍼런스 또는 쉐이딩 레퍼런스가 가장 청결한 상태를 유지하는 화상 독취 장치의 제조 공정시 쉐이딩 획득을 하여 이때 얻은 쉐이딩 데이터를 실제 화상 스캐닝 시에 이용함으로써 쉐이딩 레퍼런스(또는 화이트 레퍼런스)에 붙은 이물질에 의한 화질 백선 등의 왜곡 현상을 제거하고, 이로써 화상 독취 장치의 성능을 향상시킬 수 있도록 하는 이점을 제공한다.
이상 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims (13)

  1. 화상을 독취하기 위한 화상 독취 장치에 있어서,
    상기 화상 독취 장치의 제조공정시 획득된 쉐이딩 데이터(M_DATA)를 저장하는 메모리 수단; 및
    상기 제조공정시 획득된 M_DATA와 상기 화상 독취 장치의 실제 사용시 획득한 쉐이딩 데이터(U_DATA)를 비교 참조하여 이를 통해 실제 원고의 스캐닝 화상을 처리하는 화상처리 수단을 포함하고,
    상기 화상처리 수단은, 상기 M_DATA와 U_DATA를 비교하여 미리 설정된 범위내에 있지 않은 U_DATA를 불합격(Fail) 픽셀로 처리하며; 상기 U_DATA의 평균값과 상기 M_DATA의 평균값을 구한 후 이들 평균값을 이용하여 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)를 구하는 것을 특징으로 하는 화상 독취 장치.
  2. 제1항에 있어서, 상기 화상처리 수단은,
    상기 M_DATA와 U_DATA를 비교하여 얻은 비교값이 소정의 설정된 임계값 범위 내에 있는지를 판단하여 상기 비교값이 상기 범위 내에 있지 않으면 상기 U_DATA에 대응하는 픽셀을 불합격(Fail) 픽셀로 처리하는 것을 특징으로 하는 화상 독취 장치.
  3. 제2항에 있어서, 상기 화상처리 수단은,
    상기 불합격 픽셀의 개수(number)를 소정의 화상메모리 수단에 저장하는 것을 특징으로 하는 화상 독취 장치.
  4. 제3항에 있어서, 상기 화상처리 수단은,
    상기 불합격 픽셀을 제외한 각 픽셀들의 U_DATA들의 평균값을, 상기 불합격 픽셀들을 제외한 각 픽셀들의 M_DATA들의 평균값으로 나누어서 쉐이딩 평균 기준값(AVG)을 구하고,
    상기 쉐이딩 평균 기준값을 상기 불합격 픽셀의 위치에 대응하는 상기 M_DATA에 곱하여 얻은 값을 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)로 하는 것을 특징으로 하는 화상 독취 장치.
  5. 제4항에 있어서, 상기 새로운 쉐이딩 데이터(UC_DATA)는 상기 화상메모리 수단에 저장되는 것을 특징으로 하는 화상 독취 장치.
  6. 제4항에 있어서, 상기 화상 독취 장치는 상기 UC_DATA와 U_DATA를 사용하여 실제 원고의 화상을 스캐닝하는 것을 특징으로 하는 화상 독취 장치.
  7. 화상을 독취하는 화상 독취 장치의 화상 독취 방법에 있어서,
    상기 화상 독취 장치의 제조공정시 쉐이딩 데이터(M_DATA)를 획득하여 소정의 메모리 수단에 저장하는 단계; 및
    상기 제조공정시 획득된 M_DATA와 상기 화상 독취 장치의 실제 사용시 획득한 쉐이딩 데이터(U_DATA)를 비교 참조하여 이를 통해 실제 원고의 스캐닝 화상을 처리하는 단계를 포함하고,
    상기 M_DATA와 U_DATA를 비교하여 미리 설정된 범위내에 있지 않은 U_DATA를 불합격(Fail) 픽셀로 처리하며, 상기 U_DATA의 평균값과 상기 M_DATA의 평균값을 구한 후 이들 평균값을 이용하여 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)를 구하는 단계를 포함하는 것을 특징으로 하는 화상 독취 방법.
  8. 제7항에 있어서
    상기 제조공정시의 M_DATA를 획득하기 전에 상기 화상 독취 장치의 이미지 센서 및 쉐이딩 레퍼런스를 세척하는 단계를 포함하는 것을 특징으로 하는 화상 독취 방법.
  9. 제7항에 있어서,
    상기 M_DATA와 U_DATA를 비교하여 얻은 비교값이 소정의 설정된 임계값 범위 내에 있는지를 판단하는 단계;
    상기 비교값이 상기 임계값 범위 내에 있지 않으면 상기 U_DATA에 대응하는 픽셀을 불합격(Fail) 픽셀로 처리하는 단계를 포함하는 것을 특징으로 하는 화상 독취 방법.
  10. 제9항에 있어서,
    상기 불합격 픽셀의 개수(number)를 소정의 화상메모리 수단에 저장하는 단계를 특징으로 하는 화상 독취 방법.
  11. 제9항에 있어서,
    상기 불합격 픽셀을 제외한 각 픽셀들의 U_DATA들의 평균값을, 상기 불합격 픽셀들을 제외한 각 픽셀들의 M_DATA들의 평균값으로 나누어서 쉐이딩 평균 기준값(AVG)을 구하는 단계;
    상기 AVG를 상기 불합격 픽셀의 위치에 대응하는 상기 M_DATA에 곱하여 얻은 값을 상기 불합격 픽셀에 대한 새로운 쉐이딩 데이터(UC_DATA)로 정하는 단계를 포함하는 것을 특징으로 하는 화상 독취 방법.
  12. 제11항에 있어서,
    상기 UC_DATA를 상기 화상메모리 수단에 저장하는 단계를 포함하는 것을 특징으로 하는 화상 독취 방법.
  13. 제11항에 있어서,
    상기 UC_DATA와 U_DATA를 사용하여 실제 원고의 화상을 스캐닝하여 스캐닝 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 화상 독취 방법.
KR1020030088780A 2003-12-08 2003-12-08 화상 독취 장치 및 방법 KR100750113B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020030088780A KR100750113B1 (ko) 2003-12-08 2003-12-08 화상 독취 장치 및 방법
US11/002,064 US7609419B2 (en) 2003-12-08 2004-12-03 Image scanning apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030088780A KR100750113B1 (ko) 2003-12-08 2003-12-08 화상 독취 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20050055554A KR20050055554A (ko) 2005-06-13
KR100750113B1 true KR100750113B1 (ko) 2007-08-21

Family

ID=34675711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030088780A KR100750113B1 (ko) 2003-12-08 2003-12-08 화상 독취 장치 및 방법

Country Status (2)

Country Link
US (1) US7609419B2 (ko)
KR (1) KR100750113B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464545B1 (ko) * 2003-04-15 2005-01-03 삼성전자주식회사 화상 스캐닝 장치 및 그의 쉐이딩 보정 방법
KR101129386B1 (ko) * 2005-06-20 2012-03-28 삼성전자주식회사 영상의 음영(shading)제거 방법 및 장치
CN102420929A (zh) * 2010-09-28 2012-04-18 山东新北洋信息技术股份有限公司 双面扫描装置及其检测方法
JP2022170155A (ja) * 2021-04-28 2022-11-10 ブラザー工業株式会社 検査装置およびプリンタ
CN114885070B (zh) * 2022-07-11 2022-09-16 北京高德品创科技有限公司 一种扫描起始位置的定位方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154597A (ja) * 1993-11-25 1995-06-16 Fuji Xerox Co Ltd 画像読み取り装置の画像データ調整方法
JPH07264400A (ja) * 1994-03-18 1995-10-13 Nec Corp シェーディング補正回路
KR960012550B1 (ko) * 1993-06-03 1996-09-20 엘지전자 주식회사 화상의 세이딩(Shading)보정 처리장치
KR19990086170A (ko) * 1998-05-26 1999-12-15 윤종용 화상 스캐닝 시스템의 쉐이딩 보정 장치 및 방법
US6295383B1 (en) 1998-10-13 2001-09-25 Contex A/S Intensity correction in an optical scanner
JP2002185730A (ja) 2000-12-18 2002-06-28 Canon Inc 画像読取装置及び白レベル補正方法
JP2002354247A (ja) 2001-05-29 2002-12-06 Nagano Japan Radio Co イメージセンサのシェーディング補正方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175062A (ja) * 1997-06-30 1999-03-16 Ricoh Co Ltd 画像読取装置
JPH1127523A (ja) 1997-07-07 1999-01-29 Fuji Photo Film Co Ltd 欠陥画素修正装置及び欠陥画素修正方法
JPH1141462A (ja) 1997-07-17 1999-02-12 Ricoh Co Ltd 画像読み取り方法
JP3907847B2 (ja) 1998-09-30 2007-04-18 株式会社リコー 画像処理装置
JP2001186342A (ja) 1999-12-24 2001-07-06 Canon Inc 画像形成装置及び画像形成方法
JP4194210B2 (ja) 2000-03-30 2008-12-10 キヤノン株式会社 画像読取装置、及び画像読取装置の制御方法
US6788438B2 (en) * 2000-04-27 2004-09-07 Kyocera Mita Corporation Image reading device and image forming apparatus comprising the same
KR100441538B1 (ko) * 2001-11-12 2004-07-23 삼성전자주식회사 화상 스캐닝 장치의 에러 판별방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960012550B1 (ko) * 1993-06-03 1996-09-20 엘지전자 주식회사 화상의 세이딩(Shading)보정 처리장치
JPH07154597A (ja) * 1993-11-25 1995-06-16 Fuji Xerox Co Ltd 画像読み取り装置の画像データ調整方法
JPH07264400A (ja) * 1994-03-18 1995-10-13 Nec Corp シェーディング補正回路
KR19990086170A (ko) * 1998-05-26 1999-12-15 윤종용 화상 스캐닝 시스템의 쉐이딩 보정 장치 및 방법
US6295383B1 (en) 1998-10-13 2001-09-25 Contex A/S Intensity correction in an optical scanner
JP2002185730A (ja) 2000-12-18 2002-06-28 Canon Inc 画像読取装置及び白レベル補正方法
JP2002354247A (ja) 2001-05-29 2002-12-06 Nagano Japan Radio Co イメージセンサのシェーディング補正方法

Also Published As

Publication number Publication date
KR20050055554A (ko) 2005-06-13
US20050134923A1 (en) 2005-06-23
US7609419B2 (en) 2009-10-27

Similar Documents

Publication Publication Date Title
JP3147278B2 (ja) 原稿検知方法及び装置
JP2006033797A (ja) 画像処理装置及び画像処理方法
US8638477B2 (en) Image processing apparatus, control method of image processing apparatus and program
JP2005065276A (ja) 環境光に起因する照明ノイズを自動的に補正するシステムおよび方法
US8508803B2 (en) Image reading apparatus and image reading method including a dividing unit that divides image data into vertical-streak-correction subject data
US7564599B2 (en) Image scanning apparatus, image forming apparatus and image scanning method
KR100750113B1 (ko) 화상 독취 장치 및 방법
US9503605B2 (en) Image reader, and method and computer-readable medium therefor
JP5481435B2 (ja) 画像読取装置及び画像形成装置
US20210234970A1 (en) Image processing circuit board, reading device, image forming apparatus, image processing method and image processing device
JP2014045415A (ja) 画像処理装置、画像形成装置および画像処理方法
KR100265885B1 (ko) 스캐너에서 쉐이딩 왜곡을 보정하는 방법
EP2575345B1 (en) Image reading apparatus and document reading method
EP2141904B1 (en) Image reading device, image forming apparatus, and image reading method
JP2007166516A (ja) マルチファンクションシステムの操作表示
JP5298968B2 (ja) Ledアレイの配置決定方法及びledアレイ
JP5216691B2 (ja) 画像読取装置及び画像形成装置
KR100640059B1 (ko) 화상형성장치 및 그의 스캔 농도 제어 방법
JP2006080941A (ja) 画像読み取り装置
KR100200962B1 (ko) 팩시밀리의 쉐이딩 보정방법
JP2010220076A (ja) 画像読み取り装置、画像形成装置、シェーディング補正方法、及びシェーディング補正制御プログラム
US20190327377A1 (en) Image scanning apparatus and method for scanning thereof
JP2005295359A (ja) 画像読取装置
JP2015046772A (ja) 画像読取装置及びシェーディング補正データ生成方法
JP2006262304A (ja) 原稿読み取り装置、及び原稿読み取り方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee