KR20110067421A - 화상처리장치 및 방법 - Google Patents

화상처리장치 및 방법 Download PDF

Info

Publication number
KR20110067421A
KR20110067421A KR1020090124008A KR20090124008A KR20110067421A KR 20110067421 A KR20110067421 A KR 20110067421A KR 1020090124008 A KR1020090124008 A KR 1020090124008A KR 20090124008 A KR20090124008 A KR 20090124008A KR 20110067421 A KR20110067421 A KR 20110067421A
Authority
KR
South Korea
Prior art keywords
image
pixel
skew
scan
scanned
Prior art date
Application number
KR1020090124008A
Other languages
English (en)
Other versions
KR101621848B1 (ko
Inventor
이경연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090124008A priority Critical patent/KR101621848B1/ko
Priority to US12/801,781 priority patent/US8577174B2/en
Priority to EP10189780.9A priority patent/EP2352275B1/en
Publication of KR20110067421A publication Critical patent/KR20110067421A/ko
Application granted granted Critical
Publication of KR101621848B1 publication Critical patent/KR101621848B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • H04N1/3878Skew detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024Details of scanning heads ; Means for illuminating the original
    • H04N1/028Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • G06T3/608Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 화상형성장치는 원고를 스캔하여 스캔 이미지를 생성하는 스캐닝부, 스캔 이미지의 스큐 발생 여부를 판단하는 제 1 판단부, 판단 결과에 따라 스큐의 종류를 판단하는 제 2 판단부 및 스큐의 종류에 따라 스캔 이미지에 서로 다른 보정 처리를 수행하는 이미지 보정 처리부를 포함한다.

Description

화상처리장치 및 방법{Image processing apparatus and method}
본 발명은 화상처리장치 및 방법에 관한 것이다.
화상처리장치는 이미지 센서를 이용하여 원고에 포함된 화상을 디지털화시킨 스캔 이미지를 생성한다. 스캔 이미지를 생성하는 과정에서 다양한 원인으로 인해 스캔 이미지가 틀어지거나 왜곡되는 현상이 발생할 수 있다. 이러한 현상은 원고의 상변, 좌변, 상변 및 좌변에서 모두 발생할 수 있다. 따라서, 스캔 이미지가 왜곡되는 형태에 따라 왜곡된 이미지를 정확히 보정할 수 있는 방법이 요구된다.
본 발명이 이루고자 하는 기술적 과제는 화상처리장치 및 방법을 제공하는데 있다.
상기 기술적 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 화상처리장치는 원고를 스캔하여 스캔 이미지를 생성하는 스캐닝부; 상기 스캔 이미지의 스큐 발생 여부를 판단하는 제 1 판단부; 상기 판단 결과에 따라 상기 스큐의 종류를 판단하는 제 2 판단부; 및 상기 스큐의 종류에 따라 상기 스캔 이미지에 서로 다른 보정 처리를 수행하는 이미지 보정 처리부를 포함한다.
상기 다른 기술적 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 화상처리방법은 상기 스캔 이미지의 스큐 발생 여부를 판단하는 단계; 상기 판단 결과에 따라 상기 스큐의 종류를 판단하는 단계; 및 상기 스큐의 종류에 따라 상기 스캔 이미지에 서로 다른 보정을 수행하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 일 실시예에 따른 화상처리방법을 컴퓨터에서 실행시키기위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명의 일 실시예에 따른 화상처리장치는 원고를 스캔하여 스캔 이미지를 생성하는 스캐닝부, 스캔 이미지의 스큐 발생 여부를 판단하는 제 1 판단부, 판단 결과에 따라 스큐의 종류를 판단하는 제 2 판단부 및 스큐의 종류에 따라 스캔 이미지에 서로 다른 보정 처리를 수행하는 이미지 보정 처리부를 포함함으로써, 스캔 시 스큐가 발생한 이미지에 대해 정확한 스큐 보정을 수행할 수 있다.
이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 화상처리장치를 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따르는 화상처리장치(100)는 스캐닝부(110), 저장부(120), 제 1 판단부(130), 제 2 판단부(140) 및 이미지 보정 처리부(150)를 포함한다.
스캐닝부(110)는 원고가 놓여진 플랫베드의 하부에 위치한 광원에서 광을 원고로 투사하면, 원고로부터 반사되는 광을 수광한 후, 수광된 광을 전기적 신호로 변환하여 스캔 이미지를 생성한다. 이 때, 스캐닝부(110)는 원고의 상변 및 좌변을 모두 포함되는 위치부터 스캔하여 스캔 이미지를 생성한다. 본 발명의 일 실시예에 따른 스캐닝부(110)로는 고체촬상소자(Charge coupled Device, CCD), 이미지결합센서(Contact Image Sensor, CIS)와 같은 이미지 센서를 사용할 수 있다.
저장부(120)는 스캐닝부(110)에서 생성한 스캔 이미지를 저장한다.
제 1 판단부(130)는 스캔 이미지에서 스큐가 발생되었는지를 판단한다. 여기서, 스큐(Skew)란 스캔 이미지가 왜곡되거나 틀어지는 현상을 의미한다. 본 발명의 일 실시예에 따르는 제 1 판단부(130)는 검출부(132) 및 제 1 연산부(134)를 포함 한다. 본 발명의 일 실시예에 따르는 검출부(132)는 스캔 이미지의 상변 또는 좌변을 검출하고, 연산부(134)는 검출된 상변 또는 좌변의 스큐 각도를 연산하여 스캔 이미지에서 스큐가 발생되었는지를 판단한다. 본 발명의 일 실시예에 따라는 제 1 판단부(130)의 검출부(132)는 스캔 이미지의 상변 또는 좌변을 검출하나, 반드시 이에 한정되지는 않는다. 스캔 이미지의 상변은 하변과 대응되고, 좌변은 우변에 대응되므로, 검출부(132)는 하변 또는 우변을 검출할 수도 있다.
검출부(132)는 스캔 이미지의 각 열마다 인접한 행들의 화소 차이가 특정 문턱 값 이상인 행들의 좌표를 검출하고, 검출된 행들의 좌표에 대해 선형 회귀(linear regression) 분석을 수행하여, 상변을 검출한다. 본 발명의 일 실시예에서 스캔 이미지의 행은 x좌표, 열은 y좌표로 나타낼 수 있다. 따라서, 스캔 이미지의 각 화소의 위치는 (x, y)로 표현할 수 있다. 또한, 특정 문턱 값은 미리 설정된 값으로서, 변경될 수 있다.
도 2는 본 발명의 일 실시예에 따라 스캔 이미지의 상변의 검출을 설명하기 위한 도면이다. 도 2에 도시된 바에 따르면, 검출부(132)는 스캔 이미지의 "0"열에서 상변을 검출하기 위한 행의 좌표를 검출하고, "1"열, "2"열에서 순차적으로 상변을 검출하기 위한 행의 좌표를 검출한다. 예를 들면, 미리 설정된 특정 문턱 값이 100이고, (0, 0)(A)의 화소가 150이고, (1, 0)(B)의 화소가 40이라고 하면, (0, 0)(A)과 (1, 0)(B) 사이의 화소 차이는 110이므로, 특정 문턱 값인 100 이상이 된다. 따라서, (1, 0)(B)을 상변의 검출을 위한 좌표로 검출한다. 또한, (1, 1)(C)의 화소가 152이고, (2, 1)(D)의 화소가 32이라고 하면, (1, 1)(C)과 (2, 1)(D) 사이 의 화소 차이는 120이므로, 특정 문턱 값인 100 이상이 된다. 따라서, (2, 1)(D)을 상변의 검출을 위한 좌표로 검출한다. 이와 같은 방식으로 각 열마다 행의 좌표 값을 검출할 수 있다. 검출된 좌표에 대해 선형 회귀분석을 수행하면, 하나의 선분(L)을 검출할 수 있다. 검출된 선분(L)을 스캔 이미지의 상변으로 검출한다. 또한, 검출부(132)는 스캔 이미지의 각 행마다 인접한 열의 화소 차이가 특정 문턱 값 이상인 행들의 좌표를 검출하고, 검출된 열들의 좌표에 대해 선형 회귀(linear regression) 분석을 수행하여, 스캔 이미지의 좌변을 검출한다.
제 1 연산부(134)는 검출한 상변 또는 좌변의 스큐 각도를 연산한다. 본 발명의 일 실시예에 따른 제 1 연산부(134)는 검출한 상변 또는 좌변의 양 끝점을 이용하여 스큐 각도를 연산한다. 여기서 스큐 각도는 스캔 이미지의 상변이 스캐닝부의 주주사 방향과 이루는 각도 또는 스캔 이미지의 좌변이 스캐닝부의 부주사 방향과 이루는 각도를 의미한다.
도 3은 본 발명의 일 실시예에 따라 스캔 이미지의 상변의 스큐 각도의 연산을 설명하기 위한 도면이다. 도 3에 도시된 바와 같이, 검출한 스캔 이미지에서 상변의 좌측 끝 점의 좌표 값이 (0, 0)이고, 우측 끝 점의 좌표 값이 (a, b)이면, 상변과 스캐닝부의 주주사 방향이 이루는 스큐 각도는 arctan(a/b)가 된다. 따라서, 스캔 이미지의 상변의 스큐 각도를 연산할 수 있다. 또한, 제 1 연산부(134)는 스캔 이미지의 좌변의 양 끝점의 좌표 값을 이용하여 좌변의 스큐 각도를 연산한다. 제 1 연산부(134)는 연산한 스캔 이미지의 상변 또는 좌변의 스큐 각도가 "0"이 아니면, 스캔 이미지에서 스큐가 발생한 것으로 판단한다.
제 2 판단부(140)는 제 1 판단부(130)의 제 1 연산부(134)에서 연산한 스큐 각도를 기초로 스큐의 종류를 판단한다. 제 2 판단부(140)는 스캔 이미지의 어느 변에서 스큐 각도가 발생하였는지에 따라 스큐의 종류를 판단한다. 본 발명의 일 실시예에서는 스캔 이미지의 상변에서만 스큐 각도가 발생하면 제 1 스큐로 판단하고, 스캔 이미지의 좌변에서만 스큐 각도가 발생하면 제 2 스큐로 판단하고, 스캔 이미지의 상변과 좌변에서 스큐 각도가 발생하면 제 3 스큐로 판단한다. 본 발명의 일 실시예에서는 스캔 이미지의 상변 또는 좌변의 스큐 각도 발생 여부로 스큐의 종류를 판단하였으나, 스캔 이미지의 상변은 하변과 대응되고, 좌변은 우변에 대응되므로, 스캔 이미지의 하변 또는 우변의 스큐 각도 발생 여부로 스큐 종류를 판단할 수도 있다. 이 때, 제 1 스큐는 스캐닝부가 장치에 정확히 고정되지 않은 경우에 발생할 수 있고, 제 2 스큐는 원고에 투사되는 광의 경로에 존재하는 미러의 부정확한 위치로 인해 발생할 수 있고, 제 3 스큐는 원고가 부정확한 위치에 놓인 경우에 발생할 수 있다.
이미지 보정 처리부(150)는 제 2 판단부(140)에서 판단한 스큐 종류에 따라 다른 보정 처리를 수행한다. 본 발명의 일 실시예에 따른 이미지 보정 처리부(150)는 제 2 연산부(152) 및 화소 변환부(154)를 포함한다.
본 발명의 일 실시예에 따른 제 2 연산부(152)는 보정된 스캔 이미지(이하, "타깃 이미지"이라고 한다)의 각 화소의 좌표 값을 설정하고, 타깃 이미지의 각 좌표에 해당하는 스캔 이미지(이하, "소스 이미지"라고 한다)의 각 화소의 좌표 값을 구하고, 소스 이미지의 화소 값들로부터 타깃 이미지의 각 화소 값을 연산한다. 이 하, 스큐 종류에 따른 제 2 연산부(152) 및 화소 변환부(154)의 동작을 살펴본다.
도 4는 본 발명의 일 실시예에 따라 제 1 스큐가 발생한 소스 이미지, 타깃 이미지 및 소스 이미지에서 타깃 이미지로의 변환을 나타낸 도면이다. 도 4에 도시된 바와 같이, 소스 이미지는 상변과 하변이 동일한 각도로 왜곡된 형태를 가지며, 타깃 이미지와 대응되는 소스 이미지의 화소는 타깃 이미지의 화소에 비해 x 좌표 값이 상이하다. 따라서, 도 4에 도시된 바와 같이, 타깃 이미지의 화소와 대응되는 소스 이미지의 화소의 화소 값을 통해 타깃 이미지의 화소 값을 연산하여 소스 이미지를 타깃 이미지로 변환할 수 있다.
도 5는 본 발명의 일 실시예에 따라 제 1 스큐가 발생한 스캔 이미지의 보정 과정을 설명하기 위한 도면이다. 이하, 도 5를 참조하여, 제 1 스큐가 발생한 경우, 제 2 연산부(152)가 동작하는 과정을 살펴보면 다음과 같다.
제 2 연산부(152)는 스큐 각도가 "0"인 스캐닝부의 주주사 방향의 화소의 좌표 값을 타깃 이미지의 각 화소의 좌표 값으로 설정한다. 연산된 타깃 이미지의 각 화소의 좌표 값은 (x', y')라고 한다. 소스 이미지는 타깃 이미지와 스큐 각도만큼 기울어져 있으므로, 제 2 연산부(152)는 이러한 기울기를 이용하여 소스 이미지의 각 화소의 좌표 값을 연산한다. 이 때, 연산된 소스 이미지의 각 화소의 좌표 값은 (x", y')라고 한다. 제 1 스큐가 발생한 경우, 스캔 이미지의 상변이 기울어져 있으므로, 타깃 이미지와 소스 이미지는 대응되는 화소의 x값만 상이하다. 또한, 제 2 연산부(152)는 소스 이미지의 각 화소가 포함된 2개의 정수 좌표의 화소 값을 이용하여 소스 이미지의 각 화소 값을 연산한다. 도 5에 도시된 바와 같이, 소스 이 미지의 각 화소의 좌표인 (x", y')는 정수 좌표의 제 1 화소인 (x1, y')와 정수 좌표의 제 2 화소인 (x2, y')에 포함되어 있다. 따라서, 제 2 연산부(152)는 (x1, y') 및 (x2, y')의 화소 값을 이용하여 (x", y')의 화소 값을 연산한다. 이 때, 연산된 화소 값은 정수가 아닌 소수가 될 수 있다. 제 2 연산부(152)는 x"가 x1 및 x2에 포함되어 있는 비율을 이용하여 x"의 화소 값을 연산할 수 있다. 예를 들면, x"가 x1와 x2에 1:2의 비율로 포함되어 있고, x1의 화소 값이 150, x2의 화소 값이 180이면, x"의 화소 값은 150*1/3 + 180*2/3 = 170이 된다.
도 6은 본 발명의 일 실시예에 따라 제 2 스큐가 발생한 소스 이미지, 타깃 이미지 및 소스 이미지에서 타깃 이미지로의 변환을 나타낸 도면이다. 도 6에 도시된 바와 같이, 소스 이미지는 좌변과 우변이 동일한 각도로 왜곡된 형태를 가지며, 타깃 이미지와 대응되는 소스 이미지의 화소는 타깃 이미지의 화소에 비해 y 좌표 값이 상이하다. 따라서, 도 6에 도시된 바와 같이, 소스 이미지의 화소와 대응되는 타깃 이미지의 화소의 화소 값을 소스 이미지의 화소 값으로 변환하여 소스 이미지를 타깃 이미지로 변환할 수 있다.
도 7은 본 발명의 일 실시예에 따라 제 2 스큐가 발생한 스캔 이미지의 보정 과정을 설명하기 위한 도면이다. 이하, 도 7을 참조하여, 제 2 스큐가 발생한 경우, 좌표 연산부가 동작하는 과정을 살펴보면 다음과 같다.
제 2 연산부(152)는 스큐 각도가 "0"인 스캐닝부의 부주사 방향의 화소의 좌표 값을 타깃 이미지의 각 화소의 좌표 값으로 설정한다. 연산된 타깃 이미지의 좌표 값은 (x', y')라고 한다. 소스 이미지는 타깃 이미지와 스큐 각도만큼 기울어져 있으므로, 제 2 연산부(152)는 이러한 기울기를 이용하여 소스 이미지의 각 화소의 좌표 값을 연산한다. 이 때, 연산된 소스 이미지의 각 화소의 좌표 값은 (x', y")라고 한다. 제 2 스큐가 발생한 경우, 스캔 이미지의 좌변이 기울어져 있으므로, 타킷 이미지와 소스 이미지는 대응되는 화소의 y값만 상이하다. 또한, 제 2 연산부(152)는 소스 이미지의 각 화소가 포함된 2개의 정수 좌표의 화소 값을 이용하여 소스 이미지의 각 화소 값을 연산한다. 도 7에 도시된 바와 같이, 소스 이미지의 각 화소의 좌표인 (x', y")는 정수 좌표의 제 1 화소인 (x', y1)와 정수 좌표의 제 2 화소인 (x', y2)에 포함되어 있다. 따라서, 연산부는 (x', y1) 및 (x', y2)의 화소 값을 이용하여 (x', y")의 화소 값을 연산한다. 이 때, 연산된 화소 값은 정수가 아닌 소수가 될 수 있다. 제 2 연산부(152)는 y"가 y1 및 y2에 포함되어 있는 비율을 이용하여 y"의 화소 값을 연산할 수 있다.
도 8은 본 발명의 일 실시예에 따라 제 3 스큐가 발생한 소스 이미지, 타깃 이미지 및 소스 이미지에서 타깃 이미지로의 변환을 나타낸 도면이다. 도 8에 도시된 바와 같이, 소스 이미지는 상변, 하변, 좌변 및 우변이 동일한 각도로 왜곡된 형태를 가지며, 타깃 이미지와 대응되는 소스 이미지의 화소는 타깃 이미지의 화소에 비해 (x, y) 좌표 값이 상이하다. 따라서, 도 8에 도시된 바와 같이, 소스 이미지의 화소와 대응되는 타깃 이미지의 화소의 화소 값을 소스 이미지의 화소 값으로 변환하여 소스 이미지를 타깃 이미지로 변환할 수 있다.
도 9는 본 발명의 일 실시예에 따라 제 3 스큐가 존재하는 스캔 이미지를 보정하는 과정을 설명하기 위한 도면이다. 도 9를 참조하여, 제 3 스큐가 발생한 경 우, 좌표 연산부가 동작하는 과정을 살펴보면 다음과 같다.
제 2 연산부(152)는 타깃 이미지의 좌표 값을 (x', y')으로 설정하고, 설정된 타깃 이미지의 좌표 값을 이용하여 소스의 좌표 값인 (x", y")을 연산한다. 소스 이미지의 좌표 값은 타킷 이미지를 스큐 각도인 θ만큼을 회전한 위치에 대응하므로, 소스 이미지의 좌표 값인 (x", y")는 (x'*cos(θ)+y'sin(θ), -x'* sin(θ)+y'*cos(θ))가 된다. 또한, 제 2 연산부(152)는 소스 이미지의 각 화소가 포함된 4개의 정수 좌표의 화소 값을 이용하여 소스 이미지의 각 화소 값을 연산한다. 도 9에 도시된 바와 같이, 소스 이미지의 각 화소의 좌표인 (x", y")는 정수 좌표의 제 1 화소인 (x1, y1), 제 2화소인 (x1, y2), 제 3 화소인 (x2, y1) 및 제 4 화소인 (x2, y2)에 포함되어 있다. 따라서, 제 2 연산부(152)는 (x1, y1), (x1, y2), (x2, y1) 및 (x2, y2)의 화소 값을 이용하여 (x", y")의 화소 값을 연산한다. 제 2 연산부(152)는 소스 이미지의 각 화소가 제 1 화소, 제 2 화소, 제 3 화소 및 제 4 화소에 포함되어 있는 비율과 제 1 화소 값, 제 2 화소 값, 제 3 화소 값 및 제 4 화소 값을 이용하여 소스 이미지의 화소 값을 연산한다.
화소 변환부(154)는 타킷 이미지의 화소 값을 타킷 이미지의 각 화소와 대응되는 소스 이미지의 각 화소의 화소 값으로 변환한다. 이 때, 소스 이미지의 각 화소 값은 제 2 연산부(152)를 통해 연산된 화소 값을 이용한다. 화소 변환부(154)는 이와 같은 과정을 통해, 제 1 스큐, 제 2 스큐 및 제 3스큐가 발생된 스캔 이미지를 보정할 수 있다. 이와 같이, 본 발명의 일 실시예에 따르면, 스캔 이미지에 다양한 스큐가 발생하더라도, 스큐의 종류에 따라 다른 보정을 수행하므로, 스큐가 발생된 스캔 이미지의 보정에 따르는 스큐의 발생을 방지할 수 있다.
본 발명의 일 실시예에서는 화상처리장치(100)의 구성을 나타내었으나, 화상처리장치(100)에 의해 보정된 이미지를 출력하는 출력부(미도시)를 더 포함하면, 본 발명의 일 실시예에 따르는 화상형성장치를 구현할 수 있다.
도 10은 본 발명의 일 실시예에 따른 화상처리방법을 나타낸 흐름도이다.
제 1000 단계에서는 원고를 스캔하여 스캔 이미지를 생성한다. 원고의 상변 및 좌변을 모두 포함하는 위치부터 스캔하여 스캔 이미지를 생성한다.
제 1100 단계에서 스캔 이미지의 스큐 발생 여부를 판단한다. 본 발명의 일 실시예에서는 스캔 이미지의 상변 또는 좌변을 검출하고, 검출된 상변 또는 좌변의 스큐 각도를 연산한 후, 연산된 스큐 각도가 0이 아니면, 스캔 이미지에 스큐가 발생한 것으로 판단한다. 스캔 이미지의 상변은 스캔 이미지의 각 열마다 인접한 행들의 화소 차이가 특정 문턱 값 이상인 행들의 좌표를 검출하고, 검출된 행들의 좌표에 대해 선형 회귀 분석을 수행하여 상변을 검출한다. 반면, 스캔 이미지의 좌변은 스캔 이미지의 각 행마다 인접한 열들의 화소 차이가 특정 문턱 값 이상인 열들의 좌표를 검출하고, 검출된 열들의 좌표에 대해 선형 회귀 분석을 수행하여 좌변을 검출한다. 스큐 각도는 도 3에 기재된 바에 따라 연산할 수 있다. 스캔 이미지에 스큐가 발생하면 제 1200 단계를 수행하고, 스캔 이미지에 스큐가 발생하지 않으면 절차를 종료한다.
제 1200 단계에서 스큐의 종류를 판단한다. 스캔 이미지의 상변에서 스큐 각도가 발생하면 제 1 스큐로 판단하고, 스캔 이미지의 좌변에서 스큐 각도가 발생하 면 제 2 스큐로 판단하고, 스캔 이미지의 상변 및 하변에서 스큐 각도가 발생하면 제 3 스큐로 판단한다.
제 1300 단계에서 스큐의 종류에 따라 스캔 이미지에 서로 다른 보정 처리를 한다. 스캔 이미지에서 발생한 스큐가 제 1 스큐이면, 스캔 이미지의 상변이 스캐닝부의 주주사 방향에 평행하는 제 1 이미지의 각 화소의 좌표 값을 설정하고, 제 1 이미지의 각 화소에 대응하는 스캔 이미지의 각 화소의 좌표 값을 연산하고, 스캔 이미지의 각 화소의 화소 값을 연산한 후, 제 1 이미지의 화소 값을 제 1 이미지의 각 화소와 대응되는 스캔 이미지의 각 화소의 화소 값으로 변환하여 스캔 이미지를 보정한다. 보다 구체적인 과정은 도 4 및 5와 도 4 및 5에 대한 설명을 통해서 알 수 있다. 스캔 이미지에서 발생한 스큐가 제 2 스큐이면, 스캔 이미지의 좌변이 스캐닝부의 부주사 방향에 평행하는 제 2 이미지의 각 화소의 좌표 값을 설정하고, 제 2 이미지의 각 화소에 대응하는 스캔 이미지의 각 화소의 좌표 값을 연산하고, 스캔 이미지의 각 화소의 화소 값을 연산한 후, 제 2 이미지의 화소 값을 상기 제 2 이미지의 각 화소와 대응되는 스캔 이미지의 각 화소의 화소 값으로 변환하여, 스캔 이미지를 보정한다. 보다 구체적인 과정은 도 6 및 7과 도 6 및 7에 대한 설명을 통해서 알 수 있다. 스캔 이미지에서 발생한 스큐가 제 3 스큐이면, 스캔 이미지가 보정된 제 3 이미지의 좌표 값을 설정하고, 제 3 이미지의 각 화소에 대응하는 상기 스캔 이미지의 각 화소의 좌표 값을 연산하고, 스캔 이미지의 각 화소의 화소 값을 연산한 후, 3 이미지의 화소 값을 제 3 이미지의 각 화소와 대응되는 스캔 이미지의 각 화소의 화소 값으로 변환하여 스캔 이미지를 보정한다. 보 다 구체적인 과정은 도 8 및 9와 도 8 및 9에 대한 설명을 통해서 알 수 있다.
본 발명의 일 실시예에서는 화상처리방법의 구성을 나타내었으나, 제 1400 단계에 의해 보정된 이미지를 출력하는 단계를 더 포함하면, 본 발명의 일 실시예에 따르는 화상형성방법을 구현할 수 있다.
컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 구동시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따르는 화상처리장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따라 스캔 이미지의 상변의 검출을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따라 스캔 이미지의 상변의 스큐 각도의 연산을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 제 1 스큐가 발생한 소스 이미지, 타깃 이미지 및 소스 이미지에서 타깃 이미지로의 변환을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 제 1 스큐가 발생한 스캔 이미지의 보정 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 제 2 스큐가 발생한 소스 이미지, 타깃 이미지 및 소스 이미지에서 타깃 이미지로의 변환을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 제 2 스큐가 발생한 스캔 이미지의 보정 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 제 3 스큐가 발생한 소스 이미지, 타깃 이미지 및 소스 이미지에서 타깃 이미지로의 변환을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 제 3 스큐가 존재하는 스캔 이미지를 보정하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 화상처리방법을 나타낸 흐름도이다.

Claims (21)

  1. 원고를 스캔하여 스캔 이미지를 생성하는 스캐닝부
    상기 스캔 이미지의 스큐 발생 여부를 판단하는 제 1 판단부
    상기 판단 결과에 따라 상기 스큐의 종류를 판단하는 제 2 판단부 및
    상기 스큐의 종류에 따라 상기 스캔 이미지에 서로 다른 보정 처리를 수행하는 이미지 보정 처리부를 포함하는 화상처리장치.
  2. 제 1 항에 있어서, 상기 스캐닝부는
    상기 원고의 상변 및 좌변을 모두 포함되는 위치부터 스캔하여 상기 스캔 이미지를 생성하는 화상처리장치.
  3. 제 1 항에 있어서, 상기 제 1 판단부는
    상기 스캔 이미지의 상/하변 중 어느 한 변 또는 좌/우변 중 어느 한 변을 검출하는 검출부 및
    상기 검출된 변의 스큐 각도를 연산하고, 상기 연산된 스큐 각도가0이 아니면, 상기 스캔 이미지에 스큐가 발생한 것으로 판단하는 제 1 연산부를 포함하는 화상처리장치.
  4. 제 3 항에 있어서, 상기 검출부는
    상기 스캔 이미지의 상변 또는 좌변을 검출하는 화상처리장치.
  5. 제 1 항에 있어서, 상기 제 2 판단부는
    상기 스캔 이미지의 상변에서 스큐 각도가 발생하면 제 1 스큐로 판단하고,
    상기 스캔 이미지의 좌변에서 스큐 각도가 발생하면 제 2 스큐로 판단하고,
    상기 스캔 이미지의 상변 및 하변에서 스큐 각도가 발생하면 제 3 스큐로 판단하는 화상처리장치.
  6. 제 5 항에 있어서,
    상기 제 1 스큐는 상기 스캐닝부로 인해 발생하고, 상기 제 2 스큐는 상기 원고에 투사되는 광의 경로에 위치한 미러로 인해 발생하고, 상기 제 3 스큐는 상기 원고의 위치로 인해 발생하는 화상처리장치.
  7. 제 5 항에 있어서, 상기 이미지 보정 처리부는
    상기 스캔 이미지에서 발생한 스큐가 제 1 스큐이면, 상기 스캔 이미지의 상변이 상기 스캐닝부의 주주사 방향에 평행하는 제 1 이미지의 각 화소의 좌표 값을 설정하고, 상기 제 1 이미지의 각 화소에 대응하는 상기 스캔 이미지의 각 화소의 좌표 값 및 상기 스캔 이미지의 각 화소의 화소 값을 연산하는 제 2 연산부 및
    상기 제 1 이미지의 화소 값을 상기 제 1 이미지의 각 화소와 대응되는 상기 스캔 이미지의 각 화소의 화소 값으로 변환하는 화소 변환부를 포함하는 화상처리 장치.
  8. 제 7 항에 있어서, 상기 스캔 이미지의 각 화소의 좌표 값은
    상기 스캔 이미지의 각 화소와 대응되는 상기 제 1 이미지의 각 화소의 좌표 값과 세로 좌표 값이 상이한 화상처리장치.
  9. 제 5 항에 있어서, 상기 이미지 보정 처리부는
    상기 스캔 이미지에서 발생한 스큐가 제 2 스큐이면, 상기 스캔 이미지의 좌변이 상기 스캐닝부의 부주사 방향에 평행하는 제 2 이미지의 각 화소의 좌표 값을 설정하고, 상기 제 2 이미지의 각 화소에 대응하는 상기 스캔 이미지의 각 화소의 좌표 값 및 상기 스캔 이미지의 각 화소의 화소 값을 연산하는 제 2 연산부 및
    상기 제 2 이미지의 화소 값을 상기 제 2 이미지의 각 화소와 대응되는 상기 스캔 이미지의 각 화소의 화소 값으로 변환하는 화소 변환부를 포함하는 화상처리장치.
  10. 제 9 항에 있어서, 상기 스캔 이미지의 각 화소의 좌표 값은
    상기 스캔 이미지의 각 화소와 대응되는 상기 제 2 이미지의 각 화소의 좌표 값과 가로 좌표 값이 상이한 화상처리장치.
  11. 제 5 항에 있어서, 상기 이미지 보정 처리부는
    상기 스캔 이미지에서 발생한 스큐가 제 3 스큐이면, 상기 스캔 이미지가 보정된 제 3 이미지의 좌표 값을 설정하고, 상기 제 3 이미지의 각 화소에 대응하는 상기 스캔 이미지의 각 화소의 좌표 값 및 상기 스캔 이미지의 각 화소의 화소 값을 연산하는 제 2 연산부 및
    상기 3 이미지의 화소 값을 상기 제 3 이미지의 각 화소와 대응되는 상기 스캔 이미지의 각 화소의 화소 값으로 변환하는 화소 변환부를 포함하는 화상처리장치.
  12. 상기 청구항 1 내지 11의 구성을 포함하는 화상처리부 및
    상기 화상처리부를 통해 보정 처리된 스캔 이미지를 출력하는 출력부를 포함하는 화상형성장치.
  13. 원고를 스캔하여 스캔 이미지를 생성하는 단계
    상기 스캔 이미지의 스큐 발생 여부를 판단하는 단계
    상기 판단 결과에 따라 상기 스큐의 종류를 판단하는 단계 및
    상기 스큐의 종류에 따라 상기 스캔 이미지에 서로 다른 보정을 수행하는 단계를 포함하는 화상처리방법.
  14. 제 13 항에 있어서, 상기 스캔 이미지를 생성하는 단계는
    상기 원고의 상변 및 좌변을 모두 포함하는 위치부터 스캔하여 상기 스캔 이 미지를 생성하는 화상처리방법.
  15. 제 13 항에 있어서, 상기 스캔 발생 여부를 판단하는 단계는
    상기 스캔 이미지의 상/하변 중 어느 한 변 또는 좌/우변 중 어느 한 변을 검출하는 단계
    상기 검출된 변의 스큐 각도를 연산하는 단계 및
    상기 연산된 스큐 각도가 0이 아니면, 상기 스캔 이미지에 스큐가 발생한 것으로 판단하는 단계를 포함하는 화상처리방법.
  16. 제 15 항에 있어서, 상기 검출하는 단계는
    상기 스캔 이미지의 상변 또는 좌변을 검출하는 화상처리방법.
  17. 제 13항에 있어서, 상기 스큐의 종류를 판단하는 단계는
    상기 스캔 이미지의 상변에서 스큐 각도가 발생하면 제 1 스큐로 판단하고, 상기 스캔 이미지의 좌변에서 스큐 각도가 발생하면 제 2 스큐로 판단하고, 상기 스캔 이미지의 상변 및 좌변에서 스큐 각도가 발생하면 제 3 스큐로 판단하는 화상처리방법.
  18. 제 17항에 있어서, 상기 보정을 처리하는 단계는
    상기 스캔 이미지에서 발생한 스큐가 제 1 스큐이면, 상기 스캔 이미지의 상 변이 상기 스캐닝부의 주주사 방향에 평행하는 제 1 이미지의 각 화소의 좌표 값을 설정하는 단계
    상기 제 1 이미지의 각 화소에 대응하는 상기 스캔 이미지의 각 화소의 좌표 값을 연산하는 단계
    상기 스캔 이미지의 각 화소의 화소 값을 연산하는 단계 및
    상기 제 1 이미지의 화소 값을 상기 제 1 이미지의 각 화소와 대응되는 상기 스캔 이미지의 각 화소의 화소 값으로 변환하는 단계를 포함하는 화상처리방법.
  19. 제 17 항에 있어서, 상기 보정을 처리하는 단계는
    상기 스캔 이미지에서 발생한 스큐가 제 2 스큐이면, 상기 스캔 이미지의 좌변이 상기 스캐닝부의 부주사 방향에 평행하는 제 2 이미지의 각 화소의 좌표 값을 설정하는 단계
    상기 제 2 이미지의 각 화소에 대응하는 상기 스캔 이미지의 각 화소의 좌표 값을 연산하는 단계
    상기 스캔 이미지의 각 화소의 화소 값을 연산하는 단계 및
    상기 제 2 이미지의 화소 값을 상기 제 2 이미지의 각 화소와 대응되는 상기 스캔 이미지의 각 화소의 화소 값으로 변환하는 단계를 포함하는 화상처리방법.
  20. 제 17항에 있어서, 상기 보정을 처리하는 단계는
    상기 스캔 이미지에서 발생한 스큐가 제 3 스큐이면, 상기 스캔 이미지가 보 정된 제 3 이미지의 좌표 값을 설정하는 단계
    상기 제 3 이미지의 각 화소에 대응하는 상기 스캔 이미지의 각 화소의 좌표 값을 연산하는 단계
    상기 스캔 이미지의 각 화소의 화소 값을 연산하는 단계 및
    상기 3 이미지의 화소 값을 상기 제 3 이미지의 각 화소와 대응되는 상기 스캔 이미지의 각 화소의 화소 값으로 변환하는 단계를 포함하는 화상처리방법.
  21. 원고를 스캔하여 스캔 이미지를 생성하는 단계
    상기 스캔 이미지의 스큐 발생 여부를 판단하는 단계
    상기 판단 결과에 따라 상기 스큐의 종류를 판단하는 단계
    상기 스큐의 종류에 따라 상기 스캔 이미지에 서로 다른 보정을 수행하는 단계 및
    상기 보정된 스캔 이미지를 출력하는 단계를 포함하는 화상형성방법.
KR1020090124008A 2009-12-14 2009-12-14 화상처리장치 및 방법 KR101621848B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090124008A KR101621848B1 (ko) 2009-12-14 2009-12-14 화상처리장치 및 방법
US12/801,781 US8577174B2 (en) 2009-12-14 2010-06-24 Image processing apparatus and method
EP10189780.9A EP2352275B1 (en) 2009-12-14 2010-11-03 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090124008A KR101621848B1 (ko) 2009-12-14 2009-12-14 화상처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110067421A true KR20110067421A (ko) 2011-06-22
KR101621848B1 KR101621848B1 (ko) 2016-06-01

Family

ID=43797762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090124008A KR101621848B1 (ko) 2009-12-14 2009-12-14 화상처리장치 및 방법

Country Status (3)

Country Link
US (1) US8577174B2 (ko)
EP (1) EP2352275B1 (ko)
KR (1) KR101621848B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270573A1 (en) * 2013-03-12 2014-09-18 Konica Minolta Laboratory U.S.A., Inc. Method for background removal in binary document image by estimating linearity of image components
CN106063240B (zh) * 2013-11-14 2019-06-04 微软技术许可有限责任公司 用于生产力应用的图像处理
WO2016154366A1 (en) * 2015-03-23 2016-09-29 Arris Enterprises, Inc. System and method for selectively compressing images
JP6736881B2 (ja) * 2015-12-25 2020-08-05 株式会社リコー 画像処理装置、画像形成装置、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188678A (ja) * 1998-10-16 2000-07-04 Matsushita Electric Ind Co Ltd 画像処理装置及びその傾き補正方法
JP2008124828A (ja) * 2006-11-13 2008-05-29 Canon Electronics Inc 画像読取装置、画像読取方法及び該方法を実行するためのプログラム
JP2008294831A (ja) * 2007-05-25 2008-12-04 Canon Inc 画像歪み補正装置
JP2009284190A (ja) * 2008-05-22 2009-12-03 Panasonic Corp 画像読み取り装置および画像読み取りシステム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4393410A (en) * 1981-11-13 1983-07-12 Wespac Multiple camera automatic digitizer and method
JPS63268081A (ja) * 1987-04-17 1988-11-04 インタ−ナショナル・ビジネス・マシ−ンズ・コ−ポレ−ション 文書の文字を認識する方法及び装置
US5001766A (en) * 1988-05-16 1991-03-19 At&T Bell Laboratories Apparatus and method for skew control of document images
US5159667A (en) * 1989-05-31 1992-10-27 Borrey Roland G Document identification by characteristics matching
US5245676A (en) * 1989-12-21 1993-09-14 Xerox Corporation Determination of image skew angle from data including data in compressed form
US5276742A (en) * 1991-11-19 1994-01-04 Xerox Corporation Rapid detection of page orientation
US5335290A (en) * 1992-04-06 1994-08-02 Ricoh Corporation Segmentation of text, picture and lines of a document image
US5452374A (en) * 1992-04-06 1995-09-19 Ricoh Corporation Skew detection and correction of a document image representation
US5497236A (en) * 1993-06-23 1996-03-05 Ricoh Company Ltd. Method and apparatus for distortion correction of scanned images
US5818976A (en) * 1993-10-25 1998-10-06 Visioneer, Inc. Method and apparatus for document skew and size/shape detection
JP3631333B2 (ja) * 1996-08-23 2005-03-23 シャープ株式会社 画像処理装置
US6549680B1 (en) * 1998-06-23 2003-04-15 Xerox Corporation Method and apparatus for deskewing and despeckling of images
US6188801B1 (en) * 1998-08-31 2001-02-13 Jenn-Tsair Tsai Method and apparatus for automatic image calibration for an optical scanner
JP2000224393A (ja) 1999-01-29 2000-08-11 Konica Corp 画像読取装置及び複写装置
JP3618056B2 (ja) * 1999-02-23 2005-02-09 理想科学工業株式会社 画像処理装置
US6449397B1 (en) * 1999-04-05 2002-09-10 Mustek Systems Inc. Image processing system for scanning a rectangular document
WO2002015170A2 (en) * 2000-08-11 2002-02-21 Ctb/Mcgraw-Hill Llc Enhanced data capture from imaged documents
US6954290B1 (en) * 2000-11-09 2005-10-11 International Business Machines Corporation Method and apparatus to correct distortion of document copies
JP3710393B2 (ja) * 2001-03-29 2005-10-26 株式会社Pfu 画像読取装置
US20030095722A1 (en) * 2001-11-19 2003-05-22 Regimbal Laurent A. Method and apparatus to detect and compensate for skew in a printing device
KR100525425B1 (ko) * 2003-02-04 2005-11-02 엘지전자 주식회사 영상 워핑 방법 및 장치
KR100580183B1 (ko) * 2004-01-09 2006-05-15 삼성전자주식회사 스캔영역의 좌우 위치 보정 방법 및 장치
US20060039627A1 (en) * 2004-08-21 2006-02-23 Xerox Corporation Real-time processing of grayscale image data
US7420719B2 (en) * 2005-06-30 2008-09-02 Xerox Corporation Skew correction
US7689004B2 (en) * 2006-09-12 2010-03-30 Seiko Epson Corporation Method and apparatus for evaluating the quality of document images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000188678A (ja) * 1998-10-16 2000-07-04 Matsushita Electric Ind Co Ltd 画像処理装置及びその傾き補正方法
JP2008124828A (ja) * 2006-11-13 2008-05-29 Canon Electronics Inc 画像読取装置、画像読取方法及び該方法を実行するためのプログラム
JP2008294831A (ja) * 2007-05-25 2008-12-04 Canon Inc 画像歪み補正装置
JP2009284190A (ja) * 2008-05-22 2009-12-03 Panasonic Corp 画像読み取り装置および画像読み取りシステム

Also Published As

Publication number Publication date
EP2352275A1 (en) 2011-08-03
US8577174B2 (en) 2013-11-05
EP2352275B1 (en) 2014-12-31
KR101621848B1 (ko) 2016-06-01
US20110142352A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
US8009335B2 (en) Image-reading processing apparatus, image reading apparatus, and image-reading processing method
US9286536B2 (en) Image processing system for determining a boundary line using a shadow image
US8804209B2 (en) Image processing apparatus, image processing system, image processing method and computer readable medium
KR101657162B1 (ko) 화상형성장치 및 그 스큐 보정 방법
US9129410B2 (en) Image processing apparatus and pixel interpolation method
JP4784500B2 (ja) 画像傾き補正装置及び画像傾き補正方法
US11514568B2 (en) Image processing apparatus, image processing method, and storage medium
KR101621848B1 (ko) 화상처리장치 및 방법
US20120321198A1 (en) Image processing method and image processing apparatus
US9042658B2 (en) Image processing device and pixel interpolation method
US11399108B2 (en) Image reading apparatus capable of determining whether missing part of document image occurs based on edge shape of at least one of leading and trailing edges of document image
JP2007206963A (ja) 画像処理装置及び画像処理方法及びプログラム及び記憶媒体
US7397973B2 (en) Method for controlling interpolation direction and related device
US11665296B2 (en) Image reading device
JP2014120832A (ja) 画像処理装置及び画像処理プログラム
JP2012019512A (ja) 画像処理装置および画像処理方法
US10650493B2 (en) Image processing apparatus
JP2012039403A (ja) 画像読取装置、画像読取方法、及びプログラム
JP2008258980A (ja) 画像情報処理装置および画像傾斜角度算出方法
TW201818296A (zh) 影像擷取與校正方法
JP3647981B2 (ja) 画像読取装置
JP5786547B2 (ja) 画像補正システム、画像補正方法およびプログラム
JP2002281243A (ja) 画像読取装置
JP2011019205A (ja) イメージセンサーの較正装置、それを用いたマッピングと補償方法
JP2009229332A (ja) パターン検査装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 4