JP2018014614A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP2018014614A
JP2018014614A JP2016142962A JP2016142962A JP2018014614A JP 2018014614 A JP2018014614 A JP 2018014614A JP 2016142962 A JP2016142962 A JP 2016142962A JP 2016142962 A JP2016142962 A JP 2016142962A JP 2018014614 A JP2018014614 A JP 2018014614A
Authority
JP
Japan
Prior art keywords
image data
document
unit
inclination
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016142962A
Other languages
Japanese (ja)
Other versions
JP6520853B2 (en
Inventor
政樹 馬場
Masaki Baba
政樹 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2016142962A priority Critical patent/JP6520853B2/en
Publication of JP2018014614A publication Critical patent/JP2018014614A/en
Application granted granted Critical
Publication of JP6520853B2 publication Critical patent/JP6520853B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing apparatus and an image processing method capable of detecting inclination of a script based on the script image data, in a processing time depending on the script size, even if the script size is unknown.SOLUTION: A first edge image generation unit 161 generates first edge image data 40 indicating an edge included in a script 20, based on script image data 30 read from the script 20 by an image reading unit 12. A first extraction unit 162 extracts a first rectangular region A1 that is the minimum rectangular region including all edges in the first edge image data 40. A tilt detector 163 detects tilt angle θ of the script 20, based on the first edge image data 40 in the first rectangular region A1. A tilt correction unit 164 performs tilt correction processing for the script image data 30 according to the tilt angle θ of the script 20 detected by the tilt detector 163.SELECTED DRAWING: Figure 1

Description

本発明は、画像読取部により読み取られた原稿の画像を示す原稿画像データに対して傾き補正処理を行う画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method for performing an inclination correction process on document image data indicating an image of a document read by an image reading unit.

原稿の画像が画像読取部により読み取られる際に、原稿台の上に載置された原稿の向きが傾いていると、読み取られた原稿画像データが示す原稿の画像も斜めに傾いてしまう。   When the image of the document is read by the image reading unit, if the orientation of the document placed on the document table is tilted, the image of the document indicated by the read document image data is also tilted.

そこで、このような原稿画像データに対して傾き補正処理を行うことが可能な傾斜画像補正装置が知られている(例えば、特許文献1参照)。当該傾斜画像補正装置では、原稿の縁部が検出された場合には、原稿の縁部の傾きを検出して傾き補正処理が行われる。一方、原稿の縁部が検出されなかった場合には、文字の傾きを検出して傾き補正処理が行われる。   Therefore, an inclination image correction apparatus capable of performing an inclination correction process on such document image data is known (see, for example, Patent Document 1). In the tilt image correction apparatus, when the edge of the document is detected, the tilt of the document edge is detected and the tilt correction process is performed. On the other hand, when the edge of the document is not detected, the inclination of the character is detected and the inclination correction process is performed.

特開平11−308437号公報JP 11-308437 A

ところで、原稿画像データに基づいて原稿の傾きを検出するのに要する時間は、原稿画像データのサイズに依存するため、通常は、原稿のサイズが小さいほど処理時間は短くなる。しかしながら、上記のように原稿の縁部が検出されなかった場合のように、原稿のサイズが不明である場合には、画像読取部による読み取り範囲の全体に対応する画像データに基づいて原稿の傾きが検出されるため、原稿のサイズに関わらず処理時間が長くなってしまう。   By the way, since the time required to detect the inclination of the document based on the document image data depends on the size of the document image data, the processing time usually decreases as the document size decreases. However, when the size of the document is unknown as in the case where the edge of the document is not detected as described above, the inclination of the document is based on the image data corresponding to the entire reading range by the image reading unit. Therefore, the processing time becomes long regardless of the size of the document.

本発明の目的は、原稿のサイズが不明であっても原稿のサイズに応じた処理時間で原稿画像データに基づいて原稿の傾きを検出することが可能な画像処理装置及び画像処理方法を提供することにある。   An object of the present invention is to provide an image processing apparatus and an image processing method capable of detecting the inclination of a document based on document image data in a processing time corresponding to the document size even if the document size is unknown. There is.

本発明の一の局面に係る画像処理装置は、エッジ画像生成部と、抽出部と、傾き検出部と、傾き補正部と、を備える。前記エッジ画像生成部は、画像読取部により原稿から読み取られた原稿画像データに基づいて、原稿の画像に含まれるエッジを示すエッジ画像データを生成する。前記抽出部は、前記エッジ画像データにおいて全ての前記エッジを包含する最小の矩形領域を抽出する。前記傾き検出部は、前記矩形領域内の前記エッジ画像データに基づいて原稿の傾き角を検出する。前記傾き補正部は、前記傾き検出部により検出される原稿の傾き角に応じて前記原稿画像データに対して傾き補正処理を行う。   An image processing apparatus according to one aspect of the present invention includes an edge image generation unit, an extraction unit, a tilt detection unit, and a tilt correction unit. The edge image generation unit generates edge image data indicating an edge included in an image of a document based on document image data read from the document by the image reading unit. The extraction unit extracts a minimum rectangular area including all the edges in the edge image data. The inclination detection unit detects an inclination angle of the document based on the edge image data in the rectangular area. The inclination correction unit performs an inclination correction process on the document image data in accordance with the document inclination angle detected by the inclination detection unit.

本発明の他の局面に係る画像処理方法は、エッジ画像生成ステップと、抽出ステップと、傾き検出ステップと、傾き補正ステップと、を含む。前記エッジ画像生成ステップでは、画像読取部により原稿から読み取られた原稿画像データに基づいて、原稿の画像に含まれるエッジを示すエッジ画像データが生成される。前記抽出ステップでは、前記エッジ画像データにおいて全ての前記エッジを包含する最小の矩形領域が抽出される。前記傾き検出ステップでは、前記矩形領域内の前記エッジ画像データに基づいて原稿の傾き角が検出される。前記傾き補正ステップでは、前記傾き検出ステップにおいて検出される原稿の傾き角に応じて前記原稿画像データに対して傾き補正処理が行われる。   An image processing method according to another aspect of the present invention includes an edge image generation step, an extraction step, an inclination detection step, and an inclination correction step. In the edge image generation step, edge image data indicating edges included in the image of the document is generated based on the document image data read from the document by the image reading unit. In the extraction step, a minimum rectangular region including all the edges is extracted from the edge image data. In the tilt detection step, the tilt angle of the document is detected based on the edge image data in the rectangular area. In the tilt correction step, tilt correction processing is performed on the document image data in accordance with the tilt angle of the document detected in the tilt detection step.

本発明によれば、原稿のサイズが不明であっても原稿のサイズに応じた処理時間で原稿画像データに基づいて原稿の傾きを検出することが可能な画像処理装置及び画像処理方法が提供される。   According to the present invention, there is provided an image processing apparatus and an image processing method capable of detecting the inclination of a document based on document image data in a processing time corresponding to the document size even if the document size is unknown. The

図1は、本発明の実施形態に係る画像処理装置のシステム構成を示すブロック図である。FIG. 1 is a block diagram showing a system configuration of an image processing apparatus according to an embodiment of the present invention. 図2は、本発明の実施形態に係る画像処理装置の原稿台に載置された原稿の一例を示す図である。FIG. 2 is a diagram illustrating an example of a document placed on the document table of the image processing apparatus according to the embodiment of the present invention. 図3は、本発明の実施形態に係る画像処理装置の画像読取部で読み取られた原稿画像データの一例を示す図である。FIG. 3 is a diagram illustrating an example of document image data read by the image reading unit of the image processing apparatus according to the embodiment of the present invention. 図4は、本発明の実施形態に係る画像処理装置における傾き角検出処理について説明するための図である。FIG. 4 is a diagram for explaining the tilt angle detection process in the image processing apparatus according to the embodiment of the present invention. 図5は、本発明の実施形態に係る画像処理装置における傾き角検出処理について説明するための図である。FIG. 5 is a diagram for explaining the tilt angle detection process in the image processing apparatus according to the embodiment of the present invention. 図6は、本発明の実施形態に係る画像処理装置における傾き補正処理について説明するための図である。FIG. 6 is a diagram for explaining the inclination correction processing in the image processing apparatus according to the embodiment of the present invention. 図7は、本発明の実施形態に係る画像処理装置における傾き補正処理について説明するための図である。FIG. 7 is a diagram for explaining the inclination correction processing in the image processing apparatus according to the embodiment of the present invention. 図8は、本発明の実施形態に係る画像処理装置におけるトリミング処理について説明するための図である。FIG. 8 is a diagram for explaining the trimming process in the image processing apparatus according to the embodiment of the present invention. 図9は、本発明の実施形態に係る画像処理装置で実行される画像読取処理の手順の一例を示すフローチャートである。FIG. 9 is a flowchart illustrating an example of a procedure of image reading processing executed by the image processing apparatus according to the embodiment of the present invention. 図10は、本発明の実施形態に係る画像処理装置における傾き補正処理の変形例について説明するための図である。FIG. 10 is a diagram for explaining a modification of the inclination correction process in the image processing apparatus according to the embodiment of the present invention.

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。   Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings for understanding of the present invention. The following embodiment is an example embodying the present invention, and does not limit the technical scope of the present invention.

図1に示されるように、本発明の実施形態に係る画像処理装置1は、操作表示部10、ADF(Auto Document Feeder)11、画像読取部12、画像形成部13、通信I/F14、記憶部15、及び制御部16などを備える。具体的には、画像処理装置1は、プリンター機能、スキャナー機能、コピー機能、及びファクシミリ機能などを有する複合機である。なお、本発明は、複合機に限らず、原稿20(図2参照)から読み取られた原稿画像データ30(図3参照)を処理することが可能な任意の画像処理装置に適用可能である。   As shown in FIG. 1, an image processing apparatus 1 according to an embodiment of the present invention includes an operation display unit 10, an ADF (Auto Document Feeder) 11, an image reading unit 12, an image forming unit 13, a communication I / F 14, and a storage. Unit 15 and control unit 16. Specifically, the image processing apparatus 1 is a multifunction machine having a printer function, a scanner function, a copy function, a facsimile function, and the like. The present invention is not limited to a multi-function peripheral, and can be applied to any image processing apparatus that can process document image data 30 (see FIG. 3) read from a document 20 (see FIG. 2).

操作表示部10は、情報を表示する液晶ディスプレーなどの表示部と、ユーザー操作を受け付けるタッチパネル及び操作ボタンなどの操作部とを備える。前記タッチパネルは、前記表示部の表示面上に設けられている。   The operation display unit 10 includes a display unit such as a liquid crystal display that displays information, and an operation unit such as a touch panel and operation buttons that accept user operations. The touch panel is provided on a display surface of the display unit.

ADF11は、原稿セット部、搬送ローラー、原稿押さえ、及び排紙部を備え、画像読取部12の読み取り対象となる原稿20を搬送する自動原稿搬送装置である。   The ADF 11 is an automatic document conveyance device that includes a document setting unit, a conveyance roller, a document pressing unit, and a paper discharge unit, and conveys a document 20 to be read by the image reading unit 12.

画像読取部12は、原稿台121(図2参照)、光源、ミラー、光学レンズ、及びCCD(Charge Coupled Device)を備える。画像読取部12は、原稿台121に載置された原稿20又はADF11によって搬送される原稿20の画像を読み取って原稿画像データ30として出力することが可能である。   The image reading unit 12 includes a document table 121 (see FIG. 2), a light source, a mirror, an optical lens, and a CCD (Charge Coupled Device). The image reading unit 12 can read an image of the document 20 placed on the document table 121 or the document 20 conveyed by the ADF 11 and output it as document image data 30.

画像形成部13は、電子写真方式又はインクジェット方式で画像データに基づく印刷処理を実行することが可能であり、前記画像データに基づいてシート上に画像を形成する。例えば、画像形成部13が電子写真方式の画像形成部である場合、画像形成部13は感光体ドラム、帯電器、露光装置、現像装置、転写装置、及び定着装置などを備える。   The image forming unit 13 can execute a printing process based on image data by an electrophotographic method or an inkjet method, and forms an image on a sheet based on the image data. For example, when the image forming unit 13 is an electrophotographic image forming unit, the image forming unit 13 includes a photosensitive drum, a charger, an exposure device, a developing device, a transfer device, and a fixing device.

通信I/F14は、電話回線、インターネット、又はLANなどの通信網を介して、外部のファクシミリ装置又はパーソナルコンピューターなどの情報処理装置との間で所定の通信プロトコルに従った通信処理を実行することが可能な通信インターフェイスである。   The communication I / F 14 executes communication processing according to a predetermined communication protocol with an information processing apparatus such as an external facsimile apparatus or a personal computer via a communication network such as a telephone line, the Internet, or a LAN. It is a communication interface that can.

記憶部15は、ハードディスク又はEEPROM(登録商標)などの不揮発性の記憶部である。記憶部15には、制御部16によって実行される後述する画像読取処理などを実行するための各種の制御プログラム、及び原稿20から読み取られた原稿画像データ30などが記憶される。   The storage unit 15 is a non-volatile storage unit such as a hard disk or an EEPROM (registered trademark). The storage unit 15 stores various control programs for executing an image reading process, which will be described later, executed by the control unit 16, and original image data 30 read from the original 20.

制御部16は、CPU、ROM、及びRAMなどの制御機器を備える。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の処理を実行させるための制御プログラムなどの情報が予め記憶される不揮発性の記憶部である。前記RAMは、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される揮発性又は不揮発性の記憶部である。   The control unit 16 includes control devices such as a CPU, a ROM, and a RAM. The CPU is a processor that executes various arithmetic processes. The ROM is a non-volatile storage unit in which information such as a control program for causing the CPU to execute various processes is stored in advance. The RAM is a volatile or nonvolatile storage unit used as a temporary storage memory (working area) for various processes executed by the CPU.

ところで、原稿20の画像が画像読取部12により読み取られる際に、図2に示されるように原稿台121の上に載置された原稿20の向きが傾いていると、図3に示されるように、読み取られた原稿画像データ30が示す原稿20の画像も斜めに傾いてしまう。そこで、このような原稿画像データ30に対して傾き補正処理を行うことが可能な傾斜画像補正装置が知られている。前記傾斜画像補正装置では、原稿20の縁部が検出された場合には、原稿20の縁部の傾きを検出して傾き補正処理が行われる。一方、原稿20の縁部が検出されなかった場合には、文字の傾きを検出して傾き補正処理が行われる。   By the way, when the image of the document 20 is read by the image reading unit 12, the orientation of the document 20 placed on the document table 121 is inclined as shown in FIG. 2, as shown in FIG. In addition, the image of the document 20 indicated by the read document image data 30 is also inclined obliquely. In view of this, an inclination image correction apparatus capable of performing an inclination correction process on such document image data 30 is known. In the tilt image correction device, when the edge of the document 20 is detected, the tilt of the edge of the document 20 is detected and the tilt correction process is performed. On the other hand, when the edge of the document 20 is not detected, the inclination of the character is detected and the inclination correction process is performed.

ところで、原稿画像データ30に基づいて原稿20の傾きを検出するのに要する時間は、原稿画像データ30のサイズに依存するため、通常は、原稿20のサイズが小さいほど処理時間は短くなる。しかしながら、上記のように原稿20の縁部が検出されなかった場合のように、原稿20のサイズが不明である場合には、画像読取部12による読み取り範囲の全体(例えば、原稿台121の全体)に対応する原稿画像データ30に基づいて原稿20の傾きが検出されるため、原稿20のサイズに関わらず処理時間が長くなってしまう。   Incidentally, since the time required to detect the inclination of the document 20 based on the document image data 30 depends on the size of the document image data 30, the processing time is usually shortened as the size of the document 20 is smaller. However, when the size of the document 20 is unknown as in the case where the edge portion of the document 20 is not detected as described above, the entire reading range by the image reading unit 12 (for example, the entire document table 121). ) Is detected on the basis of the document image data 30 corresponding to (), the processing time becomes long regardless of the size of the document 20.

これに対して、本実施形態の画像処理装置1では、以下で説明するような制御部16の構成及び動作によって、原稿20のサイズが不明であっても原稿20のサイズに応じた処理時間で原稿画像データ30に基づいて原稿20の傾きを検出することが可能である。   On the other hand, in the image processing apparatus 1 according to the present embodiment, the processing time corresponding to the size of the document 20 is obtained even if the size of the document 20 is unknown by the configuration and operation of the control unit 16 described below. It is possible to detect the inclination of the document 20 based on the document image data 30.

具体的には、制御部16は、第1エッジ画像生成部161、第1抽出部162、傾き検出部163、傾き補正部164、第2エッジ画像生成部165、第2抽出部166、及びトリミング部167を含む。なお、制御部16は、前記制御プログラムに従って各種の処理を実行することによりこれらの各処理部として機能する。また、制御部16は、これらの各処理部の一部又は複数の処理機能を実現する電子回路を備えるものであってもよい。   Specifically, the control unit 16 includes a first edge image generation unit 161, a first extraction unit 162, an inclination detection unit 163, an inclination correction unit 164, a second edge image generation unit 165, a second extraction unit 166, and trimming. Part 167. The control unit 16 functions as each of these processing units by executing various processes according to the control program. Moreover, the control part 16 may be provided with the electronic circuit which implement | achieves a part or some processing function of each of these process parts.

第1エッジ画像生成部161は、画像読取部12により原稿20から読み取られた原稿画像データ30に基づいて、原稿20の画像に含まれるエッジを示す第1エッジ画像データ40(図4参照)を生成する。なお、前記エッジは、原稿20の画像において濃度が不連続に変化している箇所を意味する。第1エッジ画像データ40は、例えば、白黒2値画像データである。なお、第1エッジ画像データ40の生成方法としては、種々の方法を採用することができる。例えば、第1エッジ画像生成部161は、ソーベルフィルター又はラプラシアンフィルターなどのエッジ検出フィルターを用いて、原稿画像データ30から第1エッジ画像データ40を生成することができる。   Based on the document image data 30 read from the document 20 by the image reading unit 12, the first edge image generation unit 161 generates first edge image data 40 (see FIG. 4) indicating edges included in the image of the document 20. Generate. The edge means a portion where the density changes discontinuously in the image of the document 20. The first edge image data 40 is, for example, monochrome binary image data. Various methods can be adopted as a method for generating the first edge image data 40. For example, the first edge image generation unit 161 can generate the first edge image data 40 from the document image data 30 using an edge detection filter such as a Sobel filter or a Laplacian filter.

第1抽出部162は、第1エッジ画像データ40において全ての前記エッジを包含する最小の矩形領域を第1矩形領域A1(図4参照)として抽出する。具体的には、第1抽出部162は、第1エッジ画像データ40における全ての前記エッジのX座標値の最小値及び最大値と、全ての前記エッジのY座標値の最小値及び最大値を求める。そして、第1抽出部162は、最小のX座標値と最小のY座標値との組み合わせに対応する第1頂点と、最大のX座標値と最小のY座標値との組み合わせに対応する第2頂点と、最大のX座標値と最大のY座標値との組み合わせに対応する第3頂点と、最小のX座標値と最大のY座標値との組み合わせに対応する第4頂点との4つの頂点を有する矩形領域を、第1矩形領域A1として抽出する。   The first extraction unit 162 extracts a minimum rectangular area including all the edges in the first edge image data 40 as the first rectangular area A1 (see FIG. 4). Specifically, the first extraction unit 162 calculates the minimum value and the maximum value of the X coordinate values of all the edges in the first edge image data 40 and the minimum value and the maximum value of the Y coordinate values of all the edges. Ask. The first extraction unit 162 then includes a first vertex corresponding to the combination of the minimum X coordinate value and the minimum Y coordinate value, and a second corresponding to the combination of the maximum X coordinate value and the minimum Y coordinate value. Four vertices: a vertex, a third vertex corresponding to the combination of the maximum X coordinate value and the maximum Y coordinate value, and a fourth vertex corresponding to the combination of the minimum X coordinate value and the maximum Y coordinate value Is extracted as the first rectangular area A1.

傾き検出部163は、第1矩形領域A1内の第1エッジ画像データ40(例えば、図5に示されるエッジ画像データ41)に基づいて原稿20の傾き角θを検出する。例えば、傾き検出部163は、第1矩形領域A1内の第1エッジ画像データ40(エッジ画像データ41)に含まれる文字21又は罫線22を抽出し、当該文字21又は罫線22の傾きに基づいて原稿20の傾き角θを検出する。なお、文字21又は罫線22の抽出には、公知の文字認識処理又はパターンマッチング処理を用いることができる。また、エッジ画像データ41における文字21又は罫線22の傾きは、例えば、記憶部15等に予め記憶されている文字又は罫線の基準パターンの傾きを所定角度ずつ変えながら、エッジ画像データ41における文字21又は罫線22との形状の一致度(類似度)を順次算出することによって検出することができる。   The inclination detection unit 163 detects the inclination angle θ of the document 20 based on the first edge image data 40 (for example, the edge image data 41 shown in FIG. 5) in the first rectangular area A1. For example, the inclination detection unit 163 extracts the character 21 or the ruled line 22 included in the first edge image data 40 (edge image data 41) in the first rectangular area A1, and based on the inclination of the character 21 or the ruled line 22. The inclination angle θ of the document 20 is detected. For extracting the character 21 or the ruled line 22, a known character recognition process or pattern matching process can be used. The inclination of the character 21 or the ruled line 22 in the edge image data 41 is, for example, the character 21 in the edge image data 41 while changing the inclination of the reference pattern of the character or ruled line stored in advance in the storage unit 15 or the like by a predetermined angle. Alternatively, it can be detected by sequentially calculating the degree of coincidence (similarity) of the shape with the ruled line 22.

傾き補正部164は、傾き検出部163により検出される原稿20の傾き角θに応じて原稿画像データ30に対して傾き補正処理(画像回転処理)を行う。具体的には、傾き補正部164は、傾き検出部163により検出される原稿20の傾き角θと同じ傾き角を有し、且つ第1矩形領域A1に外接する矩形領域を、処理対象領域B1として決定する。そして、傾き補正部164は、当該処理対象領域B1内の原稿画像データ30(例えば、図7に示される画像データ31)に対して前記傾き補正処理を行う。なお、処理対象領域B1は、傾き検出部163により検出される原稿20の傾き角θと同じ傾き角を有し、且つ第1矩形領域A1を包含する最小の矩形領域でもある。なお、傾き補正部164は、第1矩形領域A1内の原稿画像データ30に対して前記傾き補正処理を行ってもよい。   The tilt correction unit 164 performs tilt correction processing (image rotation processing) on the document image data 30 in accordance with the tilt angle θ of the document 20 detected by the tilt detection unit 163. Specifically, the inclination correction unit 164 defines a rectangular area that has the same inclination angle as the inclination angle θ of the document 20 detected by the inclination detection section 163 and circumscribes the first rectangular area A1 as the processing target area B1. Determine as. Then, the inclination correction unit 164 performs the inclination correction process on the document image data 30 (for example, the image data 31 shown in FIG. 7) in the processing target area B1. The processing target area B1 is the smallest rectangular area that has the same inclination angle as the inclination angle θ of the document 20 detected by the inclination detecting unit 163 and includes the first rectangular area A1. Note that the tilt correction unit 164 may perform the tilt correction process on the document image data 30 in the first rectangular area A1.

第2エッジ画像生成部165は、傾き補正部164による前記傾き補正処理後の原稿画像データ30(例えば、図7に示される画像データ32)に基づいて、原稿20の画像に含まれるエッジを示す第2エッジ画像データ50(図8参照)を生成する。第2エッジ画像生成部165は、例えば、第1エッジ画像生成部161による第1エッジ画像データ40の生成方法と同じ方法で、第2エッジ画像データ50を生成する。   The second edge image generation unit 165 indicates edges included in the image of the document 20 based on the document image data 30 (for example, the image data 32 shown in FIG. 7) after the tilt correction processing by the tilt correction unit 164. Second edge image data 50 (see FIG. 8) is generated. For example, the second edge image generation unit 165 generates the second edge image data 50 by the same method as the generation method of the first edge image data 40 by the first edge image generation unit 161.

第2抽出部166は、第2エッジ画像データ50において全ての前記エッジを包含する最小の矩形領域である第2矩形領域A2(図8参照)を抽出する。第2抽出部166は、例えば、第1抽出部162による第1矩形領域A1の抽出方法と同じ方法で、第2矩形領域A2を抽出する。   The second extraction unit 166 extracts a second rectangular area A2 (see FIG. 8), which is the smallest rectangular area including all the edges in the second edge image data 50. For example, the second extraction unit 166 extracts the second rectangular region A2 by the same method as the method of extracting the first rectangular region A1 by the first extraction unit 162.

トリミング部167は、傾き補正部164による前記傾き補正処理後の原稿画像データ30(例えば、図7に示される画像データ32)から、第2抽出部166により抽出される第2矩形領域A2に対応する領域を切り出す。   The trimming unit 167 corresponds to the second rectangular area A2 extracted by the second extraction unit 166 from the original image data 30 (for example, the image data 32 shown in FIG. 7) after the inclination correction processing by the inclination correction unit 164. Cut out the area to be used.

次に、図9を参照しつつ、制御部16によって実行される画像読取処理の手順の一例について説明する。ここで、ステップS1,S2,・・・は、制御部16により実行される処理手順(ステップ)の番号を表している。なお、前記画像読取処理は、例えば、操作表示部10に対する所定の画像読取開始操作が検知されたことに応じて開始される。   Next, an example of the procedure of image reading processing executed by the control unit 16 will be described with reference to FIG. Here, steps S1, S2,... Represent processing procedure (step) numbers executed by the control unit 16. The image reading process is started, for example, when a predetermined image reading start operation on the operation display unit 10 is detected.

<ステップS1>
まず、ステップS1において、制御部16は、画像読取部12を制御して、原稿台121に載置された原稿20又はADF11によって搬送される原稿20の画像を読み取る。その結果、例えば、図2に示されるように原稿台121に載置された原稿20の画像が読み取られて、図3に示されるような原稿画像データ30が生成される。なお、図2は、原稿台121を下方から見た図である。
<Step S1>
First, in step S <b> 1, the control unit 16 controls the image reading unit 12 to read an image of the document 20 placed on the document table 121 or the document 20 conveyed by the ADF 11. As a result, for example, as shown in FIG. 2, the image of the document 20 placed on the document table 121 is read, and document image data 30 as shown in FIG. 3 is generated. FIG. 2 is a view of the document table 121 as viewed from below.

<ステップS2>
ステップS2(本発明の「エッジ画像生成ステップ」の一例)において、制御部16は、前記ステップS1で生成された原稿画像データ30(図3参照)に基づいて、原稿20の画像に含まれるエッジを示す第1エッジ画像データ40(図4参照)を生成する。
<Step S2>
In step S2 (an example of the “edge image generation step” of the present invention), the control unit 16 uses the document image data 30 (see FIG. 3) generated in step S1 to include edges included in the image of the document 20. First edge image data 40 (see FIG. 4) is generated.

<ステップS3>
ステップS3(本発明の「抽出ステップ」の一例)において、制御部16は、前記ステップS2で生成された第1エッジ画像データ40(図4参照)において全ての前記エッジを包含する最小の矩形領域を第1矩形領域A1(図4参照)として抽出する。
<Step S3>
In step S3 (an example of the “extraction step” of the present invention), the control unit 16 includes a minimum rectangular area that includes all the edges in the first edge image data 40 (see FIG. 4) generated in step S2. Are extracted as the first rectangular area A1 (see FIG. 4).

<ステップS4>
ステップS4(本発明の「傾き検出ステップ」の一例)において、制御部16は、前記ステップS3で抽出された第1矩形領域A1内の第1エッジ画像データ40、すなわち、図5に示されるエッジ画像データ41に基づいて原稿20の傾き角θを検出する。例えば、制御部16は、図5に示されるエッジ画像データ41に含まれる文字21又は罫線22を抽出し、当該文字21又は罫線22の傾きに基づいて原稿20の傾き角θを検出する。なお、図5に示されるエッジ画像データ41のサイズは、原稿20のサイズが小さいほど小さくなる。よって、当該ステップS4において原稿20の傾き角θを検出するのに要する処理時間は、原稿20のサイズが小さいほど小さくなる。よって、図2に示されるように原稿20のサイズが画像読取部12による読み取り範囲(例えば、原稿台121の全体)に対して十分に小さい場合には、画像読取部12による読み取り範囲の全体に対応する原稿画像データ30に基づいて原稿20の傾きθを検出する場合と比べて、処理時間が大幅に短縮される。したがって、本実施形態の画像処理装置1では、原稿20のサイズが不明であっても、原稿20のサイズに応じた処理時間で原稿20の傾きθを検出することが可能である。
<Step S4>
In step S4 (an example of the “inclination detection step” of the present invention), the control unit 16 sets the first edge image data 40 in the first rectangular area A1 extracted in step S3, that is, the edge shown in FIG. Based on the image data 41, the inclination angle θ of the document 20 is detected. For example, the control unit 16 extracts the character 21 or the ruled line 22 included in the edge image data 41 illustrated in FIG. 5 and detects the tilt angle θ of the document 20 based on the tilt of the character 21 or the ruled line 22. Note that the size of the edge image data 41 shown in FIG. 5 decreases as the size of the document 20 decreases. Therefore, the processing time required to detect the inclination angle θ of the document 20 in step S4 decreases as the size of the document 20 decreases. Therefore, as shown in FIG. 2, when the size of the document 20 is sufficiently smaller than the reading range by the image reading unit 12 (for example, the entire document table 121), the entire reading range by the image reading unit 12 is reached. Compared with the case where the inclination θ of the document 20 is detected based on the corresponding document image data 30, the processing time is significantly shortened. Therefore, the image processing apparatus 1 according to this embodiment can detect the inclination θ of the document 20 in a processing time corresponding to the size of the document 20 even if the size of the document 20 is unknown.

<ステップS5>
ステップS5において、制御部16は、前記ステップS4で検出された原稿20の傾き角θ(図5参照)と同じ傾き角を有し、且つ第1矩形領域A1に外接する矩形領域を、処理対象領域B1(図6参照)として決定する。
<Step S5>
In step S5, the control unit 16 processes a rectangular area having the same inclination angle as the inclination angle θ (see FIG. 5) of the document 20 detected in step S4 and circumscribing the first rectangular area A1. It determines as area | region B1 (refer FIG. 6).

<ステップS6>
ステップS6(本発明の「傾き補正ステップ」の一例)において、制御部16は、前記ステップS5で決定された処理対象領域B1内の原稿画像データ30、すなわち、図7に示される画像データ31に対して傾き補正処理(画像回転処理)を行う。この結果、図7に示されるように、原稿20の傾きが補正された画像データ32が得られる。このように、本実施形態の画像処理装置1では、処理対象領域B1内の原稿画像データ30に対して傾き補正処理が行われるので、画像読取部12による読み取り範囲の全体(例えば、原稿台121の全体)に対応する原稿画像データ30に対して傾き補正処理が行われる場合と比べて、傾き補正処理に要する処理時間が短縮される。
<Step S6>
In step S6 (an example of the “inclination correction step” of the present invention), the control unit 16 applies the original image data 30 in the processing target area B1 determined in step S5, that is, the image data 31 shown in FIG. On the other hand, tilt correction processing (image rotation processing) is performed. As a result, as shown in FIG. 7, image data 32 in which the inclination of the document 20 is corrected is obtained. As described above, in the image processing apparatus 1 of the present embodiment, since the skew correction process is performed on the document image data 30 in the processing target area B1, the entire reading range by the image reading unit 12 (for example, the document table 121). Compared with the case where the inclination correction process is performed on the document image data 30 corresponding to the entire image, the processing time required for the inclination correction process is shortened.

<ステップS7>
ステップS7において、制御部16は、前記ステップS6で生成された前記傾き補正処理後の画像データ32に基づいて、原稿20の画像に含まれるエッジを示す第2エッジ画像データ50(図8参照)を生成する。
<Step S7>
In step S7, the control unit 16 uses the edge data included in the image of the document 20 based on the image data 32 after the tilt correction process generated in step S6 (see FIG. 8). Is generated.

<ステップS8>
ステップS8において、制御部16は、前記ステップS7で生成された第2エッジ画像データ50において全ての前記エッジを包含する最小の矩形領域である第2矩形領域A2(図8参照)を抽出する。
<Step S8>
In step S8, the control unit 16 extracts a second rectangular area A2 (see FIG. 8) that is the smallest rectangular area including all the edges in the second edge image data 50 generated in step S7.

<ステップS9>
ステップS9において、制御部16は、前記ステップS6で生成された前記傾き補正処理後の画像データ32から、前記ステップS8で抽出された第2矩形領域A2に対応する領域を切り出す。こうして切り出された画像データ33(図8参照)は、原稿20の画像を示す画像データとして、記憶部15に記憶される。このように、本実施形態の画像処理装置1では、前記傾き補正処理後の画像データ32が、余白部分を除去するトリミング処理が施されてから記憶部15に記憶される。よって、原稿20の画像を示す画像データを必要最小限のサイズで記憶することができる。
<Step S9>
In step S9, the control unit 16 cuts out an area corresponding to the second rectangular area A2 extracted in step S8 from the image data 32 after the inclination correction process generated in step S6. The image data 33 (see FIG. 8) thus cut out is stored in the storage unit 15 as image data indicating the image of the document 20. As described above, in the image processing apparatus 1 according to the present embodiment, the image data 32 after the inclination correction process is stored in the storage unit 15 after being subjected to the trimming process for removing the margin part. Therefore, the image data indicating the image of the document 20 can be stored with the minimum necessary size.

なお、前記ステップS2の処理は、制御部16の第1エッジ画像生成部161によって実行される。前記ステップS3の処理は、制御部16の第1抽出部162によって実行される。前記ステップS4の処理は、制御部16の傾き検出部163によって実行される。前記ステップS6の処理は、制御部16の傾き補正部164によって実行される。前記ステップS7の処理は、制御部16の第2エッジ画像生成部165によって実行される。前記ステップS8の処理は、制御部16の第2抽出部166によって実行される。前記ステップS9の処理は、制御部16のトリミング部167によって実行される。   Note that the processing in step S2 is executed by the first edge image generation unit 161 of the control unit 16. The process of step S3 is executed by the first extraction unit 162 of the control unit 16. The process of step S4 is executed by the inclination detection unit 163 of the control unit 16. The process of step S6 is executed by the inclination correction unit 164 of the control unit 16. The process in step S7 is executed by the second edge image generation unit 165 of the control unit 16. The process of step S8 is executed by the second extraction unit 166 of the control unit 16. The process of step S9 is executed by the trimming unit 167 of the control unit 16.

以上のように、本実施形態によれば、第1矩形領域A1内の第1エッジ画像データ40に基づいて原稿20の傾き角θが検出されるので、原稿20のサイズが不明であっても原稿20のサイズに応じた処理時間で原稿画像データ30に基づいて原稿20の傾きを検出することが可能である。   As described above, according to the present embodiment, since the inclination angle θ of the document 20 is detected based on the first edge image data 40 in the first rectangular area A1, even if the size of the document 20 is unknown. It is possible to detect the inclination of the document 20 based on the document image data 30 in the processing time corresponding to the size of the document 20.

なお、本実施形態では、図6に示される処理対象領域B1内の原稿画像データ30に対して傾き補正処理が行われるが、本発明はこれに限定されない。他の実施形態では、図6に示される第1矩形領域A1内の原稿画像データ30に対して前記傾き補正処理が行われてもよい。これにより、前記傾き補正処理の対象となる画像データのサイズがより小さくなるため、前記傾き補正処理に要する処理時間をさらに短縮することができる。ただし、第1矩形領域A1内の原稿画像データ30(例えば、図10に示される画像データ34)に対して前記傾き補正処理(画像回転処理)が行われた場合には、図10に示されるように、前記傾き補正処理後の画像データ32には元の画像データ34には存在しない領域(図10における斜線領域)が含まれてしまう。よって、この場合には、例えば、当該斜線領域の画素値を予め定められた値(例えば、白を示す値)にセットする必要がある。この場合、仮に、原稿20の地色が白以外の色(例えば、ほとんど白に近いグレー)である場合には、前記傾き補正処理後の画像データ32において、前記斜線領域とその他の領域とで下地の色が異なってしまうことになる。これに対して、前述した実施形態では、このような問題は生じないので、原稿20の地色が白以外の色である場合に有利である。   In the present embodiment, the inclination correction process is performed on the document image data 30 in the processing target area B1 shown in FIG. 6, but the present invention is not limited to this. In another embodiment, the tilt correction process may be performed on the document image data 30 in the first rectangular area A1 shown in FIG. As a result, the size of the image data to be subjected to the tilt correction process is further reduced, so that the processing time required for the tilt correction process can be further shortened. However, when the inclination correction process (image rotation process) is performed on the document image data 30 (for example, the image data 34 shown in FIG. 10) in the first rectangular area A1, it is shown in FIG. As described above, the image data 32 after the tilt correction process includes a region (hatched region in FIG. 10) that does not exist in the original image data 34. Therefore, in this case, for example, it is necessary to set the pixel value of the hatched area to a predetermined value (for example, a value indicating white). In this case, if the background color of the document 20 is a color other than white (for example, gray that is almost white), in the image data 32 after the inclination correction process, the hatched area and other areas are used. The background color will be different. On the other hand, in the above-described embodiment, such a problem does not occur, which is advantageous when the ground color of the document 20 is a color other than white.

なお、本実施形態では、図8に示される画像データ33が、原稿20の画像を示す画像データとして最終的に記憶部15に記憶されるが、本発明はこれに限定されない。他の実施形態では、図7に示される画像データ32(すなわち、トリミング処理前の画像データ)が、原稿20の画像を示す画像データとして記憶部15に記憶されてもよい。さらに他の実施形態では、図7に示される画像データ32と図8に示される画像データ33とのいずれの画像データを原稿20の画像を示す画像データとして記憶部15に記憶すべきかを、ユーザーが任意に設定可能であってもよい。   In the present embodiment, the image data 33 shown in FIG. 8 is finally stored in the storage unit 15 as image data indicating the image of the document 20, but the present invention is not limited to this. In another embodiment, the image data 32 shown in FIG. 7 (that is, image data before trimming processing) may be stored in the storage unit 15 as image data indicating an image of the document 20. In yet another embodiment, the image data 32 shown in FIG. 7 and the image data 33 shown in FIG. 8 should be stored in the storage unit 15 as image data indicating the image of the document 20. May be arbitrarily settable.

1 画像処理装置
20 原稿
21 文字
22 罫線
30 原稿画像データ
31,32,33 画像データ
40 第1エッジ画像データ
41 エッジ画像データ
50 第2エッジ画像データ
121 原稿台
A1 第1矩形領域
A2 第2矩形領域
B1 処理対象領域
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 20 Original 21 Character 22 Ruled line 30 Original image data 31, 32, 33 Image data 40 First edge image data 41 Edge image data 50 Second edge image data 121 Document stage A1 First rectangular area A2 Second rectangular area B1 Processing target area

Claims (7)

画像読取部により原稿から読み取られた原稿画像データに基づいて、原稿の画像に含まれるエッジを示すエッジ画像データを生成するエッジ画像生成部と、
前記エッジ画像データにおいて全ての前記エッジを包含する最小の矩形領域を抽出する抽出部と、
前記矩形領域内の前記エッジ画像データに基づいて原稿の傾き角を検出する傾き検出部と、
前記傾き検出部により検出される原稿の傾き角に応じて前記原稿画像データに対して傾き補正処理を行う傾き補正部と、
を備える画像処理装置。
An edge image generation unit that generates edge image data indicating an edge included in an image of a document based on document image data read from the document by the image reading unit;
An extraction unit that extracts a minimum rectangular area including all the edges in the edge image data;
An inclination detection unit that detects an inclination angle of the document based on the edge image data in the rectangular area;
An inclination correction unit that performs an inclination correction process on the original image data in accordance with an inclination angle of the original detected by the inclination detection unit;
An image processing apparatus comprising:
前記傾き補正部は、前記傾き検出部により検出される原稿の傾き角と同じ傾き角を有し、且つ前記矩形領域に外接する矩形領域を、処理対象領域として決定し、当該処理対象領域内の前記原稿画像データに対して前記傾き補正処理を行う、
請求項1に記載の画像処理装置。
The inclination correction unit determines a rectangular area having the same inclination angle as that of the document detected by the inclination detection unit and circumscribing the rectangular area as a processing target area, Performing the tilt correction process on the document image data;
The image processing apparatus according to claim 1.
前記傾き補正部は、前記矩形領域内の前記原稿画像データに対して前記傾き補正処理を行う、
請求項1に記載の画像処理装置。
The inclination correction unit performs the inclination correction process on the document image data in the rectangular area.
The image processing apparatus according to claim 1.
前記エッジ画像データは、白黒2値画像データである、
請求項1〜3のいずれかに記載の画像処理装置。
The edge image data is monochrome binary image data.
The image processing apparatus according to claim 1.
前記傾き検出部は、前記矩形領域内の前記エッジ画像データに含まれる文字又は罫線を抽出し、当該文字又は罫線の傾きに基づいて原稿の傾き角を検出する、
請求項1〜4のいずれかに記載の画像処理装置。
The inclination detection unit extracts a character or ruled line included in the edge image data in the rectangular area, and detects an inclination angle of the document based on the inclination of the character or ruled line;
The image processing apparatus according to claim 1.
前記エッジ画像データを第1エッジ画像データとし、前記エッジ画像生成部を第1エッジ画像生成部とし、前記矩形領域を第1矩形領域とし、前記抽出部を第1抽出部として、
前記傾き補正部による前記傾き補正処理後の原稿画像データに基づいて、原稿の画像に含まれるエッジを示す第2エッジ画像データを生成する第2エッジ画像生成部と、
前記第2エッジ画像データにおいて全ての前記エッジを包含する最小の矩形領域である第2矩形領域を抽出する第2抽出部と、
前記傾き補正部による前記傾き補正処理後の原稿画像データから、前記第2抽出部により抽出される前記第2矩形領域に対応する領域を切り出すトリミング部と、
を更に備える、請求項1〜5のいずれかに記載の画像処理装置。
The edge image data is first edge image data, the edge image generation unit is a first edge image generation unit, the rectangular region is a first rectangular region, and the extraction unit is a first extraction unit.
A second edge image generation unit that generates second edge image data indicating an edge included in an image of the document based on the document image data after the tilt correction processing by the tilt correction unit;
A second extraction unit that extracts a second rectangular region that is a minimum rectangular region including all the edges in the second edge image data;
A trimming unit that cuts out a region corresponding to the second rectangular region extracted by the second extraction unit from the document image data after the tilt correction processing by the tilt correction unit;
The image processing apparatus according to claim 1, further comprising:
画像読取部により原稿から読み取られた原稿画像データに基づいて、原稿の画像に含まれるエッジを示すエッジ画像データを生成するエッジ画像生成ステップと、
前記エッジ画像データにおいて全ての前記エッジを包含する最小の矩形領域を抽出する抽出ステップと、
前記矩形領域内の前記エッジ画像データに基づいて原稿の傾き角を検出する傾き検出ステップと、
前記傾き検出ステップにおいて検出される原稿の傾き角に応じて前記原稿画像データに対して傾き補正処理を行う傾き補正ステップと、
を含む画像処理方法。
An edge image generation step for generating edge image data indicating an edge included in an image of the document based on the document image data read from the document by the image reading unit;
An extraction step of extracting a minimum rectangular area including all the edges in the edge image data;
An inclination detecting step for detecting an inclination angle of the document based on the edge image data in the rectangular area;
An inclination correction step for performing an inclination correction process on the original image data in accordance with an inclination angle of the original detected in the inclination detection step;
An image processing method including:
JP2016142962A 2016-07-21 2016-07-21 Image processing apparatus and image processing method Expired - Fee Related JP6520853B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016142962A JP6520853B2 (en) 2016-07-21 2016-07-21 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016142962A JP6520853B2 (en) 2016-07-21 2016-07-21 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2018014614A true JP2018014614A (en) 2018-01-25
JP6520853B2 JP6520853B2 (en) 2019-05-29

Family

ID=61020487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016142962A Expired - Fee Related JP6520853B2 (en) 2016-07-21 2016-07-21 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP6520853B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004165969A (en) * 2002-11-13 2004-06-10 Minolta Co Ltd Image processing apparatus and program thereof
JP2010003087A (en) * 2008-06-19 2010-01-07 Canon Inc Image processor and image processing method
JP2012005062A (en) * 2010-06-21 2012-01-05 Sharp Corp Image processing apparatus, image reading apparatus, image forming apparatus, image processing method, computer program and recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004165969A (en) * 2002-11-13 2004-06-10 Minolta Co Ltd Image processing apparatus and program thereof
JP2010003087A (en) * 2008-06-19 2010-01-07 Canon Inc Image processor and image processing method
JP2012005062A (en) * 2010-06-21 2012-01-05 Sharp Corp Image processing apparatus, image reading apparatus, image forming apparatus, image processing method, computer program and recording medium

Also Published As

Publication number Publication date
JP6520853B2 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
JP6288521B2 (en) Image processing device
CN104954612A (en) Image processing system, image processing apparatus, information processing apparatus and image processing method
JP5502042B2 (en) Image data processing system
JP2018046360A (en) Image processing device, method and program
JP2001218045A (en) Picture processor and picture processing method
JP6049531B2 (en) Image processing apparatus and image forming apparatus
JP2023144065A (en) Image processing apparatus and image processing method
JP4502001B2 (en) Image processing apparatus and image processing method
EP3731174A2 (en) Image processing apparatus, and method for controlling image processing apparatus
JP6520853B2 (en) Image processing apparatus and image processing method
JP2005316550A (en) Image processor, image reader, image inspection device and program
JP2008141683A (en) Image processor, method and program, and storage medium
US20200021713A1 (en) Image processing apparatus and image forming apparatus
JP2010011359A (en) Image processing apparatus, image forming apparatus, method of controlling the image processing apparatus, control program, and recording medium
JP6639257B2 (en) Information processing apparatus and control method therefor
US9438766B2 (en) Information processing apparatus, information processing method
JP2004104662A (en) Image forming device
JP2020068474A (en) Image processing apparatus and image correction method
JP6524942B2 (en) Image processing apparatus and image processing method
JP2019121852A (en) Image processing apparatus, image processing program, image processing method, and image forming apparatus including the image processing apparatus
JP6105521B2 (en) Image processing apparatus, program, and image forming apparatus
JP6623979B2 (en) Image processing apparatus and image processing method
JP6801612B2 (en) Map presentation device and map presentation method
JP6708118B2 (en) Image processing device
JP2020120359A (en) Image forming apparatus and image forming method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R150 Certificate of patent or registration of utility model

Ref document number: 6520853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees