JP7491763B2 - Image processing device, method, and program - Google Patents
Image processing device, method, and program Download PDFInfo
- Publication number
- JP7491763B2 JP7491763B2 JP2020126112A JP2020126112A JP7491763B2 JP 7491763 B2 JP7491763 B2 JP 7491763B2 JP 2020126112 A JP2020126112 A JP 2020126112A JP 2020126112 A JP2020126112 A JP 2020126112A JP 7491763 B2 JP7491763 B2 JP 7491763B2
- Authority
- JP
- Japan
- Prior art keywords
- brightness
- image
- value
- image processing
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 174
- 238000000034 method Methods 0.000 title claims description 135
- 238000012937 correction Methods 0.000 claims description 108
- 238000003672 processing method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- FLDSMVTWEZKONL-AWEZNQCLSA-N 5,5-dimethyl-N-[(3S)-5-methyl-4-oxo-2,3-dihydro-1,5-benzoxazepin-3-yl]-1,4,7,8-tetrahydrooxepino[4,5-c]pyrazole-3-carboxamide Chemical compound CC1(CC2=C(NN=C2C(=O)N[C@@H]2C(N(C3=C(OC2)C=CC=C3)C)=O)CCO1)C FLDSMVTWEZKONL-AWEZNQCLSA-N 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 102220495430 Glutaredoxin-like protein C5orf63_S12A_mutation Human genes 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102200084388 rs121918345 Human genes 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000005282 brightening Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Input (AREA)
Description
本発明は、画像処理技術に関し、光学的な読み取り画像を補正する技術に関する。 The present invention relates to image processing technology and to technology for correcting optically read images.
帳票等の用紙をスキャナ装置で光学的に読み取った場合の読み取り画像には、色ムラ、言い換えると明度ムラが生じる場合がある。読み取り画像の色ムラ等を補正する画像処理技術としては、シェーディング補正方式等がある。シェーディング補正方式は、画像領域内の色・明度の分布において、読み取り時のレンズ特性等に起因して、周辺領域が暗くなっている読み取り画像の場合に、周辺領域の暗い部分を明るくして均一化するように補正を行う方式である。 When a scanner optically reads a document or other paper, the image may have color unevenness, or in other words, uneven brightness. Image processing techniques for correcting color unevenness in a read image include the shading correction method. The shading correction method is a method that performs corrections to brighten and equalize the dark areas of the peripheral areas of a read image in which the peripheral areas are dark due to factors such as the lens characteristics at the time of reading, in the distribution of color and brightness within the image area.
上記読み取り画像の色ムラ等を補正する画像処理に関して、先行技術例としては、特開平９－１４９２７７号公報が挙げられる。特許文献１には、「画像明度変換装置」として、「入力される画像濃度がその都度ばらついても忠実な色のままで、最大のコントラストを得て、好ましい明るさに自動的に適正化できる」旨が記載されている。特許文献１では、明度変換として、明度のヒストグラムを用いる旨が記載されている。
As an example of prior art related to image processing for correcting color unevenness and the like in the scanned image, JP 9-149277 A can be cited.
帳票の用紙に、紙質に応じたすきムラや、記載時の筆圧や搬送時のばたつき等に応じたよれや折れ曲がり、言い換えると、紙面において厚さの違いの分布が生じている場合がある。その場合、その帳票の読み取り画像には、ランダムな箇所に、色ムラ・明度ムラが生じる場合がある。その読み取り画像を人の眼から見た場合、視認性が良くない場合がある。あるいは、用紙の重なり・裏写り等がある場合には、透けた文字等が読み取り画像に見えてしまうことで、視認性が良くない場合がある。 The paper used for forms may have uneven gaps depending on the paper quality, or wrinkles or folds depending on the writing pressure or flapping during transportation, in other words, a distribution of differences in thickness on the paper surface. In such cases, the scanned image of the form may have uneven color or brightness in random places. When viewed by the human eye, the scanned image may be difficult to see. Alternatively, if the paper overlaps or shows through, see-through characters may be visible in the scanned image, resulting in poor visibility.
本発明の目的は、画像処理技術に関して、読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる技術を提供することである。 The objective of the present invention is to provide an image processing technology that can reduce color and brightness unevenness in scanned images and improve visibility.
本発明のうち代表的な実施の形態は、以下に示す構成を有する。実施の形態の画像処理装置は、帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力する処理を行う。 A representative embodiment of the present invention has the following configuration. The image processing device of the embodiment inputs an image obtained by optically reading a document, creates a histogram of the brightness of each point in the image, sets the brightness of each point as the correction target point brightness, calculates the average brightness value in the brightness range according to the brightness width set for the correction target point brightness in the histogram, and generates and outputs a corrected image in which the correction target point brightness is replaced with the average brightness value.
本発明のうち代表的な実施の形態によれば、画像処理技術に関して、読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる。 A representative embodiment of the present invention uses image processing technology to reduce color and brightness unevenness in scanned images, improving visibility.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。 The following describes in detail an embodiment of the present invention with reference to the drawings. In principle, the same parts are given the same reference numerals in all the drawings, and repeated explanations are omitted.
［課題等］
課題等について補足説明する。従来のシェーディング補正方式等の画像補正方法は、画像内の暗い部分（特に周辺領域）を明るくして均一化するように補正する。この方式では、対象画像は補正後に全体的な明度が高くなる。このような画像補正方式は、前述の帳票の読み取り画像におけるランダムな箇所に生じる色ムラ・明度ムラには有効ではない。また、他の画像補正方法としては、画像内の明度ムラがある領域について、明度の平均値等を算出して、その１つの明度値に塗りつぶすように補正する方式も挙げられる。しかし、領域内の全ポイントが同一の明度になると、人の眼から見て違和感が生じる場合がある。また、読み取り画像内において、領域毎に明度を補正する場合、その領域毎の識別や設定が必要であるが、これには処理の難しさや計算処理負荷の高さ等がある。
[Issues, etc.]
A supplementary explanation of the problems will be given. Conventional image correction methods such as shading correction methods correct dark areas (especially peripheral areas) in an image by brightening them and making them uniform. In this method, the overall brightness of the target image increases after correction. Such image correction methods are not effective for color unevenness and brightness unevenness that occur at random locations in the scanned image of the above-mentioned form. Another image correction method is a method in which an average brightness value or the like is calculated for an area in an image that has brightness unevenness, and the area is corrected to fill in the area with that single brightness value. However, if all points in an area have the same brightness, it may cause an uncomfortable feeling to the human eye. In addition, when the brightness is corrected for each area in the scanned image, it is necessary to identify and set each area, which involves difficulty in processing and a high computational processing load.
これに対し、実施の形態の画像処理方法は、画像内のランダムな箇所の色ムラ・明度ムラについて、明暗を補正する。この補正は、ポイント毎に、暗い箇所を明るくなるように補正すること（言い換えると明度を上げる補正）と、明るい箇所を暗くなるように補正すること（言い換えると明度を下げる補正）との両方を含む補正である。 In contrast, the image processing method of the embodiment corrects the brightness of uneven color and brightness at random locations in the image. This correction involves both correcting dark locations to make them brighter (in other words, a correction to increase brightness) and correcting bright locations to make them darker (in other words, a correction to decrease brightness) for each point.
具体的には、実施の形態の画像処理方法は、対象画像内における各ポイント（例えば画素）の明度毎に、所定の明度範囲でのヒストグラムを用いて、明度の平均値等を計算し、その平均値等（すなわち補正値）によって、そのポイントの明度を置き換えるように補正するステップを有する。これにより、補正後画像では、ランダムな箇所の色ムラ・明度ムラが低減され、人の眼から見た視認性が向上する。それとともに、全体的な明度はあまり変わらない。 Specifically, the image processing method of the embodiment has a step of calculating the average brightness value or the like for each brightness point (e.g. pixel) in the target image using a histogram in a predetermined brightness range, and correcting the brightness of the point by replacing it with the average value or the like (i.e., correction value). As a result, in the corrected image, color unevenness and brightness unevenness in random locations are reduced, improving visibility to the human eye. At the same time, the overall brightness does not change much.
＜実施の形態１＞
図１～図１３等を用いて、本発明の実施の形態１の画像処理装置、方法、およびプログラムについて説明する。実施の形態１の画像処理方法は、実施の形態１の画像処理装置で実行されるステップを有する方法である。実施の形態１の画像処理プログラムは、実施の形態１の画像処理装置に処理を実行させるプログラムである。
<First embodiment>
An image processing device, method, and program according to a first embodiment of the present invention will be described with reference to Figures 1 to 13 etc. The image processing method according to the first embodiment is a method having steps executed by the image processing device according to the first embodiment. The image processing program according to the first embodiment is a program for causing the image processing device according to the first embodiment to execute processing.
［画像処理装置］
図１は、実施の形態１の画像処理装置１を含む、システムの構成例を示す。図１のシステムは、画像処理装置１とスキャナ装置２とがＬＡＮ等の通信手段で接続されているシステムである。ユーザＵ１は、画像処理装置１やスキャナ装置２を操作する。ユーザＵ１は、帳票３（言い換えると用紙）を、スキャナ装置２で読み取らせ、読み取りによって得られた画像（帳票画像ファイル４）を、画像処理装置１で処理させて、帳票認識結果等を得る。
[Image Processing Device]
Fig. 1 shows an example of the configuration of a system including an
スキャナ装置２は、セットされた帳票３等の紙面を光学的に走査して画像を読み取る装置である。スキャナ装置２は、読み取りの結果として、帳票画像ファイル４を出力する。帳票画像ファイル４は、ＬＡＮを通じて、画像処理装置１に転送される。画像処理装置１は、通信インタフェース装置１０３によって帳票画像ファイル４を受信・入力し、記憶装置１０２内に補正前の画像ファイル１２２として格納する。なお、スキャナ装置２は、スキャナ機能およびプリンタ機能等を持つ複合機等としてもよい。
The
画像処理装置１は、実施の形態１の画像処理プログラムが実装されているコンピュータである。また、本例では特に、画像処理装置１は、ＯＣＲ装置（言い換えると帳票認識装置）であり、帳票認識プログラム内に実施の形態１の画像処理プログラムが含まれている。実施の形態１の画像処理プログラムは、実施の形態１の画像処理方法に対応する、色ムラ補正処理を含む画像処理および情報処理をコンピュータ（画像処理装置１）に実行させるプログラムである。
The
この画像処理装置１は、例えばＰＣおよびそれに搭載されるソフトウェアで構成されているが、ＯＣＲや複合機等の専用装置として構成されてもよい。また、本例では、画像処理装置１とスキャナ装置２とに分かれている構成であるが、これに限らず、画像処理装置１とスキャナ装置２とが一体である構成でもよい。
This
画像処理装置１は、入力の帳票画像ファイル４に対し、色ムラ補正処理を含む、帳票認識処理を行う。画像処理装置１は、入力の帳票画像ファイル４を、補正前の画像ファイル１２２とし、色ムラ補正処理を行い、処理後の出力が、補正後の画像ファイル１２３となる。実施の形態１の画像処理プログラム（制御プログラム１２１に含まれている）は、その色ムラ補正処理を行うプログラムである。実施の形態１の画像処理プログラムは、補正前の画像ファイル１２２を入力として、色ムラ補正処理を行い、補正後の画像ファイル１２３を出力する。画像処理装置１の帳票認識プログラムは、補正後の画像ファイル１２３に対し、文字等を認識して抽出する帳票認識処理、言い換えるとＯＣＲ処理を行い、その処理の結果を、帳票認識結果データ１２４として出力する。
The
画像処理装置１であるコンピュータは、演算装置１０１、記憶装置１０２（言い換えるとメモリ）、通信インタフェース装置１０３、入出力インタフェース装置１０４、入力装置１０５、表示装置１０６、外部記憶装置１０７等を備え、これらはバス等を介して相互に接続されている。演算装置１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、装置全体を制御するプロセッサまたはコントローラを実現する。演算装置１０１は、ソフトウェアプログラム処理により実現される機能ブロックとして、帳票画像入力部１１、帳票認識処理部１２、帳票認識結果出力部１３、表示部１４、設定部１５、および画像処理部２０を有する。画像処理部２０は、実施の形態１の画像処理プログラムによって実現され、言い換えると、色ムラ補正処理部である。演算装置１０１は、記憶装置１０２の制御プログラム１２１を読み出してその制御プログラム１２１に従った処理を実行することにより、各機能ブロックを実現する。制御プログラム１２１は、実施の形態１の画像処理プログラム、および帳票認識プログラムを含む。
The computer that is the
記憶装置１０２には、不揮発性記憶装置等で構成され、演算装置１０１等が扱う各種のデータや情報が記憶されている。記憶装置１０２には、制御プログラム１２１、補正前の画像ファイル１２２、補正後の画像ファイル１２３、および帳票認識結果データ１２４等が記憶される。図示しないが、制御プログラム１２１には、プログラムやユーザの設定情報も伴う。設定情報は、例えば、帳票認識のための認識フォーマット情報等がある。認識フォーマット情報では、例えば帳票３毎の形式に応じて、読み取りフィールド（文字等を認識する対象となるフィールド）等が設定されている。帳票認識結果データ１２４は、帳票認識処理の結果として作成される、帳票３内から認識された文字や図形等の情報を含むデータである。なお、画像処理装置１の外部にＤＢサーバやストレージ装置等が接続され、それらに各種のデータや情報が格納されてもよい。
The
補正前の画像ファイル１２２は、後述するが、色ムラを含む場合があり、画像処理部２０は、その色ムラを低減する色ムラ補正処理を行う。その処理の結果、色ムラが低減された画像が、補正後の画像ファイル１２３となる。色ムラが低減された補正後の画像ファイル１２３は、ユーザＵ１から見て視認性が高い好適な画像となる。また、画像処理装置１は、補正後の画像ファイル１２３を用いて、帳票認識処理を行うことで、より高精度な結果を得られる可能性がある。
As described below, the
通信インタフェース装置１０３は、スキャナ装置２等の外部装置との間で所定の通信インタフェースで通信処理を行う部分である。画像処理装置１は、スキャナ装置２に限らず、外部のサーバ装置やストレージ装置等の装置との間でデータを授受してもよい。
The
入出力インタフェース装置１０４には、入力装置１０５、表示装置１０６、および外部記憶装置１０７等が接続されている。入力装置１０５は、例えばキーボードやマウスや操作パネルが挙げられる。ユーザは、入力装置１０５を通じて指示等を入力する。表示装置１０６は、液晶ディスプレイ等が挙げられる。入力装置１０５および表示装置１０６は、タッチパネルとしてもよい。表示装置１０６の表示画面には、所定のグラフィカル・ユーザ・インタフェース（ＧＵＩ）を伴う画面が表示される。この画面は、帳票認識機能や色ムラ補正機能に係わる設定や確認等を可能とする画面である。ユーザは、その画面を通じて、帳票認識や色ムラ補正に係わる作業が可能である。
The input/
外部記憶装置１０７は、例えばディスク装置やメモリカード装置等が挙げられる。外部記憶装置１０７には、演算装置１０１からの制御に基づいて、画像ファイル等の保存が可能である。画像処理装置１は、外部記憶装置１０７に格納されている画像ファイル等を入力してもよい。
The
帳票画像入力部１１は、スキャナ装置２からの帳票画像ファイル１２２を入力して記憶装置１０２に補正前の画像ファイル１２２として格納する。帳票認識処理部１２は、認識対象の画像ファイル（例えば補正後の画像ファイル１２２）に対し、帳票認識処理（ＯＣＲ処理）を行って、抽出した文字等の情報を含む帳票認識結果データ１２４を作成し、記憶装置１０２に格納する。帳票認識結果出力部１３は、帳票認識結果データ１２４に基づいた帳票認識結果情報を表示画面に表示する。ユーザＵ１は、画面でその帳票認識結果情報を見て、確認や修正を行うことができる。表示部１４は、帳票認識機能や色ムラ補正機能に係わる各種の画面を構成し、表示装置１０６の表示画面に表示する。設定部１５は、画面を通じて、帳票認識機能や色ムラ補正機能に関するユーザ設定を受け付けて設定情報として記憶する。
The form
画像処理部２０（言い換えると色ムラ補正処理部）は、実施の形態１の画像処理プログラムに基づいた画像処理として色ムラ補正処理を行う部分である。補正前の画像ファイル１２２に対し、この画像処理を行うかどうかは、ユーザＵ１によっても選択指定できる。デフォルト設定では、この画像処理の機能がオン状態として設定されている。この機能のオン状態では、自動的にこの画像処理が適用される。
The image processing unit 20 (in other words, the color unevenness correction processing unit) is a part that performs color unevenness correction processing as image processing based on the image processing program of
［帳票］
図２は、帳票３の紙面の例を示す。この帳票３の例は請求書の伝票である。帳票３の紙面には、背景の上に、所定の形式で罫線や文字や図像等が形成されている。背景領域２０１は、背景の領域の一例であり、背景色として、比較的白に近い、明度が高い領域である。図像領域２０２は、比較的黒に近い、明度が低い領域の例である。紙質などに応じて背景色は様々である。帳票３内の所定の領域には、人またはコンピュータが記載した文字や図像等があり、ＯＣＲによる認識の対象となる。破線の枠（例えば枠２０３）は、ＯＣＲでの読み取りフィールドの例である。
[Report]
FIG. 2 shows an example of the page of a form 3. An example of this form 3 is a bill. On the page of the form 3, lines, characters, images, etc. are formed in a predetermined format on a background. The
帳票３は、紙質としては、例えば複写印字が可能な複写用紙（ノーカーボン紙など）である場合もある。帳票３の紙質や、スキャン時の機械的動作（例えば用紙搬送時のばたつき）や、記載時の筆圧等の各種の要因に応じて、帳票３の紙面には、すきムラ、よれ、折れ曲がり等が生じる場合がある。すなわち、紙面には、紙面領域内の分布において、厚さ方向での凹凸、厚さの違いが生じる場合がある。この場合、その帳票３が光学的に読み取られた読み取り画像において、色ムラ、言い換えると明度ムラが生じる場合がある。すなわち、読み取り画像の領域内の分布において、ランダムな箇所に、色ムラ・明度ムラが生じる場合がある。実施の形態での画像処理である色ムラ補正処理は、このような読み取り画像内の色ムラを低減するものである。また、読み取り画像内に、裏写り等による余計な文字等がある場合にも、この色ムラ補正処理によって、低減することができる。 The form 3 may be, for example, a copy paper (such as carbonless paper) that can be used for copying. Depending on various factors such as the paper quality of the form 3, the mechanical operation during scanning (e.g., fluttering during paper transport), and the writing pressure when writing, the surface of the form 3 may have unevenness, wrinkles, or bends. In other words, the surface of the form 3 may have unevenness in the thickness direction and thickness differences in the distribution within the paper surface area. In this case, color unevenness, or in other words brightness unevenness, may occur in the read image obtained by optically reading the form 3. In other words, color unevenness and brightness unevenness may occur in random places in the distribution within the area of the read image. The color unevenness correction process, which is image processing in the embodiment, reduces such color unevenness in the read image. In addition, even if there are unnecessary characters, etc. due to show-through, in the read image, this color unevenness correction process can also reduce them.
［補正前画像－補正後画像］
例えば、図２の帳票３の背景領域２０１は、基本的には一様な背景色の領域である。この背景領域２０１等に上記のような厚さ方向の凹凸等が生じていた場合、この帳票３が光学的に読み取られた結果の読み取り画像には、色ムラ・明度ムラが生じている場合がある。
[Before image - after image]
For example, the
図３の（Ａ）は、背景領域に上記のような色ムラ・明度ムラが生じている場合の補正前画像の例を示す模式図である。この補正前画像は、読み取り画像のうちの一部領域の画像例である。この補正前画像では、ランダムな箇所に色・明度の違いが生じており、すなわち色ムラ・明度ムラが生じている。枠線で示す箇所３０１，３０２は、色・明度が異なる２か所の例であり、箇所３０１は比較的暗く、箇所３０２は比較的明るい。
Figure 3A is a schematic diagram showing an example of a pre-correction image when the above-mentioned color unevenness and brightness unevenness occurs in the background region. This pre-correction image is an example of an image of a partial region of a scanned image. In this pre-correction image, differences in color and brightness occur in random locations, i.e., color unevenness and brightness unevenness occurs.
図３の（Ｂ）は、（Ａ）の補正前画像に対し、実施の形態１による色ムラ補正処理を施した後の補正後画像の例を示す模式図である。（Ｂ）の画像は、（Ａ）の画像と比べて、色ムラ・明度ムラが低減されている。なお、（Ｂ）の補正後画像は、背景領域が単に１つの色、１つの明度に塗りつぶされているわけではなく、複数の色・明度の分布を有する。
Figure 3 (B) is a schematic diagram showing an example of a corrected image after applying the color unevenness correction process according to
［明度分布（色ムラ・明度ムラ）］
図２のような帳票３は、紙面に、背景領域、罫線、ガイダンス文字、ロゴ、記入文字、印鑑等がある。このような帳票３は、写真画像等とは異なり、色・明度のバリエーションが比較的少ない。よって、このような帳票３の読み取り画像は、例えば図４のような明度分布となる。図４の明度分布では、明度は、全明度値には分布しておらず、図示の領域Ａ１～Ａ５のように、いくつかの領域に集まって分布している。
[Brightness distribution (uneven color and brightness)]
A form 3 as shown in Fig. 2 has a background area, ruled lines, guidance characters, logos, written characters, seals, etc. on the paper surface. Unlike photographic images, this type of form 3 has relatively little variation in color and brightness. Therefore, a scanned image of such a form 3 has a brightness distribution as shown in Fig. 4. In the brightness distribution in Fig. 4, the brightness is not distributed over the entire brightness value, but is concentrated in several areas such as areas A1 to A5 shown in the figure.
図４は、補正前画像である読み取り画像においてランダムな箇所に色ムラ・明度ムラがある場合における明度分布（言い換えると濃度分布）のグラフを示す。このグラフは、横軸がポイント（画素）の位置座標、縦軸が明度である。このグラフは、２次元画像内のポイントの位置（ｘ，ｙ）と明度Ｖとの３次元の情報を持つ３次元グラフを、説明用に２次元グラフで表現したものである。横軸のポイント位置は、２次元の位置（ｘ，ｙ）を１次元に並べたものである。 Figure 4 shows a graph of the brightness distribution (in other words, density distribution) when there are color and brightness irregularities in random locations in a scanned image, which is an uncorrected image. In this graph, the horizontal axis represents the position coordinates of the point (pixel), and the vertical axis represents brightness. For explanatory purposes, this graph is a three-dimensional graph that holds three-dimensional information about the position (x, y) and brightness V of a point in a two-dimensional image, and is expressed as a two-dimensional graph. The point position on the horizontal axis is a one-dimensional arrangement of the two-dimensional positions (x, y).
このグラフは、例えば図２の帳票３の読み取り画像で色ムラがある場合の明度分布を示す。本例では、領域Ａ１～Ａ５に示すように、概略的に５個の集まりで、明度成分を有する。例えば、領域Ａ１は、明度Ｖが比較的高い領域であり、図２の帳票３のうちの比較的白い背景（例えば背景領域２０１）の部分に対応する。例えば、領域Ａ５は、明度Ｖが比較的低い領域であり、図２の帳票３のうちの比較的黒い図像領域（例えば図像領域２０２）の部分に対応する。 This graph shows the brightness distribution when there is color unevenness in the scanned image of form 3 in Figure 2, for example. In this example, as shown in areas A1 to A5, the brightness components are roughly divided into five groups. For example, area A1 is an area with a relatively high brightness V, and corresponds to the relatively white background area (e.g., background area 201) of form 3 in Figure 2. For example, area A5 is an area with a relatively low brightness V, and corresponds to the relatively black icon area (e.g., icon area 202) of form 3 in Figure 2.
例えば、領域Ａ１内において、ポイント位置毎に明度Ｖが変動している。領域Ａ１では、明度が、ある範囲４０３で分布している。最小値４０１は領域Ａ１内での最小明度値の例、最大値４０２は領域Ａ１内での最大明度値の例を示す。
For example, within area A1, the brightness V varies for each point position. Within area A1, the brightness is distributed within a
このように、領域内での明度の変動が大きい現象は、色ムラ・明度ムラに相当する。この明度変動が大きいほど、すなわちムラの度合いが大きいほど、人の眼には視認性が低く感じられる。 In this way, the phenomenon of large fluctuations in brightness within an area corresponds to color unevenness and brightness unevenness. The greater this brightness fluctuation, i.e., the greater the degree of unevenness, the lower the visibility perceived by the human eye.
図５は、図４の補正前画像を、実施の形態１の画像処理方法で色ムラ補正処理した場合の補正後画像における明度分布のグラフを示す。例えば、領域Ａ１において、実線で示す補正前の明度分布の曲線５０１は、破線で示す補正後の明度分布の曲線５０２となる。補正前の曲線５０１上での各ポイント（黒点で示す画素）の明度は、所定の明度範囲５０３（後述の図１２の明度幅±ｋ１による範囲Ｗに相当する）でのヒストグラムの頻度値に基づいて計算される平均値（後述）によって、白点で示す明度に補正される。それらの結果が曲線５０２であり、推定明度に相当する。補正後の曲線５０２は、補正前の曲線５０１に比べて、明度の変動が小さくなっており、色ムラ・明度ムラが低減されており、人の眼には、視認性が高くなったように感じられる。
Figure 5 shows a graph of the brightness distribution in the corrected image when the uncorrected image in Figure 4 is subjected to color unevenness correction processing by the image processing method of
［処理フロー］
図６～図８は、実施の形態１で、画像処理装置１の画像処理部２０による主な処理のフローを示す。図６は、フローその１であり、ステップＳ１～Ｓ６を有する。図７は、図６に続くフローその２であり、ステップＳ７～Ｓ９を有する。図８は、図６に続くフローその３であり、ステップＳ１０～Ｓ１３を有する。大別して、図６は、ヒストグラム計算と第１方式での平均値（補正値）計算のフローである。図７は、色合い保持機能を用いない場合（方式Ｙ）の補正処理のフローである。図８は、色合い保持機能を用いる場合（方式Ｘ）の補正処理のフローである。
[Processing flow]
Figures 6 to 8 show the main processing flows by the
図６で、画像処理部２０は、図１の補正前の画像ファイル１２２を、入力画像、言い換えると対象画像として、以下の処理を行う。ステップＳ１で、画像処理部２０は、対象画像の明度のヒストグラムの作成を行う。ヒストグラムの作成については、読み取られた画像の全体で行い、ポイント毎に明度を算出する。ステップＳ１は、詳しくは、ステップＳ１Ａ，Ｓ１Ｂ，Ｓ１Ｃを含む。ステップＳ１Ａで、画像処理部２０は、対象画像のＲ成分（Ｒ画素値）の明度のヒストグラム（ＨＲとする）を作成する。ステップＳ１Ｂで、画像処理部２０は、対象画像のＧ成分（Ｇ画素値）の明度のヒストグラム（ＨＧとする）を作成する。ステップＳ１Ｃで、画像処理部２０は、対象画像のＢ成分（Ｂ画素値）の明度のヒストグラム（ＨＢとする）を作成する。画像処理部２０は、作成したヒストグラムのデータを、記憶装置１０２等によるメモリ上に保持する。
In Fig. 6, the
図９は、対象画像のデータ形式の例を示す。対象画像のデータ形式は、例えば３×８＝２４ｂｉｔのカラー画像である。対象画像は、Ｘ方向（水平方向）およびＹ方向（垂直方向）による２次元画像である。Ｐｘ，ｙは、位置（ｘ，ｙ）にある画素および画素値を表す。画素Ｐｘ，ｙは、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つのサブ画素のセットで構成される。Ｒ，Ｇ，Ｂのそれぞれの画素および画素値を、Ｒｘ，ｙ、Ｇｘ，ｙ、Ｂｘ，ｙとして示す。すなわち、１つのポイントの色・明度は、Ｒ画素値、Ｇ画素値、およびＢ画素値のセットから構成される。画像処理装置１での処理上で、ポイントとは、広義には１つの画素Ｐｘ，ｙであり、狭義にはＲ，Ｇ，Ｂ毎のサブ画素である。画素Ｐｘ，ｙの画素値（言い換えると明度）は、例えば、Ｒ画素Ｒｘ，ｙの値ｒと、Ｇ画素Ｇｘ，ｙの値ｇと、Ｂ画素Ｂｘ，ｙの値ｂとを有する。値ｒ，ｇ，ｂは、例えば８ｂｉｔで表現される場合、０から２５５までの２５６階調の範囲内の値である。画素Ｐｘ，ｙの補正前の画素値は、後述の補正（第１方式での明度平均値による置換）によって、補正後の画素値となる。補正後の画素値は、例えば、Ｒ画素Ｒｘ，ｙの値ｒａと、Ｇ画素Ｇｘ，ｙの値ｇａと、Ｂ画素Ｂｘ，ｙの値ｂａとを有する。値ｒａ，ｇａ，ｂａは、２５６階調の範囲内の値である。
Figure 9 shows an example of the data format of the target image. The data format of the target image is, for example, a 3 x 8 = 24 bit color image. The target image is a two-dimensional image in the X direction (horizontal direction) and Y direction (vertical direction). Px,y represents the pixel and pixel value at the position (x,y). The pixel Px,y is composed of a set of three sub-pixels, R (red), G (green), and B (blue). The pixels and pixel values of R, G, and B are shown as Rx,y, Gx,y, and Bx,y. That is, the color and brightness of one point is composed of a set of R pixel value, G pixel value, and B pixel value. In the processing by the
図１０は、ステップＳ１で作成するヒストグラムのデータ例を示す。図１０の（Ａ）は、ヒストグラムの表である。この表は、Ｒ画素の明度のヒストグラムＨＲの場合である。この表は、「明度（Ｒ画素値）」列と「頻度値」列とを有する。「明度（Ｒ画素値）」は、例えば上記のように０～２５５の値である。各行には、Ｒ画素値毎の頻度値が格納される。ここでは頻度値をｈ０等の抽象的な変数で示すが、実際にはその変数に数値が格納される。画像処理部２０は、対象画像の画素毎に、対応する明度毎の頻度値を計数し、この表の頻度値列のその変数に格納する。
Figure 10 shows an example of histogram data created in step S1. (A) in Figure 10 is a histogram table. This table is for the histogram HR of R pixel brightness. This table has a "brightness (R pixel value)" column and a "frequency value" column. "Brightness (R pixel value)" is, for example, a value from 0 to 255 as described above. Each row stores a frequency value for each R pixel value. Here, the frequency value is represented by an abstract variable such as h0, but in reality, a numerical value is stored in that variable. The
図１０の（Ｂ）は、（Ａ）のデータに対応するヒストグラム（ＨＲ）のグラフを示す。このグラフは、横軸が明度（Ｒ画素値）、縦軸が頻度値（言い換えると計数値）である。頻度値は、０から全画素数までの範囲内の値である。なお、明度を記号Ｖ、頻度値を記号Ｆで表す場合がある。 Figure 10 (B) shows a histogram (HR) graph corresponding to the data in (A). In this graph, the horizontal axis is brightness (R pixel value) and the vertical axis is frequency value (in other words, count value). Frequency value is a value in the range from 0 to the total number of pixels. Note that brightness may be represented by the symbol V and frequency value by the symbol F.
図６のステップＳ２で、画像処理部２０は、ステップＳ１で作成したヒストグラムを用いて、対象画像中のポイント毎に、指定範囲での明度の頻度値の平均値（例えば加重平均値）を計算する。ステップＳ２は、詳しくは、ステップＳ２Ａ，Ｓ２Ｂ，Ｓ２Ｃを有する。ステップＳ２Ａは、Ｒ画素のヒストグラムＨＲを用いて、Ｒ画素毎に、指定範囲での明度の頻度値の平均値（ＡＲとする）を計算するステップである。ステップＳ２Ｂは、Ｇ画素のヒストグラムＨＧを用いて、Ｇ画素毎に、指定範囲での明度の頻度値の平均値（ＡＧとする）を計算するステップである。ステップＳ２Ｃは、Ｂ画素のヒストグラムＨＢを用いて、Ｂ画素毎に、指定範囲での明度の頻度値の平均値（ＡＢとする）を計算するステップである。
In step S2 of FIG. 6, the
図１１および図１２は、ステップＳ２に関する説明図である。図１１は、対象画像の明度のヒストグラム（図１０とも対応する）の例である。ここでは、横軸を頻度値Ｆ、縦軸を明度Ｖとして示す。図１２は、図１１のヒストグラムのうちの一部として、ある明度Ｖｉの付近の範囲Ｗの拡大を示す。例えばあるポイントの画素Ｐｘ，ｙにおける明度Ｖが、図示するような比較的高いある明度Ｖｉであったとする。この場合について、ステップＳ２の平均値を計算する処理例を説明する。説明上、明度Ｖｉを、補正対象ポイント明度：Ｖ０とも呼ぶ。ステップＳ１のヒストグラムにおいて、この明度Ｖｉでの頻度値Ｆが頻度値Ｆｉであったとする。頻度値Ｆｉを、補正対象ポイント頻度値：Ｆ０とも呼ぶ。 Figures 11 and 12 are explanatory diagrams relating to step S2. Figure 11 is an example of a histogram of the brightness of the target image (also corresponding to Figure 10). Here, the horizontal axis indicates the frequency value F, and the vertical axis indicates the brightness V. Figure 12 shows an enlarged range W around a certain brightness Vi as part of the histogram of Figure 11. For example, assume that the brightness V at a certain point pixel Px,y is a relatively high brightness Vi as shown in the figure. In this case, an example of the process of calculating the average value in step S2 will be described. For the sake of explanation, the brightness Vi is also referred to as the correction target point brightness: V0. In the histogram of step S1, assume that the frequency value F at this brightness Vi is the frequency value Fi. The frequency value Fi is also referred to as the correction target point frequency value: F0.
画像処理部２０は、明度Ｖ０の頻度値Ｆ０について、予め設定された指定の範囲Ｗを適用する。範囲Ｗは、明度Ｖに関する範囲であり、明度範囲とも呼ぶ。本例では、範囲Ｗは、明度Ｖに関する正負の幅（±ｋ１）を用いて規定される。すなわち、範囲Ｗは、明度（Ｖ０－ｋ１）から明度（Ｖ０＋ｋ１）までの範囲である。
The
第１方式では、画像処理部２０は、この範囲Ｗで、明度Ｖの頻度値Ｆに関する平均値として例えば加重平均値を計算する。計算された加重平均値を、明度平均値Ｖ１および頻度平均値Ｆ１とする。頻度平均値Ｆ１は、明度平均値Ｖ１での頻度である。なお、加重平均値は一般に以下の式で計算できる。観測値をＸ、観測値毎の重みをｗ、観測値の数をｎとすると、［加重平均値］＝（ｗ１・Ｘ１＋ｗ２・Ｘ２＋……＋ｗｎ・Ｘｎ）／（ｗ１＋ｗ２＋……＋ｗｎ）である。なお、すべての重みｗが等しい場合、これは相加平均値となる。実施の形態１の例では、重みｗについては、各明度に対応するヒストグラムの頻度値に係数を乗じた値を用いる。その係数は例えば１としてもよい。
In the first method, the
また、実施の形態１の変形例において、画像処理装置１は、第１方式ではなく、第２方式を用いる。第２方式では、画像処理部２０は、この範囲Ｗで、明度Ｖの頻度値Ｆに関する最大値を計算する。計算された最大値を、明度最大値Ｖ２および頻度最大値Ｆ２とする。明度最大値Ｖ２は、頻度最大値Ｆ２での明度である。
In addition, in a modified example of the first embodiment, the
図１３は、ステップＳ２の処理で使用する表として、ルックアップテーブル（ＬＵＴ）の例を示す。Ｒ，Ｇ，Ｂ成分毎に、ＬＵＴがデータとして用意される。それぞれのＬＵＴを、表ＴＲ，ＴＧ，ＴＢとする。画像処理部２０は、それぞれのＬＵＴのデータを、メモリ上に作成および保持する。図１３は、例えばＲ画素に関するＬＵＴである表ＴＲの例を示す。この表ＴＲは、「入力値」列と「出力値」列とを有する。「入力値」は、補正前の明度であるＲ画素値（図１２での補正対象ポイント明度Ｖ０）であり、「出力値」は、補正後の明度、すなわち指定範囲での加重平均値（図１２での明度平均値Ｖ１）である。ここでは「出力値」は、ｖ０～ｖ２５５として抽象的な変数で示すが、実際にはその変数には数値が格納される。最初、この表ＴＲは、初期値、例えば「出力値」がすべて０、が設定される。画像処理部２０は、ステップＳ２の処理の進行に伴い、このような表ＴＲ，ＴＧ，ＴＢの各行に値を格納する。
Figure 13 shows an example of a lookup table (LUT) used in the processing of step S2. An LUT is prepared as data for each of the R, G, and B components. The respective LUTs are referred to as tables TR, TG, and TB. The
ある対象画像について、１回、一通りの処理が行われた結果、このようなＬＵＴ（ＴＲ，ＴＧ，ＴＢ）が完成する。その場合、このＬＵＴは、対象画像に対応する帳票３に関する補正（特にステップＳ２の処理）の仕方、言い換えると変換を表す表となっている。よって、画像処理装置１は、その後、同様の種類の帳票３からの対象画像については、このＬＵＴを適用してもよい。その場合、個別の計算処理を省略して、色ムラ補正を高速に実現することができる。
For a given target image, a LUT like this (TR, TG, TB) is completed as a result of a single set of processing. In this case, this LUT is a table that represents the method of correction (particularly the processing of step S2) for the form 3 corresponding to the target image, in other words, the conversion. Therefore, the
図６で、ステップＳ３は、適用する方式の選択に応じた分岐のステップである。ここで選択できる方式は、画素値を２値化した白・黒の成分について、黒成分を対象外として白成分のみを補正対象とする方式（方式Ａとする）と、白・黒の両方の成分、すなわち画像全体を補正対象とする方式（方式Ｂとする）との２つである。ユーザは、適用する方式（Ａ，Ｂ）を選択できる。画像処理装置１が提供する画面でのユーザ設定で、予め、適用する方式（Ａ，Ｂ）を設定しておいてもよいし、適宜に画面でユーザが帳票３に対し使用する方式（Ａ，Ｂ）を指示選択入力してもよい。ステップＳ３で、画像処理部２０は、対象画像を２値化処理した際に白（値１）となる画素成分のみを補正対象とする方式Ａを適用するか、黒（値０）となる画素成分も補正対象とする方式Ｂを適用するかを判断する。方式Ａを適用する場合（Ｙ）、ステップＳ４に進み、方式Ｂを適用する場合（Ｎ）、ステップＳ４を省略してステップＳ５に進む。
In FIG. 6, step S3 is a branching step according to the selection of the method to be applied. There are two methods that can be selected here: a method (method A) in which only the white component is corrected, excluding the black component, for the white and black components of the binarized pixel values, and a method (method B) in which both the white and black components, that is, the entire image, are corrected. The user can select the method (A, B) to be applied. The method (A, B) to be applied may be set in advance in the user settings on the screen provided by the
ステップＳ４では、方式Ａのために、対象画像に対する２値化処理を行う。２値化処理後の対象画像では、図９の各画素Ｐｘ，ｙの値、すなわちＲｘ，ｙ、Ｇｘ，ｙ、Ｂｘ，ｙは、値０（黒）または値１（白）をとる。 In step S4, binarization processing is performed on the target image for method A. In the target image after binarization processing, the values of each pixel Px,y in FIG. 9, i.e., Rx,y, Gx,y, and Bx,y, take on a value of 0 (black) or a value of 1 (white).
ステップＳ５で、画像処理部２０は、第１方式での平均値（補正後の明度）に関するＬＵＴを作成する。ステップＳ５は、詳しくは、ステップＳ５Ａ，Ｓ５Ｂ，Ｓ５Ｃを有する。ステップＳ５Ａは、Ｒ成分についての平均値（ＡＲ）のＬＵＴ（表ＴＲ）の作成である。ステップＳ５Ｂは、Ｇ成分についての平均値（ＡＧ）のＬＵＴ（表ＴＧ）の作成である。ステップＳ５Ｃは、Ｂ成分についての平均値（ＡＢ）のＬＵＴ（表ＴＢ）の作成である。例えば、図１３のようなＬＵＴが作成される。
In step S5, the
ステップＳ６は、適用する方式の選択に応じた分岐のステップである。ここで選択できる方式は、色合い保持機能に対応して画像の色合いを保持する方式（方式Ｘとする）と、色合いを保持しない方式（方式Ｙとする）との２つである。ユーザは、同様に、適用する方式（Ｘ，Ｙ）を選択できる。ステップＳ６で、画像処理部２０は、色合いを保持する方式Ｘを適用するか、方式Ｙを適用するかを判断する。方式Ｘを適用する場合（Ｙ）、図８のステップＳ１０に進み、方式Ｙを適用する場合（Ｎ）、図７のステップＳ７に進む。
Step S6 is a branching step according to the selection of the method to be applied. There are two methods that can be selected here: a method that preserves the color tone of the image in accordance with the color tone preservation function (method X), and a method that does not preserve the color tone (method Y). Similarly, the user can select the method (X, Y) to be applied. In step S6, the
まず、より単純な方式である方式Ｙの場合について説明する。図７のステップＳ７で、画像処理部２０は、ステップＳ３でいずれの方式（Ａ，Ｂ）を選択していたか、および、対象画像内の対象ポイントにおけるステップＳ４での二値化処理の結果の値が、黒（値０）であるか白（値１）であるかを確認する。方式Ａ選択時で対象ポイントの二値化結果値が白である場合（Ｙ）、または、方式Ｂ選択時の場合（Ｙ）には、ステップＳ８へ進む。方式Ａ選択時で対象ポイントの二値化結果値が黒である場合（Ｎ）には、補正処理（ステップＳ８）を省略するので、ステップＳ９へ進む。
First, we will explain the case of method Y, which is a simpler method. In step S7 of FIG. 7, the
ステップＳ８で、画像処理部２０は、対象画像の対象ポイント（画素Ｐｘ，ｙ）の補正前の明度を、補正後の明度、すなわちステップＳ２で得た第１方式の平均値で置き換える補正処理を行う。つまり、画像処理部２０は、対象ポイントのＲ，Ｇ，Ｂの各成分値（図１２の補正対象ポイント明度Ｖ０）を、ステップＳ２で得た平均値（図１２の明度平均値Ｖ１）で置き換える補正処理を行う。ステップＳ８は、詳しくは、ステップＳ８Ａ，Ｓ８Ｂ，Ｓ８Ｃを有する。ステップＳ８Ａでは、画像処理部２０は、Ｒ成分値（Ｒ画素値）を、加重平均値（ＡＲ）で置き換える補正処理を行う。ステップＳ８Ｂでは、画像処理部２０は、Ｇ成分値（Ｇ画素値）を、加重平均値（ＡＧ）で置き換える補正処理を行う。ステップＳ８Ｃでは、画像処理部２０は、Ｂ成分値（Ｂ画素値）を、加重平均値（ＡＢ）で置き換える補正処理を行う。なお、ステップＳ５に基づいて一旦作成済みのＬＵＴがある場合、ステップＳ８では、そのＬＵＴを使用することで、処理を高速化できる。
In step S8, the
なお、変形例での第２方式の場合、ステップＳ８の処理は、平均値ではなく、前述の最大値（明度最大値Ｖ２）を用いればよい。第２方式では、画像処理部２０は、対象ポイントの明度（Ｖ０）を、上記明度最大値Ｖ２で置き換える。
In the case of the second method of the modified example, the process of step S8 can use the maximum value (maximum brightness value V2) described above, instead of the average value. In the second method, the
画像処理部２０は、上記のような処理を、対象画像のすべてのポイントについて同様に実行する。ステップＳ９で、画像処理部２０は、対象画像の全ポイントについて上記処理が終了したかを確認し、未終了の場合（Ｎ）にはステップＳ７へ戻って同様の繰り返しである。終了した場合（Ｙ）、対象画像の補正が完了したということであり、フローが終了する。
The
一方、方式Ｘを用いる場合、ステップＳ１０で、画像処理部２０は、図７のステップＳ７と同様の処理として、ステップＳ３でいずれの方式（Ａ，Ｂ）を選択していたか、および、対象画像内の対象ポイントにおけるステップＳ４での二値化処理の結果の値が、白（値１）であるか黒（値０）であるかを確認する。方式Ａ選択時で対象ポイントの二値化結果値が白である場合（Ｙ）、または、方式Ｂ選択時の場合（Ｙ）には、ステップＳ１１へ進む。方式Ａ選択時で対象ポイントの二値化結果値が黒である場合（Ｎ）には、補正処理（ステップＳ１１，Ｓ１２）を省略するので、ステップＳ１３へ進む。
On the other hand, when method X is used, in step S10, the
ステップＳ１１で、画像処理部２０は、対象画像の対象ポイントのＲ，Ｇ，Ｂの各成分値（補正対象ポイント明度Ｖ０）と、ステップＳ５のＬＵＴの「出力値」列の加重平均値（明度平均値Ｖ１）との差の平均値を計算する。この差をＤとし、この平均値をＤＡとする。例えば、Ｒ画素（Ｒｘ，ｙ）について、図１２のように、差Ｄは、（Ｖ０－Ｖ１）である。平均値ＤＡは、指定範囲Ｗでの差Ｄの平均値である。
In step S11, the
平均値ＤＡは、例えば以下のように計算できる。Ｒ成分に関する差をＤＲ、Ｇ成分に関する差をＤＧ、Ｂ成分に関する差をＤＢとする。ＤＡ＝（ＤＲ＋ＤＧ＋ＤＢ）÷３。平均値ＤＡは、Ｒ，Ｇ，Ｂで共通の値となる。 The average value DA can be calculated, for example, as follows. Let DR be the difference related to the R component, DG be the difference related to the G component, and DB be the difference related to the B component. DA = (DR + DG + DB) ÷ 3. The average value DA is a common value for R, G, and B.
次に、ステップＳ１２で、画像処理部２０は、対象ポイントの各成分値（補正対象ポイント明度Ｖ０）を、各成分値からステップＳ１１で得た平均値ＤＡを減算した値によって置き換える補正処理を行う。ステップＳ１２は、詳しくは、ステップＳ１２Ａ，Ｓ１２Ｂ，Ｓ１２Ｃを有する。ステップＳ１２Ａで、画像処理部２０は、Ｒ成分値を、Ｒ成分値から平均値ＤＡを減算した値（ＳＲとする）に置き換える。ステップＳ１２Ｂで、画像処理部２０は、Ｇ成分値を、Ｇ成分値から平均値ＤＡを減算した値（ＳＧとする）に置き換える。ステップＳ１２Ｃで、画像処理部２０は、Ｂ成分値を、Ｂ成分値から平均値ＤＡを減算した値（ＳＢとする）に置き換える。
Next, in step S12, the
補正値である減算値ＳＲ，ＳＧ，ＳＢは、例えば以下のように計算できる。補正前のＲ成分値をＶＲ０、補正前のＧ成分値をＶＧ０、補正前のＢ成分値をＶＢ０とする。 The subtraction values SR, SG, and SB, which are the correction values, can be calculated, for example, as follows. The R component value before correction is VR0, the G component value before correction is VG0, and the B component value before correction is VB0.
ＳＲ＝ＶＲ０－ＤＡ
ＳＧ＝ＶＧ０－ＤＡ
ＳＢ＝ＶＢ０－ＤＡ
上記のように、Ｒ，Ｇ，Ｂの全てで同一の平均値ＤＡによって減算による補正が行われる。これにより、特定色のみの大幅な補正を抑え、色合いを保持することができる。この処理方式では、計算処理負荷を抑えつつ、色合い保持が実現できる。なお、上記色合い保持のための処理方式は一例であり、他の処理方式を適用してもよい。他の処理方式としては、ＲＧＢ色空間からＨＳＶ色空間へ変換し、Ｖ値（明度）のみを調整した後、ＲＧＢ色空間へ再変換する方式を用いてもよい。
SR=VR0-DA
SG = VG0 - DA
SB=VB0-DA
As described above, correction is performed by subtraction using the same average value DA for all R, G, and B. This makes it possible to suppress large corrections to only specific colors and preserve the color tone. With this processing method, color tone can be preserved while suppressing the calculation processing load. Note that the above processing method for preserving color tone is one example, and other processing methods may also be applied. As another processing method, a method of converting from the RGB color space to the HSV color space, adjusting only the V value (brightness), and then reconverting to the RGB color space may be used.
ステップＳ１３で、画像処理部２０は、対象画像の全ポイントについて上記処理が終了したかを確認し、未終了の場合（Ｎ）にはステップＳ１０へ戻って同様の繰り返しである。終了した場合（Ｙ）、対象画像の補正が完了したということであり、フローが終了する。
In step S13, the
［効果等］
上記のように、実施の形態１の画像処理装置および方法によれば、帳票の読み取り画像の色ムラ・明度ムラを低減して視認性を高めることができる。
[Effects, etc.]
As described above, according to the image processing apparatus and method of the first embodiment, it is possible to reduce unevenness in color and brightness in the scanned image of the document, thereby improving visibility.
なお、適用する第１方式や第２方式に応じて、補正後画像の視認性等の効果は異なる。対象の帳票３等に応じて、適用する方式を選択すればよい。多くの帳票３では、第２方式よりも第１方式が有効である。第１方式では、補正後の明度として加重平均値（図１２）を用いるので、帳票の背景領域等において、図３の例のように、明度分布が滑らかになるように、色ムラ・明度ムラを低減できる。第２方式を用いる場合、最大頻度値（図１２）を用いるので、帳票３によっては、領域毎に同一の明度となり、領域境界で明度が変動するような補正後画像となる場合がある。この場合、人の眼から見て違和感を生じる場合がある。この場合、第１方式を適用した方が、領域境界での明度の変動も無いまたは少ないので、違和感が無い画像が得られる。帳票３によって、例えば裏写りの文字が透けて重畳しているような読み取り画像の場合では、第２方式を適用することで、その裏写りの文字が見えなくなるように補正することができて有効である。 The effect of the visibility of the corrected image varies depending on the first method or the second method applied. The method to be applied can be selected depending on the target form 3. For many forms 3, the first method is more effective than the second method. In the first method, the weighted average value (FIG. 12) is used as the brightness after correction, so that color unevenness and brightness unevenness can be reduced so that the brightness distribution becomes smooth in the background area of the form, as in the example of FIG. 3. When the second method is used, the maximum frequency value (FIG. 12) is used, so depending on the form 3, the corrected image may have the same brightness for each area and the brightness varies at the area boundary. In this case, it may be uncomfortable to the human eye. In this case, the first method is more effective in obtaining an image that does not look uncomfortable because there is no or little variation in brightness at the area boundary. In the case of a scanned image in which characters that show through are superimposed on the back of the form 3, for example, applying the second method is effective in correcting the characters so that they are not visible.
実施の形態１の画像処理方法は、特徴の１つとして、上記のように、画像全体の明度のヒストグラム（図６のステップＳ１）を用いて、ポイント毎に指定の範囲Ｗでの補正値（加重平均値）を計算する処理（ステップＳ２）を行うことがある。この処理（ステップＳ２）は、ステップＳ１で作成済みのヒストグラムのデータを用いるので、ポイント毎の処理としては、計算処理負荷が比較的少なくて済む。よって、対象画像全体の補正処理での計算処理負荷も比較的少なく抑えられる。すなわち、実施の形態１の画像処理方法では、高い処理効率で、色ムラ・明度ムラの低減が実現できる。この処理（ステップＳ２）は、例えば、画像内のポイント（例えば画素）の周辺の領域の明度を参照して補正値を計算する方式とは異なる。そのような方式の場合、ポイント毎の処理が必要であるため、その分、計算処理負荷が大きくなる。また、帳票内の文字や図像等の分布は様々であり、そのような方式の場合、ポイント毎に参照する領域が適切であるかどうかが不明である。 As one of the features of the image processing method of the first embodiment, as described above, a process (step S2) is performed to calculate a correction value (weighted average value) in a specified range W for each point using the brightness histogram of the entire image (step S1 in FIG. 6). This process (step S2) uses the histogram data created in step S1, so the calculation processing load is relatively small for processing each point. Therefore, the calculation processing load in the correction process of the entire target image is also kept relatively small. That is, the image processing method of the first embodiment can reduce color unevenness and brightness unevenness with high processing efficiency. This process (step S2) is different from a method in which a correction value is calculated by referring to the brightness of an area around a point (e.g., a pixel) in an image. In such a method, processing for each point is required, and the calculation processing load is accordingly large. In addition, the distribution of characters, images, etc. in a document varies, and in such a method, it is unclear whether the area to be referred to for each point is appropriate.
また、ステップＳ３の方式Ａと方式Ｂとの違いに関して、白成分のみを補正対象とする方式Ａを用いる場合、特に比較的白い背景領域（二値化の値が白となる領域）の色ムラ・明度ムラを低減できる。比較的黒い図像領域（二値化の値が黒となる領域）については、色ムラ・明度ムラがあった場合でも、人の眼から見て図像としての認識がしやすく、ムラが気になりにくい。そのため、方式Ｂでは、その比較的黒い領域の補正処理を省略でき、全体として処理効率化が実現できる。また、方式Ｂでは、色ムラ補正によって薄い文字等が消えてしまうことを防止することもできる。二値化処理によって黒になるような明度の画素がある場合に、方式Ｂでは、その画素をそのまま残すことができる。 In addition, with regard to the difference between Method A and Method B in step S3, when Method A is used, which only targets white components for correction, it is possible to reduce color and brightness unevenness, particularly in relatively white background areas (areas where the binarized value is white). In relatively black image areas (areas where the binarized value is black), even if there are color and brightness unevenness, the image is easily recognized by the human eye, and the unevenness is less noticeable. Therefore, in Method B, the correction process for the relatively black areas can be omitted, and overall processing efficiency can be improved. In addition, in Method B, it is possible to prevent light characters and the like from disappearing due to color unevenness correction. In the case of pixels with a brightness that will become black through binarization processing, Method B can leave those pixels as they are.
また、色合い保持機能に関する方式Ｘと方式Ｙとの違いに関しては、対象の帳票３等に応じて、方式を選択して適用すればよい。紙面の色合いを保持したい場合には方式Ｘを適用し、保持する必要が無い場合には方式Ｙを適用して処理効率化が可能である。 As for the difference between method X and method Y regarding the color-preserving function, the method can be selected and applied according to the target form 3, etc. If you want to preserve the color of the paper surface, apply method X, and if there is no need to preserve the color, apply method Y, making it possible to improve processing efficiency.
実施の形態１の画像処理方法は、特に、背景色（例えば白）が広くあるような読み取り画像や、ＯＣＲに係わる帳票３の読み取り画像についての色ムラ補正処理の際に有効であるが、これに限らず、写真画像等を含む任意の画像に対し適用可能である。 The image processing method of the first embodiment is particularly effective for correcting color unevenness in scanned images with a wide background color (e.g., white) or scanned images of forms 3 related to OCR, but is not limited to these and can be applied to any image, including photographic images, etc.
＜他の実施の形態＞
実施の形態１の構成に限らず、以下のような変形例も可能である。
<Other embodiments>
The present invention is not limited to the configuration of the first embodiment, and the following modifications are also possible.
［変形例１］
変形例１の画像処理装置１は、対象の帳票３の種類等に対応した対象画像に応じて、適用する処理方式を自動的に変更する。図１４は、変形例１での機能に関するユーザ設定情報の例を示す。画像処理装置１は、ユーザに提供する画面でユーザ設定を可能とし、ユーザ設定情報をメモリに保持する。図１４のユーザ設定情報の表は、「帳票種類」列と、「処理方式」列とを有する。「帳票種類」列は、対象となる帳票３（あるいは画像）の種類を設定する列である。「処理方式」列は、その「帳票種類」に対し自動的に適用する補正処理の方式を設定する列である。選択できる方式は、前述した各方式（第１方式、第２方式、方式Ａ，Ｂ、方式Ｘ，Ｙ）を含む。例えば、帳票種類＝Ａについては、第１方式、方式Ａ、および方式Ｘが、自動適用するものとして設定されている。ユーザは、このようなユーザ設定機能を用いることで、各種の帳票３に対し、自動的に適した方式を適用することができる。また、ユーザは、画像の入力の都度、適用する方式を指示入力してもよいし、色ムラ補正を実行するタイミングについては、任意のタイミングとしてユーザが指定できる。
[Modification 1]
The
また、このユーザ設定機能では、帳票種類毎に、色ムラ補正機能自体の適用のオン／オフを設定できるようにしてもよい。例えば、図１４の例では、帳票種類＝Ｄについては、「オフ」と設定されている。これにより、帳票種類＝Ｄの場合の読み取り画像については、色ムラ補正処理が行われない。図１４のような表に限らず、ユーザ設定画面では、方式毎にボタン等を表示し、ボタン等でオン／オフが設定できるようにしてもよい。 This user setting function may also allow the user to set the application of the color unevenness correction function itself to on/off for each document type. For example, in the example of Figure 14, the function is set to "off" for document type D. As a result, color unevenness correction processing is not performed on scanned images for document type D. In addition to the table in Figure 14, the user setting screen may also display buttons or the like for each method, allowing the user to set the function to on/off using the buttons or the like.
また、変形例１の画像処理装置１は、図１２のような明度の範囲Ｗについて、ユーザ設定で可変に設定できる機能を有する。例えば、ユーザ設定画面では、範囲Ｗを規定する幅ｋ１の値を可変に設定できる。
The
画像処理装置１は、読み取り画像についての帳票種類を判別し、判別した帳票種類に応じて、自動的に、適用する方式やパラメータ値を選択する。なお、画像処理装置１のデフォルト設定では、予めメーカによって、所定の方式やパラメータ値が、自動適用するものとして設定されている。
The
また、画像処理装置１（図１）がＯＣＲ装置等である場合、その画像処理装置１は、複数の帳票３を連続的に読み取り、それによる複数の読み取り画像を連続的に処理する。この場合、その画像処理装置１は、設定または指示された帳票種類毎に、適した方式で処理を効率的に行うことができる。また、その画像処理装置１は、複数の読み取り画像について、画像処理部２０による色ムラ補正処理をまとめて実行してもよい。その画像処理装置１は、その実行後の複数の画像について、帳票認識処理部１２による認識処理をまとめて実行してもよい。
Furthermore, when the image processing device 1 (FIG. 1) is an OCR device or the like, the
［変形例２］
変形例２の画像処理装置１は、追加的な機能として以下を有する。画像処理装置１は、ユーザに対する画面に、対象の帳票３の対応する読み取り画像を表示し、全体領域のうちで、色ムラ補正を適用する領域と適用しない領域とをユーザが選択可能とする。ユーザは、その画面で、例えば、色ムラ補正を適用する一部の領域を選択指定できる。画像処理部２は、その指定された領域に対し色ムラ補正処理を実行する。例えば図２の帳票３についての読み取り画像の場合に、ユーザが背景領域２０１等の領域を選択指定してもよい。
[Modification 2]
The
例えば、帳票３毎に、文字記入欄や印鑑欄等、形式が規定されている。また、画像処理装置１がＯＣＲ装置である場合、帳票３に応じて、帳票認識のためのフォーマット、例えば図２の読み取りフィールド（破線枠）が設定されている。変形例２の画像処理装置１は、そのフォーマットの読み取りフィールド等に基づいて、読み取りフィールド毎（すなわち対応する画素領域毎）に、色ムラ補正の有無や処理方式をユーザが選択して設定できるようにする。ユーザが、表示画像内においてマウス等の操作によって自由に補正対象領域等を指定できるようにしてもよい。
For example, a format such as a character entry column and a seal column is specified for each form 3. Furthermore, if the
［変形例３］
変形例３の画像処理装置１は、対象画像内の対象ポイント毎に、実施の形態１の画像全体のヒストグラムではなく、対象ポイントを含む一部領域のヒストグラムを参照して、実施の形態１と同様の補正処理を行う。図１５は、この方式を用いる場合の読み取り画像の模式図を示す。画像処理部２０は、ポイント（画素Ｐｘ，ｙ）毎に、処理用に、矩形の枠線で示すような一部領域１５０１を設定し、その一部領域１５０１内のヒストグラムを作成・参照し、その一部領域１５０１内で、実施の形態１と同様の補正を行う。この方式を用いる場合、一部領域毎のヒストグラムを作成する処理が必要となるので、計算処理負荷が比較的高くなるが、帳票３によっては視認性が良い補正後画像が得られる可能性もある。
[Modification 3]
The
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。 The present invention has been specifically described above based on the embodiments, but the present invention is not limited to the above-mentioned embodiments and can be modified in various ways without departing from the gist of the invention.
１…画像処理装置、２…スキャナ装置、３…帳票、４…帳票画像ファイル（読み取り画像）、２０…画像処理部。 1...image processing device, 2...scanner device, 3...form, 4...form image file (scanned image), 20...image processing unit.
Claims (6)
画像処理装置。 a process of inputting an image obtained by optically reading a document, creating a histogram of the brightness of each point in the image, setting the brightness of each point as a correction target point brightness, calculating an average brightness value within a brightness range according to a brightness width set for the correction target point brightness in the histogram, and generating and outputting a corrected image in which the correction target point brightness is replaced with the average brightness value;
Image processing device.
前記画像内の前記ポイント毎に２値化を行い、２値化した結果が白となる部分には前記補正を適用し、黒となる部分には前記補正を適用しない、
画像処理装置。 2. The image processing apparatus according to claim 1,
binarizing each of the points in the image, applying the correction to a portion that is white as a result of the binarization, and not applying the correction to a portion that is black as a result of the binarization;
Image processing device.
前記画像は、前記ポイント毎に、Ｒ、Ｇ、およびＢの画素値を有し、
前記ポイント毎の各成分の前記画素値について、それぞれ前記明度平均値との差を計算し、前記差の平均値を計算し、前記各成分の画素値から前記差の平均値を減算したそれぞれの減算値を計算し、前記各成分の画素値を前記減算値で置き換えるように補正する、
画像処理装置。 2. The image processing apparatus according to claim 1,
the image having R, G, and B pixel values for each of the points;
a difference between the pixel value of each component of each point and the average brightness value is calculated, an average value of the differences is calculated, and a subtraction value is calculated by subtracting the average value of the differences from the pixel value of each component, and the pixel value of each component is corrected by replacing the pixel value of each component with the subtraction value;
Image processing device.
画像処理装置。 a process of inputting an image obtained by optically reading a document, creating a histogram of the brightness of each point in the image, setting the brightness of each point as a correction target point brightness, calculating the brightness at the maximum frequency in a brightness range according to a brightness width set for the correction target point brightness in the histogram, and generating and outputting a corrected image in which the correction target point brightness is replaced with the brightness at the maximum frequency ;
Image processing device.
帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力するステップを有する、
画像処理方法。 An image processing method in an image processing device, comprising:
a step of inputting an image obtained by optically reading a document, creating a histogram of brightness for each point in the image, calculating an average brightness value in a brightness range according to a brightness width set for the brightness of the correction target point in the histogram by using the brightness of each point as a correction target point brightness, and generating and outputting a corrected image in which the brightness of the correction target point is replaced with the average brightness value;
Image processing methods.
前記画像処理として、帳票が光学的に読み取られた画像を入力し、前記画像内でのポイント毎の明度のヒストグラムを作成し、前記ポイント毎の明度を補正対象ポイント明度として、前記ヒストグラムでの前記補正対象ポイント明度に対し設定される明度幅による明度範囲での明度平均値を計算し、前記補正対象ポイント明度を前記明度平均値で置き換えるように補正した画像を生成し出力する処理を前記画像処理装置に対して実行させる、
画像処理プログラム。 An image processing program for causing an image processing device to execute image processing,
As the image processing, the image processing device is caused to execute a process of inputting an image obtained by optically reading a document, creating a histogram of brightness for each point in the image, calculating an average brightness value in a brightness range according to a brightness width set for the brightness of the correction target point in the histogram, and generating and outputting a corrected image in which the brightness of the correction target point is replaced with the average brightness value, with the brightness of each point being set as a correction target point brightness.
Image processing program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020126112A JP7491763B2 (en) | 2020-07-27 | 2020-07-27 | Image processing device, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020126112A JP7491763B2 (en) | 2020-07-27 | 2020-07-27 | Image processing device, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022023288A JP2022023288A (en) | 2022-02-08 |
| JP7491763B2 true JP7491763B2 (en) | 2024-05-28 |
Family
ID=80226058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020126112A Active JP7491763B2 (en) | 2020-07-27 | 2020-07-27 | Image processing device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7491763B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016048828A (en) | 2014-08-27 | 2016-04-07 | 沖電気工業株式会社 | Information processing device, information processing method, and program |
-
2020
- 2020-07-27 JP JP2020126112A patent/JP7491763B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016048828A (en) | 2014-08-27 | 2016-04-07 | 沖電気工業株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022023288A (en) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9524664B2 (en) | Display device, display panel driver and drive method of display panel | |
| US9196204B2 (en) | Image processing apparatus and image processing method | |
| JP6086393B2 (en) | Control signal generation circuit, video display device, control signal generation method, and program thereof | |
| JP4878572B2 (en) | Image processing apparatus and image processing method | |
| JP4617076B2 (en) | Display correction circuit and display device | |
| JP4966383B2 (en) | Liquid crystal display | |
| JP5091995B2 (en) | Liquid crystal display | |
| KR100772906B1 (en) | Method and apparatus for displaying image signal | |
| JP5079017B2 (en) | Display device | |
| JP6298759B2 (en) | Image display method and image display apparatus | |
| JPWO2006025486A1 (en) | Image correction processing system and image correction processing method | |
| US20170010845A1 (en) | Light control device, display device, multiscreen display system, light control method, and program | |
| US20070122061A1 (en) | Image processing device, image processing program, and computer-readable recording medium | |
| KR20170040865A (en) | Display device and image rendering method thereof | |
| JP2015192435A (en) | Image processing apparatus and computer program | |
| JP2018074497A (en) | Image processing device, image processing method and program | |
| US8958657B2 (en) | Frame rate conversion image processing apparatus, control method, and computer-readable storage medium | |
| JP2020154102A (en) | Display device | |
| JP7491763B2 (en) | Image processing device, method, and program | |
| JP5293923B2 (en) | Image processing method and apparatus, image display apparatus and program | |
| JP6241155B2 (en) | Control device and computer program | |
| JP5473981B2 (en) | Image generation apparatus, image generation system, image display apparatus, computer program, and image generation method | |
| JP6837860B2 (en) | Image display control device, image display control method, and image display control program | |
| WO2018181081A1 (en) | Image display device | |
| JP6500638B2 (en) | Image processing apparatus and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240516 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7491763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |