JP2023132586A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 背景に濃度ムラを含む色背景文字画像に対して、濃度ムラを改善し、適切な２値画像を得ることが可能となり、ＯＣＲの認識精度向上を実現できる。【解決手段】 画像処理装置１００は、まず、文字を示す画像が形成された記録媒体を読み取ることにより得られた画像における複数の画素のうちから、第１画素基準値に基づいて対象画素を特定する。次に、対象画素の周辺に存在する複数の周辺画素のうちの予め定められた条件を満たす周辺画素の個数に基づいて、対象画素における画素値を文字の可読性が向上するように変更する。最後に、画素値が変更された後の画像を用いて、当該画像に対応する２値画像を生成する。【選択図】 図１

Description

本開示は、カラー又はグレースケールの画像データから、文字認識用の２値画像データを生成する技術に関する。

用紙等の記録媒体に印刷されたレシート又は帳票等の印刷物を光学的に読み取ることにより得られた画像（以下「スキャン画像」という。）から文字認識（以下「ＯＣＲ（Optical Character Recognition）」という。）を行い、文字情報を抽出する技術がある。また、ＯＣＲにより得られた文字情報を自動で入力することにより、会計業務等の業務の効率化を図ることが行われている。スキャン画像から抽出する文字情報としては、日付、合計金額、又は企業名等を示す情報があり、文字情報については、これらの文字情報の項目名、単位、又は形式等を基に項目値が推定されて取得される。一般的に、ＯＣＲは、まず、スキャン画像を２値化して、文字を形成する黒色又は白色の画素と、文字の背景（以下「文字背景」という。）にあたる画素であって文字を形成する画素の色とは異なる白色又は黒色の画素とにより構成される２値画像を生成する。次に、２値画像を用いて、文字を形成する色を含む領域（以下「文字領域」という。）に対応する画像の特徴を分析することにより文字を推定する。

ここで、文字背景に着色がなされて印刷された印刷物、又は汚れ等が付着した印刷物等を光学的に読み取った場合、スキャン画像に、文字背景の色が白色又は黒色ではなく中間色である文字領域（以下「色背景文字領域」という。）が含まれることがある。印刷物を光学的に読み取る際に、その光学系において埃等が存在する場合も、スキャン画像には、同様に、色背景文字領域が含まれることがある。スキャン画像に色背景文字領域が含まれている場合、文字背景の色が一様ではなく、文字背景に濃度ムラが含まれていることがある。更に、このような文字背景に濃度ムラを含んだスキャン画像を２値化して２値画像を生成する場合、生成した２値画像において、文字背景における一部の画素の色が文字を形成する画素の色と同じものになることがある。文字背景における一部の画素の色が文字を形成する画素の色と同じものになった場合、文字認識を行う上ではノイズとなるため、文字を正しく推定できないことがある。

特許文献１には、スキャン画像のうちの文字領域について、動的に決定される閾値を用いてＮ（Ｎは２以上の整数）値化したＮ値画像を生成することにより、文字背景に濃度ムラが含まれる場合でも文字認識を行う上でのノイズを抑制する方法が開示されている。

特開平６－１０５１３４号公報

スキャン画像における色背景文字領域において、文字背景にあたる画素の値が文字を形成する画素の値に相当する値となる場合があり、特許文献１に開示された方法では、文字認識を行う上での２値画像におけるノイズを抑制できないことがある。

画像処理装置は、文字を示す画像が形成された記録媒体を読み取ることにより得られた画像を取得する取得手段と、前記画像における複数の画素のうちから、前記複数の画素のそれぞれにおける画素値と予め定められた第１画素基準値とに基づいて対象画素を特定する特定手段と、前記対象画素の周辺に存在する複数の周辺画素のうちの予め定められた条件を満たす周辺画素の個数に基づいて、前記対象画素における画素値を変更する変更手段と、前記変更手段により前記対象画素における画素値が変更された後の前記画像を用いて、前記画像に対応する２値画像を生成する生成手段と、を有する。

本開示によれば、文字認識を行う上でのノイズが抑制された２値画像を得ることができる。

第１実施形態に係る画像処理装置１００の機能構成の一例を示すブロック図である。 第１実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る画像処理装置１００の処理フローの一例を示すフローチャートである。 スキャン画像における背景色の濃度ムラの一例を説明するための説明図である。 スキャン画像における濃度分布の一例を説明するための説明図である。

以下、本開示の実施形態について、図面を参照して説明する。以下の実施形態は本開示を限定するものではなく、また、以下の実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［第１実施形態］
図１乃至５を参照して、第１実施形態に係る画像処理装置１００について説明する。図１は、第１実施形態に係る画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、画像処理システム１に適用される。画像処理システム１は、複写機１１０及び画像処理装置１００を有する。複写機１１０は、スキャナ１１１及びプリンタ１１２を有する。スキャナ１１１は、用紙等の記録媒体に印刷されたレシート又は帳票等の文字を示す画像（以下「文字画像」という。）が形成された印刷物を光学的に読み取る（以下「スキャンする」という。）。スキャナ１１１は、印刷物をスキャンすることにより得た画像（以下「スキャン画像」という。）のデータ（以下「スキャン画像データ」という。）を生成する。プリンタ１１２は、用紙等の記録媒体に画像を印刷して記録媒体に画像を形成する。複写機１１０は、図１には不図示の通信部により、ネットワークを介して画像処理装置１００等の外部装置と通信を行い、外部装置との間でデータの送受信を行う。

画像処理装置１００は、画像取得部１０１、画素特定部１０２、変更部１０３、生成部１０４、文字取得部１０５、色背景特定部１０６、及び文字領域特定部１０７を有する。なお、第１実施形態では、画像処理装置１００は、色背景特定部１０６及び文字領域特定部１０７を有するものとして説明するが、色背景特定部１０６及び文字領域特定部１０７のうちの少なくとも一方は、画像処理装置１００において必須のものではない。画像処理装置１００が備える各部の処理は、画像処理装置１００に内蔵されたＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによってなされる。当該処理は、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによってなされるものであってもよい。また、当該処理は、ＲＡＭ（Random Access Memory）等のメモリと、ＣＰＵ（Central Processor Unit）等のプロセッサとを用いたソフトウエアによってなされるものであってもよい。図１に示す各部の処理の詳細については後述する。

図２を参照して、第１実施形態に係る画像処理装置１００が備える各部がソフトウエアとして動作する場合の画像処理装置１００のハードウェア構成について説明する。図２は、第１実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、コンピュータにより構成されており、当該コンピュータは、図２に一例として示すようにＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信部２０７、及びバス２０８を有している。

ＣＰＵ２０１は、ＲＯＭ２０２又はＲＡＭ２０３等に格納されているプログラム又はデータを用いて当該コンピュータを制御することにより、当該コンピュータを図１に示す画像処理装置１００が備える各部として機能させるプロセッサである。なお、画像処理装置１００は、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ２０２は、変更を必要としないプログラム等を格納するメモリである。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラム若しくはデータ、又は通信部２０７を介して外部から供給されるデータ等を一時記憶するメモリである。補助記憶装置２０４は、例えばハードディスクドライブにより構成され、画像データ又は音声データ等の種々のデータを記憶する。

表示部２０５は、例えば液晶ディスプレイ又はＬＥＤ等により構成され、ユーザが画像処理装置１００を操作、又は画像処理装置１００における処理の状態を閲覧するためのＧＵＩ（Graphical User Interface）等を表示する。操作部２０６は、例えばキーボード、マウス、ジョイスティック、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部としても動作する。

通信部２０７は、画像処理装置１００の外部の装置との間のデータ等の送受信等の通信に用いられる。例えば、画像処理装置１００が外部の装置と有線接続される場合には、通信用のケーブルが通信部２０７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信部２０７はアンテナを備える。バス２０８は、画像処理装置１００の備える各部をつないで情報を伝達する。第１実施形態では、表示部２０５及び操作部２０６は、画像処理装置１００の内部に存在するものとして説明するが、表示部２０５及び操作部２０６の少なくとも一方は、画像処理装置１００の外部に別の装置として存在していてもよい。

図１に示す画像処理装置１００が有する各部の処理について説明する。画像取得部１０１は、文字を示す画像が形成された印刷物をスキャンすることにより得られたスキャン画像のデータを取得する。具体的には、例えば、画像取得部１０１は、複写機１１０にて生成されたスキャン画像データを、通信部２０７を介して複写機１１０から取得する。スキャン画像データの取得元は、複写機１１０に限定されるものではない。例えば、画像取得部１０１は、スキャン画像データを予め記憶した、補助記憶装置２１４、又は図１には不図示の外部装置である記憶装置等からスキャン画像データを読み出すことにより取得してもよい。画像取得部１０１により取得されたスキャン画像データは、ＲＡＭ２０３等に記憶される。画像取得部１０１は、取得したスキャン画像データがＲＧＢ又はＹＵＶ等の色空間で表現されたカラー画像のデータであるとき、スキャン画像をグレースケール画像に変換し、スキャン画像データに対応するグレースケール画像デーを生成してもよい。この場合、例えば、画像取得部１０１は、生成したグレースケール画像データをスキャン画像データとしてＲＡＭ２０３等に記憶させる。なお、カラー画像をグレースケール画像に変換する手法は周知であるため説明を省略する。

生成部１０４は、入力された画像を２値化した画像（以下「２値画像」という。）のデータを生成する。生成部１０４により生成された２値画像のデータは、ＲＡＭ２０３等に記憶される。なお、カラー画像又はグレースケール画像等の画像を２値化する手法は周知であるため説明を省略する。生成部１０４の詳細については後述する。

画素特定部１０２は、画像取得部１０１により取得されたスキャン画像データを用いて、スキャン画像における複数の画素のうちから、以降の処理において処理対象とする画素（以下「対象画素」という。）を特定する。具体的には、画素特定部１０２は、各画素の値（画素値）と予め定められた基準値（以下「第１画素基準値」という。）とに基づいて、対象画素を特定する。より具体的には、例えば、画素特定部１０２は、各画素値と第１画素基準値との間の差分の大きさと、予め定められた閾値（以下「第１閾値」という。）とに基づいて対象画素を特定する。例えば、画素特定部１０２は、画素値と第１画素基準値との間の差分の大きさが第１閾値以上である画素を対象画像として特定する。

例えば、スキャン画像において文字を形成する画素（以下「文字画素」という。）における画素値が文字の背景を形成する画素（以下「背景画素」という。）における画素値より大きい、白抜き文字等の場合、画素特定部１０２は、以下の方法により対象画像を特定する。この場合、画素特定部１０２は、画素値から第１画素基準値を減じた値が正であり、且つ、その大きさが第１閾値以上である画素を対象画像として特定する。逆に、例えば、スキャン画像において文字画素における画素値が文字の背景画素における画素値より小さい場合、画素特定部１０２は、以下の方法により対象画像を特定する。この場合、画素特定部１０２は、画素値から第１画素基準値を減じた値が負であり、且つ、その絶対値の大きさが第１閾値以上である画素を対象画像として特定する。

画素特定部１０２が対象画素を特定する方法は、上述のものに限定されるものではない。例えば、画素特定部１０２は、各画素値が予め定められた第１画素基準値より大きい又は小さい画素を対象画素として特定してもよい。例えば、スキャン画像において文字画素における画素値が文字の背景画素における画素値より大きい、白抜き文字等の場合、画素特定部１０２は、画素値が第１画素基準値より大きい画素を対象画素として特定する。逆に、スキャン画像において文字画素における画素値が文字の背景画素における画素値より小さい場合、画素特定部１０２は、画素値が第１画素基準値より小さい画素を対象画素として特定する。

ここで、第１画素基準値は、例えば、生成部１０４が２値画像を生成する際に用いる２値化閾値に相当する値である。第１画素基準値は、２値化閾値に限定されるものではなく、２値化閾値に対して所定の値を加算、減算、乗算、除算、又はこれら組合せた演算等を行って算出された値であってもよい。

画素値がＲＧＢ色空間により表現されている場合、例えば、画素特定部１０２は、輝度値に最も影響を与えるＧ値を用いて、画素値と第１画素基準値との間の差分の大きさと第１閾値との比較、又は、画素値と第１画素基準値との比較を行う。当該比較の方法は、上述のものに限定されるものではなく、画素特定部１０２は、Ｒ値若しくはＢ値、又は、ＲＧＢの各値から算出される輝度値（Ｙ値）等を用いて比較してもよい。また、画素値がＹＵＶ色空間により表現されている場合、画素特定部１０２は、Ｙ値を用いて、画素値と第１画素基準値との間の差分の大きさと第１閾値との比較、又は、画素値と第１画素基準値との比較を行う。また、スキャン画像がグレースケール画像である場合、画素特定部１０２は、画素値をそのままを用いて、画素値と第１画素基準値との間の差分の大きさと第１閾値との比較、又は、画素値と第１画素基準値との比較を行う。

変更部１０３は、対象画素の周辺に存在する複数の周辺画素のうちの予め定められた条件を満たす周辺画素の個数に基づいて、文字の可読性が向上するように対象画素における画素値を変更する。なお、対象画素の周辺に存在する複数の周辺画素とは、対象画素に隣接する画素、対象画素からの距離が予め定められた距離の範囲内の画素、又は、対象画素を中心若しくは略中心とする予め定められた大きさの領域内の画素等である。具体的には、例えば、対象画素を中心とする３×３の範囲内に含まれる画素群を周辺画素とする。対象画素を中心とする５×５又は７×７等のより広い領域の範囲内に含まれる画素群を周辺画素としても良い。

例えば、変更部１０３は、複数の周辺画素のそれぞれにおける画素値と予め定められた第２画素基準値とに基づいて、複数の周辺画素のうちから、条件を満たす周辺画素の個数を取得する。具体的には、例えば、変更部１０３は、複数の周辺画素のそれぞれにおける画素値と第２画素基準値との間の差分の大きさと、予め定められた閾値（以下「第２閾値」という。）とに基づいて、複数の周辺画素のうちから条件を満たす周辺画素の個数を取得する。より具体的には、例えば、変更部１０３は、複数の周辺画素のそれぞれにおける画素値と第２画素基準値との差分の大きさが第２閾値以上である周辺画素を、条件を満たす周辺画素としてその個数を取得する。

例えば、スキャン画像において文字画素における画素値が文字の背景画素における画素値より大きい、白抜き文字等の場合、変更部１０３は、以下の方法により条件を満たす周辺画素の個数を取得する。この場合、変更部１０３は、画素値から第２画素基準値を減じた値が正であり、且つ、その大きさが第２閾値以上である画素の個数を取得する。逆に、例えば、スキャン画像において文字画素における画素値が文字の背景画素における画素値より小さい場合、変更部１０３は、以下の方法により条件を満たす周辺画素の個数を取得する。この場合、変更部１０３は、画素値から第２画素基準値を減じた値が負であり、且つ、その絶対値の大きさが第２閾値以上である画素の個数を取得する。

変更部１０３が複数の周辺画素のうちの予め定められた条件を満たす周辺画素の個数を取得する方法は、上述のものに限定されるものではない。例えば、変更部１０３は、各画素値が予め定められた第２画素基準値より大きい又は小さい画素の個数を取得してもよい。例えば、スキャン画像において文字画素における画素値が文字の背景画素における画素値より大きい、例えば、白抜き文字等の場合、変更部１０３は、画素値が第２画素基準値より大きい画素の個数を取得する。逆に、スキャン画像において文字画素における画素値が文字の背景画素における画素値より小さい場合、変更部１０３は、画素値が第１画素基準値より小さい画素の個数を取得する。

ここで、第２画素基準値は、例えば、生成部１０４が２値画像を生成する際に用いる２値化閾値に相当する値である。第２画素基準値は、２値化閾値に限定されるものではなく、２値化閾値に対して所定の値を加算、減算、乗算、除算、又はこれら組合せた演算等を行って算出された値であってもよい。

また、例えば、変更部１０３は、複数の周辺画素のそれぞれにおける画素値と対象画素における画素値とに基づいて、複数の周辺画素のうちから、条件を満たす周辺画素の個数を取得してもよい。具体的には、例えば、周辺画素における画素値が対象画素における画素値に対して上下２０％以内等の予め定められた範囲内である周辺画素を、条件を満たす周辺画素として、その個数を取得する。

例えば、変更部１０３は、条件を満たす周辺画素の個数が予め定められた個数の閾値より少ない場合、対象画素における画素値を文字の可読性が向上するように変更する。ここで、個数の閾値は、周辺画素の総数の半数又は略半数であることが望ましい。個数の閾値を周辺画素の総数の半数より大きい値とし、且つ、当該半数から離れた値にすると、対象画素に文字画素が含まれてしまう可能性が高くなるためである。例えば、変更部１０３は、対象画素の周辺に存在する複数の周辺画素における画素値の平均値又は中央値等の統計値を算出する。変更部１０３は、算出した統計値を対象画素における画素値に変更することにより、対象画素における画素値を文字の可読性が向上するように変更する。当該統計値は、対象画素における画素値を含めて算出された値であっても、対象画素の周辺に存在する複数の周辺画素のうちから条件を満たす周辺画素を除いたものを用いて算出された値であってもよい。

なお、周辺画素とする範囲が広範囲であるほど、画素値が変更される対象画素が増えるため、対象画素における画素値を変更すると文字画素により形成される文字の線の太さが細くなってしまうといった影響が生じる。そのため、文字の線の太さが比較的太い文字である場合には周辺画素とする範囲を広くし、文字の線の太さが比較的細い文字である場合には周辺画素とする範囲を狭くする等、文字の線の太さに基づいて周辺画素とする範囲の大きさを決定してもよい。具体的には、周辺画素とする範囲の幅は文字の線の太さの２倍より小さいことが望ましい。

色背景特定部１０６は、スキャン画像における、背景色が白色以外の画像領域（以下「色背景領域」という。）を特定し、特定した色背景領域を示す色背景領域情報を生成する。色背景特定部１０６により生成された色背景領域情報は、ＲＡＭ２０３等に記憶される。具体的には、例えば、色背景特定部１０６は、ＭＳＥＲ（Maximally Stable Extremal Regions）等の公知の領域検出アルゴリズムを用いて、スキャン画像における色背景領域を特定する。なお、ＭＳＥＲは、一例であって、色背景領域を特定できれば、色背景領域を特定する手法は任意のものでよい。ここで、色背景特定部１０６がＭＳＥＲを用いて色背景領域を特定する場合、色背景特定部１０６は、スキャン画像データを２値画像データに変換してＭＳＥＲに入力する。なお、当該場合、生成部１０４にてスキャン画像データに対応する２値画像データを生成し、色背景特定部１０６は、生成部１０４により生成された当該２値画像データをＭＳＥＲに入力してもよい。画像処理装置１００が色背景特定部１０６を有する場合、画素特定部１０２は、スキャン画像における色背景領域に存在する複数の画素のうちから対象画素を特定してもよい。

文字領域特定部１０７は、スキャン画像における、文字が写る画像領域（以下「文字領域」という。）を特定し、特定した文字領域を示す文字領域情報を生成する。文字領域特定部１０７により生成された文字領域情報は、ＲＡＭ２０３等に記憶される。具体的には、例えば、文字領域特定部１０７は、公知のブロックセレクションにより、スキャン画像における文字領域を特定する。画像処理装置１００が文字領域特定部１０７を有する場合、画素特定部１０２は、スキャン画像における文字領域に存在する複数の画素のうちから対象画素を特定してもよい。また、画像処理装置１００が色背景特定部１０６及び文字領域特定部１０７を有する場合、画素特定部１０２は、スキャン画像における色背景領域及び文字領域に共通する画像領域に存在する複数の画素のうちから対象画素を特定してもよい。以下、スキャン画像における色背景領域及び文字領域に共通する画像領域を色背景文字領域と称して説明する。

生成部１０４は、変更部１０３により対象画素における画素値が変更された後のスキャン画像（以下「変更スキャン画像」という。）を２値化して、変更スキャン画像に対応する２値画像データを生成する。このように構成することにより、画像処理装置１００は、文字認識を行う上でのノイズが抑制された２値画像を生成することができる。

文字取得部１０５は、生成部１０４により生成された変更スキャン画像に対応する２値画像データを用いて、スキャン画像に含まれる文字の情報（以下「文字情報」という。）を取得する。具体的には、文字取得部１０５は、当該２値画像データをＯＣＲ（Optical Character Recognition）等の公知の文字認識アルゴリズムに入力して、２値画像に含まれる文字情報を認識又は検出（以下、単に「認識」という。）させることより文字情報を取得する。文字情報の認識方法については、画像から文字情報を認識できるものであれば、ＯＣＲを用いる方法に限定されるものではない。また、ＯＣＲの方式についても任意のものでよい。以上のように構成することにより、画像処理装置１００は、元のスキャン画像に対応する２値画像を用いるのと比較して、より精度の高い文字情報を取得することができる。なお、画像処理装置１００が文字領域特定部１０７を有する場合、文字取得部１０５は、変更スキャン画像における文字領域に含まれる文字情報を取得してもよい。

図３を参照して、画像処理装置１００の動作について説明する。図３は、第１実施形態に係る画像処理装置１００の処理フローの一例を示すフローチャートである。なお、以下の説明において「Ｓ」はステップを表す。まず、Ｓ３０１にて、画像取得部１０１は、スキャン画像データを取得し、取得したスキャン画像データをグレースケール化して、スキャン画像データに対応するグレースケール画像データを生成する。

次に、Ｓ３０２にて、画像処理装置１００は、スキャン画像における色背景文字領域を特定する。具体的には、色背景特定部１０６にてスキャン画像における色背景領域が特定され、文字領域特定部１０７にて文字領域が特定される。特定された色背景領域及び文字領域に共通する画像領域が色背景文字領域として特定される。なお、画像処理装置１００が色背景特定部１０６及び文字領域特定部１０７を有していない場合等において、Ｓ３０２の処理は適宜省略可能である。また、画像処理装置１００が色背景特定部１０６を有し、文字領域特定部１０７を有していない場合等において、画像処理装置１００は、Ｓ３０２にて、色背景文字領域に替えて、色背景領域を特定してもよい。また、画像処理装置１００が色背景特定部１０６を有しておらず、文字領域特定部１０７を有する場合等において、画像処理装置１００は、Ｓ３０２にて、色背景文字領域に替えて、文字領域を特定してもよい。

次に、Ｓ３０３にて、画素特定部１０２は、Ｓ３０２にて特定されたスキャン画像における色背景文字領域を用いて、色背景文字領域における対象画素を特定する。画素特定部１０２は、Ｓ３０３にて、スキャン画像の全体、スキャン画像における色背景領域、又は、スキャン画像における文字領域において、対象画素を特定してもよい。以下、画素特定部１０２は、スキャン画像における色背景文字領域において、対象画素を特定するものとして説明する。

次に、Ｓ３０４にて、変更部１０３は、Ｓ３０３にて特定された複数の対象画素のうちから、未だ選択されていない対象画素を選択する。次に、Ｓ３０５にて、変更部１０３は、Ｓ３０４にて選択された対象画素の周辺に存在する複数の周辺画素のうちから条件を満たす周辺画素の個数を取得する。次に、Ｓ３０６にて、変更部１０３は、Ｓ３０５にて取得された周辺画素の個数が予め定められた条件を満たすか否かを判定する。具体的には、例えば、変更部１０３は、周辺画素の個数が予め定められた閾値未満であるか否かを判定する。

Ｓ３０６にて周辺画素の個数が閾値未満であると判定された場合、Ｓ３０７にて、変更部１０３は、周辺画素における画素値に基づいて統計値を算出し、当該統計値を用いて対象画素における画素値を変更する。Ｓ３０７の後、又はＳ３０６にて周辺画素の個数が閾値未満でないと判定された場合、Ｓ３０８にて、変更部１０３は、Ｓ３０３にて特定された全ての対象画素が選択されたか否かを判定する。Ｓ３０８にて全ての対象画素が選択されていないと判定された場合、画像処理装置１００は、Ｓ３０４に戻って、Ｓ３０８にて全ての対象画素が選択されたと判定されるまでの間、Ｓ３０４からＳ３０８までの処理を繰り返し実行する。

Ｓ３０８にて全ての対象画素が選択されたと判定された場合、Ｓ３０９にて、生成部１０４は、変更スキャン画像を２値化して、変更スキャン画像に対応する２値画像データを生成する。Ｓ３０９の後、Ｓ３１０にて、文字取得部１０５は、Ｓ３０９にて生成された２値画像データを用いて、スキャン画像に含まれる文字情報を取得する。Ｓ３１０の後、画像処理装置１００は、図３に示すフローチャートの処理を終了する。

なお、図３に示すフローチャートはあくまで一例であって、画像処理装置１００の処理フローはこれに限定されるものではなく、例えば、以下のように、当該フローチャートを変更してもよい。例えば、画像処理装置１００は、Ｓ３０１又はＳ３０２の後に、Ｓ３０１にて取得したスキャン画像データを２値化して、スキャン画像に対応する２値画像データを生成する。更に、画像処理装置１００は、Ｓ３０７にて、対象画素における画素値を変更し、スキャン画像に対応する２値画像データにおける当該対象画素における画素値を、変更後の当該対象画素における画素値を２値化した値に更新する。なお、この場合、Ｓ３０９の処理は省略される。

また、例えば、画素特定部１０２は、Ｓ３０２の後に、Ｓ３０３からＳ３０８までの処理を実行するか否かを判定してもよい。具体的には、例えば、スキャン画像における色背景文字領域を２値化して２値画像にしたとき、白画素に対する黒画素の比率が予め定められた範囲の範囲内であるか否かの判定結果に基づいて、Ｓ３０３からＳ３０８までの処理を実行するか否かを判定する。

図４及び図５を参照して、白画素に対する黒画素の比率が予め定められた範囲の範囲内であるか否かの判定結果に基づいて、Ｓ３０３からＳ３０８までの処理を実行するか否かを判定することの有効性について説明する。

図４は、スキャン画像における背景色の濃度ムラの一例を説明するための説明図である。具体的には、図４（ａ）は、スキャン画像における色背景文字領域の一部をグレースケール画像で示したものである。画像４００は、スキャン画像における色背景文字領域の一部を示すグレースケール画像である。画像４００には、複数の文字画素により構成された文字画素領域４０１と、複数の背景画素により構成された背景画素領域４０２とが含まれている。文字画素領域４０１における各文字画素と背景画素領域４０２における各背景画素とは、互いに異なる濃度で形成されている。ここで、図４（ａ）における画像４００は、背景画素領域４０２における各背景画素が文字画素領域４０１における各文字画素よりも低濃度であることを表現するために、各画素が孤立ドットから成る画像となっている。背景画素領域４０２における各背景画素は、その全てが互いに同じ濃度であることが望ましい。

図４（ｂ）、図４（ｃ）、及び図４（ｄ）は、背景画素領域４０２の一部を拡大した拡大背景画素領域４０３，４０４，４０５の一例を示す図である。例えば、画像描画用のソフトウェアアプリケーションで作成した色背景文字領域における各背景画素４１０は、図４（ｂ）に示す拡大背景画素領域４０３のように、その全てが互いに同じ濃度となる。一方、プリンタ１１２等の印刷機で印刷した印刷物をスキャナ１１１等によりスキャンして得られたスキャン画像は、印刷による濃度のばらつき等により、背景画素に濃度ムラが生じることがある。具体的には、例えば、このようなスキャン画像では、図４（ｃ）に示す拡大背景画素領域４０４のように、背景画素４１０とは異なる濃度の画素（以下「ノイズ画素４１１」という。）を含んだ画像となることがある。

拡大背景画素領域４０４のようにノイズ画素４１１が存在するスキャン画像は、２値化すると、２値画像において、ノイズ画素４１１に対応する画素が文字画素に対応する画素と同じ画素値になる場合がある。この場合、文字情報を取得する際に、本来、背景画素である画素が文字画素として扱われ、文字情報の認識精度が低下してしまうことがある。特に、例えば、複写機で印刷した印刷物を特定の条件でスキャンすると、各背景画素の濃度ムラのコントラストがより高くなることがある。特定の条件については後述する。例えば、このようなスキャン画像では、図４（ｄ）に示す拡大背景画素領域４０５のように、背景画素４１０及びノイズ画素４１１とは異なる高濃度のノイズ画素４１２を複数含んだ画像となることがある。更に、図４（ｄ）に示すように、複数のノイズ画素４１２が連結して線状に連なった画像となることがある。このような場合、文字情報の認識精度は更に低下してしまう。

上述の特定の条件について説明する。拡大背景画素領域４０５のような濃度ムラを含むスキャン画像は、インクジェット方式又は電子写真方式等により印刷し、且つ、中間色の表現に誤差拡散法を用いる場合、又は、文字の輪郭を強調するような設定を用いてスキャンする場合等で発生しやすい。これは、このような印刷では、線又は孤立点の密度を調整することにより中間色を表現するため、記録媒体に形成された中間色画像では、全画像領域の色が均一な色ではなくなり、高濃度の線又は孤立点が一定間隔で並んだ画像となることに起因する。また、中間色画像が形成された記録媒体をスキャンすると、スキャン画像において、高濃度の線状の画素塊、又は複数の画素から成る孤立点の画素塊等が密集した状態のスキャン画像データが得られる。ただし、一般的なスキャナでは、ぼかし処理等を中間色の画像領域に対して行い、スキャン画像における中間色画像の濃度が均一となるような補正処理が行われることがある。しかしながら、文字の輪郭を強調する設定を用いてスキャンすることにより得られたスキャン画像、又は、上述の補正処理を実行しない設定を用いてスキャンすることにより得られたスキャン画像では、線又は孤立点の画素塊等が高濃度のままとなる。そのため、このような設定を用いてスキャンすることにより得られたスキャン画像では、拡大背景画素領域４０５のような画像領域を含むものとなる。

図５は、スキャン画像における濃度分布の一例を説明するための説明図である。具体的には、図５（ａ）は、図４（ｃ）に示す拡大背景画素領域４０４のような濃度ムラを含むスキャン画像における濃度分布５１０の一例を示している。また、図５（ｂ）は、図４（ｄ）に示す拡大背景画素領域４０５のような濃度ムラを含むスキャン画像における高濃度の濃度ムラの濃度分布５２０を示している。図５（ａ）及び図５（ｂ）において、横軸は、スキャン画像における任意に設定された１次元方向の位置を示し、縦軸は、スキャン画像の画素における色の濃度の大きさを示している。

拡大背景画素領域４０４のような濃度ムラを背景領域に含むスキャン画像には、背景領域の位置の範囲５０２において、濃度５１１と、濃度５１１より高濃度ではあるが濃度が濃度５１１に比較的近い濃度５１２とを示す画素がある。また、濃度５１１及び濃度５１２は、スキャン画像における文字画素の位置の範囲５０１の濃度５１３との濃度差が大きい。そのため、拡大背景画素領域４０４のような背景を含むスキャン画像は、色背景文字領域を２値化すると白画素の総数が黒画素の総数に比べて圧倒的に少なくなる。結果として、拡大背景画素領域４０４のような濃度ムラについては、文字認識の精度が著しく低下する可能性が低い。

これに対して、拡大背景画素領域４０５のような濃度ムラを背景領域に含むスキャン画像には、背景領域の位置の範囲５０２において、濃度５２１と、濃度５２１より高濃度の濃度５２２とを示す画素がある。ここで、濃度５２２は、濃度５２１との濃度差が大きく、スキャン画像における文字画素の位置の範囲５０１の濃度５２３と比較的近い又は同等の濃度となっている。拡大背景画素領域４０５のような背景を含むスキャン画像は、色背景文字領域を２値化すると、黒画素の総数が非常に多くなり、白画素の総数と同程度、又はそれ以上の数になる。結果として、拡大背景画素領域４０５のような濃度ムラについては、文字認識の精度が著しく低下してしまうことがある。

そこで、例えば、白画素の総数に対する黒画素の総数の比率が０．５以上であり、且つ１．５未満である等の予め定められた条件を満たす場合に、スキャン画像における背景領域に濃度ムラが含まれると判定する。このように構成することにより、スキャン画像における背景領域に濃度ムラが含まれない場合には、Ｓ３０３からＳ３０８までの処理を省略することが可能となる。なお、スキャン画像における背景領域に濃度ムラが含まれるか否かを判定する方法は、上述の方法に限定されるものではなく、当該判定の結果が得られるものであれば、他の方法を用いても良い。例えば、スキャン画像から画像内におけるエッジを抽出し、抽出したエッジに対応する画素の密度と予め定められた閾値とを比較することにより、スキャン画像における背景領域に濃度ムラが含まれるか否かを判定してもよい。

以上のように構成された画像処理装置１００によれば、文字認識を行う上でのノイズが抑制された２値画像を得ることができる。結果として、文字認識の精度を向上させることができる。

［その他の実施形態］
本開示は、上述の実施形態の１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現するＡＳＩＣ等の回路によっても実現可能である。

また、本開示は、その開示の範囲内において、実施形態の任意の構成要素の変形、又は、実施形態において任意の構成要素の省略が可能である。

１００ 画像処理装置
１０１ 画像取得部
１０２ 画素特定部
１０３ 変更部
１０４ 生成部

Claims (19)

1. 文字を示す画像が形成された記録媒体を読み取ることにより得られた画像を取得する画像取得手段と、
   前記画像における複数の画素のうちから、前記複数の画素のそれぞれにおける画素値と予め定められた第１画素基準値とに基づいて対象画素を特定する画素特定手段と、
   前記対象画素の周辺に存在する複数の周辺画素のうちの予め定められた条件を満たす周辺画素の個数に基づいて、前記対象画素における画素値を変更する変更手段と、
   前記変更手段により前記対象画素における画素値が変更された後の前記画像を用いて、前記画像に対応する２値画像を生成する生成手段と、
   を有すること
   を特徴とする画像処理装置。
2. 前記画素特定手段は、前記複数の画素のそれぞれにおける画素値と前記第１画素基準値との間の差分の大きさと、予め定められた第１閾値とに基づいて前記対象画素を特定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記第１画素基準値は、前記生成手段が前記２値画像を生成する際に用いる２値化閾値又は前記２値化閾値に基づいて算出される値であること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記変更手段は、前記複数の周辺画素のそれぞれにおける画素値と予め定められた第２画素基準値とに基づいて、前記複数の周辺画素のうちから、前記条件を満たす周辺画素の個数を取得すること
   を特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記変更手段は、前記複数の周辺画素のそれぞれにおける画素値と前記第２画素基準値との間の差分の大きさと、予め定められた第２閾値とに基づいて、前記複数の周辺画素のうちから前記条件を満たす周辺画素の個数を取得すること
   を特徴とする請求項４に記載の画像処理装置。
6. 前記変更手段は、前記複数の周辺画素のそれぞれにおける画素値と前記第２画素基準値との差分の大きさが前記第２閾値以上である周辺画素を、前記条件を満たす周辺画素として前記条件を満たす周辺画素の個数を取得すること
   を特徴とする請求項５に記載の画像処理装置。
7. 前記第２画素基準値は、前記生成手段が前記２値画像を生成する際に用いる２値化閾値又は前記２値化閾値に基づいて算出される値であること
   を特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１画素基準値と前記第２画素基準値とは、互いに異なる値であること
   を特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
9. 前記第１画素基準値と前記第２画素基準値とは、互いに等しい値であること
   を特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
10. 前記第２画素基準値は、前記対象画素における画素値に基づく値であり、
    前記変更手段は、前記複数の周辺画素のそれぞれにおける画素値と前記第２画素基準値との間の差分の大きさが前記第２閾値以下である周辺画素を、前記条件を満たす周辺画素として前記条件を満たす周辺画素の個数を取得すること
    を特徴とする請求項５に記載の画像処理装置。
11. 前記変更手段は、前記条件を満たす周辺画素の個数が予め定められた個数より少ない場合に、前記対象画素における画素値を変更すること
    を特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記変更手段は、前記条件を満たす周辺画素の個数が予め定められた個数より少ない場合に、前記複数の周辺画素における画素値の統計値を取得し、取得した前記統計値を用いて前記対象画素における画素値を変更することを
    特徴とする請求項１０に記載の画像処理装置。
13. 前記変更手段は、前記統計値を取得する際に、前記複数の周辺画素のうちの前記条件を満たす周辺画素を除いた周辺画素における画素値の統計値を取得すること
    を特徴とする請求項１２に記載の画像処理装置。
14. 前記統計値は、平均値又は中央値であること
    を特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記画像取得手段は、カラー画像をグレースケール画像に変換し、前記グレースケール画像のデータを前記画像のデータとして取得すること
    を特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記画像における文字領域であって、文字の背景色が中間色である色背景文字領域を特定する領域特定手段、
    を更に有し、
    前記画素特定手段は、前記色背景文字領域のうちから前記対象画素を特定すること
    を特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記生成手段により生成される前記２値画像を用いて、前記画像に含まれる前記文字の情報を取得する文字取得手段、
    を更に有すること
    を特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 文字を示す画像が形成された記録媒体を読み取ることにより得られた画像を取得する画像取得工程と、
    前記画像における複数の画素のうちから、前記複数の画素のそれぞれにおける画素値と予め定められた第１画素基準値とに基づいて対象画素を特定する画素特定工程と、
    前記対象画素の周辺に存在する複数の周辺画素のうちの予め定められた条件を満たす周辺画素の個数に基づいて、前記対象画素における画素値を変更する変更工程と、
    前記変更工程により前記対象画素における画素値が変更された後の前記画像を用いて、前記画像に対応する２値画像を生成する生成工程と、
    を有すること
    を特徴とする画像処理方法。
19. コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として動作させるためのプログラム。

Images