JP2021141435A - 読取装置および特徴量検出方法 - Google Patents

Abstract

【課題】透過型の読取装置において、原稿の種類によらず、原稿・背景間での安定したエッジ検出を可能とする。【解決手段】被写体に可視光と不可視光とを照射する照明部と、前記被写体により透過された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出する画像処理部と、を備える。【選択図】図８

Description

本発明は、読取装置および特徴量検出方法に関する。

従来、画像から原稿・背景間のエッジを検出し、検出した原稿・背景間のエッジを基に、原稿の傾きと位置を補正する画像処理技術が既に知られている。

特許文献１には、原稿・背景間のエッジを抽出するために、背景に赤外光低反射部を設け、取得した赤外画像を基に原稿と背景のエッジ検出を行う技術が開示されている。

しかしながら、従来技術によれば、背景に赤外光低反射部を設け、取得した赤外画像を基に原稿と背景のエッジ検出を行っているが、原稿色によってはエッジ検出ができないという問題があった。また、従来技術によれば、被写体の裏側に配置された照明からの光をセンサにて受光して読み取る装置には対応していない、という問題があった。

本発明は、上記に鑑みてなされたものであって、透過型の読取装置において、原稿の種類によらず、原稿・背景間での安定したエッジ検出を可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、被写体に可視光と不可視光とを照射する照明部と、前記被写体により透過された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出する画像処理部と、を備えることを特徴とする。

本発明によれば、透過型の読取装置において、原稿の種類によらず、原稿・背景間での安定したエッジ検出を行うことができる、という効果を奏する。

図１は、第１の実施の形態にかかる画像読取装置を構成する各部の電気的接続を示すブロック図である。 図２は、画像処理部の機能構成を示すブロック図である。 図３は、紙種による可視画像と不可視画像の分光透過特性差の違いを示す図である。 図４は、被写体のエッジから得られる情報を示す図である。 図５は、エッジ検出の手法を例示的に示す図である。 図６は、エッジを利用した特徴量の例を示す図である。 図７は、回帰直線式における直線式の選択を示す図である。 図８は、サイズ検知（横方向）の例を示す図である。 図９は、第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。 図１０は、エッジのＯＲ処理について説明する図である。 図１１は、エッジの正常検出の判定例を示す図である。 図１２は、エッジのＯＲ処理の失敗例を示す図である。 図１３は、複数の特性が混じったような被写体の一例を示す図である。 図１４は、第３の実施の形態にかかる画像処理部の機能構成を示すブロック図である。 図１５は、画像処理部における処理の流れを示すフローチャートである。 図１６は、被写体の傾きと位置の補正の例を示す図である。 図１７は、不可視画像の用途を示す図である。 図１８は、被写体の傾きと位置の補正および切り出し例を示す図である。 図１９は、傾き補正の一例を示す図である。 図２０は、右端エッジ点の探索を示す図である。 図２１は、画像読取装置の変形例を示す図である。

以下に添付図面を参照して、読取装置および特徴量検出方法の実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像読取装置１００を構成する各部の電気的接続を示すブロック図である。図１に示すように、本実施形態の画像読取装置１００は、読取装置として機能するものであって、画像取得部１０と、画像処理部２０と、を備えている。

画像取得部１０は、光源２と、撮像部２２と、を備えている。光源２は、可視用／不可視用で構成される。ここで、不可視光とは、波長が３８０ｎｍ以下、あるいは７５０ｎｍ以上の光のことを指す。すなわち、光源２は、被写体に対して可視光と不可視光（例えば、近赤外（ＮＩＲ）光）とを照射する照明部である。

撮像部２２は、例えば、縮小光学系用センサであり、例えばＣＭＯＳイメージセンサなどである。撮像部２２は、被写体を介して光源２に対向する位置に設けられる。撮像部２２は、被写体の裏側に配置された光源２から照射された光であって、被写体を透過した光を受光する。撮像部２２は、画素部２２１、信号処理部２２２などを備える。

撮像部２２は、可視、不可視の波長域を撮像可能である。撮像部２２には、入射光量を電気信号に変換する画素が配置されている。画素は行列状に配置され、各画素から得られる電気信号は、一定時間毎に所定の順序で、後段の信号処理部２２２へと転送される（画素読出し信号）。各画素上には特定の波長の光のみを透過するカラーフィルタが配置されている。本実施の形態の撮像部２２では、同一のカラーフィルタが配置された画素群から得られる各信号をチャンネルと称する。なお、本実施形態では可視光を照射して撮像部２２によって撮像された画像を可視画像、近赤外光などの不可視光を照射して撮像部２２によって撮像された画像を不可視画像と呼ぶ。

なお、本実施形態では４ライン構成での撮像部２２を例にして説明するが、４ラインに限定されるものではない。また、画素部２２１より後段の回路構成に関しても、図示する構成に限定されるものではない。

画素部２２１は、画素を構成する画素回路を行列状に複数配置した４ラインの画素群を有する。信号処理部２２２は、画素部２２１から出力された信号を必要に応じて処理を施し、後段に配置される画像処理部２０へと転送する。

画像処理部２０は、画像データの使用目的に合わせた各種の画像処理を実行する。

ここで、図２は画像処理部２０の機能構成を示すブロック図である。図２に示すように、画像処理部２０は、特徴量検出部２０１を備える。

特徴量検出部２０１は、撮像部２２で得られた可視画像ないし不可視画像に対して、被写体の特徴量を検出する。また、特徴量検出部２０１は、被写体の種類に応じて、検出対象の画像を可視と不可視のいずれかから事前に設定しておく。こうすることにより、特徴量検出部２０１は、狙いの特徴量を取り易くすることができる。

ここで、図３は紙種による可視画像と不可視画像の分光透過特性差の違いを示す図である。例えば、図３に示す例によれば、紙種Ａは、可視画像と不可視画像とを比較すると、可視画像より不可視画像の方が低透過であることがわかる。そのため、特徴量検出部２０１は、紙種Ａの場合、特徴量検出対象を不可視画像と設定しておくことができる。一方、紙種Ｂは、可視画像と不可視画像とを比較すると、不可視画像より可視画像の方が低透過であることがわかる。そのため、特徴量検出部２０１は、紙種Ｂの場合、特徴量検出対象を可視画像と設定しておくことができる。

続いて、特徴量検出部２０１が、被写体のエッジを特徴量として抽出する場合について説明する。

ここで、図４は被写体のエッジから得られる情報を示す図である。図４に示すように、エッジとは被写体と背景の境界のことを指す。このようなエッジを検出することで、図４に示すように、被写体の位置や傾き、サイズ等を認識することができる。そして、被写体の位置や傾きからは、被写体の位置・傾きに応じた画像補正を後段の処理で行うこともできる。

図５は、エッジ検出の手法を例示的に示す図である。エッジの検出方法としては、図５（ａ）に示すように、例えば画像全体に一次微分フィルタをかけて、各画素に対して所定の閾値を超えているかどうかで二値化して得る方法が挙げられる。その際、閾値によっては横方向のエッジは縦に数画素連続して出る（逆もまた同様である）。これは主に光学系のＭＴＦ特性により、エッジがぼけるからである。そこで、図５（ｂ）に示すように、後述の回帰直線式の算出やサイズ検知などのために代表エッジ画素をとるため、例えば連続した画素の中央を選出するような方法がある（図５（ｂ）に示すａ部分）。

図６は、エッジを利用した特徴量の例を示す図である。特徴量としては、画像から抽出したエッジそのものでなく、エッジを利用したものであってもよい。例としては、図６に示すように、抽出したエッジ点群から最小二乗法などを用いて計算した回帰直線式や、エッジ内部の領域（位置の集合）が挙げられる。回帰直線式については、各辺について全エッジ情報から１つの直線式を出す方法もあるが、複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する方法もある。その場合に最終的な直線式を導出する方法としては、傾きが中央値である直線や、各直線式の平均値として得る方法が挙げられる。

図７は、回帰直線式における直線式の選択を示す図である。複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する処理によって、図７に示すように、被写体の端が欠損しているなどダメージがある場合でも、正しく被写体の傾きを認識することができる。

以上の処理のように、特徴量検出部２０１が、被写体のエッジを特徴量として抽出することで、被写体の領域を検出することができる。

次に、被写体のサイズ検知について説明する。

ここで、図８はサイズ検知（横方向）の例を示す図である。図８に示すように、画像の縦方向の代表位置について、被写体の左辺エッジと右辺エッジの距離を求め、それらの中央値と別途算出した傾き角度から横方向のサイズを算出できる。また、同様にして縦方向のサイズも算出できる。

このようにして検知したサイズ情報は、エラー検知や後述の画像補正処理などに活用することができる。エラー検知については、例えば複合機でスキャンする場合、事前にユーザから設定された原稿サイズと異なるサイズが検知されたら、正しいサイズの原稿をセットすることを知らせる、などが挙げられる。

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体の特徴量を検出することにより、可視画像から取れない情報を、不可視画像からも取ることができることにより、透過型の読取装置において、原稿の種類によらず、原稿・背景間での安定したエッジ検出が可能となる。

また、撮像部２２は、被写体を透過した可視光及び不可視光を受光し、可視画像と不可視画像とを撮像することにより、簡素な構成で画像読み取りを行うことができる。

また、不可視光および不可視画像は、赤外光および赤外画像であることにより、簡素な構成で画像を読み取ることができる。

（第２の実施の形態）
次に、第２の実施の形態について説明する。

第２の実施の形態は、可視画像・不可視画像の両方から特徴量を抽出しておき、それらを自動的に選択または統合するようにする点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

ここで、図９は第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。図９に示すように、画像処理部２０は、特徴量検出部２０１に加えて、特徴量選択・統合部２０２を備える。

特徴量検出部２０１は、前述したように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量を検出する。

特徴量選択・統合部２０２は、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する。

より詳細には、特徴量選択・統合部２０２は、図３で説明した選択処理を自動的に行う。これにより、可視画像または不可視画像単体では狙いの特徴量が抽出できなかった被写体に対しても、それらを組み合わせて利用することで、狙いとする特徴量を得ることが可能になる。

次に、特徴量選択・統合部２０２が、被写体のエッジを特徴量として抽出する際に、エッジのＯＲ処理を実行する場合について説明する。図１０は、エッジのＯＲ処理について説明する図である。

不可視画像と可視画像において抽出した各エッジに対してＯＲをとることで、一方の画像でエッジがとれない箇所を、もう一方の画像で補完することができる。例えば、図１０に示すように、グラデーション原稿の場合、可視画像では原稿の黒領域のエッジが取りやすく白領域のエッジが取りづらいが、不可視画像では逆になっている。

そこで、特徴量選択・統合部２０２は、可視画像における黒領域のエッジと不可視画像の白領域のエッジを組み合わせることにより、一方の画像だけでは得られなかった原稿全体のエッジを抽出する。

このように、特徴量選択・統合部２０２が、不可視画像のエッジと可視画像のエッジのＯＲ処理によりエッジの統合を行うことにより、可視画像と不可視画像のいずれかでエッジ検出できる箇所があるため、より多くの箇所で被写体と背景間のエッジを検出することができる。

ここで、図１１はエッジの正常検出の判定例を示す図である。「正常に検出」の判断基準としては、図１１に示すように、例えば得られたエッジ点群を直線で回帰した場合に、最小二乗法による誤差が閾値以内であること、直線の傾き角度が閾値以内であること、などで判定する方法が挙げられる。また、前述の複数の直線式から選択・統合する場合は、正常判定された直線式が閾値以上の個数存在すること、が挙げられる。

次に、可視画像および不可視画像のいずれでも、正常にエッジが検出できなかった場合について説明する。

図１２は、エッジのＯＲ処理の失敗例を示す図である。可視画像と不可視画像に対してＯＲ処理をすると、狙いでないエッジを抽出してしまう可能性がある。例えば、図１２に示すように、不可視画像ではエッジが正常に検出できたが可視画像ではできなかった場合、原稿の傾きの計算などに影響が出てしまう。しかしながら、前述のようにＯＲ処理によりエッジ検出箇所が多くなるメリットもあるため、特徴量選択・統合部２０２は、可視画像でも不可視画像でも正常にエッジ検出ができなかった場合に限り、ＯＲ処理を行う。

このように特徴量選択・統合部２０２は、不可視画像のエッジも可視画像のエッジも正常に検出できなかった場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする。

ここで、図１３は複数の特性が混じったような被写体の一例を示す図である。図１３に示すように、例えば複数の特性が混じったような被写体では、被写体の下部を可視画像から抽出し、被写体の上部を不可視画像から抽出することができる。

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体の特徴量を検出し、各画像から検出された特徴量を選択ないし統合する。これにより、可視画像／不可視画像の一方から自動的に特徴量を選択、あるいは両方の特徴量を統合することができる。

（第３の実施の形態）
次に、第３の実施の形態について説明する。

第３の実施の形態は、被写体の画像補正を行う画像補正部を備える点が、第１の実施の形態および第２の実施形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態および第２の実施形態と同一部分の説明については省略し、第１の実施の形態および第２の実施形態と異なる箇所について説明する。

ここで、図１４は第３の実施の形態にかかる画像処理部の機能構成を示すブロック図、図１５は画像処理部における処理の流れを示すフローチャートである。図１４に示すように、画像処理部２０は、特徴量検出部２０１および特徴量選択・統合部２０２に加えて、画像補正部２０３を備える。

特徴量検出部２０１は、図１５に示すように、前述したように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量を検出する（ステップＳ１）。

特徴量選択・統合部２０２は、図１５に示すように、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する（ステップＳ２）。

画像補正部２０３は、図１５に示すように、特徴量選択・統合部２０２における統合結果を用いて、可視画像および不可視画像それぞれに対して画像補正を行う（ステップＳ３）。画像補正の例は、後述する。

ここで、図１６は被写体の傾きと位置の補正の例を示す図である。図１６に示す例は、画像補正部２０３が、特徴量選択・統合部２０２で検出した特徴量によって、被写体の傾きと位置を補正するものである。

被写体の傾きの補正については、画像補正部２０３は、前述したように、被写体の各辺から抽出したエッジ点群を直線で回帰した場合の傾きを求め、それを基に画像全体を回転させる方法を用いる。

被写体の位置の補正については、画像補正部２０３は、被写体の上辺と左辺のエッジ点群の回帰直線の交点位置を求め、その点を原点へ移動する方法を用いる。

ここで、図１７は不可視画像の用途を示す図である。特徴量選択・統合部２０２における統合結果に基づいて画像を補正することで、被写体の見やすさ向上などの効果が得られる。また、不可視成分は、可視成分と透過率が異なるため画像から異物や欠陥が発見できる可能性がある。図１７に示すように、不可視画像も補正しておくことで、パターンマッチング処理などによる異物や欠陥の認識精度向上につながるメリットがある。

ここで、図１８は被写体の傾きと位置の補正および切り出し例を示す図である。画像補正部２０３は、前述の傾きと位置の補正を組み合わせることにより、図１８に示すように、ジャストサイズで被写体の領域の切り出しを行う。なお、仮に特徴量がうまく検出できず、傾きや位置の補正ができない場合であっても、ジャストサイズにはならないが切り出し自体は可能である。

ここで、図１９は傾き補正の一例を示す図である。傾きの補正ができない例として、画像処理をハードウェアで行う場合、図１９に示すように、処理速度の都合で画像中の連続画素を最小幅以上でまとめて置き換える必要がある。しかしながら、傾きが大きすぎると補正困難となる、という課題がある。その際は、傾き補正はできないが、可能な限り背景の領域を削除したいということがある。

この場合、画像補正部２０３は、例えば、最も右端にあるエッジ点がわかれば、その右側領域は被写体の領域外なので画像から削ってしまう、などの処理を行うようにしても良い。

図２０は、右端エッジ点の探索を示す図である。もしメモリ量の都合で画像の一部領域からのみしかエッジ抽出できない場合でも、縦方向のサイズ情報が原稿搬送時のセンサ情報など他の手段でわかればよい。この場合、図２０に示すように、画像補正部２０３は、当該領域中のエッジ画素から傾き情報も用いて右端エッジ点を予測する。なお、右端に限らず、上端・左端・下端についても同様である。

画像補正部２０３は、被写体の領域の切り出しを行うことで、不要な背景の領域を削除できる。その結果、例えば複合機においては、ユーザの被写体のサイズ入力の手間の削減、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。

このようにエッジを基に画像から自動で被写体のサイズを検知して切り出すことで、ユーザが原稿サイズ（特に不定形サイズ）を入力する手間を省くことができる。また、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。

このように本実施形態によれば、画像補正部２０３は、可視画像及び不可視画像のうち少なくとも一方を補正することにより、画像の見やすさ向上などを図ることができる。

なお、上記実施の形態で説明した画像読取装置１００は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。

なお、読取装置の定義としては、画像として読み取らなくても、上述した図２１（ａ）に示す等倍光学系（密着光学系：ＣＩＳ方式）のラインセンサのように、読み取りレベルが取得できる装置であればよい。図２１（ａ）に示す装置は、紙面裏側に配置された照明からの光をラインセンサにて受光して読み取るものである。

さらに読取装置としては、図２１（ｂ）に示すシート材の検査装置などにも適用することができる。図２１（ｂ）に示す検査装置の被写体はシート材である。シート材の検査装置で検出された特徴量は、得られた画像自体の補正処理や搬送方向の補正などに用いられる。

２ 照明部
３ 撮像部
２０ 画像処理部
１００ 読取装置

特開２０１４−０５３７３９号公報

Claims (11)

1. 被写体に可視光と不可視光とを照射する照明部と、
   前記被写体により透過された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
   前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出する画像処理部と、
   を備えることを特徴とする読取装置。
2. 前記照明部は、前記不可視光として赤外光を照射し、
   前記撮像部は、前記不可視画像として赤外画像を撮像する、
   ことを特徴とする請求項１に記載の読取装置。
3. 前記画像処理部は、前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出し、各画像から検出された特徴量を選択ないし統合する、
   ことを特徴とする請求項１または２に記載の読取装置。
4. 前記画像処理部は、前記可視画像ないし前記不可視画像の特徴量として、被写体のエッジを検出する、
   ことを特徴とする請求項３に記載の読取装置。
5. 前記画像処理部は、前記エッジの統合を、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
   ことを特徴とする請求項４に記載の読取装置。
6. 前記画像処理部は、前記エッジの統合を、不可視画像のエッジも可視画像のエッジも正常に検出できなかった場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
   ことを特徴とする請求項４に記載の読取装置。
7. 前記画像処理部は、前記エッジから被写体のサイズを検知する、
   ことを特徴とする請求項４ないし６の何れか一項に記載の読取装置。
8. 前記画像処理部は、前記エッジを基に、被写体の傾き及び位置を補正する、
   ことを特徴とする請求項４ないし７の何れか一項に記載の読取装置。
9. 前記画像処理部は、前記エッジを基に、被写体の切り出しを行う、
   ことを特徴とする請求項４ないし８の何れか一項に記載の読取装置。
10. 前記画像処理部は、前記可視画像及び前記不可視画像のうち少なくとも一方を補正する、
    ことを特徴とする請求項１ないし９の何れか一項に記載の読取装置。
11. 被写体に可視光と不可視光とを照射する照明部と、
    前記被写体により透過された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
    を備える読取装置における特徴量検出方法であって、
    前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出する工程を含む、
    ことを特徴とする特徴量検出方法。

Images