JP3670244B2 - パターン検査装置および異品種混入検査装置 - Google Patents
パターン検査装置および異品種混入検査装置 Download PDFInfo
- Publication number
- JP3670244B2 JP3670244B2 JP2002060802A JP2002060802A JP3670244B2 JP 3670244 B2 JP3670244 B2 JP 3670244B2 JP 2002060802 A JP2002060802 A JP 2002060802A JP 2002060802 A JP2002060802 A JP 2002060802A JP 3670244 B2 JP3670244 B2 JP 3670244B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- area
- value
- density value
- character pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像データより１つ１つ切り出された文字、記号、商標等の文字をはじめとして、認識対象となる各種形状パターンの認識を行うパターン認識装置を応用したパターン検査装置および異品種混入検査装置に関するものである。
【０００２】
【従来の技術】
図１１は例えば「電子情報通信学会論文誌 Ｄ」、Vol.J71-D NO.6（1988年）の第1037〜1047頁に掲載された「情景画像からの文字パターン検出と認識」（大谷 淳、塩 昭夫）に示された、従来のパターン認識装置における文字パターンの濃淡画像の２値化法の原理を示す説明図である。この説明図は濃淡画像を複数の小領域に分割して、分割された小領域毎に最適なしきい値を設けて２値化処理を行い、それによって得られた２値化画像から各文字パターンを切り出して、それら各文字パターンの認識を行う例を示したものである。この図１１において、１４１は文字パターンの濃淡画像の原画であり、１４２はこの原画１４１を複数に分割した小領域である。
【０００３】
次に動作について説明する。
ここで、文字パターンと文字パターンの背景部分との濃度コントラストは高く局所的に２値的であり、文字パターンに対応する箇所をパターンとして切り出せば文字認識処理で読むことが可能である。従って、一般的なパターン認識装置では、テレビカメラなどの画像撮像装置を用いて撮像された文字パターンの濃淡画像を所定のしきい値で２値化して２値化画像に変換し、その２値化画像より各文字パターンを切り出して、それら各文字パターンの認識を行っている。しかしながら、このような方式では、画像撮像の際の照明の照度変化などの影響によって、２値化画像に欠落が発生したり、背景部分の一部が文字パターンと癒着して検出されてしまうことがあり、良好な２値化画像を得るためには照明を厳しく調整する必要が生じてくる。
【０００４】
そのため、この方式ではまず、図１１（ａ）に示すように、撮像された文字パターンの濃淡画像の原画１４１を複数（図示の例では３×３＝９個）の小領域１４２に分割し、分割された小領域１４２のそれぞれに対して、図１１（ｂ）に示すような２値化のための最適なしきい値θ11〜θ33を設定する。このようにして得られた各小領域１４２のしきい値θ11〜θ33は小領域１４２の境界で不連続であるために、これをそのまま用いて各小領域１４２毎に２値化処理を行った場合には、図１１（ｃ）に示すように小領域１４２の境界部分において画像に不連続が生じる。そこで図１４（ｄ）に示すように、各小領域１４２毎に得られたしきい値θ11〜θ33をそれぞれの小領域１４２の中心の画像に与えて線形補間を行い、得られた画素毎のしきい値を用いて２値化処理を得ている。この方式は、このようにして得られた２値化画像より各文字パターンを切り出して、それら各文字パターンの認識を行うものである。
【０００５】
【発明が解決しようとする課題】
従来のパターン認識装置のほとんどは、固定的な所定のしきい値で文字パターンの濃淡画像全体を２値化処理しているので、照明の照度が変化してしまうと２値化画像に多大な影響を及ぼして、文字パターンの欠落や癒着が発生してしまい、そのために照度の変化に著しく弱い欠点がある。また図１１に示した濃淡画像の原画１４１を複数の小領域１４２に分割して、分割された小領域１４２毎の２値化処理から２値化画像を得る方式は、固定的な所定のしきい値で画像全体を２値化処理する方式と比べて、局所的に濃淡むらが発生した低品質画像に有効であるが、小領域１４２の分割方法によっては雑音領域も抽出してしまうなどの欠点があるため、文字パターンの正確な切り出しができるとは限らない。そのため、非常に優れた認識処理機能を有していても、認識処理自体、認識対象とする文字パターンの正確な切り出しを前提としているため、文字パターン認識が良好に機能しなくなり、撮像環境が必ずしも良いとは限らず、常に良好な画像が得られるとは限らないＦＡ（ファクトリー・オートメーション：Factory Automation）の分野で用いられるパターン認識装置などでは、文字パターンを誤認識することが多くなってしまう。このため、従来のパターン認識装置を適用しても、印字された文字パターンなどの検査対象パターンの品質検査を容易に行なうことができないという課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたものであり、照明の照度変化に強く、局所的に濃淡むらがあるような低品質な画像についても常に正確な認識が安定して行え、かつ回路構成も比較的簡単なパターン認識装置を文字パターンの印字品質の検査に適用した文字パターン検査装置を得ることを目的とする。
【０００７】
また、この発明は、上記パターン認識装置を生産ライン上を流れる部品などの異品種の混入検査に適用した異品種混入検査装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の発明に係るパターン検査装置は、画像撮像装置によって撮像された濃淡画像からパターンとその背景との濃度差を用いて検査対象パターンを１つ１つ切り出すパターン切り出し手段と、前記パターン切り出し手段によって切り出された前記各検査対象パターンの領域内の正規化された特徴量データを、前記濃淡画像から直接抽出するパターン特徴量抽出手段と、ニューラルネットワークによって形成され、前記パターン特徴量抽出手段の抽出した特徴量データを用いて、前記パターン切り出し手段によって切り出された検査対象パターンの認識を行い、前記ニューラルネットワークの出力値が所定のしきい値以下でない場合に、切り出された前記認識対象パターンが不良である判定するパターン認識手段とを備え、前記パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、前記パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値を前記パターン認識手段への出力とする機能とを有するようにしたものである。
【０００９】
請求項２記載の発明に係る異品種混入検査装置は、画像撮像装置によって撮像された濃淡画像からパターンとその背景との濃度差を用いて、製品の品種を示す識別パターンを１つ１つ切り出すパターン切り出し手段と、前記パターン切り出し手段によって切り出された前記各識別パターンの領域内の正規化された特徴量データを、前記濃淡画像から直接抽出するパターン特徴量抽出手段と、ニューラルネットワークによって形成され、前記パターン特徴量抽出手段の抽出した特徴量データを用いて、前記パターン切り出し手段によって切り出された識別パターンの認識を行い、前記ニューラルネットワークの出力値が最小になった前記識別パターンを強制的に出力して、異品種の混入を検査するパターン認識手段とを備え、前記パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、前記パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値を前記パターン認識手段への出力とする機能とを有するようにしたものである。
【００１０】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるパターン認識装置の構成を示すブロック図である。図において、１１は文字、記号、商標などの認識対象としてのパターンが表記されている被写体を撮像して、当該認識対象の濃淡画像の画像データを生成する画像撮像装置であり、例えばＣＣＤ（電荷結合デバイス）によるテレビカメラなどが用いられる。１２はこの画像撮像装置１１によって撮像された濃淡画像の画像処理を行って、その濃淡画像より認識対象パターンを１つ１つ切り出し、それら各認識対象パターンの認識処理を行うパターン認識装置であり、例えばニューラルネットワークを用いた電子計算機などが用いられる。
【００１１】
また、このパターン認識装置１２内において、１３は画像撮像装置１１よりこのパターン認識装置１２に入力された濃淡画像の画像データを記憶する画像データ記憶手段である。１４はこの画像データ記憶手段１３に記憶されている画像データを読み出し、その濃淡画像からパターンと当該パターンの背景との濃度差を用いて直接、認識対象パターンの領域としての文字パターン領域を１つ１つ切り出すパターン切り出し手段である。１５はこのパターン切り出し手段１４によって切り出された各文字パターン領域内の正規化された特徴量データを、前記濃淡画像より直接抽出するパターン特徴量抽出手段である。
【００１２】
１６はこのパターン特徴量抽出手段１５によって抽出された特徴量データを用いて、パターン切り出し手段１４によって切り出された文字パターン領域の認識処理を実行するパターン認識手段であり、例えば学習機能を備えたニューラルネットワークによって構成されている。１７はこのパターン認識手段１６を構成するニューラルネットワークの学習手段であるパターン学習手段であり、１８はその学習データベースであるパターン学習データベースである。ちなみに、このパターン認識手段１６を構成しているニューラルネットワークはパターン学習手段１７において、パターン学習データベース１８に記憶されている基準パターンデータを学習済みである。
【００１３】
次に動作について説明する。
ここで、図２はこの実施の形態１におけるパターン認識装置１２の処理の流れを示すフローチャートである。また、図３〜図８はパターン切り出し手段１４による文字パターン領域の切り出し方法を説明するための動作説明図であり、図９はパターン特徴量抽出手段１５による特徴量データの抽出方法を説明するための動作説明図である。
【００１４】
まずステップＳＴ１において、画像撮像装置１１によって撮像されて画像データ記憶手段１３に記憶された濃淡画像の画像データがパターン切り出し手段１４に入力される。図３は入力された濃淡画像の画像データから、認識対象となる文字パターン領域を切り出すパターン切り出しの原理を説明するための動作説明図であり、ここでは、文字パターン「Ａ」の画像データから文字パターン領域を切り出す場合について示している。なお、図中の３１、３２はパターン濃度画像を走査する走査線であり、３３は切り出される文字パターン領域である。また、図３（ａ）は文字パターン背景上を通る走査線３１上の濃度値の様子を示したものであり、図３（ｂ）は文字パターン上を通る走査線３２上の濃度値の様子を示したものである。
【００１５】
ここで、上記走査線３１と走査線３２の濃度値の様子を見てみると、文字パターン背景上の走査線３１と比べて文字パターン上の走査線３２の方がその変動が激しいことがわかる。従って、図３（ｃ）に示すように、走査線３２上の濃度値幅（走査線上の最大濃度値と最小濃度値との濃度差）が大きいところが文字パターン領域であると考えられる。そのため、次に図２のステップＳＴ２において、パターン切り出し手段１４はまず、パターン行と平行方向の走査を実行して各走査線上の最大濃度値と最小濃度値の濃度値幅の計算値cal1を求め、図３（ｄ）に示すような各走査線上の濃度値幅の分布を調べ、それに基づいて文字パターン行領域の切り出しを実施する。続いて、先ほど切り出された文字パターン行領域内において、前記パターン行と垂直方向の走査を実行して、各走査線上の最大濃度値と最小濃度値との濃度差に、当該走査線上の平均濃度値と先に切り出した文字パターン行領域の背景の平均濃度値との濃度差を加えることによって計算値cal2を算出し、その計算値cal2を参照して、画像データ記憶手段１３から読み出した濃淡画像から直接、図３（ｅ）に示す認識対象の文字パターン領域３３を１つ１つ切り出す。
【００１６】
このように、文字パターン領域３３の切り出しに際して、パターン行と平行方向に繰り返し走査し、各走査線上の最大濃度値と最小濃度値との濃度差を用いて文字パターン行領域を切り出すようにしているため、文字パターン行領域とその背景とのわずかな違いも検出して文字パターン行領域を切り出すことができる上、続いて、その切り出された文字パターン行領域内でパターン行と垂直方向に走査した走査線上の最大濃度値と最小濃度値との濃度差に、前記走査線上の平均濃度値と先に切り出された文字パターン行領域の背景の平均濃度値との濃度差を加算した計算値を用いて、１つ１つパターンを切り出すようにしているため、例えば「１」のように、パターン行と垂直方向に走査しても濃度差が検出されにくいパターンであっても、前記計算値を見れば、パターンの濃度が薄くてもその文字パターン領域３３を特定することができるようになり、照明の照度変化よってパターンの濃度が薄くなるような場合であってもその影響を受けにくくなり、局所的に濃淡むらが発生しているような低品質画像からでも、正確な認識対象パターンの切り出しを行うことができる。
【００１７】
なお、この文字パターン領域を切り出す際に参照した計算値cal1およびcal2のしきい値は、それぞれ計算値cal1、cal2の出現頻度分布を求め、図４に示すように、その出現頻度分布をクラス１とクラス２の２クラスに分割したときの、次の式（１）で示すクラス間分散値を最大にする値に設定しており、このようにして自動的に最適な文字パターン領域３３を切り出している。
【００１８】
【００１９】
ただし、μは全体の平均値、ω0 は出現頻度分布をしきい値αで左右に分割した場合の左側の面積、ω1 は同じく右側の面積、μ0 は左側の平均値、μ1 は右側の平均値をそれぞれ表している。
【００２０】
このように、パターン切り出し手段１４は、文字パターン行領域あるいは文字パターン領域を切り出す時のしきい値を、パターン行と平行方向に走査する各走査線上の最大濃度値と最小濃度値との濃度差の出現頻度分布、あるいはパターン行と垂直方向に走査する各走査線上の最大濃度値と最小濃度値との濃度差に、当該走査線上の平均濃度値と切り出された文字パターン行領域の背景の平均濃度値との濃度差を加算して得られた値の出現頻度分布を２つのクラスに分割したときの、クラス間分散値を最大にする値に設定しているので、パターンと背景を最適に分離することができ、そのため、照明の照度変化に強く、局所的に濃淡むらが発生した低品質画像からも、文字パターン行領域あるいは文字パターン領域と思われる領域を自動的に切り出すことができる。
【００２１】
ここで、前述のようにして文字パターン行領域を切り出した場合、切り出された文字パターン行領域の中には雑音などの影響によって、本来文字パターン行領域が存在しない箇所でも、文字パターン行領域として切り出されてしまうことがある。そこで、まず切り出された複数の文字パターン行領域の高さに基づいてその平均値を求めた場合、当該平均値に含まれる標準誤差εを次に示す式（２）のように定義する。
【００２２】
【数１】
【００２３】
ただし、σは切り出した文字パターン行領域の高さの標準偏差を表し、ｎはその文字パターン行領域の数を表す。
【００２４】
そして、その標準誤差εを文字パターン行領域の最小の高さとして、この値よりも高さの大きい文字パターン行領域のみを真の文字パターン行領域とみなしてその切り出しを行うことにする。その様子は図５（ａ）に示され、その時の背景の平均濃度値の算出範囲を図５（ｂ）に示す。なお、図５（ａ）において、５１は雑音、５２は非文字パターン行領域、５３は真の文字パターン行領域をそれぞれ表しており、図５（ｂ）において、５４は背景の平均濃度値の算出範囲を表している。
【００２５】
図５（ａ）に示すように、雑音５１に対応した文字パターン行領域はその高さＨ1 が標準誤差εよりも小さいので、それは非文字パターン行領域５２とみなされてその切り出しは行われない。一方、文字パターンに対応した文字パターン行領域はその高さＨ2 が標準誤差εよりも大きいので、それは真の文字パターン行領域５３とみなされてその文字パターン行領域の切り出しが行われる。ちなみに、このとき切り出した文字パターン行領域の上下座標、およびその領域内と背景の平均濃度値を記憶しておく。また、図５（ｂ）に示すように、文字パターン行領域の背景の平均濃度値は、例えば、文字パターン行領域の上下両端からそれぞれ当該文字パターン行領域の高さＨの１／４までの間に設定された算出範囲５４から算出した平均濃度値を用いる。
【００２６】
このように、パターン切り出し手段１４は、切り出す各文字パターン行領域の高さＨを、切り出された複数の文字パターン行領域の高さに基づいて算出した標準誤差εと比較て、その高さＨが標準誤差εよりも小さい、雑音である可能性のが高い文字パターン行領域については、それを切り出さずに排除するようにしているため、雑音を多少含んだ撮像画像からでも正確に文字パターン行領域の切り出しを行うことが可能となる。
【００２７】
また、前述のようにして文字パターン行領域から認識対象の文字パターン領域を切り出した場合、切り出された文字パターン領域の中には、本来１個であるべき文字パターン領域が誤って２個の文字パターン領域に分離して切り出されてしまうことがある。このような誤切り出しを防止するために、まず切り出された複数の文字パターン領域の幅の平均値である平均パターン領域幅Ｗave と、隣接する文字パターン領域の間隔の平均値である平均パターン領域間隔Ｄave を求める。次いでそれら平均パターン領域幅Ｗave および平均パターン領域間隔Ｄave に含まれる標準誤差εw およびεd についても、次に示す式（３）および式（４）によってそれぞれ求めておく。
【００２８】
【数２】
【００２９】
ただし、σw 、σd は切り出した複数の文字パターン領域の幅および隣接する文字パターン領域間隔の標準偏差を表し、ｎは前記文字パターン領域の数、ｍは前記文字パターン領域間隔の数を表わす。
【００３０】
次に前記式（３）および式（４）を参照して、文字パターン領域の最小間隔幅Ｄsmall 、文字パターン領域の最小幅Ｗsmall および最大幅Ｗlarge を、次に示す式（５）〜式（７）を用いて求める。ただし、この式（５）中のαは定数であり、例えば３などの値をとる。
【００３１】
Ｄsmall ＝Ｄave −α×εd ・・・・ （５）
Ｗsmall ＝εw ・・・・ （６）
Ｗlarge ＝Ｗave ＋Ｄsmall ＋Ｗsmall ・・・・ （７）
【００３２】
続いて、隣接している２つの文字パターン領域において、それら２つの文字パターン領域を接合させた場合の文字パターン領域のパターン領域幅Ｗと、２つの文字パターン領域の間のパターン領域間隔Ｄとが、次に示す条件式（８）と条件式（９）を同時に満たしている場合には、それら２つの文字パターン領域は１つの文字パターン領域であるものとみなして接合させる。
【００３３】
Ｗ≦ Ｗlarge ・・・・・ （８）
Ｄ≦ Ｄsmall ・・・・・ （９）
【００３４】
すなわち、パターン切り出し手段１４は、図６（ａ）の中央に示した隣接している２つの文字パターン領域のように、それら２つの文字パターン領域を接合させた場合のパターン領域幅Ｗが、式（７）より求めた文字パターン領域の最大幅Ｗlarge よりも小さく、かつ、それら２つの文字パターン領域のパターン領域間隔Ｄが、式（５）より求めた文字パターン領域の最小間隔幅Ｄsmall よりも小さければ、図６（ｂ）の中央部に示すように、それらを結合して１つの文字パターン領域として切り出す。
【００３５】
このように、パターン切り出し手段１４は、隣接して切り出された２つの文字パターン領域のパターン領域間隔Ｄが、複数の文字パターン領域間隔より算出された平均パターン領域間隔幅Ｄave からその標準誤差εd のα倍を減算した計算値である最小間隔幅Ｄsmall より小さく、かつ、隣接した２つの文字パターン領域を接合させた場合のパターン領域幅Ｗが、前記最小間隔幅Ｄsmall に文字パターン領域を含む文字パターン行領域内の平均パターン領域幅Ｗave とその標準誤差εw を加算して得られた計算値である最大幅Ｗlarge より小さい場合には、当該隣接した２つの文字パターン領域を接合するようにしているので、雑音などにより誤って１つの文字パターン領域が分離して切り出されてしまっても、その文字パターン領域が自動的に修正されて結合されるため、正確に１つの文字パターン領域として切り出すことができる。
【００３６】
次に、前記のような処理を終えて切り出された文字パターン領域の幅Ｗcharを調べておく。これは雑音などの影響によって、本来文字パターン領域でないにもかかわらず、文字パターン領域として切り出される場合があるからである。そこで、以下に示す条件式（１０）を満たす文字パターン領域のみを真の文字パターン領域と見なして切り出しを行うことにより、文字パターン領域の誤切り出しを防止する。
【００３７】
Ｗsmall ≦Ｗchar ・・・・・ （１０）
【００３８】
なお、その様子は図７（ａ）に示され、その時の背景の平均濃度値の算出範囲を図７（ｂ）に示す。図７（ａ）において、７１は雑音、７２は非文字パターン領域、７３は真の文字パターン領域をそれぞれ表しており、また、図７（ｂ）において、７４は背景の平均濃度値の算出範囲を表している。図７（ａ）に示すように、雑音７１に対応した文字パターン領域の幅Ｗ１は文字パターン領域の最小幅Ｗsmall である標準誤差εw よりも小さいので、それを非文字パターン行領域７２とみなしてその切り出しは行わない。一方、文字パターンに対応した文字パターン行領域の幅Ｗ２、Ｗ３は文字パターン領域の最小幅Ｗsmall よりも大きいので、それを真の文字パターン行領域７３とみなしてその文字パターン行領域を切り出す。
【００３９】
ちなみに、このとき切り出した文字パターン領域の左右座標、およびその領域内と背景の平均濃度値を記憶しておく。また、図７（ｂ）に示すように、文字パターン領域の背景の平均濃度値は、例えば、文字パターン領域の左右端から文字パターン領域の幅Ｗの１／４までの間に設定された算出範囲７４から算出した平均濃度値を用いる。
【００４０】
このように、パターン切り出し手段１４は、各文字パターン行領域から切り出された複数の文字パターン領域の幅から算出された標準誤差εw と、当該文字パターン領域の幅Ｗcharとの比較を行って、その幅Ｗcharが前記標準誤差εw よりも小さい、雑音である可能性のが高い文字パターン領域については、それを切り出さずに排除するようにしているため、雑音を多少含んだ撮像画像からでも正確に文字パターン領域の切り出しを行うことが可能となる。
【００４１】
次に、各文字パターン領域毎に、各文字パターン領域内の平均濃度値Ave_Charとその背景領域の平均濃度値Ave_Backを求める。そして両平均濃度値Ave_CharとAve_Backとを比べることで、文字パターン濃度を以下に示す条件式（１１）を用いて判定する。
【００４２】
Ave_Char≧ Ave_Back （１１）
【００４３】
すなわち、上記条件式（１１）を満たしている場合にはその文字パターンの濃度は「白」と判定され、また上記条件式（１１）を満たしていない場合にはその文字パターンの濃度は「黒」と判定される。
【００４４】
このように、パターン切り出し手段１４は、切り出された各文字パターン領域内の平均濃度値Ave_Charとその背景領域の平均濃度値Ave_Backとを比較することによって、各文字パターンの濃度を自動的に識別しているので、あらかじめ認識対象とする文字パターンの濃度を設定することなしに、正確に文字パターンの切り出しを行ってその認識処理を行うことができる。
【００４５】
次に、パターン切り出し手段１４は切り出した文字パターン領域の高さの調整を行う。例えば、小文字によるアルファベットの「ａ」と「ｂ」のような、高さの異なる文字パターンが同一文字パターン行領域内に存在する場合には、前述の切り出し方法ではまだ不十分である。そこで、文字パターン領域の高さの調整処理が必要となる。この文字パターン領域の高さの調整処理は、まず切り出された各文字パターン領域内で、横方向（パターン行と平行方向）に走査した場合の走査線上の最大濃度値と最小濃度値との濃度差に、当該走査線上の平均濃度値と文字パターン領域の背景の平均濃度値との濃度差を加算した計算値を求める。この計算値は文字パターン部分では高い値を示すが、その背景部分では小さい値を示すようになる。従って、切り出した文字パターン領域の上下端の走査線からそれぞれ順番に前記計算値を求めてゆき、その計算値が最初に所定のしきい値を上回る位置を文字パターン領域の上下端位置とする。
【００４６】
図８にその様子を示す。なお、図中の８１が文字パターン領域の上端位置、８２が文字パターン領域の下端位置を示し、８３が高さ調整前の切り出し枠、８４が高さ調整後の切り出し枠を示している。すなわち、図８（ａ）に示すように、高さ調整前の切り出し枠８３の上端側から前記計算値が所定のしきい値を最初に上回る位置を求めてそれを当該文字パターン領域の上端位置８１とし、高さ調整前の切り出し枠８３の下端側から前記計算値が所定のしきい値を最初に上回る位置を求めてそれを当該文字パターン領域の下端位置８２とする。そして、この文字パターン領域の上端位置８１と下端位置８２にて規定される、図８（ｂ）に示した高さ調整後の切り出し枠８４に従って、当該文字パターン領域の切り出しを行う。なお、このときその文字パターン領域の上下左右の座標およびその領域内と背景の平均濃度値を記憶しておく。
【００４７】
このように、パターン切り出し手段１４は、切り出された各文字パターン領域内で横方向に繰り返し走査して、各走査線上の最大濃度値と最小濃度値との濃度差に、その走査線上の平均濃度値と文字パターン領域の背景の平均濃度値との濃度差を加算した計算値を求めることで、文字パターン領域とその背景とを明確に区別できるようにしているため、前記計算値を参照して各文字パターン領域の高さの調整を行うことが可能となり、同一文字パターン行領域内での高さの異なる文字パターン領域の切り出しも正確に行うことが可能となる。
【００４８】
次に、処理は図２のステップＳＴ３に進み、パターン特徴量抽出手段１５は前述のようにしてパターン切り出し手段１４が切り出した文字パターン領域内から、文字パターンのパターン特徴量を示す特徴量データを抽出する。図９はこの特徴量データの抽出方法を示した動作説明図であり、図において、９１は切り出された認識対象となる文字パターン領域であり、９２（ｉ、ｊ）はこの文字パターン領域９１を複数（ｍ×ｎ個）に分割したメッシュ領域である。なお、この図９では文字パターン領域９１を１２８個（ｍ＝８、ｎ＝１６個）の領域に分割した場合について示しており、従って、メッシュ領域９２（ｉ、ｊ）のカッコ内のｉおよびｊはそれぞれ、ｉ＝０，１，・・・・，７、ｊ＝０，１，・・・・，１５である。
【００４９】
パターン特徴量抽出手段１５はまず、パターン切り出し手段１４が前述のようにして切り出した文字パターン領域９１内で、縦方向（パターン行と垂直方向）および横方向（パターン行と平行方向）毎に走査を行って、それぞれの方向毎の走査線上の最大濃度値と最小濃度値の濃度差から求めた濃度差分布を調べる。図９（ａ）はその様子を示したものであり、以後、横方向をＸ軸方向、縦方向をＹ軸方向という。ここで、図中のｈは当該文字パターン領域９１の高さを示し、ｗはその幅を示している。また、Ｈ（ｘ）はＸ軸方向の走査線上の濃度差分布を表し、Ｖ（ｙ）はＹ軸方向の走査線上の濃度差分布を表している。なお、そのときのｘ、ｙはそれぞれ、０≦ｘ≦（ｗ−１）、０≦ｙ≦（ｈ−１）で規定される文字パターン領域区間内にある。
【００５０】
次にパターン特徴量抽出手段１５は、パターン切り出し手段１４によって切り出された文字パターン領域９１をｍ×ｎ個のメッシュ領域９２（ｉ、ｊ）に分割する。図９（ｂ）はその様子を示したものであり、この文字パターン領域９１の分割に際しては、まず、０≦ｘ≦（ｗ−１）、０≦ｙ≦（ｈ−１）で規定される文字パターン領域区間内における走査線上の濃度差分布の累積関数Ｃx （Ｘ）およびＣy （Ｙ）を、次に示す式（１２）および式（１３）を用いて求める。
【００５１】
【数３】
【００５２】
そして、文字パターン領域９１をｍ×ｎ個のメッシュ領域９２（ｉ、ｊ）に分割するために、以下に示す式（１４）および式（１５）を用いて、メッシュ間隔δx （ｉ）とδy （ｊ）とを求める。
【００５３】
δx （ｉ）＝Ｘi+1 −Ｘi ・・・・・ （１４）
δy （ｊ）＝Ｙj+1 −Ｙj ・・・・・ （１５）
【００５４】
ただし、上記式（１４）および式（１５）におけるＸi およびＹj は、それぞれ次に示す式（１６）あるいは式（１７）の条件を満たすものである。
【００５５】
Ｘi ＝ｍｉｎ｛Ｘ｜Ｃx （Ｘ）≧ｉ×Ｃx （ｗ−１）／ｎ｝・・・・・ （１６）
Ｙj ＝ｍｉｎ｛Ｙ｜Ｃy （Ｙ）≧ｊ×Ｃy （ｈ−１）／ｍ｝・・・・・ （１７）
【００５６】
すなわち、Ｘ軸上の第ｉ番目のメッシュ分割点ｉは、上記式（１４）によって得られたメッシュ間隔δx （ｉ）内での走査線上の濃度差分布Ｈ（ｘ）の和が一定になるところに定められる。Ｙ軸に対しても同様に、Ｙ軸上の第ｊ番目のメッシュ分割点ｊは、式（１５）で得られたメッシュ間隔δy （ｊ）内での走査線上の濃度差分布Ｖ（ｙ）の和が一定になるところに定められる。以上の操作を行うことによって、文字パターン領域９１をｍ×ｎ個のメッシュ領域９２（ｉ、ｊ）に分割する。
【００５７】
ここで、各走査線においては濃度差が高い部分ほど文字パターン部分であると考えられる。そこで、前述のようにメッシュ間隔δx （ｉ）およびδy （ｊ）内での走査線上の濃度差分布Ｈ（ｘ）あるいはＶ（ｙ）の和がそれぞれ一定となるように、文字パターン領域９１をメッシュ領域９２（ｉ、ｊ）に分割した場合には、文字パターン部分では走査線上の濃度差は当然高い値を示すため、メッシュ間隔δx （ｉ）およびδy （ｊ）は細かなものとなる。従って、文字パターン領域９１は文字パターン部分ではより多くのメッシュ領域９２（ｉ、ｊ）に分割されることになるため、詳細に文字パターンの特徴量データを抽出することが可能となる。その上、文字パターンをメッシュ化しているので、位置ずれによる影響を抑えることができ、また、同一の字種では文字パターンの各部分がほぼ同じメッシュ位置に配置されるようになるため、文字パターンのフォントや印字太さに違いがある場合においても、それらの違いを吸収することが可能になる。
【００５８】
このように、パターン特徴量抽出手段１５は、切り出された各パターン領域９１を複数のメッシュ領域９２（ｉ、ｊ）に分割し、濃淡画像よりそれら全てのメッシュ領域９２（ｉ、ｊ）の特徴量データを直接計算しているので、画像データを取り込む際に生じた雑音による位置ずれによる誤差を考慮する必要性がなくなり、パターン認識手段１６へ入力される特徴量データのデータ量も減少して、認識に要する時間を短縮することができる。また、切り出されたパターン領域９１内でのＸ軸方向およびＹ軸方向毎の走査線上の最大濃度値と最小濃度値の濃度差から求めた濃度差分布の累積関数Ｃx （Ｘ）およびＣy （Ｙ）に基づいてメッシュ分割を行っているので、文字パターン領域の切り出しに際して多少の位置ずれがあっても、その影響を受けずに文字パターンを認識することが可能となり、さらに、Ｘ軸方向およびＹ軸方向毎の走査線上の最大濃度値と最小濃度値との濃度差による濃度差分布の累積関数Ｃx （Ｘ）およびＣy （Ｙ）上で、メッシュ間隔内の和が一定となるように分割幅を変動させてメッシュ分割を行っているので、パターンの位置ずれの影響を抑えることが可能となり、パターン認識などに適用した場合には、フォントや印字太さなどの多少の違いを吸収して、少ない登録数で多品種の認識対象のパターンを認識することが可能となる。
【００５９】
次にパターン特徴量抽出手段１５は、前述のようにして分割した各メッシュ領域９２（ｉ、ｊ）毎にその平均濃度値を求め、続いてそれら平均濃度値の最大値である最大濃度値と、最小値である最小濃度値も求めておく。そして、文字パターンの濃度が、文字パターン領域内の平均濃度値の方が背景領域のそれよりも高い「白」の場合には、各メッシュ領域９２（ｉ、ｊ）毎に、その平均濃度値から前述の最小濃度値を減算して得られた各メッシュ領域９２（ｉ、ｊ）の差引平均濃度値を、前記最大濃度値から最小濃度値を減算した値で除算した、０から１までの実数による計算値を、当該メッシュ領域９２（ｉ、ｊ）の正規化された特徴量データとして抽出する。
【００６０】
同様にして、文字パターンの濃度が、文字パターン領域内の平均濃度値の方が背景領域のそれよりも低い「黒」の場合には、各メッシュ領域９２（ｉ、ｊ）毎に、前述の最大濃度値からその平均濃度値を減算して得られた各メッシュ領域９２（ｉ、ｊ）の差引平均濃度値を、前記最大濃度値から最小濃度値を減算した値で除算した計算値（０から１までの実数）を、当該メッシュ領域９２（ｉ、ｊ）の正規化された特徴量データとして抽出する。この演算処理を全てのメッシュ領域９２（ｉ、ｊ）について実行することにより、文字パターン領域９１の１つ１つをｍ×ｎ個の実数データに変換する。図９（ｃ）はその様子を示したものであり、ここでは、その正規化された０から１までの実数データの値を濃度の変化によって表現している。
【００６１】
このように、前述の方法によって各メッシュ領域９２（ｉ、ｊ）の特徴量データを抽出した場合には、それぞれメッシュ領域９２（ｉ、ｊ）毎に正規化しているため、抽出される特徴量データが以下の照明変化に対して不変となる。すなわち、その１つは、直流的な雑音の重畳などによって濃度が全体的にαだけシフトした場合である。そのときには濃度ｆは濃度ｆ＋αとなるが、それに対応して平均値、最小濃度値、最大濃度値もαだけシフトするため、以前と比べて変わることはない。よって、これらの比である特徴量データも不変である。また、もう１つは、コントラストが変化して各部の濃度がその濃度に応じてｋ倍された場合である。そのときには濃度ｆは濃度ｋｆとなるが、それに対応して平均値−最小濃度値、最大濃度値−平均値もｋ倍される。しかしながら、両者の比をとることによって、分子、分母のｋ倍が打ち消され、結果的に特徴量データは不変になる。なお、以上の２つの場合において、特徴量データの不変性を示したが、実際の照明変化はこれら２つの場合の組み合わせで近似することができ、従って、特徴量データが実際の照明変化によって影響を受けることはほとんどない。
【００６２】
このように、パターン特徴量抽出手段１５は分割された各メッシュ領域の平均濃度値を算出し、それら各平均濃度値の最小濃度値と最大濃度値を求めた後に、パターンの濃度が「白」である場合には、その最小濃度値を各メッシュ領域の平均濃度値から減算した差引濃度値を前記最大濃度値と最小濃度値の濃度差で除算した計算値を、またパターンの濃度が「黒」である場合には、前記最大濃度値から各メッシュ領域の平均濃度値を減算した差引濃度値を前記最大濃度値と最小濃度値の濃度差で除算した計算値を、各メッシュ領域の特徴量データとして抽出しているため、抽出される特徴量データは、照明の照度変化による影響を受けにくい、ロバスト（robust：頑強）性に優れたものとなる。
【００６３】
次に処理はステップＳＴ４に進み、パターン認識手段１６はパターン特徴量抽出手段１５によって抽出されたｍ×ｎ個の実数データによる特徴量データを入力として文字パターンの認識処理を実行する。なお、このパターン認識手段１６はニューラルネットワークで構成されており、そのニューラルネットワークとしては、例えばコホーネンによる学習ベクトル量子化法に基づく自己組織化ネットワークが用いられる。また、パターン学習手段１７によって認識処理の基準データとなる文字パターンの学習はすでに済んでおり、その学習済のデータはパターン学習データベース１８に記憶されている。このニューラルネットワークに入力される文字パターンの種類が英数字である場合、当該パターン認識手段１６の出力値は、例えば“Ａ”である可能性が０．９、“Ｂ”である可能性が３．２などのようになる。ニューラルネットワークの出力値は、その文字パターンに対してどれだけ近いかという量を定量化したもので、出力値の小さいものほどその文字パターンに近いことを示している。
【００６４】
以下、上記パターン認識装置を適用したこの発明によるパターン検査装置について説明する。図１０はこの発明のパターン検査装置によって良否判定される文字パターンの不良の一例を示す説明図である。図において、１３１は文字パターンの欠けであり、１３２は文字パターンについた傷である。
【００６５】
次に動作について説明する。
ここで、文字パターンの印字品質の検査とは、図１０（ａ）に符号１３１を付して示すような文字パターンの欠けや、図１０（ｂ）に符号１３２を付して示すような傷を検出して不良品とするものである。これは、実施の形態１の場合と同様に、パターン特徴量抽出手段１５によって抽出された特徴量データを用いて、パターン切り出し手段１４の切り出した文字パターンの認識をパターン認識手段１６で行う。そして、そのときパターン認識手段１６を構成しているニューラルネットワークの出力値が所定のしきい値以下でないときに、その文字パターンは不良であると判定することによって容易に実現できる。
【００６６】
以上のように、この実施の形態１によれば、パターン認識手段をニューラルネットワークで構成し、そのニューラルネットワークの出力値が所定のしきい値以下であるか否かで、切り出されたその認識対象パターンが良／不良を判定しているので、文字パターンの欠けや傷などの印字品質の検査を容易に行うことができる効果がある。
【００６７】
実施の形態２．
上記実施の形態１では、上記この発明によるパターン認識を文字パターンの印字品質の検査に適用した場合について説明したが、生産ラインにおける異品種の混入検査にも適応可能である。生産ライン上を流れる部品などに異品種が混入したことを検出するためは、文字パターンなどの識別対象パターンそのものの良品／不良品の判別をする必要はなく、部品等の型名さえ認識できればよい。従って、そのような場合には、実施の形態１と同様にパターン認識手段１６において、パターン特徴量抽出手段１５の抽出した特徴量データを用いてパターン切り出し手段１４によって切り出された識別パターンの認識を行い、そのときにパターン認識手段１６を構成しているニューラルネットワークの出力値が最小になった識別パターンを強制的に出力して、それに基づいて異品種の混入を検査するようにする。
【００６８】
以上のように、この実施の形態２によれば、パターン認識手段をニューラルネットワークによって形成し、そのニューラルネットワークの出力値が最小になった識別パターンを強制的に出力することによって、異品種の混入を検査しているので、生産ライン上を流れる部品などに異品種が混入したことを容易に検出することが可能になる効果がある。
【００６９】
【発明の効果】
以上のように、請求項１記載の発明によれば、パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値をパターン認識手段への出力とする機能とを有し、パターン認識手段をニューラルネットワークによって形成し、パターン特徴量抽出手段の抽出した特徴量データを用いて、パターン切り出し手段の切り出した検査対象パターンの認識を行って、ニューラルネットワークの出力値が所定のしきい値以下でなければ、その切り出された検査対象パターンが不良であると判定するように構成したので、印字された文字パターンなどの検査対象パターンの品質検査を容易に行うことができるパターン検査装置が得られる効果がある。
【００７０】
請求項２記載の発明によれば、パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値をパターン認識手段への出力とする機能とを有し、パターン認識手段をニューラルネットワークによって形成し、パターン特徴量抽出手段の抽出した特徴量データを用いて、パターン切り出し手段の切り出した識別パターンの認識を行って、ニューラルネットワークの出力値が最小になった識別パターンを強制的に出力するように構成したので、部品等の型名を簡易的に認識することができ、生産ライン上における異品種の混入を容易に検出できる異品種混入検査装置が得られる効果がある。
【図面の簡単な説明】
【図１】 パターン認識装置の構成を示すブロック図である。
【図２】 パターン認識装置における処理の流れを示すフローチャートである。
【図３】 パターン認識装置におけるパターン切り出しの原理を示す動作説明図である。
【図４】 パターン認識装置におけるパターン切り出しのためのしきい値算出の原理を示す動作説明図である。
【図５】 パターン認識装置における文字パターン行領域の切り出しの様子を示す動作説明図である。
【図６】 パターン認識装置における文字パターン領域の接合の様子を示す動作説明図である。
【図７】 パターン認識装置における文字パターン領域の切り出しの様子を示す動作説明図である。
【図８】 パターン認識装置における文字パターン領域の高さ調節の様子を示す動作説明図である。
【図９】 パターン認識装置における特徴量データの抽出方法を示す動作説明図である。
【図１０】 パターン認識装置を適応したこの発明の実施の形態１によるパターン検査装置で良否判定される文字パターンの不良の一例を示す説明図である。
【図１１】 従来のパターン認識装置における文字パターンの濃淡画像の２値化原理を示す説明図である。
【符号の説明】
１１ 画像撮像装置、１４ パターン切り出し手段、１５ パターン特徴量抽出手段、１６ パターン認識手段。
【発明の属する技術分野】
この発明は、画像データより１つ１つ切り出された文字、記号、商標等の文字をはじめとして、認識対象となる各種形状パターンの認識を行うパターン認識装置を応用したパターン検査装置および異品種混入検査装置に関するものである。
【０００２】
【従来の技術】
図１１は例えば「電子情報通信学会論文誌 Ｄ」、Vol.J71-D NO.6（1988年）の第1037〜1047頁に掲載された「情景画像からの文字パターン検出と認識」（大谷 淳、塩 昭夫）に示された、従来のパターン認識装置における文字パターンの濃淡画像の２値化法の原理を示す説明図である。この説明図は濃淡画像を複数の小領域に分割して、分割された小領域毎に最適なしきい値を設けて２値化処理を行い、それによって得られた２値化画像から各文字パターンを切り出して、それら各文字パターンの認識を行う例を示したものである。この図１１において、１４１は文字パターンの濃淡画像の原画であり、１４２はこの原画１４１を複数に分割した小領域である。
【０００３】
次に動作について説明する。
ここで、文字パターンと文字パターンの背景部分との濃度コントラストは高く局所的に２値的であり、文字パターンに対応する箇所をパターンとして切り出せば文字認識処理で読むことが可能である。従って、一般的なパターン認識装置では、テレビカメラなどの画像撮像装置を用いて撮像された文字パターンの濃淡画像を所定のしきい値で２値化して２値化画像に変換し、その２値化画像より各文字パターンを切り出して、それら各文字パターンの認識を行っている。しかしながら、このような方式では、画像撮像の際の照明の照度変化などの影響によって、２値化画像に欠落が発生したり、背景部分の一部が文字パターンと癒着して検出されてしまうことがあり、良好な２値化画像を得るためには照明を厳しく調整する必要が生じてくる。
【０００４】
そのため、この方式ではまず、図１１（ａ）に示すように、撮像された文字パターンの濃淡画像の原画１４１を複数（図示の例では３×３＝９個）の小領域１４２に分割し、分割された小領域１４２のそれぞれに対して、図１１（ｂ）に示すような２値化のための最適なしきい値θ11〜θ33を設定する。このようにして得られた各小領域１４２のしきい値θ11〜θ33は小領域１４２の境界で不連続であるために、これをそのまま用いて各小領域１４２毎に２値化処理を行った場合には、図１１（ｃ）に示すように小領域１４２の境界部分において画像に不連続が生じる。そこで図１４（ｄ）に示すように、各小領域１４２毎に得られたしきい値θ11〜θ33をそれぞれの小領域１４２の中心の画像に与えて線形補間を行い、得られた画素毎のしきい値を用いて２値化処理を得ている。この方式は、このようにして得られた２値化画像より各文字パターンを切り出して、それら各文字パターンの認識を行うものである。
【０００５】
【発明が解決しようとする課題】
従来のパターン認識装置のほとんどは、固定的な所定のしきい値で文字パターンの濃淡画像全体を２値化処理しているので、照明の照度が変化してしまうと２値化画像に多大な影響を及ぼして、文字パターンの欠落や癒着が発生してしまい、そのために照度の変化に著しく弱い欠点がある。また図１１に示した濃淡画像の原画１４１を複数の小領域１４２に分割して、分割された小領域１４２毎の２値化処理から２値化画像を得る方式は、固定的な所定のしきい値で画像全体を２値化処理する方式と比べて、局所的に濃淡むらが発生した低品質画像に有効であるが、小領域１４２の分割方法によっては雑音領域も抽出してしまうなどの欠点があるため、文字パターンの正確な切り出しができるとは限らない。そのため、非常に優れた認識処理機能を有していても、認識処理自体、認識対象とする文字パターンの正確な切り出しを前提としているため、文字パターン認識が良好に機能しなくなり、撮像環境が必ずしも良いとは限らず、常に良好な画像が得られるとは限らないＦＡ（ファクトリー・オートメーション：Factory Automation）の分野で用いられるパターン認識装置などでは、文字パターンを誤認識することが多くなってしまう。このため、従来のパターン認識装置を適用しても、印字された文字パターンなどの検査対象パターンの品質検査を容易に行なうことができないという課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたものであり、照明の照度変化に強く、局所的に濃淡むらがあるような低品質な画像についても常に正確な認識が安定して行え、かつ回路構成も比較的簡単なパターン認識装置を文字パターンの印字品質の検査に適用した文字パターン検査装置を得ることを目的とする。
【０００７】
また、この発明は、上記パターン認識装置を生産ライン上を流れる部品などの異品種の混入検査に適用した異品種混入検査装置を得ることを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の発明に係るパターン検査装置は、画像撮像装置によって撮像された濃淡画像からパターンとその背景との濃度差を用いて検査対象パターンを１つ１つ切り出すパターン切り出し手段と、前記パターン切り出し手段によって切り出された前記各検査対象パターンの領域内の正規化された特徴量データを、前記濃淡画像から直接抽出するパターン特徴量抽出手段と、ニューラルネットワークによって形成され、前記パターン特徴量抽出手段の抽出した特徴量データを用いて、前記パターン切り出し手段によって切り出された検査対象パターンの認識を行い、前記ニューラルネットワークの出力値が所定のしきい値以下でない場合に、切り出された前記認識対象パターンが不良である判定するパターン認識手段とを備え、前記パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、前記パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値を前記パターン認識手段への出力とする機能とを有するようにしたものである。
【０００９】
請求項２記載の発明に係る異品種混入検査装置は、画像撮像装置によって撮像された濃淡画像からパターンとその背景との濃度差を用いて、製品の品種を示す識別パターンを１つ１つ切り出すパターン切り出し手段と、前記パターン切り出し手段によって切り出された前記各識別パターンの領域内の正規化された特徴量データを、前記濃淡画像から直接抽出するパターン特徴量抽出手段と、ニューラルネットワークによって形成され、前記パターン特徴量抽出手段の抽出した特徴量データを用いて、前記パターン切り出し手段によって切り出された識別パターンの認識を行い、前記ニューラルネットワークの出力値が最小になった前記識別パターンを強制的に出力して、異品種の混入を検査するパターン認識手段とを備え、前記パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、前記パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値を前記パターン認識手段への出力とする機能とを有するようにしたものである。
【００１０】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるパターン認識装置の構成を示すブロック図である。図において、１１は文字、記号、商標などの認識対象としてのパターンが表記されている被写体を撮像して、当該認識対象の濃淡画像の画像データを生成する画像撮像装置であり、例えばＣＣＤ（電荷結合デバイス）によるテレビカメラなどが用いられる。１２はこの画像撮像装置１１によって撮像された濃淡画像の画像処理を行って、その濃淡画像より認識対象パターンを１つ１つ切り出し、それら各認識対象パターンの認識処理を行うパターン認識装置であり、例えばニューラルネットワークを用いた電子計算機などが用いられる。
【００１１】
また、このパターン認識装置１２内において、１３は画像撮像装置１１よりこのパターン認識装置１２に入力された濃淡画像の画像データを記憶する画像データ記憶手段である。１４はこの画像データ記憶手段１３に記憶されている画像データを読み出し、その濃淡画像からパターンと当該パターンの背景との濃度差を用いて直接、認識対象パターンの領域としての文字パターン領域を１つ１つ切り出すパターン切り出し手段である。１５はこのパターン切り出し手段１４によって切り出された各文字パターン領域内の正規化された特徴量データを、前記濃淡画像より直接抽出するパターン特徴量抽出手段である。
【００１２】
１６はこのパターン特徴量抽出手段１５によって抽出された特徴量データを用いて、パターン切り出し手段１４によって切り出された文字パターン領域の認識処理を実行するパターン認識手段であり、例えば学習機能を備えたニューラルネットワークによって構成されている。１７はこのパターン認識手段１６を構成するニューラルネットワークの学習手段であるパターン学習手段であり、１８はその学習データベースであるパターン学習データベースである。ちなみに、このパターン認識手段１６を構成しているニューラルネットワークはパターン学習手段１７において、パターン学習データベース１８に記憶されている基準パターンデータを学習済みである。
【００１３】
次に動作について説明する。
ここで、図２はこの実施の形態１におけるパターン認識装置１２の処理の流れを示すフローチャートである。また、図３〜図８はパターン切り出し手段１４による文字パターン領域の切り出し方法を説明するための動作説明図であり、図９はパターン特徴量抽出手段１５による特徴量データの抽出方法を説明するための動作説明図である。
【００１４】
まずステップＳＴ１において、画像撮像装置１１によって撮像されて画像データ記憶手段１３に記憶された濃淡画像の画像データがパターン切り出し手段１４に入力される。図３は入力された濃淡画像の画像データから、認識対象となる文字パターン領域を切り出すパターン切り出しの原理を説明するための動作説明図であり、ここでは、文字パターン「Ａ」の画像データから文字パターン領域を切り出す場合について示している。なお、図中の３１、３２はパターン濃度画像を走査する走査線であり、３３は切り出される文字パターン領域である。また、図３（ａ）は文字パターン背景上を通る走査線３１上の濃度値の様子を示したものであり、図３（ｂ）は文字パターン上を通る走査線３２上の濃度値の様子を示したものである。
【００１５】
ここで、上記走査線３１と走査線３２の濃度値の様子を見てみると、文字パターン背景上の走査線３１と比べて文字パターン上の走査線３２の方がその変動が激しいことがわかる。従って、図３（ｃ）に示すように、走査線３２上の濃度値幅（走査線上の最大濃度値と最小濃度値との濃度差）が大きいところが文字パターン領域であると考えられる。そのため、次に図２のステップＳＴ２において、パターン切り出し手段１４はまず、パターン行と平行方向の走査を実行して各走査線上の最大濃度値と最小濃度値の濃度値幅の計算値cal1を求め、図３（ｄ）に示すような各走査線上の濃度値幅の分布を調べ、それに基づいて文字パターン行領域の切り出しを実施する。続いて、先ほど切り出された文字パターン行領域内において、前記パターン行と垂直方向の走査を実行して、各走査線上の最大濃度値と最小濃度値との濃度差に、当該走査線上の平均濃度値と先に切り出した文字パターン行領域の背景の平均濃度値との濃度差を加えることによって計算値cal2を算出し、その計算値cal2を参照して、画像データ記憶手段１３から読み出した濃淡画像から直接、図３（ｅ）に示す認識対象の文字パターン領域３３を１つ１つ切り出す。
【００１６】
このように、文字パターン領域３３の切り出しに際して、パターン行と平行方向に繰り返し走査し、各走査線上の最大濃度値と最小濃度値との濃度差を用いて文字パターン行領域を切り出すようにしているため、文字パターン行領域とその背景とのわずかな違いも検出して文字パターン行領域を切り出すことができる上、続いて、その切り出された文字パターン行領域内でパターン行と垂直方向に走査した走査線上の最大濃度値と最小濃度値との濃度差に、前記走査線上の平均濃度値と先に切り出された文字パターン行領域の背景の平均濃度値との濃度差を加算した計算値を用いて、１つ１つパターンを切り出すようにしているため、例えば「１」のように、パターン行と垂直方向に走査しても濃度差が検出されにくいパターンであっても、前記計算値を見れば、パターンの濃度が薄くてもその文字パターン領域３３を特定することができるようになり、照明の照度変化よってパターンの濃度が薄くなるような場合であってもその影響を受けにくくなり、局所的に濃淡むらが発生しているような低品質画像からでも、正確な認識対象パターンの切り出しを行うことができる。
【００１７】
なお、この文字パターン領域を切り出す際に参照した計算値cal1およびcal2のしきい値は、それぞれ計算値cal1、cal2の出現頻度分布を求め、図４に示すように、その出現頻度分布をクラス１とクラス２の２クラスに分割したときの、次の式（１）で示すクラス間分散値を最大にする値に設定しており、このようにして自動的に最適な文字パターン領域３３を切り出している。
【００１８】
ただし、μは全体の平均値、ω0 は出現頻度分布をしきい値αで左右に分割した場合の左側の面積、ω1 は同じく右側の面積、μ0 は左側の平均値、μ1 は右側の平均値をそれぞれ表している。
【００２０】
このように、パターン切り出し手段１４は、文字パターン行領域あるいは文字パターン領域を切り出す時のしきい値を、パターン行と平行方向に走査する各走査線上の最大濃度値と最小濃度値との濃度差の出現頻度分布、あるいはパターン行と垂直方向に走査する各走査線上の最大濃度値と最小濃度値との濃度差に、当該走査線上の平均濃度値と切り出された文字パターン行領域の背景の平均濃度値との濃度差を加算して得られた値の出現頻度分布を２つのクラスに分割したときの、クラス間分散値を最大にする値に設定しているので、パターンと背景を最適に分離することができ、そのため、照明の照度変化に強く、局所的に濃淡むらが発生した低品質画像からも、文字パターン行領域あるいは文字パターン領域と思われる領域を自動的に切り出すことができる。
【００２１】
ここで、前述のようにして文字パターン行領域を切り出した場合、切り出された文字パターン行領域の中には雑音などの影響によって、本来文字パターン行領域が存在しない箇所でも、文字パターン行領域として切り出されてしまうことがある。そこで、まず切り出された複数の文字パターン行領域の高さに基づいてその平均値を求めた場合、当該平均値に含まれる標準誤差εを次に示す式（２）のように定義する。
【００２２】
【数１】
ただし、σは切り出した文字パターン行領域の高さの標準偏差を表し、ｎはその文字パターン行領域の数を表す。
【００２４】
そして、その標準誤差εを文字パターン行領域の最小の高さとして、この値よりも高さの大きい文字パターン行領域のみを真の文字パターン行領域とみなしてその切り出しを行うことにする。その様子は図５（ａ）に示され、その時の背景の平均濃度値の算出範囲を図５（ｂ）に示す。なお、図５（ａ）において、５１は雑音、５２は非文字パターン行領域、５３は真の文字パターン行領域をそれぞれ表しており、図５（ｂ）において、５４は背景の平均濃度値の算出範囲を表している。
【００２５】
図５（ａ）に示すように、雑音５１に対応した文字パターン行領域はその高さＨ1 が標準誤差εよりも小さいので、それは非文字パターン行領域５２とみなされてその切り出しは行われない。一方、文字パターンに対応した文字パターン行領域はその高さＨ2 が標準誤差εよりも大きいので、それは真の文字パターン行領域５３とみなされてその文字パターン行領域の切り出しが行われる。ちなみに、このとき切り出した文字パターン行領域の上下座標、およびその領域内と背景の平均濃度値を記憶しておく。また、図５（ｂ）に示すように、文字パターン行領域の背景の平均濃度値は、例えば、文字パターン行領域の上下両端からそれぞれ当該文字パターン行領域の高さＨの１／４までの間に設定された算出範囲５４から算出した平均濃度値を用いる。
【００２６】
このように、パターン切り出し手段１４は、切り出す各文字パターン行領域の高さＨを、切り出された複数の文字パターン行領域の高さに基づいて算出した標準誤差εと比較て、その高さＨが標準誤差εよりも小さい、雑音である可能性のが高い文字パターン行領域については、それを切り出さずに排除するようにしているため、雑音を多少含んだ撮像画像からでも正確に文字パターン行領域の切り出しを行うことが可能となる。
【００２７】
また、前述のようにして文字パターン行領域から認識対象の文字パターン領域を切り出した場合、切り出された文字パターン領域の中には、本来１個であるべき文字パターン領域が誤って２個の文字パターン領域に分離して切り出されてしまうことがある。このような誤切り出しを防止するために、まず切り出された複数の文字パターン領域の幅の平均値である平均パターン領域幅Ｗave と、隣接する文字パターン領域の間隔の平均値である平均パターン領域間隔Ｄave を求める。次いでそれら平均パターン領域幅Ｗave および平均パターン領域間隔Ｄave に含まれる標準誤差εw およびεd についても、次に示す式（３）および式（４）によってそれぞれ求めておく。
【００２８】
【数２】
ただし、σw 、σd は切り出した複数の文字パターン領域の幅および隣接する文字パターン領域間隔の標準偏差を表し、ｎは前記文字パターン領域の数、ｍは前記文字パターン領域間隔の数を表わす。
【００３０】
次に前記式（３）および式（４）を参照して、文字パターン領域の最小間隔幅Ｄsmall 、文字パターン領域の最小幅Ｗsmall および最大幅Ｗlarge を、次に示す式（５）〜式（７）を用いて求める。ただし、この式（５）中のαは定数であり、例えば３などの値をとる。
【００３１】
Ｄsmall ＝Ｄave −α×εd ・・・・ （５）
Ｗsmall ＝εw ・・・・ （６）
Ｗlarge ＝Ｗave ＋Ｄsmall ＋Ｗsmall ・・・・ （７）
【００３２】
続いて、隣接している２つの文字パターン領域において、それら２つの文字パターン領域を接合させた場合の文字パターン領域のパターン領域幅Ｗと、２つの文字パターン領域の間のパターン領域間隔Ｄとが、次に示す条件式（８）と条件式（９）を同時に満たしている場合には、それら２つの文字パターン領域は１つの文字パターン領域であるものとみなして接合させる。
【００３３】
Ｗ≦ Ｗlarge ・・・・・ （８）
Ｄ≦ Ｄsmall ・・・・・ （９）
【００３４】
すなわち、パターン切り出し手段１４は、図６（ａ）の中央に示した隣接している２つの文字パターン領域のように、それら２つの文字パターン領域を接合させた場合のパターン領域幅Ｗが、式（７）より求めた文字パターン領域の最大幅Ｗlarge よりも小さく、かつ、それら２つの文字パターン領域のパターン領域間隔Ｄが、式（５）より求めた文字パターン領域の最小間隔幅Ｄsmall よりも小さければ、図６（ｂ）の中央部に示すように、それらを結合して１つの文字パターン領域として切り出す。
【００３５】
このように、パターン切り出し手段１４は、隣接して切り出された２つの文字パターン領域のパターン領域間隔Ｄが、複数の文字パターン領域間隔より算出された平均パターン領域間隔幅Ｄave からその標準誤差εd のα倍を減算した計算値である最小間隔幅Ｄsmall より小さく、かつ、隣接した２つの文字パターン領域を接合させた場合のパターン領域幅Ｗが、前記最小間隔幅Ｄsmall に文字パターン領域を含む文字パターン行領域内の平均パターン領域幅Ｗave とその標準誤差εw を加算して得られた計算値である最大幅Ｗlarge より小さい場合には、当該隣接した２つの文字パターン領域を接合するようにしているので、雑音などにより誤って１つの文字パターン領域が分離して切り出されてしまっても、その文字パターン領域が自動的に修正されて結合されるため、正確に１つの文字パターン領域として切り出すことができる。
【００３６】
次に、前記のような処理を終えて切り出された文字パターン領域の幅Ｗcharを調べておく。これは雑音などの影響によって、本来文字パターン領域でないにもかかわらず、文字パターン領域として切り出される場合があるからである。そこで、以下に示す条件式（１０）を満たす文字パターン領域のみを真の文字パターン領域と見なして切り出しを行うことにより、文字パターン領域の誤切り出しを防止する。
【００３７】
Ｗsmall ≦Ｗchar ・・・・・ （１０）
【００３８】
なお、その様子は図７（ａ）に示され、その時の背景の平均濃度値の算出範囲を図７（ｂ）に示す。図７（ａ）において、７１は雑音、７２は非文字パターン領域、７３は真の文字パターン領域をそれぞれ表しており、また、図７（ｂ）において、７４は背景の平均濃度値の算出範囲を表している。図７（ａ）に示すように、雑音７１に対応した文字パターン領域の幅Ｗ１は文字パターン領域の最小幅Ｗsmall である標準誤差εw よりも小さいので、それを非文字パターン行領域７２とみなしてその切り出しは行わない。一方、文字パターンに対応した文字パターン行領域の幅Ｗ２、Ｗ３は文字パターン領域の最小幅Ｗsmall よりも大きいので、それを真の文字パターン行領域７３とみなしてその文字パターン行領域を切り出す。
【００３９】
ちなみに、このとき切り出した文字パターン領域の左右座標、およびその領域内と背景の平均濃度値を記憶しておく。また、図７（ｂ）に示すように、文字パターン領域の背景の平均濃度値は、例えば、文字パターン領域の左右端から文字パターン領域の幅Ｗの１／４までの間に設定された算出範囲７４から算出した平均濃度値を用いる。
【００４０】
このように、パターン切り出し手段１４は、各文字パターン行領域から切り出された複数の文字パターン領域の幅から算出された標準誤差εw と、当該文字パターン領域の幅Ｗcharとの比較を行って、その幅Ｗcharが前記標準誤差εw よりも小さい、雑音である可能性のが高い文字パターン領域については、それを切り出さずに排除するようにしているため、雑音を多少含んだ撮像画像からでも正確に文字パターン領域の切り出しを行うことが可能となる。
【００４１】
次に、各文字パターン領域毎に、各文字パターン領域内の平均濃度値Ave_Charとその背景領域の平均濃度値Ave_Backを求める。そして両平均濃度値Ave_CharとAve_Backとを比べることで、文字パターン濃度を以下に示す条件式（１１）を用いて判定する。
【００４２】
Ave_Char≧ Ave_Back （１１）
【００４３】
すなわち、上記条件式（１１）を満たしている場合にはその文字パターンの濃度は「白」と判定され、また上記条件式（１１）を満たしていない場合にはその文字パターンの濃度は「黒」と判定される。
【００４４】
このように、パターン切り出し手段１４は、切り出された各文字パターン領域内の平均濃度値Ave_Charとその背景領域の平均濃度値Ave_Backとを比較することによって、各文字パターンの濃度を自動的に識別しているので、あらかじめ認識対象とする文字パターンの濃度を設定することなしに、正確に文字パターンの切り出しを行ってその認識処理を行うことができる。
【００４５】
次に、パターン切り出し手段１４は切り出した文字パターン領域の高さの調整を行う。例えば、小文字によるアルファベットの「ａ」と「ｂ」のような、高さの異なる文字パターンが同一文字パターン行領域内に存在する場合には、前述の切り出し方法ではまだ不十分である。そこで、文字パターン領域の高さの調整処理が必要となる。この文字パターン領域の高さの調整処理は、まず切り出された各文字パターン領域内で、横方向（パターン行と平行方向）に走査した場合の走査線上の最大濃度値と最小濃度値との濃度差に、当該走査線上の平均濃度値と文字パターン領域の背景の平均濃度値との濃度差を加算した計算値を求める。この計算値は文字パターン部分では高い値を示すが、その背景部分では小さい値を示すようになる。従って、切り出した文字パターン領域の上下端の走査線からそれぞれ順番に前記計算値を求めてゆき、その計算値が最初に所定のしきい値を上回る位置を文字パターン領域の上下端位置とする。
【００４６】
図８にその様子を示す。なお、図中の８１が文字パターン領域の上端位置、８２が文字パターン領域の下端位置を示し、８３が高さ調整前の切り出し枠、８４が高さ調整後の切り出し枠を示している。すなわち、図８（ａ）に示すように、高さ調整前の切り出し枠８３の上端側から前記計算値が所定のしきい値を最初に上回る位置を求めてそれを当該文字パターン領域の上端位置８１とし、高さ調整前の切り出し枠８３の下端側から前記計算値が所定のしきい値を最初に上回る位置を求めてそれを当該文字パターン領域の下端位置８２とする。そして、この文字パターン領域の上端位置８１と下端位置８２にて規定される、図８（ｂ）に示した高さ調整後の切り出し枠８４に従って、当該文字パターン領域の切り出しを行う。なお、このときその文字パターン領域の上下左右の座標およびその領域内と背景の平均濃度値を記憶しておく。
【００４７】
このように、パターン切り出し手段１４は、切り出された各文字パターン領域内で横方向に繰り返し走査して、各走査線上の最大濃度値と最小濃度値との濃度差に、その走査線上の平均濃度値と文字パターン領域の背景の平均濃度値との濃度差を加算した計算値を求めることで、文字パターン領域とその背景とを明確に区別できるようにしているため、前記計算値を参照して各文字パターン領域の高さの調整を行うことが可能となり、同一文字パターン行領域内での高さの異なる文字パターン領域の切り出しも正確に行うことが可能となる。
【００４８】
次に、処理は図２のステップＳＴ３に進み、パターン特徴量抽出手段１５は前述のようにしてパターン切り出し手段１４が切り出した文字パターン領域内から、文字パターンのパターン特徴量を示す特徴量データを抽出する。図９はこの特徴量データの抽出方法を示した動作説明図であり、図において、９１は切り出された認識対象となる文字パターン領域であり、９２（ｉ、ｊ）はこの文字パターン領域９１を複数（ｍ×ｎ個）に分割したメッシュ領域である。なお、この図９では文字パターン領域９１を１２８個（ｍ＝８、ｎ＝１６個）の領域に分割した場合について示しており、従って、メッシュ領域９２（ｉ、ｊ）のカッコ内のｉおよびｊはそれぞれ、ｉ＝０，１，・・・・，７、ｊ＝０，１，・・・・，１５である。
【００４９】
パターン特徴量抽出手段１５はまず、パターン切り出し手段１４が前述のようにして切り出した文字パターン領域９１内で、縦方向（パターン行と垂直方向）および横方向（パターン行と平行方向）毎に走査を行って、それぞれの方向毎の走査線上の最大濃度値と最小濃度値の濃度差から求めた濃度差分布を調べる。図９（ａ）はその様子を示したものであり、以後、横方向をＸ軸方向、縦方向をＹ軸方向という。ここで、図中のｈは当該文字パターン領域９１の高さを示し、ｗはその幅を示している。また、Ｈ（ｘ）はＸ軸方向の走査線上の濃度差分布を表し、Ｖ（ｙ）はＹ軸方向の走査線上の濃度差分布を表している。なお、そのときのｘ、ｙはそれぞれ、０≦ｘ≦（ｗ−１）、０≦ｙ≦（ｈ−１）で規定される文字パターン領域区間内にある。
【００５０】
次にパターン特徴量抽出手段１５は、パターン切り出し手段１４によって切り出された文字パターン領域９１をｍ×ｎ個のメッシュ領域９２（ｉ、ｊ）に分割する。図９（ｂ）はその様子を示したものであり、この文字パターン領域９１の分割に際しては、まず、０≦ｘ≦（ｗ−１）、０≦ｙ≦（ｈ−１）で規定される文字パターン領域区間内における走査線上の濃度差分布の累積関数Ｃx （Ｘ）およびＣy （Ｙ）を、次に示す式（１２）および式（１３）を用いて求める。
【００５１】
【数３】
そして、文字パターン領域９１をｍ×ｎ個のメッシュ領域９２（ｉ、ｊ）に分割するために、以下に示す式（１４）および式（１５）を用いて、メッシュ間隔δx （ｉ）とδy （ｊ）とを求める。
【００５３】
δx （ｉ）＝Ｘi+1 −Ｘi ・・・・・ （１４）
δy （ｊ）＝Ｙj+1 −Ｙj ・・・・・ （１５）
【００５４】
ただし、上記式（１４）および式（１５）におけるＸi およびＹj は、それぞれ次に示す式（１６）あるいは式（１７）の条件を満たすものである。
【００５５】
Ｘi ＝ｍｉｎ｛Ｘ｜Ｃx （Ｘ）≧ｉ×Ｃx （ｗ−１）／ｎ｝・・・・・ （１６）
Ｙj ＝ｍｉｎ｛Ｙ｜Ｃy （Ｙ）≧ｊ×Ｃy （ｈ−１）／ｍ｝・・・・・ （１７）
【００５６】
すなわち、Ｘ軸上の第ｉ番目のメッシュ分割点ｉは、上記式（１４）によって得られたメッシュ間隔δx （ｉ）内での走査線上の濃度差分布Ｈ（ｘ）の和が一定になるところに定められる。Ｙ軸に対しても同様に、Ｙ軸上の第ｊ番目のメッシュ分割点ｊは、式（１５）で得られたメッシュ間隔δy （ｊ）内での走査線上の濃度差分布Ｖ（ｙ）の和が一定になるところに定められる。以上の操作を行うことによって、文字パターン領域９１をｍ×ｎ個のメッシュ領域９２（ｉ、ｊ）に分割する。
【００５７】
ここで、各走査線においては濃度差が高い部分ほど文字パターン部分であると考えられる。そこで、前述のようにメッシュ間隔δx （ｉ）およびδy （ｊ）内での走査線上の濃度差分布Ｈ（ｘ）あるいはＶ（ｙ）の和がそれぞれ一定となるように、文字パターン領域９１をメッシュ領域９２（ｉ、ｊ）に分割した場合には、文字パターン部分では走査線上の濃度差は当然高い値を示すため、メッシュ間隔δx （ｉ）およびδy （ｊ）は細かなものとなる。従って、文字パターン領域９１は文字パターン部分ではより多くのメッシュ領域９２（ｉ、ｊ）に分割されることになるため、詳細に文字パターンの特徴量データを抽出することが可能となる。その上、文字パターンをメッシュ化しているので、位置ずれによる影響を抑えることができ、また、同一の字種では文字パターンの各部分がほぼ同じメッシュ位置に配置されるようになるため、文字パターンのフォントや印字太さに違いがある場合においても、それらの違いを吸収することが可能になる。
【００５８】
このように、パターン特徴量抽出手段１５は、切り出された各パターン領域９１を複数のメッシュ領域９２（ｉ、ｊ）に分割し、濃淡画像よりそれら全てのメッシュ領域９２（ｉ、ｊ）の特徴量データを直接計算しているので、画像データを取り込む際に生じた雑音による位置ずれによる誤差を考慮する必要性がなくなり、パターン認識手段１６へ入力される特徴量データのデータ量も減少して、認識に要する時間を短縮することができる。また、切り出されたパターン領域９１内でのＸ軸方向およびＹ軸方向毎の走査線上の最大濃度値と最小濃度値の濃度差から求めた濃度差分布の累積関数Ｃx （Ｘ）およびＣy （Ｙ）に基づいてメッシュ分割を行っているので、文字パターン領域の切り出しに際して多少の位置ずれがあっても、その影響を受けずに文字パターンを認識することが可能となり、さらに、Ｘ軸方向およびＹ軸方向毎の走査線上の最大濃度値と最小濃度値との濃度差による濃度差分布の累積関数Ｃx （Ｘ）およびＣy （Ｙ）上で、メッシュ間隔内の和が一定となるように分割幅を変動させてメッシュ分割を行っているので、パターンの位置ずれの影響を抑えることが可能となり、パターン認識などに適用した場合には、フォントや印字太さなどの多少の違いを吸収して、少ない登録数で多品種の認識対象のパターンを認識することが可能となる。
【００５９】
次にパターン特徴量抽出手段１５は、前述のようにして分割した各メッシュ領域９２（ｉ、ｊ）毎にその平均濃度値を求め、続いてそれら平均濃度値の最大値である最大濃度値と、最小値である最小濃度値も求めておく。そして、文字パターンの濃度が、文字パターン領域内の平均濃度値の方が背景領域のそれよりも高い「白」の場合には、各メッシュ領域９２（ｉ、ｊ）毎に、その平均濃度値から前述の最小濃度値を減算して得られた各メッシュ領域９２（ｉ、ｊ）の差引平均濃度値を、前記最大濃度値から最小濃度値を減算した値で除算した、０から１までの実数による計算値を、当該メッシュ領域９２（ｉ、ｊ）の正規化された特徴量データとして抽出する。
【００６０】
同様にして、文字パターンの濃度が、文字パターン領域内の平均濃度値の方が背景領域のそれよりも低い「黒」の場合には、各メッシュ領域９２（ｉ、ｊ）毎に、前述の最大濃度値からその平均濃度値を減算して得られた各メッシュ領域９２（ｉ、ｊ）の差引平均濃度値を、前記最大濃度値から最小濃度値を減算した値で除算した計算値（０から１までの実数）を、当該メッシュ領域９２（ｉ、ｊ）の正規化された特徴量データとして抽出する。この演算処理を全てのメッシュ領域９２（ｉ、ｊ）について実行することにより、文字パターン領域９１の１つ１つをｍ×ｎ個の実数データに変換する。図９（ｃ）はその様子を示したものであり、ここでは、その正規化された０から１までの実数データの値を濃度の変化によって表現している。
【００６１】
このように、前述の方法によって各メッシュ領域９２（ｉ、ｊ）の特徴量データを抽出した場合には、それぞれメッシュ領域９２（ｉ、ｊ）毎に正規化しているため、抽出される特徴量データが以下の照明変化に対して不変となる。すなわち、その１つは、直流的な雑音の重畳などによって濃度が全体的にαだけシフトした場合である。そのときには濃度ｆは濃度ｆ＋αとなるが、それに対応して平均値、最小濃度値、最大濃度値もαだけシフトするため、以前と比べて変わることはない。よって、これらの比である特徴量データも不変である。また、もう１つは、コントラストが変化して各部の濃度がその濃度に応じてｋ倍された場合である。そのときには濃度ｆは濃度ｋｆとなるが、それに対応して平均値−最小濃度値、最大濃度値−平均値もｋ倍される。しかしながら、両者の比をとることによって、分子、分母のｋ倍が打ち消され、結果的に特徴量データは不変になる。なお、以上の２つの場合において、特徴量データの不変性を示したが、実際の照明変化はこれら２つの場合の組み合わせで近似することができ、従って、特徴量データが実際の照明変化によって影響を受けることはほとんどない。
【００６２】
このように、パターン特徴量抽出手段１５は分割された各メッシュ領域の平均濃度値を算出し、それら各平均濃度値の最小濃度値と最大濃度値を求めた後に、パターンの濃度が「白」である場合には、その最小濃度値を各メッシュ領域の平均濃度値から減算した差引濃度値を前記最大濃度値と最小濃度値の濃度差で除算した計算値を、またパターンの濃度が「黒」である場合には、前記最大濃度値から各メッシュ領域の平均濃度値を減算した差引濃度値を前記最大濃度値と最小濃度値の濃度差で除算した計算値を、各メッシュ領域の特徴量データとして抽出しているため、抽出される特徴量データは、照明の照度変化による影響を受けにくい、ロバスト（robust：頑強）性に優れたものとなる。
【００６３】
次に処理はステップＳＴ４に進み、パターン認識手段１６はパターン特徴量抽出手段１５によって抽出されたｍ×ｎ個の実数データによる特徴量データを入力として文字パターンの認識処理を実行する。なお、このパターン認識手段１６はニューラルネットワークで構成されており、そのニューラルネットワークとしては、例えばコホーネンによる学習ベクトル量子化法に基づく自己組織化ネットワークが用いられる。また、パターン学習手段１７によって認識処理の基準データとなる文字パターンの学習はすでに済んでおり、その学習済のデータはパターン学習データベース１８に記憶されている。このニューラルネットワークに入力される文字パターンの種類が英数字である場合、当該パターン認識手段１６の出力値は、例えば“Ａ”である可能性が０．９、“Ｂ”である可能性が３．２などのようになる。ニューラルネットワークの出力値は、その文字パターンに対してどれだけ近いかという量を定量化したもので、出力値の小さいものほどその文字パターンに近いことを示している。
【００６４】
以下、上記パターン認識装置を適用したこの発明によるパターン検査装置について説明する。図１０はこの発明のパターン検査装置によって良否判定される文字パターンの不良の一例を示す説明図である。図において、１３１は文字パターンの欠けであり、１３２は文字パターンについた傷である。
【００６５】
次に動作について説明する。
ここで、文字パターンの印字品質の検査とは、図１０（ａ）に符号１３１を付して示すような文字パターンの欠けや、図１０（ｂ）に符号１３２を付して示すような傷を検出して不良品とするものである。これは、実施の形態１の場合と同様に、パターン特徴量抽出手段１５によって抽出された特徴量データを用いて、パターン切り出し手段１４の切り出した文字パターンの認識をパターン認識手段１６で行う。そして、そのときパターン認識手段１６を構成しているニューラルネットワークの出力値が所定のしきい値以下でないときに、その文字パターンは不良であると判定することによって容易に実現できる。
【００６６】
以上のように、この実施の形態１によれば、パターン認識手段をニューラルネットワークで構成し、そのニューラルネットワークの出力値が所定のしきい値以下であるか否かで、切り出されたその認識対象パターンが良／不良を判定しているので、文字パターンの欠けや傷などの印字品質の検査を容易に行うことができる効果がある。
【００６７】
実施の形態２．
上記実施の形態１では、上記この発明によるパターン認識を文字パターンの印字品質の検査に適用した場合について説明したが、生産ラインにおける異品種の混入検査にも適応可能である。生産ライン上を流れる部品などに異品種が混入したことを検出するためは、文字パターンなどの識別対象パターンそのものの良品／不良品の判別をする必要はなく、部品等の型名さえ認識できればよい。従って、そのような場合には、実施の形態１と同様にパターン認識手段１６において、パターン特徴量抽出手段１５の抽出した特徴量データを用いてパターン切り出し手段１４によって切り出された識別パターンの認識を行い、そのときにパターン認識手段１６を構成しているニューラルネットワークの出力値が最小になった識別パターンを強制的に出力して、それに基づいて異品種の混入を検査するようにする。
【００６８】
以上のように、この実施の形態２によれば、パターン認識手段をニューラルネットワークによって形成し、そのニューラルネットワークの出力値が最小になった識別パターンを強制的に出力することによって、異品種の混入を検査しているので、生産ライン上を流れる部品などに異品種が混入したことを容易に検出することが可能になる効果がある。
【００６９】
【発明の効果】
以上のように、請求項１記載の発明によれば、パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値をパターン認識手段への出力とする機能とを有し、パターン認識手段をニューラルネットワークによって形成し、パターン特徴量抽出手段の抽出した特徴量データを用いて、パターン切り出し手段の切り出した検査対象パターンの認識を行って、ニューラルネットワークの出力値が所定のしきい値以下でなければ、その切り出された検査対象パターンが不良であると判定するように構成したので、印字された文字パターンなどの検査対象パターンの品質検査を容易に行うことができるパターン検査装置が得られる効果がある。
【００７０】
請求項２記載の発明によれば、パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値をパターン認識手段への出力とする機能とを有し、パターン認識手段をニューラルネットワークによって形成し、パターン特徴量抽出手段の抽出した特徴量データを用いて、パターン切り出し手段の切り出した識別パターンの認識を行って、ニューラルネットワークの出力値が最小になった識別パターンを強制的に出力するように構成したので、部品等の型名を簡易的に認識することができ、生産ライン上における異品種の混入を容易に検出できる異品種混入検査装置が得られる効果がある。
【図面の簡単な説明】
【図１】 パターン認識装置の構成を示すブロック図である。
【図２】 パターン認識装置における処理の流れを示すフローチャートである。
【図３】 パターン認識装置におけるパターン切り出しの原理を示す動作説明図である。
【図４】 パターン認識装置におけるパターン切り出しのためのしきい値算出の原理を示す動作説明図である。
【図５】 パターン認識装置における文字パターン行領域の切り出しの様子を示す動作説明図である。
【図６】 パターン認識装置における文字パターン領域の接合の様子を示す動作説明図である。
【図７】 パターン認識装置における文字パターン領域の切り出しの様子を示す動作説明図である。
【図８】 パターン認識装置における文字パターン領域の高さ調節の様子を示す動作説明図である。
【図９】 パターン認識装置における特徴量データの抽出方法を示す動作説明図である。
【図１０】 パターン認識装置を適応したこの発明の実施の形態１によるパターン検査装置で良否判定される文字パターンの不良の一例を示す説明図である。
【図１１】 従来のパターン認識装置における文字パターンの濃淡画像の２値化原理を示す説明図である。
【符号の説明】
１１ 画像撮像装置、１４ パターン切り出し手段、１５ パターン特徴量抽出手段、１６ パターン認識手段。
Claims (2)
- 画像撮像装置によって撮像された濃淡画像からパターンとその背景との濃度差を用いて検査対象パターンを１つ１つ切り出すパターン切り出し手段と、
前記パターン切り出し手段によって切り出された前記各検査対象パターンの領域内の正規化された特徴量データを、前記濃淡画像から直接抽出するパターン特徴量抽出手段と、
ニューラルネットワークによって形成され、前記パターン特徴量抽出手段の抽出した特徴量データを用いて、前記パターン切り出し手段によって切り出された検査対象パターンの認識を行い、前記ニューラルネットワークの出力値が所定のしきい値以下でない場合に、切り出された前記認識対象パターンが不良である判定するパターン認識手段とを備え、
前記パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、
前記パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値を前記パターン認識手段への出力とする機能とを有するパターン検査装置。 - 画像撮像装置によって撮像された濃淡画像からパターンとその背景との濃度差を用いて、製品の品種を示す識別パターンを１つ１つ切り出すパターン切り出し手段と、
前記パターン切り出し手段によって切り出された前記各識別パターンの領域内の正規化された特徴量データを、前記濃淡画像から直接抽出するパターン特徴量抽出手段と、
ニューラルネットワークによって形成され、前記パターン特徴量抽出手段の抽出した特徴量データを用いて、前記パターン切り出し手段によって切り出された識別パターンの認識を行い、前記ニューラルネットワークの出力値が最小になった前記識別パターンを強制的に出力して、異品種の混入を検査するパターン認識手段とを備え、
前記パターン切り出し手段が、パターン行と平行方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差を用いてパターン行領域を切り出す機能と、それによって切り出された前記パターン行領域内で、前記パターン行と垂直方向の走査を実行して、その各走査線上の最大濃度値と最小濃度値の濃度差に、当該走査線上の平均濃度値と切り出された前記パターン行領域の背景の平均濃度値との濃度差を加算し、得られた計算値に基づいてパターン領域の切り出しを行うことによって認識対象パターンを１つ１つ切り出す機能を有し、
前記パターン特徴量抽出手段が、切り出されたパターン領域内で縦方向および横方向の走査を実行し、それぞれの方向毎の各走査線上の最大濃度値と最小濃度値との濃度差の分布から求めた縦方向および横方向の濃度差分布の累積関数に基づいて、メッシュ領域の分割を行う機能と、分割された前記各メッシュ領域の特徴量データを濃淡画像から直接計算し、得られた全ての前記メッシュ領域についての計算値を前記パターン認識手段への出力とする機能とを有する異品種混入検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002060802A JP3670244B2 (ja) | 2002-03-06 | 2002-03-06 | パターン検査装置および異品種混入検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002060802A JP3670244B2 (ja) | 2002-03-06 | 2002-03-06 | パターン検査装置および異品種混入検査装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10410996A Division JP3307831B2 (ja) | 1996-03-29 | 1996-03-29 | パターン認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002312789A JP2002312789A (ja) | 2002-10-25 |
| JP3670244B2 true JP3670244B2 (ja) | 2005-07-13 |
Family
ID=19192995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002060802A Expired - Fee Related JP3670244B2 (ja) | 2002-03-06 | 2002-03-06 | パターン検査装置および異品種混入検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3670244B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6788929B1 (ja) * | 2020-07-15 | 2020-11-25 | フジモールド工業株式会社 | 被検物判定用の画像処理装置及び画像処理方法 |
-
2002
- 2002-03-06 JP JP2002060802A patent/JP3670244B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002312789A (ja) | 2002-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1254431B1 (en) | Method and system for detecting defects on a printed circuit board | |
| JP5334042B2 (ja) | 文字列認識方法及び文字列認識装置 | |
| JP4525787B2 (ja) | 画像抽出装置、及び画像抽出プログラム | |
| US7756295B2 (en) | Change region detection device and change region detecting method | |
| JP2002208007A (ja) | スキャンした文書の自動式検出 | |
| TWI669519B (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
| EP1014691A2 (en) | An image processing system for reducing vertically disposed patterns on images produced by scanning | |
| US9842281B2 (en) | System for automated text and halftone segmentation | |
| CN112669272A (zh) | 一种aoi快速检测方法及快速检测*** | |
| JP3670244B2 (ja) | パターン検査装置および異品種混入検査装置 | |
| JP2006155126A (ja) | 車両番号認識装置 | |
| JP3322569B2 (ja) | 部品画像のエッジ検出方法および部品形状認識装置 | |
| Wu et al. | A visual inspection system for surface mounted components based on color features | |
| JP2004296592A (ja) | 欠陥分類装置、欠陥分類方法およびプログラム | |
| JP5190619B2 (ja) | 被検査物の検査方法及びその検査装置 | |
| JP2005250786A (ja) | 画像認識方法 | |
| JP3307831B2 (ja) | パターン認識装置 | |
| KR102203441B1 (ko) | 전자부품 분류장치 및 그 방법 | |
| Fan et al. | Double-threshold image segmentation method based on gray gradient | |
| JP2001307017A (ja) | 文字プレート認識装置 | |
| JP3307782B2 (ja) | 文字マーク認識装置 | |
| JP3753234B2 (ja) | 欠陥検出方法 | |
| JPH08122267A (ja) | マーク認識装置およびマーク認識方法 | |
| KR100713335B1 (ko) | 이미지 인식방법 | |
| JPH09161056A (ja) | 円形容器内面検査方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050413 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080422 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |