本発明に係わる紙葉類識別装置および方法の一実施例について添付図面を参照して詳細に説明する。
図1は、本発明に係わる紙葉類識別方法を適用した紙葉類識別装置の構成例を概略的に示した構成図である。
図1に示すように、紙葉類識別装置1は、紙葉類識別装置1全体の制御を行う制御部2と、紙葉類の挿入口である紙葉類挿入部3と、挿入口から挿入された紙葉類を搬送する紙葉類搬送部4と、紙葉類を受け入れ紙葉類毎に分類して収納する紙葉類受入部5と、制御部2からの命令指示により紙葉類搬送部4を駆動制御する駆動部6と、挿入された紙葉類の識別対象とする画像(以下、「識別対象画像」という。)と予め登録された紙葉類の識別対象画像に対応した標準画像とを照合することにより、紙葉類の種類および真偽を識別する識別部8を備えている。
紙葉類の挿入口である紙葉類挿入部3は、紙葉類が挿入されると、図示せぬ検知センサで紙葉類が挿入されたことを検知し、その旨の信号を制御部2へ送信する。
紙葉類搬送部4は、駆動モータや搬送ベルト等を備え、紙葉類挿入部3に挿入された紙葉類を紙葉類の挿入方向または挿入方向とは逆方向へ搬送可能なように構成されており、駆動部6の制御指示に基づき紙葉類の搬送を行う。
駆動部6は、制御部2の制御指示に基づき紙葉類搬送部4を制御して紙葉類を紙葉類の挿入方向または挿入方向とは逆方向へ搬送したり、搬送停止等の制御指示を行う。
識別部8は、紙葉類から撮像し取得した紙葉類の識別対象画像と、紙葉類の識別対象画像に対応した標準画像とを照合して、紙葉類の種類および真偽を識別する。
なお、標準画像は、真券の紙葉類の識別対象画像を種類毎に撮像して取得し、後述するテンプレート画像データベースに予め登録されている。
紙葉類受入部5は、紙葉類搬送部4によって搬送されてきた紙葉類を種類毎に区別して図示せぬ収納部に収納する。
このように構成された紙葉類識別装置1が挿入された紙葉類の種類及び真偽を識別処理する動作について簡単に説明すると、紙葉類挿入部3から挿入された紙葉類は、紙葉類搬送部4を介して紙葉類受入部5へ搬送される途上において識別部8によって紙葉類の種類および真偽が識別される。
識別部8が紙葉類を真券と識別した場合は、駆動部6が制御部2の命令指示に基づき紙葉類搬送部4の駆動制御を行い、紙葉類を紙葉類受入部5に搬送し、紙葉類受入部5が搬送されてきた紙葉類を受け入れる。
また、識別部8が紙葉類を偽券と識別した場合は、紙葉類を紙葉類挿入部3に搬送して返却するように駆動部6が紙葉類搬送部4の駆動制御を行う。
このように紙葉類識別装置1においては、挿入された紙葉類の種類および真偽の識別を識別部8によって行う。
図2は、紙葉類識別装置1に挿入された紙葉類の種類および真偽を識別する識別部8の構成例を概略的に示した構成図である。
図2に示すように、識別部8は、識別部8全体を統括制御する識別制御部80と、透過光型光センサ73と、メモリ71と、テンプレート画像データベース72と、識別対象画像抽出部74と、分割画像抽出部75と、傷・汚れ検出部76と、重み係数算出部77と、画像マッチング処理部78と、判定処理部89を備えている。
透過光型光センサ73は、発光素子731と受光素子732とが一対を成し、互いに対向して紙葉類を搬送する紙葉類搬送部4の搬送ラインを挟むようにして所定位置に配設されている。
また、透過光型光センサ73は、搬送されている紙葉類が透過光型光センサ73の所定位置に到達した時に発光素子731を発光させて紙葉類に光を照射し、受光素子732で紙葉類を透過した透過光を検出するように構成されている。
具体的には、発光素子731が発光することで紙葉類に光が照射され、紙葉類を透過した透過光を受光素子732が受光して受光量に応じた信号レベルの電気信号を出力する。
なお、発光素子731が発光するタイミングは、図示せぬ紙葉類の位置検知センサによって紙葉類の搬送位置を検知し、紙葉類の識別対象画像の一つである透かし領域を含む所定の大きさの領域が撮像可能なように構成されている。
また、発光素子731及び受光素子732には、赤外、紫外および可視光のいずれも適用可能である。
メモリ71は、メモリ71の所定の記憶領域に透過光型光センサ73から所定の時間間隔で出力される電気信号の信号レベルに対応したデジタル信号を、透過光型光センサ73からの出力順に対応して格納し、格納したデジタル信号の情報を連続したアドレスで割り当て、紙葉類の撮像画像データとして一時的に記憶するとともに、識別部8の各部において取得または算出された各種データを記憶する。
テンプレート画像データベース72には、予め真券の紙葉類の種類毎の識別対象画像に対応した標準画像、例えば、所定の大きさの透かし模様を含む透かし領域の画像データが記憶されており、標準画像は、更に所定の大きさの領域の画像(以下、「分割画像(標準)」という。)に分割可能なように分割画像(標準)の位置情報と、各分割画像(標準)の領域の重みを表す重み係数w(q)の情報が付加されて記憶されている。
具体的には、各特徴量に応じた各分割画像(標準)の領域の重み係数w(q)が後述する特徴量重み係数表に記憶され、各分割画像(標準)の位置情報が図示せぬテーブルにそれぞれ記憶されている。
識別対象画像抽出部74は、透過光型光センサ73で取得した紙葉類の撮像画像から紙葉類の種類及び真偽を識別するための識別対象画像を抽出する。
具体的には、透過光型光センサ73から入力された撮像画像とテンプレート画像データベース72に記憶されている紙葉類の種類毎の標準画像とのテンプレートマッチングを行い、撮像画像と最も類似度の大きい標準画像(以下、「特定標準画像」という。)を特定し、特定標準画像と最も類似度の大きい画像領域を識別対象画像として撮像画像から抽出する。
分割画像抽出部75は、識別対象画像抽出部74で抽出された識別対象画像を標準画像の各分割画像の領域に対応した各画像領域に分割する。
具体的には、識別対象画像を抽出する際に特定した特定標準画像の分割画像(以下、「分割画像(特定標準)」という。)に対応する各画像領域に識別対象画像を分割し、分割した分割画像(以下、「分割画像(識別対象)」という。)を抽出する。
傷・汚れ検出部76は、分割画像抽出部75により抽出された識別対象画像の各分割画像(識別対象)と、特定標準画像の各分割画像(特定標準)との差をそれぞれ算出し、算出した差分の差分画像を各分割画像(識別対象)の紙葉類の傷や汚れ、もしくは透過光型光センサに付着する傷および汚れの量として検出する。
重み係数算出部77は、傷・汚れ検出部76で算出した各分割画像(識別対象)に存在する傷および汚れの量に応じた重み係数k(q)を算出する。
画像マッチング処理部78は、分割画像(識別対象)と分割画像(特定標準)とのパターンマッチングによる相関値r(q)を算出する。
判定処理部89は、画像マッチング処理部78で算出された各分割画像(識別対象)領域の各相関値r(q)と、特徴量に応じた重み係数w(q)と、傷および汚れの量に応じた重み係数k(q)を積算した総和の判定値Rを算出し、判定値Rに基づいて紙葉類の真偽の識別判定を行う。
このように構成された識別部8が紙葉類挿入部3に挿入されて搬送されている紙葉類の種類および真偽を識別する処理動作について図3に示すフローチャートを参照しながら簡単に説明する。
図3に示すように、搬送されている紙葉類が、識別部8の所定の撮像範囲に入ると(ステップS301でYES)、透過光型光センサ73が紙葉類を撮像して撮像画像を取得する(ステップS302)。
紙葉類の撮像画像が取得されると、識別対象画像抽出部74が撮像画像と、テンプレート画像データベース72に記憶されている紙葉類毎の標準画像とのテンプレートマッチングを行い、撮像画像と最も類似度の大きい標準画像を特定するとともに、特定した標準画像(特定標準画像)と最も類似度の大きい画像領域を撮像画像から識別対象画像として抽出する(ステップS303)。
抽出された識別対象画像は、分割画像抽出部75に入力され、分割画像抽出部75が識別対象画像を所定の大きさの画像に分割する(ステップS304)。
具体的には、例えば識別対象画像を特定標準画像の分割画像(特定標準)領域に対応する画像領域に分割し、分割した分割画像(識別対象)を抽出する。
識別対象画像から分割され抽出された各分割画像(識別対象)は、傷・汚れ検出部76に入力されて各分割画像(識別対象)内に存在する傷および汚れの量が算出され、重み係数算出部77へ出力される。
重み係数算出部77は、各分割画像(識別対象)内に存在する傷および汚れの量に応じた重み係数k(q)を算出する(ステップS305)。
重み係数算出部77によって各分割画像(識別対象)の傷や汚れの量に応じた重み係数k(q)が算出されると、画像マッチング処理部78が識別対象画像の各分割画像(識別対象)と特定標準画像の各分割画像(特定標準)とのパターンマッチングによる相関値r(q)を算出して判定処理部89へ出力する(ステップS306)。
判定処理部89は、画像マッチング処理部78から入力された各分割画像の相関値r(q)と、特徴量に応じた重み係数w(q)と、重み係数算出部77で算出された各分割画像(識別対象)の傷や汚れの量に応じた重み係数k(q)を積算した総和の判定値Rを算出する(ステップS307)。
判定処理部89は、算出した判定値Rが所定値以上であれば紙葉類を真券と判定し、算出した判定値Rが所定値以上でなければ紙葉類を偽券と判定する。
判定処理部89が紙葉類を真券と判定した場合は(ステップS308でYES)、紙葉類が真券である旨の信号を出力し(ステップS309)、紙葉類を偽券と判定した場合は(ステップS308でNO)、紙葉類が偽券である旨の信号を出力して(ステップS310)識別部8の処理動作は終了する。
このような処理動作を行う識別部8の本発明に係わる紙葉類識別方法について図4乃至図8を参照しながら詳細に説明する。
図4は、紙葉類の撮像画像20から識別対象画像29を抽出する方法の一例を示した説明図である。
図4(a)は、透過光型光センサ73により撮像した紙葉類の撮像画像20の一例を示す図であり、図4(b)は、標準画像24の一例を示す図、図4(c)は、図4(a)に示した撮像画像20と図4(b)に示した標準画像24とのテンプレートマッチングの動作を示す図、図4(d)は、図4(c)に示したテンプレートマッチングによる撮像画像20と標準画像24との相関値のグラフを示す図、図4(e)は、撮像画像20から抽出された識別対象画像29の一例を示す図である。
図4(a)に示すように、透過光型光センサ73によって撮像された紙葉類の撮像画像20は、例えば、大きさがL×Lのf(i、j)の各画素で構成されており、撮像画像20には、透かし領域21と透かし領域以外の通常領域22が存在し、透かし領域21内には人物の透かし模様23が存在する。
また、撮像画像20には紙葉類の傷および汚れ25が存在している。
なお、f(i、j)においてi=0、1、2、・・・、L−1、j=0、1、2、・・・、L−1である。
また、受光素子732が受光する際の受光量は、受光素子732が紙葉類を透過した透過光を受光するため、一般に、透かし領域21を透過する受光量は、通常領域22を透過する受光量より多く、透かし模様23を透過する受光量は透かし領域21の受光量より少なく、通常領域22を透過する受光量は透かし模様23の受光量より少ない。
また、傷および汚れ25は、傷や汚れの程度によって傷および汚れ25を透過する受光量が異なる。
テンプレート画像データベース72には、予め真券の紙葉類を撮像して取得した、例えば、図4(b)に示すような大きさがM×Nのt(i、j)の各画素で構成された標準画像24が記憶されている。
なお、t(i、j)において、i=0、1、2、・・・、M−1、j=0、1、2、・・・、N−1である。
撮像画像20から識別対象画像29を抽出する方法は、例えば撮像画像20と標準画像24とのテンプレートマッチングを行い、標準画像24と撮像画像20との相関値に基づいて判定する。
例えば、図4(c)に示すように、撮像画像20に標準画像24を重ねながら標準画像24を撮像画像20内で移動させ、撮像画像20の標準画像24を重ねた部分画像(破線で示した図)と標準画像24とのパターンマッチングを行い、各部分画像と標準画像24との各相関値を算出する。
具体的には、撮像画像20から標準画像24と同サイズ(同画素数、例えばM×N)の部分画像を、例えば撮像画像20上の部分画像の左上の画素に対応する位置を始点(u、v)とし、始点(u、v)の位置に対応した部分画像の各画素f(u+i、v+j)を撮像画像20から抽出し、抽出した部分画像の各画素f(u+i、v+j)と標準画像24の各画素t(i、j)とのパターンマッチングによる相関値ZR(u、v)を算出する。
そして始点(u、v)の位置を撮像画像20内で図中の矢印40、41の方向へ順次移動させながら各始点(u、v)の位置における部分画像の各画素f(u+i、v+j)と標準画像24の各画素t(i、j)とのパターンマッチングによる各相関値ZR(u、v)を算出するようなテンプレートマッチングを行う。
なお、撮像画像20内での部分画像の各画素f(u+i、v+j)の始点(u、v)の移動方向は、特に限定されるものではない。
部分画像f(u+i、v+j)と標準画像24とのパターンマッチングによる相関値ZR(u、v)の算出は、例えば次の式1で示されるような正規化相関値として算出することができる。
なお、上の式1において、ZR(u、v)は撮像画像20内の部分画像と標準画像24との相関値、f(u+i、v+j)は始点(u、v)の移動に伴う部分画像の各画素値、f’は部分画像の画素の平均値、t(i、j)は標準画像24の各画素値、t’は標準画像24の画素の平均値をそれぞれ示している。
また、画素値は、例えば各画像を構成している各画素の濃度値等の値が用いられる。
上の式1で算出された始点(u、v)の位置に対応した撮像画像20内の部分画像f(u+i、v+j)と標準画像24との正規化相関値ZR(u、v)の算出結果は、例えば図4(d)に示すような曲線グラフ26として得ることができる。
図4(d)に示すように、曲線グラフ26の横軸は、撮像画像20から抽出された部分画像f(u+i、v+j)の始点(u、v)の位置情報を示し、縦軸は、始点(u、v)の位置に対応した部分画像f(u+i、v+j)と標準画像24との正規化相関値ZR(u、v)の各値を示している。
なお、曲線グラフ26で示されるような部分画像f(u+i、v+j)と標準画像24との相関値ZR(u、v)の各データは、例えば部分画像f(u+i、v+j)の始点位置(u、v)に対応して相関値ZR(u、v)の値を格納してメモリ71に記憶される。
曲線グラフ26において、曲線グラフ26の頂点D、すなわち、相関値ZR(u、v)が最大の時は、部分画像f(u+i、v+j)と標準画像24との類似度が最も大きいことを示しており、相関値ZR(u、v)の値が小さい時は、類似度が小さいことを示している。
このことから、撮像画像20の部分画像f(u+i、v+j)の始点(u、v)を撮像画像20内で順次移動させながら部分画像f(u+i、v+j)と標準画像24とのパターンマッチングを行い、この二つの画像データの相関値ZR(u、v)を算出して逐次記憶し、算出した相関値ZR(u、v)が最大値の時の部分画像f(u+i、v+j)を標準画像24に最も類似する画像であると判断し、この部分画像f(u+i、v+j)を紙葉類の識別対象画像として撮像画像20から抽出する。
このような処理動作を行うことにより図4(e)に示すような識別対象画像29が撮像画像20から抽出されメモリ71に一時記憶される。
なお、撮像画像20と標準画像24とのテンプレートマッチングを行うに先立って、撮像画像20と標準画像24との各画像に対応した紙葉類の正逆、表裏の各挿入方向が同一となるように撮像画像20もしくは標準画像24が回転補正等の処理が施されているものとする。
また、撮像画像20の部分画像f(u+i、v+j)と標準画像24とのパターンマッチングによって算出した相関値ZR(u、v)を逐次記憶し、相関値ZR(u、v)が最大値となった時の部分画像f(u+i、v+j)を標準画像24に最も類似する画像として判断し、この部分画像f(u+i、v+j)の画像領域を識別対象画像として撮像画像20から抽出するとともに、これ以降のパターンマッチングを行わないようにしてもよい。
図4(e)に示すような識別対象画像29が撮像画像20から抽出されると、抽出した識別対象画像29を所定の大きさの画像領域に分割する。
識別対象画像29を所定の大きさの画像領域に分割する方法は、例えば、撮像画像20から識別対象画像29を抽出する際に特定された特定標準画像の各分割画像の位置情報に基づいて分割する。
図5は、テンプレート画像データベース72に記憶された標準画像の一例を示した図である。
図5において、図5(a)は、紙葉類毎の各標準画像のうちの特定標準画像51の一例を示す図であり、図5(b)は、特定標準画像51の各分割画像領域の特徴量に応じた重みを表す重み係数をテーブル化した特徴量重み係数表52の一例を示す図である。
図5(a)に示すように、特定標準画像51は、人物の透かし模様23を含む透かし領域の画像が所定の大きさの画像領域の分割画像(特定標準)tf(q)に分割可能なように各分割画像(特定標準)tf(q)の画像領域の位置情報が付加され、各分割画像(特定標準)tf(q)の画像領域の特徴量に応じた重みを示す重み係数w(q)が 図5(b)に示すような特徴量重み係数表52に設定されている。
なお、tf(q)及びw(q)のqは、具体的には特定標準画像51内の分割画像(特定標準)tf(q)の画像領域の数を示している。
図5(b)に示した特徴量重み係数表52は、左欄に図5(a)に示した特定標準画像51の各分割画像(特定標準)tf(q)の画像領域を示す情報が設定され、右欄に左欄の各分割画像(特定標準)tf(q)の画像領域に対応した重み係数w(q)の値が特定可能なように設定されている。
各分割画像(特定標準)tf(q)の画像領域の重みを示す重み係数w(q)の設定値は、特徴量が大きい分割画像(特定標準)tf(q)の画像領域には重みを大きくするような重み係数w(q)の値が設定され、特徴量が小さい分割画像(特定標準)tf(q)の画像領域には重みを小さくするような重み係数w(q)の値が設定されている。
具体的には、例えば、予め紙葉類毎の標準画像を所定の大きさに分割した分割画像領域の特徴量を算出し、形状や濃度、階調差、コントラスト差等の特徴量が大きい画像領域には、重みが大きくなるように重み係数w(q)の値を設定し、特徴量が小さい画像領域には、重みが小さくなるように重み係数w(q)の値を設定する。
このように、テンプレート画像データベース72には、各紙葉類毎の標準画像と、標準画像の各分割画像(標準)の位置情報と、各分割画像(標準)の重み係数w(q)の情報が記憶されており、識別対象画像29を所定の大きさの画像領域に分割する場合は、図5(a)に示したような特定標準画像51の各分割画像(特定標準)tf(q)の位置情報に基づいて識別対象画像29を所定の大きさの領域の画像に分割する。
図6は、特定標準画像51の各分割画像(特定標準)tf(q)の位置情報に基づいて識別対象画像29を所定の大きさの領域の画像に分割する方法の一例を示す図である。
図6において、図6(a)は、識別対象画像29を示す図であり、図6(b)は、特定標準画像51の各分割画像(特定標準)を示す図、図6(c)は、特定標準画像51の各分割画像(特定標準)に対応した識別対象画像29の各分割画像(識別対象)を示す図である。
図6(a)に示すように、識別対象画像29を特定標準画像51の各分割画像(特定標準)に対応して分割する場合は、図6(b)に示した特定標準画像51の各分割画像(特定標準)tf(q)の画像領域の位置情報に基づき特定標準画像51の各分割画像(特定標準)tf(q)の画像領域を図6(a)に示した識別対象画像29に対応付けて分割することで図6(c)に示すような特定標準画像51の各分割画像(特定標準)tf(q)に対応した識別対象画像29の各分割画像(識別対象)f(q)に分割される。
なお、特定標準画像51の分割画像(特定標準)tf(1)、tf(2)、tf(3)等に対応する識別対象画像29の各分割画像(識別対象)は、それぞれf(1)、f(2)、f(3)等である。
このような方法で識別対象画像29を各分割画像(識別対象)f(q)に分割するが、紙葉類に傷や汚れ等が付着している場合、または透過光型光センサ73に汚れや傷等が付着している場合等、紙葉類を撮像する際に、当該傷や汚れ等が発光素子731からの光を遮ることで受光素子732により取得した紙葉類の撮像画像に傷や汚れによる不要な画像が含まれる場合がある。
特に、紙葉類の透かし領域21内に傷および汚れが付着している場合、または透かし領域21内の透過光を遮ってしまうような透過光型光センサ73の位置に傷および汚れが付着している場合は、図6(c)に示すような傷および汚れ25を示す画像が識別対象画像29の分割画像(識別対象)f(q)に存在する場合がある。
そこで、識別対象画像29の各分割画像(識別対象)f(q)の傷や汚れ等を示す画像25の量に応じた重み係数k(q)を算出し、算出した重み係数k(q)を各分割画像(識別対象)f(q)の画像領域の重みとして重み付けを行うことで、紙葉類のしわや傷、汚れ等の影響を除去し、より安定した紙葉類の識別を行うことができる。
図7及び図8は、識別対象画像29の各分割画像(識別対象)f(q)の傷や汚れの量に応じた重み係数k(q)を算出する方法の一例を示す説明図である。
図7において、図7(a)、(d)は、図6(b)で示した特定標準画像51の分割画像(特定標準)tf(15)、tf(16)等の一例を示す図であり、図7(b)、(e)は、図6(c)で示した識別対象画像29の分割画像(識別対象)f(15)、f(16)等の一例を示す図、図7(c)、(f)は、特定標準画像51の各分割画像(特定標準)tf(15)、tf(16)等と識別対象画像29の各分割画像(識別対象)f(16)、f(15)等との差による識別対象画像29の各分割画像(識別対象)f(15)、f(16)等の傷や汚れの量を算出した差分画像d(15)、d(16)を示す図である。
図7(b)に示すように、識別対象画像29の分割画像(識別対象)f(15)のように傷や汚れに対応した画像が存在しない場合は、分割画像(識別対象)f(15)と特定標準画像51の分割画像(特定標準)tf(15)との差を算出すると、図7(c)に示すような全画素の画素値が例えば「0」となるような差分画像d(15)が算出される。
すなわち、特定標準画像51の分割画像(特定標準)tf(15)と識別対象画像29の分割画像(識別対象)f(15)との差分による差分画像d(15)の全画素の画素値が「0」の場合は、識別対象画像29の分割画像(識別対象)f(15)が傷や汚れがない画像であると判断することができる。
同様に、図7(e)に示すように、識別対象画像29の分割画像(識別対象)f(16)のように傷や汚れの画像25が存在する場合は、特定標準画像51の分割画像(特定標準)tf(16)と識別対象画像29の分割画像f(16)との差d(16)を算出すると、図7(f)に示すような識別対象画像29の分割画像(識別対象)f(16)の傷および汚れ25の量を示す差分画像d(16)が算出される。
このような方法で識別対象画像29の各分割画像(識別対象)f(q)と特定標準画像51の各分割画像(特定標準)tf(q)との差を算出することにより、識別対象画像29の各分割画像(識別対象)f(q)の傷および汚れの量を示す差分画像d(q)を算出することができる。
なお、特定標準画像51の各分割画像(特定標準)tf(q)と識別対象画像29の各分割画像(識別対象)f(q)との差による傷や汚れの量d(q)の算出は、例えば次の式2で算出することができる。
なお、上の式2は、各分割画像tf(q)、f(q)の画像の大きさを例えばm×nとした場合において、qは、各分割画像tf(q)、f(q)の数、d(q)は特定標準画像51の各分割画像(特定標準)tf(q)と識別対象画像29の各分割画像(識別対象)f(q)との差、tf(q)(i、j)は分割画像(特定標準)tf(q)の各画素値、tf(q)’は分割画像(特定標準)tf(q)の画素の平均値、f(q)(i、j)は分割画像(識別対象)f(q)の各画素値、f(q)’は分割画像(識別対象)f(q)の画素の平均値をそれぞれ示している。
また、画素値は、例えば各画像を構成している各画素の濃度値等の値が用いられる。
このように、識別対象画像29の各分割画像(識別対象)f(q)と特定標準画像51の各分割画像(特定標準)tf(q)との差分による識別対象画像29の各分割画像f(q)の汚れや傷の量d(q)が算出されると、識別対象画像29の各分割画像(識別対象)f(q)の汚れや傷の量d(q)の値に応じた重み係数k(q)を算出する。
識別対象画像29の各分割画像(識別対象)f(q)の汚れや傷の量d(q)に応じた重み係数k(q)は、図8に示すような傷汚量重み係数表53を参照して決定する。
図8は、傷汚量重み係数表53の一例を示す図であり、傷汚量重み係数表53は、左欄に識別対象画像29の各分割画像(識別対象)f(q)の傷や汚れの量d(q)の値の範囲が設定され、右欄に左欄の傷や汚れの量d(q)に対応した重み係数k(q)の値が特定可能なように設定されている。
例えば、算出した識別対象画像29の分割画像(識別対象)f(q)の傷や汚れの量d(q)の値がa(0)からa(1)の範囲であれば重み係数k(1)、傷や汚れの量d(q)の値がa(1)からa(2)の範囲であれば重み係数k(2)等と特定可能なようにテーブル化された構成となっている。
なお、傷や汚れの量d(q)に応じた重み係数k(q)の設定値は、具体的には、分割画像(識別対象)f(q)の傷や汚れの量d(q)が大きい分割画像(識別対象)f(q)には重みを小さく設定し、傷や汚れの量d(q)の値が小さい分割画像(識別対象)f(q)には重みを大きく設定するように重み係数k(q)の値が設定されている。
識別対象画像29の各分割画像(識別対象)f(q)の傷や汚れの量d(q)に応じた重み係数k(q)が算出されると、識別対象画像29の各分割画像(識別対象)f(q)と特定標準画像51の各分割画像(特定標準)tf(q)とのパターンマッチングによる各相関値r(q)を算出し、算出した各分割画像(識別対象)f(q)の相関値r(q)と、重み係数w(q)と、重み係数k(q)を積算した総和の判定値Rを算出する。
識別対象画像29の各分割画像(識別対象)f(q)と特定標準画像の各分割画像(特定標準)tf(q)とのパターンマッチングによる相関値r(q)の算出方法は、例えば次の式3で算出することができる。
なお、上の式3は、各分割画像tf(q)及びf(q)の画像の大きさを例えばm×nとした場合において、qが各分割画像tf(q)及びf(q)の数、r(q)が識別対象画像29の各分割画像(識別対象)f(q)と特定標準画像51の各分割画像(特定標準)tf(q)との相関値、f(q)(i、j)が識別対象画像29の各分割画像(識別対象)f(q)の各画素値、f(q)’が識別対象画像29の各分割画像(識別対象)f(q)の画素の平均値、tf(q)(i、j)が特定標準画像51の各分割画像(特定標準)tf(q)の各画素値、tf(q)’が特定標準画像51の各分割画像(特定標準)tf(q)の画素の平均値をそれぞれ示している。
また、画素値は、例えば各画像を構成している各画素の濃度値等の値が用いられる。
判定値Rの算出は、例えば次の式4で算出することができる。
なお、上の式4は、各分割画像tf(q)及びf(q)の数がn個存在する場合において、Rが判定値、r(q)が識別対象画像の各分割画像(識別対象)f(q)と特定標準画像の各分割画像(特定標準)tf(q)との相関値、w(q)が識別対象画像の各分割画像(識別対象)f(q)の重み係数、k(q)が識別対象画像の各分割画像(識別対象)f(q)の傷や汚れの量d(q)に応じた重み係数をそれぞれ示している。
このように算出された判定値Rに基づいて、例えば判定値Rが所定値以上の値であれば紙葉類を真券と判定し、判定値Rが所定値以上の値でなければ紙葉類を偽券と判定して各判定結果に応じた信号が識別部8から制御部2へ出力される。
制御部2は、識別部8から入力された判定結果に基づいて、例えば紙葉類が真券である旨の信号が入力された場合は、駆動部6に命令指示して紙葉類を紙葉類受入部5に搬送させ、紙葉類を偽券である旨の信号が入力された場合は、駆動部6に命令指示して紙葉類を紙葉類挿入部3に返却するような処理を行う。
以上説明したように、紙葉類の撮像画像と標準画像との相関値に基づいて紙葉類の識別対象画像を効率良く抽出し、識別対象画像の特徴のある領域に重みをおくことで紙葉類のしわや傷、汚れおよび模様のずれ等による誤識別を防止し、より識別精度を向上させることが可能となる。
なお、識別部8が行う識別方法の説明において、標準画像及び識別対象画像を矩形状で所定の大きさの領域の画像に等分割する例を示したが、標準画像及び識別対象画像を分割するに際し、分割領域の大きさや形状及び分割方法等は、矩形状で所定の大きさの領域の画像に等分割することに限定するものではない。
例えば、標準画像及び識別対象画像を円形状、楕円形状、三角形状等の種々の幾何学的形状の領域と幾何学的形状の領域外の領域とに分割する構成としてよく、また、標準画像及び識別対象画像を同一の幾何学的形状で大きさが異なる領域に分割する構成としてもよい。
これらの構成とした場合は、テンプレート画像データベース72に予め記憶させる標準画像と、標準画像を所望の幾何学的形状の領域と幾何学的形状の領域外の領域、もしくは所望の幾何学的形状で大きさが異なる領域にそれぞれ対応した画像が特定可能な位置情報を記憶させることで標準画像及び識別対象画像を種々の幾何学的形状の領域と幾何学的形状の領域外の領域、もしくは同一の幾何学的形状で大きさが異なる領域にそれぞれ対応した画像に分割することができる。
図9は、紙葉類識別装置1において、図2に示した識別部8が行う紙葉類の識別方法とは他の識別方法を適用した識別部の構成例を概略的に示した構成図である。
図9に示すように、識別部9は、図2で示した識別部8の分割画像抽出部75を特徴領域抽出部95に置換えた他は、識別部8と同様に構成されている。
なお、識別部9において、識別部8の各部と同様な動作及び機能を有する識別部9の各部については説明の便宜上、識別部8と同一符号を付すとともに、機能説明は簡略化して説明する。
識別部9は、識別部9全体を統括制御する識別制御部90と、透過光型光センサ73と、メモリ71と、テンプレート画像データベース72と、識別対象画像抽出部74と、特徴領域抽出部95と、傷・汚れ検出部76と、重み係数算出部77と、画像マッチング処理部78と、判定処理部89を備えている。
透過光型光センサ73によって取得された紙葉類の撮像画像データは、メモリ71に一時的に記憶される。
識別部9のテンプレート画像データベース72には、予め真券の紙葉類毎の透かし模様を含む透かし領域の画像データの標準画像が透かし領域の中で特徴のある領域、例えば、透かし模様が人物である場合は、人物の目、眉、鼻、口、額、髪、頬、輪郭、服装等に対応した特徴のある領域の画像に分割可能なように各特徴領域の画像の位置情報と、各特徴量に応じた各特徴領域の重みを表す重み係数w(q)が記憶されている。
識別対象画像抽出部74によって紙葉類の撮像画像から抽出された識別対象画像は、特徴領域抽出部95へ出力され、特徴領域抽出部95が識別対象画像の中から特徴のある領域の画像を抽出する。
具体的には、識別対象画像抽出部74において撮像画像から識別対象画像を抽出する際に特定した特定標準画像の特徴のある領域、例えば人物の透かし模様の場合は、人物の目、眉、鼻、口、額、髪、頬、輪郭、服装等の特徴のある領域に対応した画像を識別対象画像の中から抽出する。
傷・汚れ検出部76は、特徴領域抽出部95により抽出された識別対象画像の特徴のある領域の画像(以下、「特徴領域画像(識別対象)」という。)と、特定標準画像の特徴のある領域の画像(以下、「特徴領域画像(特定標準)」という。)との差を算出し、算出した差分を紙葉類の傷や汚れ、もしくは透過光型光センサ73に付着する傷および汚れの量として検出する。
重み係数算出部77は、傷・汚れ検出部76で算出した特徴領域画像(識別対象)に存在する傷および汚れの量に応じた重み係数k(q)を算出する。
画像マッチング処理部78は、特徴領域画像(識別対象)と特徴領域画像(特定標準)とのパターンマッチングによる相関値r(q)を算出する。
判定処理部89は、画像マッチング処理部78で算出された各特徴領域画像(識別対象)の相関値r(q)と、特徴量に応じた重み係数w(q)と、傷および汚れの量に応じた重み係数k(q)を積算した総和の判定値Rを算出し、判定値Rに基づいて紙葉類の真偽の識別判定を行う。
このように構成された識別部9が紙葉類挿入部3に挿入されて搬送されている紙葉類の種類および真偽を識別する処理動作について図10に示すフローチャートを参照しながら簡単に説明する。
紙葉類挿入部3から挿入された紙葉類が紙葉類搬送部4によって搬送され、識別部9の所定の撮像範囲に入ると(ステップS1001でYES)、透過光型光センサ73が紙葉類を撮像して撮像画像を取得する(ステップS1002)。
紙葉類の撮像画像が取得されると、識別対象画像抽出部74が撮像画像と、テンプレート画像データベース72に記憶されている紙葉類毎の標準画像とのテンプレートマッチングを行い、撮像画像と最も類似度の大きい標準画像を特定するとともに、特定した特定標準画像と最も類似度の大きい画像領域を撮像画像から識別対象画像として抽出する(ステップS1003)。
抽出された識別対象画像は、特徴領域抽出部95に入力され、特徴領域抽出部95が識別対象画像を特徴のある領域の特徴領域画像に分割する(ステップS1004)。
具体的には、例えば識別対象画像を特徴のある領域の画像領域に分割し抽出する。
識別対象画像から分割された各特徴領域画像(識別対象)は、傷・汚れ検出部76に入力されて識別対象画像の各特徴領域画像(識別対象)内に存在する傷および汚れの量が算出され、重み係数算出部77に入力される。
重み係数算出部77は、各特徴領域画像(識別対象)内に存在する傷および汚れの量に応じた重み係数k(q)を算出する(ステップS1005)。
重み係数算出部77によって各特徴領域画像(識別対象)の傷や汚れの量に応じた重み係数k(q)が算出されると、画像マッチング処理部78が識別対象画像の各特徴領域画像(識別対象)と特定標準画像の特徴領域画像(特定標準)とのパターンマッチングによる相関値r(q)を算出して判定処理部89へ出力する(ステップS1006)。
判定処理部89は、各特徴領域画像の相関値r(q)と、特徴量に応じた重み係数w(q)と、傷や汚れの量に応じた重み係数k(q)を積算した総和の判定値Rを算出する(ステップS1007)。
判定処理部89は、算出した判定値Rが所定値以上であれば紙葉類を真券と判定し、算出した判定値Rが所定値以上でなければ紙葉類を偽券と判定する。
判定処理部89が紙葉類を真券と判定した場合は(ステップS1008でYES)、紙葉類が真券である旨の信号を出力し(ステップS1009)、紙葉類を偽券と判定した場合は(ステップS1008でNO)、紙葉類が偽券である旨の信号を出力して(ステップS1010)識別部9の処理動作は終了する。
このような処理動作を行う識別部9の本発明に係わる紙葉類識別方法について図11乃至図14を参照しながら詳細に説明する。
なお、図11乃至図14においては、識別対象画像が図4で説明したように識別対象画像抽出部74によって既に抽出されているものとして説明する。
撮像画像から識別対象画像が抽出されると、抽出した識別対象画像を特徴のある特徴領域に分割する。
識別対象画像を特徴のある特徴領域に分割する方法は、例えば、撮像画像から識別対象画像を抽出する際に特定された特定標準画像の特徴領域の位置情報に基づいて分割する。
図11は、テンプレート画像データベース72に記憶された標準画像の一例を示した図である。
図11において、図11(a)は、紙葉類毎の標準画像のうちの特定標準画像54を示す図であり、図11(b)は、特定標準画像54の各特徴領域の特徴量に応じた重みを示す重み係数をテーブル化した特徴量重み係数表55の一例を示す図である。
図11(a)に示すように、特定標準画像54は、人物の透かし模様23を含む透かし領域の画像情報に特定標準画像54の特徴のある領域である目の特徴領域の特徴領域画像(特定標準)tf(1)、眉の特徴領域の特徴領域画像tf(2)、口の特徴領域の特徴領域画像tf(3)等の各特徴領域画像(特定標準)tf(q)の位置を示す位置情報が付加されており、各特徴領域画像(特定標準)tf(q)は、各特徴領域画像(特定標準)tf(q)の特徴量に応じた重みを示す重み係数w(q)が図11(b)に示すような特徴量重み係数表55に設定されている。
なお、tf(q)及びw(q)のqは、具体的には標準画像54の各特徴領域画像(特定標準)の数を示している。
図11(b)に示した特徴量重み係数表55は、左欄に図11(a)に示した標準画像54の各特徴領域画像(特定標準)tf(q)を示す情報が設定され、右欄に左欄の各特徴領域画像(特定標準)tf(q)に対応した重み係数w(q)の値が特定可能なように設定されている。
各特徴領域画像(特定標準)tf(q)の重み係数w(q)の設定値は、特徴量が大きい特徴領域画像(特定標準)tf(q)には重みを大きくするような重み係数w(q)の値が設定され、特徴量が小さい各特徴領域画像(特定標準)tf(q)には重みを小さくするような重み係数w(q)の値が設定されている。
具体的には、例えば、予め紙葉類毎の特徴のある領域の特徴量を算出して比較し、紙葉類の種類間で形状や濃度、階調差、コントラスト差等の特徴量に大きな差異が認められる場合は、当該特徴量を有する各特徴領域の重みが大きくなるように重み係数w(q)の値を設定し、紙葉類の種類間で大きな差異が認められない場合は、当該特徴量を有する各特徴領域の重みが小さくなるように重み係数w(q)の値を設定する。
このように、テンプレート画像データベース72には、各紙葉類毎の標準画像と、標準画像の特徴のある各特徴領域画像(特定標準)の位置情報と、各特徴領域画像(特定標準)の重み係数w(q)の情報が記憶されており、識別対象画像を特徴のある領域の特徴領域画像(識別対象)に分割する場合は、図11(a)に示したような特定標準画像54の各特徴領域画像(特定標準)tf(q)の位置情報に基づいて識別対象画像を特徴のある特徴領域画像(識別対象)に分割する。
図12は、特定標準画像54の特徴領域画像(識別対象)tf(q)の位置情報に基づいて識別対象画像30を特徴のある領域の特徴領域画像(識別対象)に分割する方法の一例を示す図である。
図12において、図12(a)は、識別対象画像30を示す図であり、図12(b)は、特定標準画像54の各特徴領域画像(特定標準)を示す図、図12(c)は、特定標準画像54の各特徴領域画像(特定標準)に対応した識別対象画像30の各特徴領域画像(識別対象)を示す図である。
図12(a)に示すように、識別対象画像30を特徴のある各特徴領域画像(識別対象)に分割する場合は、図12(b)に示した特定標準画像54の各特徴領域画像(特定標準)tf(q)の位置情報に基づいて、例えば特定標準画像54の目の特徴領域画像(特定標準)tf(1)、眉の特徴領域画像(特定標準)tf(2)、口の特徴領域画像(特定標準)tf(3)等の位置に対応した各特徴領域画像(特定標準)の画像領域を図12(a)に示した識別対象画像30に対応付けて分割することで図12(c)に示すような識別対象画像30の各特徴領域画像(識別対象)f(1)、f(2)、f(3)等に分割される。
なお、識別対象画像30の特徴領域画像(識別対象)f(1)が目の特徴領域画像(特定標準)tf(1)、f(2)が眉の特徴領域画像(特定標準)tf(2)、f(3)が口の特徴領域画像(特定標準)tf(3)にそれぞれ対応している。
また、図12において、特定標準画像54の特徴領域を目、眉、口の各特徴領域画像(特定標準)tf(1)、tf(2)、tf(3)で示してあるが実際には、目、眉、鼻、口、額、髪、頬、輪郭、服装等の形状や階調、濃度、コントラスト等のパラメータに対応した特徴領域tf(q)に細分割され、細分割された各特徴領域tf(q)には特徴量の大小に応じた重みが重み係数w(q)として設定される。
このような方法で識別対象画像30を特徴のある特徴領域画像(識別対象)f(q)に分割し、各特徴領域画像(識別対象)f(q)の傷や汚れ等を示す画像の量に応じた重み係数k(q)を算出し、算出した重み係数k(q)を各特徴領域画像(識別対象)f(q)の重みとして重み付けを行うことで、紙葉類のしわや傷、汚れ等の影響を除去できるので、これにより紙葉類の種類および真偽の識別を高精度で行うことができる。
識別対象画像30の各特徴領域画像(識別対象)f(q)の傷や汚れの量の算出方法は、識別部8の場合と同様に、特定標準画像と識別対象画像の各特徴領域画像f(q)、tf(q)間での差を識別対象画像30の各特徴領域画像(識別対象)f(q)の傷や汚れの量として算出する。
識別対象画像30の各特徴領域画像(識別対象)f(q)の傷や汚れの量の算出方法を図13及び図14を参照しながら簡単に説明する。
図13において、図13(a)、(d)、(g)は、特定標準画像54の特徴領域画像(特定標準)tf(1)、tf(2)、tf(3)の一例を示す図であり、図13(b)、(e)、(h)は、識別対象画像30の特徴領域画像(識別対象)f(1)、f(2)、f(3)の一例を示す図、図13(c)、(f)、(i)は、特定標準画像54の各特徴領域画像(特定標準)tf(1)、tf(2)、tf(3)と識別対象画像30の各特徴領域画像(識別対象)f(1)、f(2)、f(3)との差による識別対象画像30の各特徴領域画像(識別対象)f(1)、f(2)、f(3)の傷や汚れの量を算出した差分画像d(1)、d(2)、d(3)を示す図である。
図13(b)に示すように、識別対象画像30の特徴領域画像(識別対象)f(1)に傷や汚れに対応した画像が存在しない場合は、特徴領域画像(識別対象)f(1)と特定標準画像54の特徴領域画像(特定標準)tf(1)との差を算出すると、図13(c)に示すような全画素の画素値が例えば「0」となるような差分画像d(1)が算出される。
すなわち、特定標準画像54の特徴領域画像(特定標準)tf(1)と識別対象画像30の特徴領域画像(識別対象)f(1)との差分による差分画像d(1)の全画素の画素値が「0」の場合は、識別対象画像30の特徴領域画像(識別対象)f(1)の画像が傷や汚れがない画像であると判断する。
同様に、図13(e)及び(h)に示すように、識別対象画像30の特徴領域画像(識別対象)f(2)及びf(3)に傷や汚れの画像25が存在する場合は、特定標準画像54の特徴領域画像(特定標準)tf(2)と識別対象画像30の特徴領域画像(識別対象)f(2)との差d(2)及び特定標準画像54の特徴領域画像(特定標準)tf(3)と識別対象画像30の特徴領域画像(識別対象)f(3)との差d(3)をそれぞれ算出し、図13(f)及び(i)に示すような識別対象画像30の特徴領域画像(識別対象)f(2)及びf(3)の傷や汚れの量を示す差分画像d(2)、d(3)を算出する。
このような方法で識別対象画像30の各特徴領域画像(識別対象)f(q)と特定標準画像54の各特徴領域画像(特定標準)f(q)との差d(q)を算出することにより、識別対象画像30の各特徴領域画像(識別対象)f(q)の画像の傷および汚れの量を示す差分画像d(q)を算出することができる。
なお、特定標準画像54の各特徴領域画像(特定標準)tf(q)の画像と識別対象画像30の各特徴領域画像(識別対象)f(q)の画像との差による各特徴領域画像(識別対象)f(q)の傷や汚れの量d(q)の算出は、例えば、前述した式2によって同様に算出することができる。
このように、識別対象画像30の各特徴領域画像(識別対象)f(q)と特定標準画像54の各特徴領域画像(特定標準)tf(q)との差分による識別対象画像30の各特徴領域画像(識別対象)f(q)の画像の汚れや傷の量d(q)が算出されると、識別対象画像30の各特徴領域画像(識別対象)f(q)の汚れや傷の量d(q)の値に応じた重み係数を算出する。
識別対象画像30の各特徴領域画像(識別対象)f(q)の汚れや傷の量d(q)に応じた重み係数k(q)は、図14に示すような傷汚量重み係数表56を参照して決定する。
図14は、傷汚量重み係数表の一例を示す図であり、傷汚量重み係数表56は、左欄に識別対象画像30の各特徴領域画像(識別対象)f(q)の傷や汚れの量d(q)の値の範囲が設定され、右欄に左欄の傷や汚れの量d(q)に対応した重み係数k(q)の値が特定可能なように設定されている。
例えば、算出した識別対象画像30の特徴領域画像(識別対象)f(q)の傷や汚れの量d(q)の値がa(0)からa(1)の範囲であれば重み係数k(1)、傷や汚れの量d(q)の値がa(1)からa(2)の範囲であれば重み係数k(2)等と特定可能なようにテーブル化された構成を成している。
なお、傷や汚れの量d(q)に応じた重み係数k(q)の設定値は、具体的には、各特徴領域画像(識別対象)f(q)の傷や汚れの量d(q)が大きい特徴領域画像(識別対象)f(q)には重みを小さく設定し、傷や汚れの量d(q)の値が小さい各特徴領域画像(識別対象)f(q)には重みを大きく設定するように重み係数k(q)の値が設定されている。
識別対象画像30の各特徴領域画像(識別対象)f(q)の傷や汚れの量d(q)に応じた重み係数k(q)が算出されると、識別対象画像30の各特徴領域画像(識別対象)f(q)と特定標準画像54の各特徴領域画像(特定標準)tf(q)とのパターンマッチングによる各相関値r(q)を算出し、算出した各特徴領域画像(識別対象)f(q)の相関値r(q)と、重み係数w(q)と、重み係数k(q)を積算した総和の判定値Rを算出する。
識別対象画像30の各特徴領域画像(識別対象)f(q)と特定標準画像54の各特徴領域画像(特定標準)tf(q)とのパターンマッチングによる相関値r(q)の算出方法は、例えば前述した式3により、判定値Rの算出は、例えば前述した式4によって同様に算出することができる。
このように算出された判定値Rに基づいて、例えば判定値Rが所定値以上の値であれば紙葉類を真券と判定し、判定値Rが所定値以上の値でなければ紙葉類を偽券と判定して各判定結果に応じた信号が識別部9から制御部2へ出力される。
制御部2は、識別部9から入力された判定結果に基づいて、例えば紙葉類が真券である旨の信号が入力された場合は、駆動部6に命令指示して紙葉類を紙葉類受入部5に搬送させ、紙葉類を偽券である旨の信号が入力された場合は、駆動部6に命令指示して紙葉類を紙葉類挿入部3に返却するような処理を行う。
以上説明したように、紙葉類の撮像画像と標準画像の相関値に基づいて紙葉類の識別対象画像を効率良く抽出し、識別対象画像の各特徴領域画像の特徴量及び傷や汚れの量に応じた重みをおくことで紙葉類のしわや傷、汚れおよび模様の位置ずれ等による誤識別を防止し、より識別精度を向上させることができる。
なお、この実施例においては、識別対象画像を分割する際に、標準画像が分割される分割画像の位置情報に基づいて識別対象画像を分割する例を示したが、指定した分割領域の大きさ、または分割数及び分割形状に対応して標準画像及び識別対象画像を分割するようにしてもよい。