JP3704540B2 - Device for inspecting biting of packaged object in sealing part of packing sheet and method - Google Patents

Description

【０００１】
【技術分野】
この発明は，分包シートにおいて粉状，細粒状，顆粒状等の被包装物がそのシール部に噛込まれているかどうかを検査する噛込検査装置および方法に関する。
【０００２】
【従来技術とその問題点】
一般に，粉状，細粒状，顆粒状等の薬品は所定量ずつ分包される。この薬品を分包したシートは次のようにして製造される。薬品を充填するポケットを形成するために，重ね合わされた２枚のフィルムのポケット部の下部とその両側部に相当する３箇所が圧着装置によってシールされる。この形成されたポケット部に薬品が落下シュートから所定量落下させることにより充填される。その後ポケット部の上部に相当する一部分でフィルムがシールされる。このような動作が繰返し行われることにより分包シートが連続して形成されていく。
【０００３】
しかしながら，ポケット部を形成するシール工程，またはポケット部の上部をシールする工程で，落下シュートに堆積した薬品の一部が落下し，シール部に薬品が噛込まれることがある。このようなシール部における薬品の噛込の有無を検査する装置が，特開平3-85206 号公報に記載されている。この分包シートのシート部における被包装物の噛み込み検査装置は，光を透過するフィルムを用いて製造された分包シートを被検査対象としており，分包シートを透過した光に基づいて噛込の有無を検出しているので，不透明なフィルムを用いた分包シートについて噛込の検査を行うことができない。
【０００４】
【発明の開示】
この発明は，不透明なフィルムを用いて形成された分包シートについても，シール部における被包装物の噛込を検出できるようにするものである。
【０００５】
この発明による噛込検査装置は，ポケット部に被包装物が充填され，かつ上記ポケット部の周囲が圧着されたシール部をもつ分包シートについて，上記シール部における上記被包装物の噛込を検査する装置であり，上記分包シートを撮像し，この撮像により得られる画像信号を出力する撮像手段，上記撮像手段から出力される近接する少なくとも２つの走査ラインに沿う画像信号の差を画像信号から減算して得られる前処理済画像信号を生成する前処理手段，および上記前処理手段により生成された前処理済画像信号をあらかじめ設定された閾値で閾値処理することによって，上記分包シートのシール部に被包装物の噛込があるかどうかを判定する噛込判定手段を備えている。
【０００６】
この発明による噛込検査方法は，ポケット部に被包装物が充填され，かつ上記ポケット部の周囲が圧着されたシール部をもつ分包シートについて，上記シール部における上記被包装物の噛込を検査する方法であり，上記分包シートを撮像することにより画像信号を得，撮像により得られた近接する少なくとも２つの走査ラインに沿う画像信号の差を画像信号から減算して得られる前処理済画像信号を生成し，生成された前処理済画像信号をあらかじめ設定された閾値で閾値処理することによって，上記分包シートのシール部に被包装物の噛込があるかどうかを判定するものである。
【０００７】
この発明によると，分包シートが撮像手段によって撮像され，この撮像により得られた画像信号が撮像手段から出力される。
【０００８】
撮像手段から出力される近接する少なくとも２つの走査ラインに沿う画像信号の差が画像信号から減算され，前処理済画像信号が得られる。
【０００９】
被包装物を噛込んだ部分を表わす画像信号はランダム性の強い波形を示す。
【００１０】
画像信号の他の部分は一般的にはランダム性が強くなく，一定値を示すかまたは規則的に変化する波形となる。近接する２つの走査ラインに沿う画像信号において，噛込のある部分では相関が弱いのでそれらの差をとっても零とはならず，ある程度のレベルを示す。噛込の無い部分では相関が強いので２つの画像信号の差をとるとその結果は零または零に近い値となる。
【００１１】
一般に噛込のある部分は暗いからその画像信号成分のレベルは低くなる（暗い部分を表わす信号レベルを低くとった場合）。このような画像信号から上記の２つの画像信号の差を表わす信号を減算すると，噛込を示す低いレベルが一層強調されることになる。
【００１２】
このようにして得られた前処理済画像信号は噛込を強調したレベルをもつものとなる。
【００１３】
この前処理済画像信号をあらかじめ設定された閾値で閾値処理することによって，分包シートのシール部に噛込があるかどうかが判定される。
【００１４】
したがって，噛込がある部分が際だった前処理済画像信号について閾値処理を行なうので，高精度に噛込を検出できる。特に，皺，その他の近接する２つの走査ライン間で相関の強い外乱成分があっても正確な噛込検出が可能となる。また分包シートを撮像することによって得られる画像信号を用いているので不透明な分包シートについても噛込を検査することができる。
【００１５】
好ましくは，近接する４つの走査ラインに沿う画像信号のうち，いずれか２つの画像信号の差と，他の２つの画像信号の差との和を求めることにより強調差信号を得る。このようにして，噛込の存在が一層強調される。さらに好ましくは，上記４つの画像信号の平均をとることにより平均画像信号を得，平均画像信号から強調差信号を減算することにより前処理済画像信号を得る。４つの画像信号の平均をとっているので，分包シートの撮像開始位置のずれ，分包シートの若干の傾斜，照明の照度の変動，等に強い安定した噛込の検出が可能となる。
【００１６】
分包シートには，ミシン目，Ｉノッチ等が形成されることがあり，また製品名，製品番号，含有量，内容量等の文字，記号等が印刷されることがある。これらを表わす前処理済画像信号の信号レベルが噛込と同様に低くなることがある。このため，それらが噛込と判定されることが起こりうる。
【００１７】
この発明の一実施態様においては，上記噛込判定手段は，あらかじめ設定された分包シートのマスク領域以外の領域を表わす前処理済画像信号について噛込の判定を行う。マスク領域は，ミシン目等が形成されている領域，文字等が印刷されている領域である。
【００１８】
したがって，噛込判定手段は，ミシン目等があるマスク領域について噛込の判定を行なわないので，それらを噛込と判定することがなくなる，または少なくなる。
【００１９】
分包シートにマスクをかけて噛込を判定する代わりに，噛込と判定した箇所をミシン目等でないかを再判定してもよい。この再判定を行う噛込検査装置には，上記前処理手段により生成された前処理済画像信号を画像データに変換するＡ／Ｄ変換手段，上記Ａ／Ｄ変換手段によって変換された画像データを記憶する画像メモリ，上記噛込判定手段によって噛込があると判定された画像データの位置を表わすステータス・データを記憶するステータス・メモリ，上記ステータス・メモリに記憶されたステータス・データに基づいて噛込があると判定された位置を含む判定領域を決定し，この判定領域内に含まれる画像データを，上記画像メモリから読出すデータ抽出手段，上記データ抽出手段によって読出された判定領域内の画像データを入力とし，この画像データによって表される画像パターンが，あらかじめ設定された１または複数の所定の画像パターンの一に一致または類似するかどうかを判定する画像パターン判定手段，ならびに上記画像パターン判定手段が上記一または複数の所定の画像パターンの少なくとも一に一致または類似しないと判定したときに，上記分包シートのシール部に被包装物の噛込があると判定し，上記噛込判定手段が噛込があると判定しなかったとき，および上記画像パターン判定手段が上記一または複数の所定の画像パターンの少なくとも一に一致または類似するとの判定したときに，上記分包シートのシール部に被包装物の噛込がないと判定する総合判定手段がさらに設けられる。
【００２０】
この実施態様において好ましくは，上記画像パターン判定手段は，上記１または複数の所定の画像パターンをあらかじめ学習したニューラル・ネットワークによって構成される。一または複数の所定の画像パターンは，ミシン目，Ｉノッチ等を表す画像パターン，製品番号，内容量等の文字，記号等を表す画像パターンである。
【００２１】
前処理済画像信号が画像データにＡ／Ｄ変換され，このＡ／Ｄ変換された画像データは画像メモリに記憶される。
【００２２】
前処理済画像信号が閾値処理されることによって，噛込があると判定された画像データの位置を表わすステータス・データがステータス・メモリに記憶される。
【００２３】
ステータス・メモリを参照して，噛込があると判定された画像データの位置を表わすステータス・データが記憶されていないときには，分包シートのシール部に噛込がないと総合判定手段によって判定される。
【００２４】
ステータス・データがステータス・メモリに記憶されていると，このステータス・データに基づいて噛込があると判定された画像データの位置を含む判定領域内に含まれる画像データが，画像メモリから画像パターン判定手段に転送され，一または複数の所定の画像パターンの少なくとも一に一致または類似するかどうかが画像パターン判定手段によって判定される。
【００２５】
判定領域内に含まれる画像データによって表される画像パターンが，あらかじめ設定された一または複数の所定の画像パターンの少なくとも一に一致または類似すると画像パターン判定手段によって判定されると，判定領域内の画像パターンは噛込でないと総合判定手段によって判定される。
【００２６】
判定領域の画像パターンが所定の画像パターンの一に一致または類似しないと画像パターン判定手段によって判定されると，分包シートのシール部に被包装物の噛込があると総合判定手段によって分包シートのシール部に噛込があると判定される。
【００２７】
このように，噛込と判定した箇所をミシン目等でないか再判定することによって，噛込検査装置はミシン目等を噛込と判定することがなくなる，または少なくなる。
【００２８】
分包シートには帯状の印刷がされていることがある。この帯状の印刷の色によっては前処理済画像信号の信号レベルが，噛込を判定する閾値よりも低くなることがある。このため，帯状の印刷がされた噛込でない箇所を，噛込と判定することが起こりうる。
【００２９】
この発明のさらに好ましい実施態様においては，上記噛込判定手段は，上記分包シートの所定領域における走査ラインの前処理済画像信号を，あらかじめ設定された補正値を用いて補正し，この補正画像信号について噛込の判定を行う。所定の領域とは，上述の帯状の印刷がされた部分である。補正値は，帯状の印刷がある部分と，帯状の印刷がない部分とにおける前処理済画像信号に基づいてあらかじめ算出される。
【００３０】
この実施態様によると，帯状の印刷の部分において，前処理済画像信号が補正値を用いて補正された補正画像信号について噛込の判定が行なわれるので，帯状の印刷がされた噛込のない箇所を，噛込と判定することがなくなる，または少なくなる。
【００３１】
【実施例】
図１は分包シートの一例を示している。
【００３２】
３つの分包が１シートに形成された分包シートObが示されている。各分包の周囲が加熱圧着され（この加熱圧着された部分をヒート・シール部Ｈという），中央部に中空のポケット部Ｐが形成されている。一定量の粉状，細粒状または顆粒状の被包装物がポケット部Ｐに充填されている。被包装物はたとえば医薬品等である。
【００３３】
分包シートObには，隣合う２つの分包のヒート・シール部Ｈの中央に，利用者が分包を容易に分離できるようにミシン目Ｍが形成されている。また，利用者が分包を容易に裂き被包装物を取出すことができるようにするためのＩノッチＮがミシン目Ｍ上にそれと直交して形成されている。
【００３４】
分包シートObには，被包装物の内容を示す「26Ｘ」の文字列が分包ごとに印刷されている。また分包シートObの中央部には帯状の印刷BPが施されている（ハッチングで示す）（以下，この帯状の印刷を帯印刷という）。
【００３５】
分包シートObはたとえば次のようにして形成される。二枚のフィルムが重ね合わされた，分包の底部と両側部に相当する部分が圧着装置（図示路）によって加熱圧着されることにより，分包の上部に相当する部分に口のあいた３つのポケット部Ｐが形成される。この形成されたポケット部Ｐに被包装物が所定量充填される。その後，ポケット部Ｐの上部の口が圧着装置によって加熱圧着される。さらにミシン目ＭとＩノッチＮとが形成される。最後に，３つの分包もつ分包シートObがフィルムから切離される。
【００３６】
ヒート・シール部Ｈを形成するときに，ヒート・シール部Ｈに被包装物が噛込まれることがある。この噛込がある分包シートは不良品である。噛込の有無を検出し，噛込が検出された分包シートを生産ラインから取除く必要がある。
【００３７】
図２(A) は図１に示す分包シートObの一部を拡大して示すものである。この図はヒート・シール部Ｈに噛込Ｂがあり，ポケット部Ｐに皺Ｗがある例を示している。ヒート・シール部Ｈには多数の小さな方形の凸部が縦，横に規則的に配列されかつそれらの間に直線状の溝が形成されてなるパターン（以下シール・パターンという）が現われている。このシール・パターンは分包シートを加熱圧着するときに圧着装置の圧着部材の表面の模様が転写されてできるもので，圧着部材によって異なる形状となる。シール・パターンにおける方形模様の縦方向のピッチをλ₁ ，横方向のピッチをλ₂ （この実施例ではλ₂ ＝λ₁ ）とする。
【００３８】
図２(B) は図２(A) に示す走査ラインＬ_k-2 上における画像信号の波形を示している。この図については後に説明する。
【００３９】
図３は分包シートにおける噛込の有無を検査する噛込検査システムの構成の概要を示すものである。
【００４０】
分包シートObが一定間隔（たとえば 243mm間隔）でコンベア１上の中央に載せられ，一定速度（たとえば 300mm/sec）で搬送される。噛込の有無検査は，分包シートObが上記一定間隔を搬送される間に行なわれる。分包シートObは，その長手方向がコンベア１の搬送方向に直交するように配置される。分包シートObはコンベア１上に単に載せておくだけでもよいが，分包シートObが動かないように爪等を用いてコンベア１に固定するのが好ましい。
【００４１】
コンベア１の搬送速度が回転エンコーダ２によって検出される。コンベア１の搬送速度に応じた周波数をもつパルス信号がエンコーダ２から出力され，ＰＬＬ(Phase Lock Loop) 回路３に与えられる。回転エンコーダ２からのパルス信号に基づいて，分包シートObを撮像するタイミングを表す同期信号がＰＬＬ回路３によって生成される。生成された同期信号は，ＰＬＬ回路３からＣＣＤライン・イメージ・センサ５および噛込検査装置10に与えられる。
【００４２】
同期信号は，ＣＣＤライン・イメージ・センサ５が図２(A) に示すシール・パターンの縦方向（搬送方向）の１ピッチλ₁ を複数回（たとえば４回）にわたって走査するに充分な周波数をもつパルス信号である。
【００４３】
コンベア１によって搬送される分包シートObはＣＣＤライン・イメージ・センサ５によって撮像される位置において照明装置４によって一定の明るさで照らされる。照明装置４はシートの全体を均一に照らすようにコンベア１の上方に配置される。
【００４４】
ＣＣＤライン・イメージ・センサ５は，コンベア１の搬送方向に直交する方向に，かつ分包シートObの全長を上方から撮像するように配置される。ＣＣＤライン・イメージ・センサ５は一列に配列された2048個の光電変換素子を含む。ＣＣＤライン・イメージ・センサ５に代えて，分包シートObを２次元的に撮像するＣＣＤカメラ等を用いてもよい。
【００４５】
ＰＬＬ回路３から与えられる同期信号に応答して分包シートObがＣＣＤライン・イメージ・センサ５によって一ラインずつ撮像される。この撮像により得られる画像信号（アナログ信号）は噛込検査装置10に与えられる。
【００４６】
噛込検査装置10はＣＣＤライン・イメージ・センサ５から入力する画像信号に基づいてヒート・シール部Ｈにおける噛込Ｂの有無を検出するものである。噛込の有無の判定結果は噛込検査装置10から不良品排出装置６に与えられる。
【００４７】
不良品排出装置６は噛込検査装置10からの判定結果が噛込有を示しているときに，その不良品をコンベア１上から取除くものである。
【００４８】
図２(A) および(B) を参照して，ヒート・シール部Ｈにおいては規則的なシール・パターンが形成されているから，噛込Ｂの部分を除いて画像信号は正弦波状を示す。
【００４９】
一方，被包装物は一般にシール・パターンのピッチに比して細かい粉状，細粒または顆粒状のものである。この被包装物を噛込んだ部分Ｂではフィルムの表面がシール・パターンに比べて細かい凸凹を示す。噛込Ｂでは細かな凸凹によって光が乱反射されるため，その部分は暗くなる。したがって，噛込Ｂの部分を表わす画像信号は信号レベルが低く，かつ不規則で周期の短い波形を示す。
【００５０】
またポケット部Ｐは一般に明るいので，ポケット部Ｐを表わす画像信号は，皺Ｗの部分を除いて，ヒート・シール部Ｈよりも大きい信号レベルをもつ。しかし，皺Ｗの部分は暗い。皺Ｗにおける凹凸のピッチは一般にシール・パターンよりも大きい。したがって，皺Ｗの部分を表わす画像信号は比較的長い周期で変化し，かつ信号レベルの極小ピークは，噛込Ｂを表わす画像信号の信号レベルと同程度に低い。皺Ｗを表わす画像信号の極小ピーク・レベルは噛込Ｂをレベル弁別するための噛込判定レベルよりも低くなることがある。
【００５１】
噛込検査装置10は噛込Ｂを含むヒート・シール部Ｈにおける画像信号の信号レベルがポケット部Ｐの皺Ｗにおける画像信号の信号レベルに比べて細かく変動することを利用して噛込Ｂと皺Ｗを区別する。
【００５２】
図４に，図２(A) に示す走査ラインＬ_k ，Ｌ_k-1 ，Ｌ_k-2 およびＬ_k-3 に沿う走査によって得られる画像信号がそれぞれ，画像信号Ａ，Ｂ，ＣおよびＤとして示されている。画像信号Ｃは図２(B) に示すものと同じものである。
【００５３】
画像信号Ａは，ヒート・シール部Ｈの直線溝を通る走査ラインＬ_k に沿う画像信号であるから，噛込Ｂを除くヒート・シール部Ｈにおいてその信号レベルは低くかつ一定である。この直線溝（走査ラインＬ_k ）から１／２ピッチ離れた方形凸部の中央を通る走査ラインＬ_k-2 上における画像信号Ｃは，上述のように正弦波状になり，かつその振幅も最大値を示す。ポケット部Ｐにおいては，画像信号ＡおよびＣのいずれにおいても，皺Ｗの部分で信号レベルが低くなる。
【００５４】
これらの画像信号ＡとＣの差の絶対値（｜Ａ−Ｃ｜）を表す信号（以下，差信号という）が信号Ｅで示されている。噛込Ｂの部分を除くヒート・シール部Ｈにおいて，差信号Ｅは正弦波状の信号から一定レベルの信号を差引いた波形を表わすから正弦波状となり，かつそのレベルは他の差信号（後述するＤ−Ｂなど）と比べて大きく，最大値を示す。噛込Ｂの部分においては画像信号ＡおよびＣともに信号レベルが不規則であるから，差信号Ｅのレベルは零にはならず，ある程度のレベルの不規則な波形を示す。
【００５５】
一方，ポケット部Ｐにおいては，皺Ｗの部分を除くと，差信号Ｅのレベルは零ないしはほぼ零となる。皺Ｗの部分においては，皺Ｗの位置がずれていることに起因する信号成分が差信号Ｅに現れる。皺Ｗを表わす画像信号の極小ピーク・レベルの位置においては，差信号Ｅの信号レベルが零ないしほぼ零となる。
【００５６】
画像信号ＢとＤはいずれも，ヒート・シール部Ｈにおける方形凸部の中央よりも直線溝に近い位置を通る走査ラインＬ_k-1 とＬ_k-3 に沿う画像信号であるから，噛込Ｂを除くヒート・シール部Ｈにおいて，正弦波状を示し，その振幅は画像信号Ｃの振幅の１／２程度になる。画像信号ＢとＤにおける噛込Ｂの部分を表わす信号成分は，画像信号ＡまたはＣのそれと同様であり，すなわち，信号レベルが低くかつ不規則である。画像信号ＢとＤにおいて，皺Ｗの部分を含めてポケット部Ｐを表わす信号成分も画像信号ＡとＣのそれとほぼ同形である。皺Ｗの位置ずれの分だけ極小ピーク・レベル位置がずれている。
【００５７】
これらの画像信号ＢとＤの差の絶対値（｜Ｂ−Ｃ｜）を表わす差信号が信号Ｆとして示されている。差信号Ｆは噛込Ｂおよび皺Ｗの部分を除いて信号レベルが零またはほぼ零である。差信号Ｅと同じように，噛込Ｂの部分において，差信号Ｆは不規則な信号成分を持つ。皺Ｗの部分においては，皺Ｗがずれている分だけそれを表わす信号成分が差信号Ｆに現われるが，皺Ｗの極小ピーク・レベルの位置においては差信号Ｆのレベルは零またはほぼ零となる。
【００５８】
これらの２つの差信号ＥとＦの和を表わす信号（以下，強調差信号という）が信号Ｇとして示されている（この信号Ｇは後述するようにローパスフィルタによって平滑化される）。
【００５９】
４つの画像信号Ａ，Ｂ，ＣおよびＤの信号レベルの平均値を表す信号（以下，平均信号という）が信号Ｈ（鎖線で示す）として示されている（後述するように，ローパスフィルタによって平滑化される）。
【００６０】
平均信号Ｈから強調差信号Ｇを差引いた信号（以下，前処理済画像信号という）が信号Ｉとして示されている。噛込Ｂの部分を含むヒート・シール部Ｈにおける強調差信号Ｇのレベルは零ではなく，この強調差信号Ｇが平均信号Ｈから差引かれるからヒート・シール部Ｈにおける前処理済画像信号Ｉの信号レベルは全体的に低くなる。
【００６１】
これに対して，強調差信号Ｇにおいてポケット部Ｐの皺Ｗの部分を表わす信号成分の極小ピーク・レベルは零またはほぼ零であるから前処理済画像信号Ｉの皺Ｗを表わす信号成分の極小ピーク・レベルはこの減算処理（Ｈ−Ｇ）によっても殆ど変わらない。
【００６２】
このように，前処理済画像信号Ｉでは，噛込Ｂを表わす信号レベルが皺Ｗを表わす成分の極小ピーク・レベルよりも低くなるから，これらの２つのレベルの間に噛込判定レベルを設定することによって噛込Ｂを皺Ｗから区別することができる。また，前処理済画像信号Ｉにおいて，ヒート・シール部Ｈのシール・パターンに起因する正弦波状の信号成分（ウェーブ）がかなり除去されている（ウェーブ・キャンセル）。
【００６３】
噛込Ｂを表わす画像信号成分はランダムな波形成分を含むので，近接する２つの走査ライン間（上述した走査ラインＬ_k とＬ_k-2 ，またはＬ_k-1 とＬ_k-3 )で相関が比較的小さい。皺Ｗにおける凹凸の変化は噛込Ｂにおける凹凸変化よりも緩慢である。したがって，皺Ｗを表わす画像信号成分は近接する２つの走査ライン間で相関が比較的大きい。
【００６４】
したがって，近接する２つの走査ラインに沿う画像信号の差（好ましくはその絶対値）をとった場合に，この差信号の噛込Ｂを表わす部分のレベルは零ではなく有る程度の値をもつが，皺Ｗを表わす部分のレベル（特にその極小ピーク・レベル）は零またはそれに近い値となる。
【００６５】
ある走査ラインに沿う画像信号から上記差信号を減算すれば，減算結果を表わす画像信号において，噛込Ｂの部分のレベルは低下し，皺Ｗを表わす部分のレベルは殆ど変化しない。このようにして，噛込Ｂを表わす部分と皺Ｗを表わす部分とをその画像信号のレベル上で区別することが可能となる。
【００６６】
噛込Ｂを表わす部分と皺Ｗを表わす部分とを区別するためには近接する少なくとも２つの走査ライン（好ましくはピッチλ₁ の範囲内に入る）に沿う画像信号があればよい。
【００６７】
上記実施例では，ピッチλ₁ の範囲内に４本の走査ラインを設定し，それらのうちの２つの画像信号間の差の和（強調差信号）を用いているので，噛込Ｂと皺Ｗとの区別が一層しやすくなっている。また，４つの画像信号の平均信号を得，この平均信号から強調差信号を減算しているので，分包シートの撮像開始位置のずれ，分包シートの若干の傾斜，照明装置４の照度の変動，等に強いものとなっている。
【００６８】
噛込検査装置10の詳細について図５を参照して説明する。
【００６９】
噛込検査装置10は，センサ５からの画像信号を用いて上述した前処理済画像信号Ｉを生成し，この前処理済画像信号Ｉについて閾値処理を行うことによって，分包シートObのヒート・シール部Ｈにおける噛込を検出する。噛込検査装置10はまた，閾値処理により噛込と判定した箇所がミシン目Ｍ，ノッチＮ，印刷文字等でないことを確認して最終判定結果を得る。
【００７０】
センサ５からの画像信号はシート検出回路12およびウェーブ・キャンセル回路20に与えられる。ＰＬＬ回路３からの同期信号はクロック生成回路11および噛込判定回路40に与えられる。
【００７１】
クロック発生回路11は，入力する同期信号に応答して，センサ５からの画像信号を画素ごとにサンプリングするためのクロック・パルス信号を生成するものである。クロック・パルス信号が画像信号とともにセンサ５から出力される場合には，センサ５からのクロック・パルス信号を用いてもよい。センサ５は一走査ライン当たり2048画素を含むから，クロック生成回路11は同期信号の一周期の間に，2048個のクロック・パルス信号を出力する。
【００７２】
このクロック・パルス信号は，ウェーブ・キャンセル回路20，シート検出回路12，画像メモリ14のアドレス・カウンタ13および噛込判定回路40に与えられる。
【００７３】
コンベア１を撮像することにより得られる画像信号の信号レベルは，分包シートObを撮像することにより得られる信号レベルよりもはるかに低く，噛込Ｂや皺Ｗを表わす信号レベルよりも低い。噛込Ｂや皺Ｗを表わす信号レベルよりも低いレベルに設定された分包シートObを検出するためのしきい値レベル（これをダーク・レベルという，図２(B) 参照）を用いて，シート検出回路12はコンベア１上を搬送される分包シートObがセンサ５によって撮像されていることを検出する。
【００７４】
シート検出回路12において，クロック・パルス信号に同期して（画素ごとに），センサ５からの画像信号があらかじめ設定された（または制御回路17から与えられた）ダーク・レベルと比較される。画像信号がダーク・レベルを超えた画素数がシート検出回路12において計数される。この計数値があらかじめ設定された（または制御回路17から与えられた）分包シートObの全長に相当する（全長よりも少し短い）画素数を超えたとき，またはその画素数を中心とする一定範囲内に収まったとき，判定開始信号がシート検出回路12から出力され，噛込判定回路40およびアドレス・カウンタ13に与えられる。
【００７５】
分包シートがセンサ５の撮像装置に至るごとに，コンベア１の駆動制御装置（図示略）からトリガ信号が出力される場合には，シート検出回路12の判定開始信号の代わりに，このトリガ信号を用いることができる。
【００７６】
ウェーブ・キャンセル回路20は，センサ５からの画像信号から上述の前処理済画像信号Ｉを生成するものである。ウェーブ・キャンセル回路20の詳細な構成が図６に示されている。
【００７７】
クロック・パルス信号はＡ／Ｄ変換回路21，１ライン遅延回路22，23，24およびＤ／Ａ変換回路25，26，27，28に与えられ，これらの回路はクロック・パルス信号に同期して動作する。
【００７８】
センサ５からの画像信号（アナログ信号）は，クロック生成回路11からのクロック・パルス信号に応答して（画素ごとに），Ａ／Ｄ変換回路21によってグレイ・レベル・ディジタル・データ（画像データ）に変換される。画像データはたとえば画像信号の信号レベル（輝度）を 256階調で表す８ビット・データである。
【００７９】
Ａ／Ｄ変換回路21から出力される画像データは，１ライン遅延回路22によって１ライン遅延される。１ライン遅延回路22の出力画像データは１ライン遅延回路23によって１ライン遅延される。さらに１ライン遅延回路23の出力画像データは１ライン遅延回路24によって１ライン遅延される。
【００８０】
１ライン遅延回路22，23および24はそれぞれ，１走査ライン（2048画素）分の画像データを記憶し，クロック・パルス信号に応答して，これらの記憶した画像データをシフトするものである。１ライン遅延回路はたとえば，ＦＩＦＯ(First In First Out)バッファ，シフトレジスタ等によって実現される。
【００８１】
Ａ／Ｄ変換回路21から出力される画像データ，ならびに遅延回路22，23および24からそれぞれ出力される画像データはそれぞれ，Ｄ／Ａ変換回路25，ならびにＤ／Ａ変換回路26，27および28によって画像信号（アナログ信号）に変換される。
【００８２】
これらのＤ／Ａ変換回路25，26，27および28から出力される画像信号の一例は，上述した走査ラインＬ_k ，Ｌ_k-1 ，Ｌ_k-2 およびＬ_k-3 （図２(A) 参照）に沿うものであり，画像信号Ａ，Ｂ，ＣおよびＤである。
【００８３】
Ｄ／Ａ変換回路25から出力される画像信号Ａと，Ｄ／Ａ変換回路27から出力される画像信号Ｃとが差動増幅回路29に与えられる。この差動増幅回路29から出力されるこれらの画像信号ＡとＣの差を表す信号が全波整流回路31によって全波整流される。全波整流回路31の出力信号が図４に示す差信号Ｅである。
【００８４】
同様に，Ｄ／Ａ変換回路26から出力される画像信号Ｂと，Ｄ／Ａ変換回路28から出力される画像信号Ｄとが差動増幅回路30に与えられる。この差動増幅回路30から出力されるこれらの画像信号ＢとＤとの差を表す信号が全波整流回路32によって全波整流される。全波整流回路32の出力信号が図４に示す差信号Ｆである。
【００８５】
全波整流回路31と32によってそれぞれ全波整流された２つの差信号ＥとＦは，加算／平滑化回路34によって加算され，かつ平滑化（ロウパス・フィルタリング）される。加算／平滑化回路33の出力信号が図４に示す強調差信号Ｇである。平滑化はヒート・シール部Ｈの方形凸部による正弦波状の信号レベルの変動を減衰させ，安定な強調差信号Ｇを得るためである。
【００８６】
一方，Ｄ／Ａ変換回路25，26，27および28によってアナログ信号に変換された４つの画像信号は，平均／平滑化回路34によって平均され，かつ平滑化（ロウパス・フィルタリング）される。平均／平滑化回路34の出力信号が図４に示す平均信号Ｈである。
【００８７】
平均／平滑化回路34の出力信号Ｈから，加算／平滑化回路33の出力信号Ｇが差動増幅回路35によって減算される。差動増幅回路35の出力信号が図４に示す前処理済画像信号Ｉである。
【００８８】
１ライン遅延回路として，画像信号をアナログ信号で画素ごとに保持（記憶）し，かつそれらの保持したアナログ信号をクロック・パルス信号に応答してシフトできるものを用いることもできる。
【００８９】
差動増幅回路29，30および35，全波整流回路31および32，加算／平滑化回路33，ならびに平均／平滑化回路34をすべてディジタル回路によって構成することもできる。またこれらの回路29〜35の機能をプログラムされたコンピュータによって実現することもできる。
【００９０】
再び図５を参照して，ウェーブ・キャンセル回路20の差動増幅回路35の出力信号（処理済画像信号）は，噛込判定回路40およびＡ／Ｄ変換回路18に与えられる。
【００９１】
前処理済画像信号は，クロック生成回路11からのクロック・パルス信号に応答して，Ａ／Ｄ変換回路18によって画像データ（８ビット・データ）に変換され，アドレス・カウンタ13から生成されるアドレス信号によって指定される画像メモリ13の記憶場所に記憶される。アドレス・カウンタ13はシート検出回路12から出力される判定開始信号に応答してアドレス信号発生動作を開始する。また，画像メモリ14およびステータス・メモリ15はシート検出回路12から出力される判定開始信号によりクリアされる。したがって，画像メモリ14には最後に撮像された１つの分包シートを表わすすべての画像データが記憶されることになる。
【００９２】
アドレス・カウンタ13は判定開始信号が入力した時点から動作を開始し，クロック生成回路11からのクロック・パルス信号を計数することによって，画像データを記憶する画像メモリ14のアドレス信号を生成する。アドレス・カウンタ13の計数値（アドレス信号）は，シート検出回路12からの判定開始信号によって，アドレス信号発生動作を開始する前に，クリアされる。
【００９３】
噛込判定回路40は，噛込Ｂを表わす信号レベルよりも高く，かつ皺Ｗを表わす信号の極小ピーク・レベルよりも低いレベルに設定された上記噛込判定レベルを用いて，噛込の有無を判定するものである。
【００９４】
噛込判定回路40はシート検出回路12から判定開始信号が与えられ，その後ＰＬＬ回路３から同期信号が入力すると，噛込の有無の判定動作を開始する。
【００９５】
ウェーブ・キャンセル回路20から与えられる１ライン分の前処理済画像信号を考えると，この画像信号の中央の大部分は分包シートの画像を表わしているが，その両端部はコンベア１の表面を表わしており，かなり低いレベル（ダーク・レベル以下）である。
【００９６】
噛込判定回路40は各走査ラインごとに前処理済画像信号がダーク・レベルを超えたところからこの画像信号が再びダーク・レベル以下になる直前までの間において，制御回路17から与えられる噛込判定レベルを用いて，クロック生成回路11からのクロック・パルス信号に応答して（画素ごとに），閾値処理を行う。この閾値処理は，分包シートObの全幅（搬送方向の幅）にわたるすべての走査ラインについて行なわれる。
【００９７】
分包シートObの全領域を表わす画像データが複数のブロックに分割される。各ブロックは横方向（ライン走査方向）に64画素，縦方向に64ラインから構成される。各ブロックに含まれる画素の画像信号のうち少なくとも１画素について噛込判定レベルを下まわるものがあれば，そのブロックに噛込フラグが立てられる。噛込判定回路40は，この噛込フラグに基づいて，噛込の有無を表わすステータス・データをブロックごとに作成し，このステータス・データをステータス・メモリ15に記憶する（噛込フラグが立っているブロックには噛込有のステータス・データが作成される）。
【００９８】
噛込判定回路40は，噛込判定の開始後，同期信号を計数することによって得られるライン数が，分包シートObの幅（搬送方向の長さ）に相当するライン数に達すると，一の分包シートについて噛込判定を終了する。一の分包シートについて噛込判定が終了すると，判定終了信号が噛込判定回路40から制御回路17に与えられる。制御回路17はこの判定終了信号が入力すると，ニューラル・ネットワーク16を用いて最終判定の処理を行う。
【００９９】
ウェーブ・キャンセル回路20の平滑化回路33および34において，強調差信号Ｇおよび平均信号Ｈが平滑化されているから，噛込判定回路40がインパルス・ノイズ等を噛込と誤判定することがなくなる，または少なくなる。
【０１００】
分包シートObには，上述したようにミシン目Ｍ，ＩノッチＮが形成され，品名，型番，含有量，内容量等の文字列，記号，帯印刷BP等が印刷されている。これらを表わす画像信号も噛込判定レベル以下になることがありうるので，噛込判定回路40が噛込フラグを立ててしまうことがありうる。ニューラル・ネットワーク16は噛込判定回路40が噛込有と判定したブロックについて再判定するものである。このニューラル・ネットワーク16の判定結果に基づいて，制御回路17が噛込の有無についての最終判定を行う。
【０１０１】
制御回路17は，ステータス・メモリ15にアクセスしてステータス・データを参照し，噛込があると判定されたブロックを検索する。該当するブロックがなければ，当該分包シートObは噛込がない旨の最終判定結果が制御回路17から出力され，不良品排出装置６に与えられる。
【０１０２】
噛込有と判定されたブロックがある場合，制御回路17は当該ブロック内において，ニューラル・ネットワーク16に再判定を行わせるパターン判定領域を決定する。パターン判定領域は16画素×16ラインの正方領域であり，最も輝度レベルが小さい画素位置を中心として定められる。パターン判定領域の中心位置はその他の種々方法により決定することができる。たとえば噛込判定レベルより小さい値をもつ画像データと，これらの画像データの画素位置とに基づいて算出される重心を中心位置としてもよい。パターン判定領域の大きさは上記に限られないのはいうまでもない。
【０１０３】
決定されたパターン判定領域に含まれる画像データが，制御回路17によって画像メモリ14からニューラル・ネットワーク16に転送される。
【０１０４】
図７はニューラル・ネットワーク16の構造を示している。ニューラル・ネットワーク16は入力層，中間層および出力層からなる。ニューラル・ネットワーク16には，たとえば公知のニューラル・ネットワークのエミュレーション用プロセッサが用いられる。
【０１０５】
入力層におけるユニット（ニューロン）の数は，入力される画像データ数に応じて決まる。パターン判定領域が16ライン×16画素であるから，入力層には 256ユニット設けられている。
【０１０６】
中間層のユニット数は学習能力と判定速度とを考慮して，最適な個数を選ぶ。この例では中間層は32ユニットある。中間層は複数層設けてもよい。
【０１０７】
出力層には「OK」と「NG」とをそれぞれ出力する２つのユニットが設けられる。入力画像データによって表わされるパターンが，あらかじめ学習されたパターン（噛込以外のパターン）と一致または類似しているときに「OK」出力を発生する。ニューラル・ネットワーク16は噛込と，それ以外のパターンとを区別するものであるから，出力層はユニット「OK」だけでもよい。
【０１０８】
ニューラル・ネットワーク16においては多量の浮動小数点演算が行われ，図７に示すニューラル・ネットワーク構造では１回のパターンの判定（複数のパターンを同時に判定することも可能）のために 33236回の浮動小数点演算が行われる。
【０１０９】
エミュレーション用プロセッサとして動作周波数が100MH_ZのPowerPC601を用いると，ニューラル・ネットワーク16における１回のパターン判定のための演算時間は，約３msecとなる。上述した構成（特に図３）においては一の分包シートObについて，噛込の判定のために許容される時間（１分包シートが243mm の間隔を搬送されるのに要する時間）は810msec であるから，この許容時間の間に270 箇所のパターンについて再判定を行うことができる。再判定箇所が270 箇所を超えることがありうる場合，またはより高速の処理が要求される場合には，ニューラル・ネットワークを複数設け，各ニューラル・ネットワークに並列的に再判定を行なわせればよい。
【０１１０】
ニューラル・ネットワーク16にあらかじめ学習させておくパターンの例が図８に示されている。図８(A) および(C) はミシン目を表わすパターン例である。図８(B) はミシン目に交差して形成されたＩノッチのパターンの例である。図８(D) は品名，形式，含有量，内容量等を示す文字，記号等を表すパターンの一例であり，ここでは数字「２」が示されている。
【０１１１】
このように，分包シートの表面に表わされており，噛込と間違いやすいパターンについてニューラル・ネットワーク16は前もって学習しておく。この学習においても，ウェーブ・キャンセル回路20によって前処理された前処理済画像信号から得られる画像データが用いられる。出力層ユニット「OK」が「１」となり，出力層ユニット「NG」が「０」となるように，パターンごとに学習が行われる。
【０１１２】
制御回路17によって決定されたパターン判定領域内の画像データが画像メモリ14からニューラル・ネットワーク16に転送されると，ニューラル・ネットワーク16においてその画像データに基づいて出力層のユニット「OK」および「NG」の出力が演算される(Forward Propagation) 。出力層ユニット「OK」の出力がニューラル・ネットワーク16の判定結果として制御回路17に与えられる。
【０１１３】
パターン判定領域に含まれる画像データによって表される画像が，あらかじめ学習されたパターンと一致または類似しているときには，出力層ユニット「OK」から「１」が出力されることになる。
【０１１４】
出力層ユニット「OK」および「NG」の両方が同時に「１」を出力すること，または同時に「０」を出力することが起こりうる。噛込検査装置10は，明らかに噛込を含む分包シートObを不良品として検出できればよいので，出力層ユニット「OK」から「１」が出力されたときのみ，パターン判定領域に含まれる画像データによって表されるパターンはミシン目，Ｉノッチ，印刷文字等の噛込以外のものであると判定すれば足りる。
【０１１５】
したがって，出力層ユニット「OK」が「０」を出力したとき，パターン判定領域に含まれる画像データによって表されるパターンは，あらかじめニューラル・ネットワーク16に学習されたパターンではなく，噛込であると判定される。
【０１１６】
噛込判定回路20が噛込フラグを立てたすべてのブロックについて，ニューラル・ネットワーク16によるパターンの判定が行われる。制御回路17は少なくとも１つのブロックに関してニューラル・ネットワーク16の出力層ユニット「OK」から「０」が出力されたとき，分包シートObには噛込があると最終的に判定する。この最終判定結果は制御回路17から出力され，不良品排出装置６に与えられる。
【０１１７】
このようにして，コンベア１によって搬送されてくる各分包シートObについてそのヒート・シール部Ｈに噛込があるかどうかが検査される。
【０１１８】
図９(B) は，図９(A) に示す分包シートObについて，帯印刷BPのない表面を通る走査ラインＬ₁ 上に沿う画像信号の波形（Ｌ₁ で示す）と，帯印刷BPがある部分を通る走査ラインＬ₂ に沿う画像信号の波形（Ｌ₂ で示す）を示している。帯印刷BPがある走査ラインＬ₂ 上の画像信号の信号レベルは，帯印刷BPがない走査ラインＬ₁ 上における画像信号の信号レベルに比べて全体的に低くなる。帯印刷BP上を通る走査ラインＬ₂ の画像信号の信号レベルは，ヒート・シール部Ｈにおいて噛込がないにも関わらず噛込判定レベル以下になることがありうる。
【０１１９】
この実施例の噛込判定回路40は，帯印刷BPが印刷された部分の走査ライン上の信号レベルを帯印刷BPがない部分の走査ライン上における信号レベルと同程度のレベルになるように補正している。
【０１２０】
帯印刷BPが印刷されている表面上の走査ラインに沿う信号レベルと，帯印刷BPが印刷されていない表面上の走査ラインに沿う信号レベルとが比較され，その差に基づいて補正値があらかじめ算出される。この補正値は噛込判定回路40にあらかじめ設定される（または制御回路17から与えられる）。補正値の算出において，複数個の分包シートにおける平均値を求めてもよい。
【０１２１】
噛込判定回路40はたとえば次のようにして，ウェーブ・キャンセル回路20から与えられる前処理済画像信号を，補正値を用いて補正する。分包シートObの帯印刷BPの上端までの幅をｈ₂ とし，帯印刷BPの下端までの幅をｈ₁ とする（ｈ₁ ，ｈ₂ はこの幅を走査する走査ライン数で表わされる）。判定開始信号が与えられた後，噛込判定回路40は同期信号の数を計数する。同期信号は１ライン当たり１パルス出力される。この計数値がｈ₂ に達した時点からｈ₁ に達するまで噛込判定回路40は，ウェーブ・キャンセル回路20からの前処理済画像信号に上記補正値に相当するレベルを加算し，この加算された画像信号について噛込判定を行う。噛込判定レベルから補正値に相当するレベルを差引くことによって得られる補正された噛込判定レベルを用いて，ウェーブ・キャンセル回路20からの画像信号について，噛込判定を行うようにしてもよい。
【０１２２】
このようにして，帯印刷BPが印刷された部分の走査ライン上の画像信号の信号レベルが低いことに起因する噛込の設定が防止される。
【０１２３】
上記実施例では，ミシン目，Ｉノッチ，文字，記号等を噛込と区別するためにニューラル・ネットワーク16が用いられている。ニューラル・ネットワーク16を用いる代わりに，噛込と区別すべきミシン目，Ｉノッチ，文字等がある領域をマスクしてもよい。噛込判定回路40はマスクした領域について噛込判定を行わないようにする。
【０１２４】
図10に分包シートObの画像にマスクする領域の一例が示されている。
【０１２５】
ミシン目Ｍに関してマスクする領域は，分包シートObの長さ方向について，マスクの中心位置（画素位置）がｍ₁ ，ｍ₂ によってそれぞれ規定され，マスクの幅（画素数）がｍ_w によって規定される。
【０１２６】
ＩノッチＮに関してマスクする領域は，分包シートObの長さ方向について，上記のマスクの中心位置ｍ₁ ，ｍ₂ によってそれぞれ規定され，マスクの幅（画素数）がｉ_w によって規定される。分包シートObの幅方向について，マスクの開始位置（ライン）がｉ_p によって規定され，マスクの幅がｉ_h によって規定される。
【０１２７】
帯印刷BPをマスクする領域は，分包シートObの幅方向について，マスクの開始位置（ライン）がｈ₂ によって規定され，マスクの終了位置（ライン）がｈ₁ によって規定される。帯印刷BPについては，上述したレベル補正を行えばマスクしなくてもよい。
【０１２８】
内容を表す文字列「26Ｘ」をマスクする領域は，分包シートObの長さ方向に関して，マスクの開始位置（画素位置）がｎ₁ ，ｎ₂ ，ｎ₃ によってそれぞれ規定され，マスクの幅（画素数）がｎ_w によって規定される。分包シートObの幅方向に関しては，マスクの開始位置（ライン）が帯印刷BPのマスクの終了位置ｈ₁ からの幅ｎ_p によって規定され，マスクの幅（ライン数）がｎ_h によって規定される。
【０１２９】
これらのマスクに関するパラメータは，分包シートObの形状に応じて，分包シートの種類ごとに制御回路17に設定される。噛込判定回路40は，制御回路17に設定されたパラメータを参照して，分包シートObの画像にマスクをした上で噛込判定を行う。
【０１３０】
画素数によって規定されるパラメータ（ｍ₁ ，ｍ₂ ，ｍ_w ，ｉ_w ，ｎ₁ ，ｎ₂ ，ｎ₃ ，ｎ_w ）と，クロック信号を計数して得られる画素数とを比較するすることによって，長さ方向のマスク領域の開始位置と終了位置とが決定される。ライン数に関するパラメータ（ｉ_p ，ｉ_h ，ｈ₁ ，ｈ₂ ，ｎ_p ，ｎ_h ）と，同期信号を計数して得られる計数値とを比較することによって，幅方向のマスク領域の開始位置と終了位置とが決定される。
【０１３１】
噛込検査システムの検査対象は，上述の３分包１シートに限られず，１または複数の分包が形成されたシート等でもよいのはいうまでもない。
【図面の簡単な説明】
【図１】分包シートの一例を示す。
【図２】 (A)は分包シートの一部を拡大して示すものであり，ヒート・シール部に噛込があり，ポケット部に皺がある例を示している。(B) は(A) に示す走査ラインＬ_k-2 に沿う画像信号の波形を示す。
【図３】噛込検査システムの全体的構成を示している。
【図４】ウェーブ・キャンセル回路における各信号の波形を示すものである。
【図５】噛込検査装置の詳細な構成を示すブロック図である。
【図６】ウェーブ・キャンセル回路の詳細な構成を示すブロック図である。
【図７】ニューラル・ネットワークの構造の一例を示す。
【図８】 (A) ，(B) ，(C) および(D) はそれぞれ，ニューラル・ネットワークに学習されるべきパターンの例を示す。
【図９】 (A) は分包シート上における走査ラインの位置を示し，(B) は走査ラインＬ₁ およびＬ₂ に沿う画像信号の波形を示している。
【図１０】分包シートに設定されるマスク領域を示す。
【符号の説明】
１ コンベア
２ エンコーダ
３ ＰＬＬ回路
４ 照明装置
５ ＣＣＤライン・イメージ・センサ
６ 不良品排出装置
10 噛込検査装置
11 クロック生成回路
12 シート検出回路
13 アドレス・カウンタ
14 画像メモリ
15 ステータス・メモリ
16 ニューラル・ネットワーク
17 制御回路
18，21，Ａ／Ｄ変換回路
20 ウェーブ・キャンセル回路
22，23，24 １ライン遅延回路
25，26，27，28 Ｄ／Ａ変換回路
29，30，35 差動増幅回路
31，32 両波整流回路
33 加算／平滑化回路
34 平均／平滑化回路
40 噛込判定回路[0001]
【Technical field】
The present invention relates to a bite inspection device and method for inspecting whether a package, such as powder, fine granule, granule or the like, is bitten in its seal part.
[0002]
[Prior art and its problems]
In general, a predetermined amount of chemicals such as powder, fine granules, and granules are packaged. A sheet in which this medicine is packaged is manufactured as follows. In order to form a pocket filled with a chemical, the lower part of the pocket part of two superimposed films and three places corresponding to both side parts thereof are sealed by a pressure bonding device. The formed pocket portion is filled with chemicals by dropping a predetermined amount from the drop chute. Thereafter, the film is sealed at a portion corresponding to the upper portion of the pocket portion. By repeating such an operation, the packaging sheets are continuously formed.
[0003]
However, in the sealing step for forming the pocket portion or the step for sealing the upper portion of the pocket portion, a part of the chemical deposited on the dropping chute may drop and the chemical may be caught in the sealing portion. An apparatus for inspecting the presence or absence of chemicals in such a seal portion is described in Japanese Patent Laid-Open No. 3-85206. This device for inspecting the biting of a packaged sheet in a sheet portion of a packaged sheet targets a packaged sheet manufactured using a film that transmits light, and bites based on the light transmitted through the packaged sheet. Since the presence or absence of jamming is detected, it is not possible to check the biting of a wrapping sheet using an opaque film.
[0004]
DISCLOSURE OF THE INVENTION
This invention makes it possible to detect the biting of an object to be packaged in a seal portion even for a wrapping sheet formed using an opaque film.
[0005]
The bite inspection device according to the present invention is configured to check the biting of the article to be packaged in the seal portion with respect to a wrapping sheet having a seal portion in which a pocket portion is filled with a package and the periphery of the pocket portion is crimped. An image inspection device for imaging the packaging sheet and outputting an image signal obtained by the imaging, and a difference between image signals along at least two adjacent scanning lines output from the imaging unit Pre-processing means for generating a pre-processed image signal obtained by subtracting from the pre-processed image signal, and threshold processing of the pre-processed image signal generated by the pre-processing means with a preset threshold value. Biting determination means for determining whether there is biting of an article to be packaged in the seal portion is provided.
[0006]
The biting inspection method according to the present invention includes a packing sheet having a sealing portion in which a pocket portion is filled with an object to be packaged and the periphery of the pocket portion is pressure-bonded. A pre-processed method for obtaining an image signal by imaging the packaging sheet and subtracting a difference between the image signals along at least two adjacent scanning lines obtained by imaging from the image signal. An image signal is generated, and the generated preprocessed image signal is subjected to threshold processing with a preset threshold value, thereby determining whether or not there is an object to be packaged in the sealing portion of the packaging sheet. is there.
[0007]
According to this invention, the packaging sheet is imaged by the imaging means, and the image signal obtained by this imaging is output from the imaging means.
[0008]
The difference between the image signals along at least two adjacent scanning lines output from the imaging means is subtracted from the image signal to obtain a preprocessed image signal.
[0009]
An image signal representing a portion in which an object is packed shows a highly random waveform.
[0010]
The other parts of the image signal are generally not very random and have a constant value or a regularly changing waveform. In an image signal along two adjacent scanning lines, since the correlation is weak at the biting portion, even if the difference between them is not zero, it shows a certain level. Since the correlation is strong in the portion where there is no bite, if the difference between the two image signals is taken, the result is zero or a value close to zero.
[0011]
Generally, since the biting portion is dark, the level of the image signal component is low (when the signal level representing the dark portion is low). When a signal representing the difference between the two image signals is subtracted from such an image signal, the low level indicating biting is further emphasized.
[0012]
The preprocessed image signal obtained in this way has a level that emphasizes biting.
[0013]
By performing threshold processing on the preprocessed image signal with a preset threshold value, it is determined whether or not the seal portion of the packaging sheet is bitten.
[0014]
Therefore, the threshold processing is performed on the preprocessed image signal where the biting portion is prominent, so that biting can be detected with high accuracy. In particular, even if there is a disturbance component having a strong correlation between two adjacent scanning lines, it is possible to accurately detect the bite. Further, since an image signal obtained by imaging the packaging sheet is used, it is possible to check the biting of an opaque packaging sheet.
[0015]
Preferably, the enhancement difference signal is obtained by obtaining the sum of the difference between any two of the image signals along the four adjacent scanning lines and the difference between the other two image signals. In this way, the presence of biting is further emphasized. More preferably, an average image signal is obtained by averaging the four image signals, and a preprocessed image signal is obtained by subtracting the enhancement difference signal from the average image signal. Since the average of the four image signals is taken, it is possible to detect a stable biting that is strong against a shift in the imaging start position of the packaging sheet, a slight inclination of the packaging sheet, a change in illumination illuminance, and the like.
[0016]
The package sheet may have perforations, I-notches, etc., and may be printed with characters, symbols such as product name, product number, content and content. The signal level of the preprocessed image signal representing these may be low as with biting. For this reason, it may happen that they are determined to be bitten.
[0017]
In one embodiment of the present invention, the biting determination means determines biting with respect to a preprocessed image signal representing an area other than a preset mask area of the packaging sheet. The mask area is an area where perforations or the like are formed, or an area where characters or the like are printed.
[0018]
Therefore, the biting determination means does not determine biting for a mask area having a perforation or the like, so that it is not determined or reduced that they are bitten.
[0019]
Instead of determining the biting by masking the packaging sheet, it may be determined again whether the portion determined to be bitten is a perforation or the like. The bite inspection apparatus that performs the re-determination includes an A / D conversion unit that converts the preprocessed image signal generated by the preprocessing unit into image data, and the image data converted by the A / D conversion unit. An image memory to be stored, a status memory for storing status data indicating the position of the image data determined to be bitten by the biting determination means, and a bite based on the status data stored in the status memory A determination region including a position determined to be included, a data extraction unit for reading image data included in the determination region from the image memory, and an image in the determination region read by the data extraction unit Data is input, and the image pattern represented by the image data is one of a predetermined image pattern or a plurality of predetermined image patterns. Image pattern determination means for determining whether or not they match or when the image pattern determination means determines that the image pattern determination means does not match or resemble at least one of the one or more predetermined image patterns. It is determined that there is a bite of the article to be packaged and the biting determination means does not determine that the bite is bitten, and the image pattern determination means is at least one of the one or more predetermined image patterns. When it is determined that they match or are similar to each other, there is further provided a comprehensive determination means for determining that there is no bite of the packaged object in the seal portion of the packaging sheet.
[0020]
Preferably, in this embodiment, the image pattern determination means is constituted by a neural network that has learned the one or more predetermined image patterns in advance. The one or a plurality of predetermined image patterns are image patterns representing perforations, I notches, etc., characters such as product numbers and contents, symbols, and the like.
[0021]
The preprocessed image signal is A / D converted into image data, and the A / D converted image data is stored in an image memory.
[0022]
By performing threshold processing on the preprocessed image signal, status data representing the position of the image data determined to be bitten is stored in the status memory.
[0023]
When the status data indicating the position of the image data determined to be bitten is not stored with reference to the status memory, it is judged by the comprehensive judgment means that there is no bite in the seal portion of the packaging sheet. The
[0024]
When the status data is stored in the status memory, the image data included in the determination area including the position of the image data determined to be bitten based on the status data is transferred from the image memory to the image pattern. It is transferred to the determination means, and it is determined by the image pattern determination means whether it matches or resembles at least one of one or more predetermined image patterns.
[0025]
When the image pattern determination means determines that the image pattern represented by the image data included in the determination area matches or resembles at least one of one or more predetermined image patterns set in advance, It is determined by the comprehensive determination means that the image pattern is not bitten.
[0026]
If the image pattern determination means determines that the image pattern in the determination area does not match or resembles one of the predetermined image patterns, the comprehensive determination means determines that there is an object to be packaged in the seal portion of the packaging sheet. It is determined that the seat seal portion is bitten.
[0027]
Thus, by re-determining whether the portion determined to be bitten is a perforation or the like, the biting inspection device does not determine or reduces the perforation or the like as biting.
[0028]
The wrapping sheet may be printed in a strip shape. Depending on the color of the belt-like print, the signal level of the preprocessed image signal may be lower than a threshold value for determining bite. For this reason, it is possible to determine that a portion that has not been bitten printed in a band shape is bitten.
[0029]
In a further preferred embodiment of the present invention, the biting determination means corrects the preprocessed image signal of the scanning line in the predetermined area of the packaging sheet using a preset correction value, and the corrected image. The bite is determined for the signal. The predetermined area is a portion where the above-described band-like printing is performed. The correction value is calculated in advance based on the preprocessed image signal in the portion with the belt-like printing and the portion without the belt-like printing.
[0030]
According to this embodiment, since the pre-processed image signal is corrected by using the correction value in the band-shaped printing portion, the determination of biting is performed, and therefore there is no biting in which the band-shaped printing is performed. The location is no longer or less determined to be bitten.
[0031]
【Example】
FIG. 1 shows an example of a packaging sheet.
[0032]
A package sheet Ob in which three packages are formed on one sheet is shown. The periphery of each package is heat-pressed (this heat-pressed portion is called a heat seal portion H), and a hollow pocket portion P is formed at the center. A certain amount of powdery, fine granular, or granular objects to be packaged are filled in the pocket portion P. The packaged item is, for example, a medicine.
[0033]
The perforated sheet Ob is formed with a perforation M in the center of the heat seal portion H of two adjacent parcels so that the user can easily separate the parcels. In addition, an I notch N is formed on the perforation M so as to be orthogonal to the user so that the user can easily tear the package and take out the package.
[0034]
On the package sheet Ob, a character string “26X” indicating the contents of the package is printed for each package. In addition, a strip-shaped print BP is applied to the center portion of the packaging sheet Ob (indicated by hatching) (hereinafter, this strip-shaped print is referred to as a strip print).
[0035]
The packaging sheet Ob is formed as follows, for example. Three pockets with a mouth in the upper part of the parcel, where the two films are overlapped, and the parts corresponding to the bottom and both sides of the parcel are heated and pressed by a crimping device (shown in the figure) Part P is formed. A predetermined amount is filled in the formed pocket portion P. Thereafter, the upper opening of the pocket portion P is heat-bonded by a pressure bonding device. Further, perforations M and I notches N are formed. Finally, the packaging sheet Ob with the three packagings is cut off from the film.
[0036]
When the heat seal portion H is formed, an object to be packaged may be caught in the heat seal portion H. The packing sheet with this biting is a defective product. It is necessary to detect the presence or absence of biting and remove the packing sheet from which biting has been detected from the production line.
[0037]
FIG. 2A is an enlarged view of a part of the packaging sheet Ob shown in FIG. This figure shows an example in which the heat seal portion H has a bite B and the pocket portion P has a ridge W. The heat seal portion H has a pattern (hereinafter referred to as a seal pattern) in which a large number of small square convex portions are regularly arranged vertically and horizontally and a linear groove is formed between them. . This seal pattern is formed by transferring the pattern on the surface of the crimping member of the crimping device when the wrapping sheet is heat-pressed, and has a different shape depending on the crimping member. The vertical pitch of the square pattern in the seal pattern is λ ₁ , The horizontal pitch is λ ₂ (In this example, λ ₂ = Λ ₁ ).
[0038]
FIG. 2B shows the scanning line L shown in FIG. _k-2 The waveform of the image signal above is shown. This figure will be described later.
[0039]
FIG. 3 shows an outline of the configuration of the biting inspection system for checking whether or not the packing sheet is bitten.
[0040]
The packaging sheet Ob is placed at the center on the conveyor 1 at regular intervals (for example, at intervals of 243 mm) and conveyed at a constant speed (for example, 300 mm / sec). The biting presence / absence check is performed while the packaging sheet Ob is conveyed at the predetermined interval. The packaging sheet Ob is arranged so that its longitudinal direction is orthogonal to the conveying direction of the conveyor 1. The wrapping sheet Ob may be simply placed on the conveyor 1, but it is preferable to fix the wrapping sheet Ob to the conveyor 1 using a claw or the like so that the wrapping sheet Ob does not move.
[0041]
The conveyance speed of the conveyor 1 is detected by the rotary encoder 2. A pulse signal having a frequency corresponding to the conveying speed of the conveyor 1 is output from the encoder 2 and applied to a PLL (Phase Lock Loop) circuit 3. Based on the pulse signal from the rotary encoder 2, the PLL circuit 3 generates a synchronization signal indicating the timing for imaging the packaging sheet Ob. The generated synchronization signal is given from the PLL circuit 3 to the CCD line image sensor 5 and the bite inspection device 10.
[0042]
The synchronizing signal is generated by the CCD line image sensor 5 having one pitch λ in the vertical direction (conveying direction) of the seal pattern shown in FIG. ₁ Is a pulse signal having a frequency sufficient to scan a plurality of times (for example, four times).
[0043]
The packaging sheet Ob conveyed by the conveyor 1 is illuminated with a constant brightness by the illumination device 4 at a position where it is imaged by the CCD line image sensor 5. The illuminating device 4 is disposed above the conveyor 1 so as to uniformly illuminate the entire sheet.
[0044]
The CCD line image sensor 5 is arranged in a direction perpendicular to the conveying direction of the conveyor 1 and picks up the entire length of the packaging sheet Ob from above. The CCD line image sensor 5 includes 2048 photoelectric conversion elements arranged in a line. Instead of the CCD line image sensor 5, a CCD camera or the like that captures the packaging sheet Ob two-dimensionally may be used.
[0045]
In response to the synchronization signal supplied from the PLL circuit 3, the packaging sheet Ob is imaged line by line by the CCD line image sensor 5. An image signal (analog signal) obtained by this imaging is given to the bite inspection device 10.
[0046]
The biting inspection device 10 detects the presence or absence of biting B in the heat seal portion H based on an image signal input from the CCD line image sensor 5. The determination result of the presence or absence of biting is given from the biting inspection device 10 to the defective product discharging device 6.
[0047]
The defective product discharge device 6 removes the defective product from the conveyor 1 when the determination result from the biting inspection device 10 indicates the presence of biting.
[0048]
Referring to FIGS. 2A and 2B, since a regular seal pattern is formed in the heat seal portion H, the image signal has a sinusoidal shape except for the biting B portion.
[0049]
On the other hand, the package is generally in the form of fine powder, fine particles or granules as compared with the pitch of the seal pattern. In the portion B where the packaged object is bitten, the surface of the film shows fine irregularities compared to the seal pattern. In the bite B, light is irregularly reflected by fine irregularities, so that portion becomes dark. Therefore, the image signal representing the biting B portion has a low signal level and an irregular and short period waveform.
[0050]
Since the pocket portion P is generally bright, the image signal representing the pocket portion P has a signal level higher than that of the heat seal portion H except for the portion W. However, the 皺 W part is dark. The pitch of the irregularities on the ridge W is generally larger than that of the seal pattern. Therefore, the image signal representing the portion of 皺 W changes in a relatively long cycle, and the minimum peak of the signal level is as low as the signal level of the image signal representing the biting B. The minimum peak level of the image signal representing 皺 W may be lower than the biting determination level for discriminating biting B.
[0051]
The bite inspection device 10 uses the fact that the signal level of the image signal in the heat seal part H including the bite B varies more finely than the signal level of the image signal in the pocket W of the pocket part P. Distinguish 皺 W.
[0052]
4 shows the scanning line L shown in FIG. _k , L _k-1 , L _k-2 And L _k-3 Image signals obtained by scanning along are shown as image signals A, B, C and D, respectively. The image signal C is the same as that shown in FIG.
[0053]
The image signal A is a scan line L that passes through the straight groove of the heat seal part H. _k Therefore, the signal level is low and constant in the heat seal portion H excluding the biting B. This straight groove (scan line L _k ) And a scanning line L passing through the center of the rectangular convex portion that is 1/2 pitch away from _k-2 The image signal C in the above is sinusoidal as described above, and its amplitude also shows the maximum value. In the pocket portion P, in both the image signals A and C, the signal level is low at the portion of 皺 W.
[0054]
A signal (hereinafter, referred to as a difference signal) representing an absolute value (| A−C |) of a difference between the image signals A and C is indicated by a signal E. In the heat seal part H excluding the portion of the bite B, the difference signal E represents a waveform obtained by subtracting a signal of a certain level from a sinusoidal signal, and has a sine wave shape. It is larger than -B etc.) and shows the maximum value. In the biting B portion, the signal levels of both the image signals A and C are irregular. Therefore, the level of the difference signal E does not become zero, and shows an irregular waveform of a certain level.
[0055]
On the other hand, in the pocket portion P, the level of the difference signal E is zero or almost zero except for the portion of 皺 W. In the portion of 皺 W, a signal component resulting from the displacement of 皺 W appears in the difference signal E. At the position of the minimum peak level of the image signal representing 皺 W, the signal level of the difference signal E is zero or almost zero.
[0056]
Both of the image signals B and D are scanning lines L that pass through a position closer to the linear groove than the center of the square convex portion in the heat seal portion H. _k-1 And L _k-3 Therefore, the heat seal portion H excluding the biting B shows a sine wave shape, and its amplitude is about ½ of the amplitude of the image signal C. The signal component representing the biting B portion in the image signals B and D is similar to that of the image signal A or C, that is, the signal level is low and irregular. In the image signals B and D, the signal component representing the pocket portion P including the portion of 皺 W is substantially the same as that of the image signals A and C. The position of the minimum peak / level is shifted by the position shift of の W.
[0057]
A difference signal representing the absolute value (| B−C |) of the difference between these image signals B and D is shown as a signal F. The signal level of the difference signal F is zero or almost zero except for the biting B and the ridge W. Similar to the difference signal E, the difference signal F has an irregular signal component in the biting B portion. In the portion of 皺 W, a signal component representing the amount corresponding to the deviation of 分 W appears in the difference signal F. However, at the position of the minimum peak level of 零 W, the level of the difference signal F is zero or almost zero. Become.
[0058]
A signal representing the sum of these two difference signals E and F (hereinafter referred to as an enhancement difference signal) is shown as a signal G (this signal G is smoothed by a low-pass filter as will be described later).
[0059]
A signal indicating the average value of the signal levels of the four image signals A, B, C, and D (hereinafter referred to as an average signal) is shown as a signal H (indicated by a chain line) (as will be described later), smoothed by a low-pass filter. ).
[0060]
A signal obtained by subtracting the enhancement difference signal G from the average signal H (hereinafter referred to as a preprocessed image signal) is shown as a signal I. The level of the enhancement difference signal G in the heat seal portion H including the biting B portion is not zero, and since this enhancement difference signal G is subtracted from the average signal H, the preprocessed image signal I in the heat seal portion H The signal level is lowered overall.
[0061]
On the other hand, in the enhancement difference signal G, the minimum peak level of the signal component representing the portion of 皺 W of the pocket portion P is zero or almost zero, so the minimum of the signal component representing 皺 W of the preprocessed image signal I is obtained. The peak level is hardly changed by this subtraction process (HG).
[0062]
In this way, in the preprocessed image signal I, the signal level representing the biting B is lower than the minimum peak level of the component representing 皺 W, so the biting judgment level is set between these two levels. By doing so, the biting B can be distinguished from the ridge W. In the preprocessed image signal I, a sinusoidal signal component (wave) caused by the seal pattern of the heat seal portion H is considerably removed (wave cancellation).
[0063]
Since the image signal component representing the bite B includes a random waveform component, the two adjacent scan lines (the scan line L described above) are included. _k And L _k-2 , Or L _k-1 And L _k-3 ) Is relatively small. The unevenness change in the heel W is slower than the unevenness change in the bite B. Therefore, the image signal component representing 皺 W has a relatively large correlation between two adjacent scanning lines.
[0064]
Therefore, when the difference (preferably the absolute value) of the image signals along two adjacent scanning lines is taken, the level of the portion representing the biting B of this difference signal is not zero but has a certain value. , 皺 W represents a level (particularly its minimum peak level) is zero or close to it.
[0065]
If the difference signal is subtracted from the image signal along a certain scanning line, the level of the biting B portion is lowered in the image signal representing the subtraction result, and the level of the portion representing 皺 W is hardly changed. In this way, it is possible to distinguish between the portion representing biting B and the portion representing heel W on the level of the image signal.
[0066]
In order to distinguish between the portion representing bite B and the portion representing heel W, at least two adjacent scanning lines (preferably pitch λ ₁ Image signal that falls within the range of
[0067]
In the above embodiment, the pitch λ ₁ Since four scanning lines are set within the range of, and the sum of the differences between the two image signals (enhancement difference signal) is used, it is easier to distinguish between biting B and 皺 W. It has become. Also, since the average signal of the four image signals is obtained and the enhancement difference signal is subtracted from this average signal, the deviation of the imaging start position of the packaging sheet, the slight inclination of the packaging sheet, the illuminance of the illumination device 4 It is strong against fluctuations, etc.
[0068]
Details of the bite inspection device 10 will be described with reference to FIG.
[0069]
The bite inspection device 10 generates the above-described preprocessed image signal I using the image signal from the sensor 5 and performs threshold processing on the preprocessed image signal I to thereby heat the packaging sheet Ob. Biting in the seal portion H is detected. The biting inspection apparatus 10 also obtains a final determination result by confirming that the portion determined to be bitten by the threshold processing is not the perforation M, the notch N, the printed character, or the like.
[0070]
The image signal from the sensor 5 is given to the sheet detection circuit 12 and the wave cancel circuit 20. The synchronization signal from the PLL circuit 3 is given to the clock generation circuit 11 and the biting determination circuit 40.
[0071]
The clock generation circuit 11 generates a clock pulse signal for sampling the image signal from the sensor 5 for each pixel in response to the input synchronization signal. When the clock / pulse signal is output from the sensor 5 together with the image signal, the clock / pulse signal from the sensor 5 may be used. Since the sensor 5 includes 2048 pixels per scanning line, the clock generation circuit 11 outputs 2048 clock pulse signals during one cycle of the synchronization signal.
[0072]
This clock pulse signal is supplied to the wave cancel circuit 20, the sheet detection circuit 12, the address counter 13 of the image memory 14, and the bite determination circuit 40.
[0073]
The signal level of the image signal obtained by imaging the conveyor 1 is much lower than the signal level obtained by imaging the packaging sheet Ob, and is lower than the signal level representing the biting B and the ridge W. Using a threshold level (this is called a dark level, see FIG. 2 (B)) for detecting a wrapping sheet Ob set to a level lower than the signal level representing biting B or 皺 W, The sheet detection circuit 12 detects that the packaging sheet Ob conveyed on the conveyor 1 is imaged by the sensor 5.
[0074]
In the sheet detection circuit 12, the image signal from the sensor 5 is compared with a dark level set in advance (or supplied from the control circuit 17) in synchronization with the clock pulse signal (for each pixel). The number of pixels in which the image signal exceeds the dark level is counted in the sheet detection circuit 12. When this count exceeds a preset number of pixels (or a little shorter than the total length) corresponding to the total length of the packaging sheet Ob (given from the control circuit 17), or a constant centered on the number of pixels When it falls within the range, a determination start signal is output from the sheet detection circuit 12 and is supplied to the bite determination circuit 40 and the address counter 13.
[0075]
When a trigger signal is output from the drive control device (not shown) of the conveyor 1 every time the package sheet reaches the image pickup device of the sensor 5, this trigger signal is used instead of the determination start signal of the sheet detection circuit 12. Can be used.
[0076]
The wave cancel circuit 20 generates the above preprocessed image signal I from the image signal from the sensor 5. A detailed configuration of the wave cancel circuit 20 is shown in FIG.
[0077]
The clock pulse signal is supplied to the A / D conversion circuit 21, the one-line delay circuits 22, 23, 24, and the D / A conversion circuits 25, 26, 27, 28. These circuits are synchronized with the clock pulse signal. Operate.
[0078]
In response to the clock pulse signal from the clock generation circuit 11 (for each pixel), the image signal (analog signal) from the sensor 5 is gray level digital data (image data) by the A / D conversion circuit 21. Is converted to The image data is, for example, 8-bit data that represents the signal level (luminance) of the image signal in 256 gradations.
[0079]
Image data output from the A / D conversion circuit 21 is delayed by one line by a one-line delay circuit 22. The output image data of the 1-line delay circuit 22 is delayed by 1 line by the 1-line delay circuit 23. Further, the output image data of the 1-line delay circuit 23 is delayed by 1 line by the 1-line delay circuit 24.
[0080]
Each of the 1-line delay circuits 22, 23 and 24 stores image data for one scanning line (2048 pixels), and shifts the stored image data in response to a clock pulse signal. The one-line delay circuit is realized by, for example, a FIFO (First In First Out) buffer, a shift register, or the like.
[0081]
The image data output from the A / D conversion circuit 21 and the image data output from the delay circuits 22, 23 and 24, respectively, are output by a D / A conversion circuit 25 and D / A conversion circuits 26, 27 and 28, respectively. It is converted into an image signal (analog signal).
[0082]
An example of an image signal output from these D / A conversion circuits 25, 26, 27 and 28 is the above-described scanning line L. _k , L _k-1 , L _k-2 And L _k-3 (See FIG. 2A), and are image signals A, B, C and D.
[0083]
The image signal A output from the D / A conversion circuit 25 and the image signal C output from the D / A conversion circuit 27 are supplied to the differential amplifier circuit 29. A signal representing the difference between the image signals A and C output from the differential amplifier circuit 29 is full-wave rectified by a full-wave rectifier circuit 31. The output signal of the full-wave rectifier circuit 31 is a difference signal E shown in FIG.
[0084]
Similarly, the image signal B output from the D / A conversion circuit 26 and the image signal D output from the D / A conversion circuit 28 are supplied to the differential amplifier circuit 30. A signal representing the difference between the image signals B and D output from the differential amplifier circuit 30 is full-wave rectified by a full-wave rectifier circuit 32. The output signal of the full-wave rectifier circuit 32 is the difference signal F shown in FIG.
[0085]
The two difference signals E and F that have been full-wave rectified by the full-wave rectifier circuits 31 and 32 are added by the adder / smoothing circuit 34 and smoothed (low-pass filtering). The output signal of the addition / smoothing circuit 33 is the enhancement difference signal G shown in FIG. The smoothing is for attenuating the sinusoidal signal level fluctuation caused by the square convex portion of the heat seal portion H to obtain a stable enhancement difference signal G.
[0086]
On the other hand, the four image signals converted into analog signals by the D / A conversion circuits 25, 26, 27 and 28 are averaged and smoothed (low-pass filtering) by the averaging / smoothing circuit 34. The output signal of the averaging / smoothing circuit 34 is the average signal H shown in FIG.
[0087]
The output signal G of the addition / smoothing circuit 33 is subtracted from the output signal H of the average / smoothing circuit 34 by the differential amplifier circuit 35. The output signal of the differential amplifier circuit 35 is the preprocessed image signal I shown in FIG.
[0088]
As the one-line delay circuit, an image signal can be held (stored) for each pixel as an analog signal, and the held analog signal can be shifted in response to a clock pulse signal.
[0089]
The differential amplifier circuits 29, 30 and 35, the full-wave rectifier circuits 31 and 32, the addition / smoothing circuit 33, and the averaging / smoothing circuit 34 can all be constituted by digital circuits. The functions of these circuits 29 to 35 can also be realized by a programmed computer.
[0090]
Referring again to FIG. 5, the output signal (processed image signal) of the differential amplifier circuit 35 of the wave cancel circuit 20 is supplied to the biting determination circuit 40 and the A / D conversion circuit 18.
[0091]
The preprocessed image signal is converted into image data (8-bit data) by the A / D conversion circuit 18 in response to the clock pulse signal from the clock generation circuit 11, and an address generated from the address counter 13 is generated. It is stored in the storage location of the image memory 13 designated by the signal. The address counter 13 starts an address signal generation operation in response to the determination start signal output from the sheet detection circuit 12. The image memory 14 and the status memory 15 are cleared by a determination start signal output from the sheet detection circuit 12. Therefore, the image memory 14 stores all the image data representing the one package sheet that was captured last.
[0092]
The address counter 13 starts its operation from the time when the determination start signal is input, and generates the address signal of the image memory 14 for storing the image data by counting the clock pulse signals from the clock generation circuit 11. The count value (address signal) of the address counter 13 is cleared by the determination start signal from the sheet detection circuit 12 before the address signal generation operation is started.
[0093]
The biting judgment circuit 40 uses the biting judgment level set to a level higher than the signal level representing the biting B and lower than the minimum peak level of the signal representing 皺 W. Is determined.
[0094]
The biting determination circuit 40 receives a determination start signal from the sheet detection circuit 12, and then starts a determination operation for the presence or absence of biting when a synchronization signal is input from the PLL circuit 3.
[0095]
Considering the preprocessed image signal for one line given from the wave cancel circuit 20, most of the center of this image signal represents the image of the wrapping sheet, but both ends thereof are the surface of the conveyor 1. This is a very low level (below the dark level).
[0096]
The biting judgment circuit 40 is bitten by the control circuit 17 during the period from when the preprocessed image signal exceeds the dark level for each scanning line to immediately before the image signal again falls below the dark level. Threshold processing is performed in response to the clock pulse signal from the clock generation circuit 11 (for each pixel) using the determination level. This threshold processing is performed for all scanning lines over the entire width of the packaging sheet Ob (width in the transport direction).
[0097]
Image data representing the entire area of the packaging sheet Ob is divided into a plurality of blocks. Each block is composed of 64 pixels in the horizontal direction (line scanning direction) and 64 lines in the vertical direction. If there is an image signal that falls below the biting determination level for at least one pixel among the image signals of the pixels included in each block, the biting flag is set for that block. Based on this biting flag, the biting judgment circuit 40 creates status data indicating the presence or absence of biting for each block and stores this status data in the status memory 15 (when the biting flag is set). The status data with biting is created in the block that is).
[0098]
When the number of lines obtained by counting the synchronization signal after the start of the biting determination reaches the number of lines corresponding to the width of the packaging sheet Ob (length in the transport direction), the biting determination circuit 40 The biting determination is finished for the wrapping sheet. When the biting determination is completed for one wrapping sheet, a determination end signal is given from the biting determination circuit 40 to the control circuit 17. When this determination end signal is input, the control circuit 17 uses the neural network 16 to perform final determination processing.
[0099]
In the smoothing circuits 33 and 34 of the wave cancellation circuit 20, since the enhancement difference signal G and the average signal H are smoothed, the biting determination circuit 40 does not erroneously determine impulse noise or the like as biting. Or less.
[0100]
As described above, the perforated sheet Ob is formed with perforations M and I notches N, and a character string such as a product name, model number, content, and content, a symbol, a band print BP, and the like are printed thereon. Since the image signals representing these can also be below the biting determination level, the biting determination circuit 40 may set the biting flag. The neural network 16 re-determines the block that the biting determination circuit 40 determines as having bite. Based on the determination result of the neural network 16, the control circuit 17 makes a final determination as to whether or not there is biting.
[0101]
The control circuit 17 accesses the status memory 15, refers to the status data, and searches for a block that is determined to be bitten. If there is no corresponding block, the final determination result that the wrapping sheet Ob is not bitten is output from the control circuit 17 and given to the defective product discharging apparatus 6.
[0102]
When there is a block that is determined to be bitten, the control circuit 17 determines a pattern determination region that causes the neural network 16 to perform determination again in the block. The pattern determination area is a square area of 16 pixels × 16 lines, and is determined around the pixel position having the lowest luminance level. The center position of the pattern determination area can be determined by other various methods. For example, the center position may be the center of gravity calculated based on the image data having a value smaller than the biting determination level and the pixel positions of these image data. Needless to say, the size of the pattern determination area is not limited to the above.
[0103]
Image data included in the determined pattern determination area is transferred from the image memory 14 to the neural network 16 by the control circuit 17.
[0104]
FIG. 7 shows the structure of the neural network 16. The neural network 16 includes an input layer, an intermediate layer, and an output layer. As the neural network 16, for example, a known neural network emulation processor is used.
[0105]
The number of units (neurons) in the input layer is determined according to the number of input image data. Since the pattern judgment area is 16 lines x 16 pixels, 256 units are provided in the input layer.
[0106]
The number of units in the middle layer is selected in consideration of learning ability and judgment speed. In this example, the intermediate layer has 32 units. A plurality of intermediate layers may be provided.
[0107]
The output layer is provided with two units for outputting “OK” and “NG”, respectively. An “OK” output is generated when the pattern represented by the input image data matches or resembles a previously learned pattern (pattern other than biting). Since the neural network 16 distinguishes biting from other patterns, the output layer may be only the unit “OK”.
[0108]
The neural network 16 performs a large amount of floating-point arithmetic, and the neural network structure shown in FIG. 7 has 33236 floating-point numbers for one-time pattern determination (multiple patterns can be determined simultaneously). An operation is performed.
[0109]
100MHz operating frequency as an emulation processor _Z When the PowerPC 601 is used, the calculation time for one pattern determination in the neural network 16 is about 3 msec. In the configuration described above (particularly FIG. 3), the time allowed for the judgment of biting for one wrapping sheet Ob (the time required for one wrapping sheet to be conveyed at an interval of 243 mm) is 810 msec. Therefore, it is possible to re-determine about 270 patterns during this allowable time. When the number of re-determination points may exceed 270, or when higher-speed processing is required, a plurality of neural networks may be provided so that each neural network performs re-determination in parallel.
[0110]
An example of a pattern that the neural network 16 learns in advance is shown in FIG. FIGS. 8A and 8C are examples of patterns representing perforations. FIG. 8B shows an example of an I-notch pattern formed so as to cross perforations. FIG. 8D is an example of a pattern representing characters, symbols, etc. indicating the product name, type, content, content, etc., and the numeral “2” is shown here.
[0111]
In this way, the neural network 16 learns in advance about patterns that are expressed on the surface of the packing sheet and are likely to be mistaken. Also in this learning, image data obtained from the preprocessed image signal preprocessed by the wave cancel circuit 20 is used. Learning is performed for each pattern so that the output layer unit “OK” becomes “1” and the output layer unit “NG” becomes “0”.
[0112]
When the image data in the pattern determination area determined by the control circuit 17 is transferred from the image memory 14 to the neural network 16, the output layer units “OK” and “NG” are output based on the image data in the neural network 16. ”Is calculated (Forward Propagation). The output of the output layer unit “OK” is given to the control circuit 17 as a determination result of the neural network 16.
[0113]
When the image represented by the image data included in the pattern determination area matches or resembles a previously learned pattern, “1” is output from the output layer unit “OK”.
[0114]
It can happen that both output layer units “OK” and “NG” output “1” at the same time, or output “0” at the same time. The biting inspection apparatus 10 only needs to be able to detect the packaging sheet Ob that clearly includes biting as a defective product. Therefore, the image included in the pattern determination area is output only when “1” is output from the output layer unit “OK”. It is sufficient to determine that the pattern represented by the data is other than perforations, I notches, printed characters, and the like.
[0115]
Therefore, when the output layer unit “OK” outputs “0”, the pattern represented by the image data included in the pattern determination region is not a pattern learned in advance by the neural network 16 but is bitten. Determined.
[0116]
Pattern determination by the neural network 16 is performed for all blocks for which the biting determination circuit 20 has set the biting flag. When “0” is output from the output layer unit “OK” of the neural network 16 with respect to at least one block, the control circuit 17 finally determines that the packaging sheet Ob is bitten. The final determination result is output from the control circuit 17 and is given to the defective product discharging apparatus 6.
[0117]
In this way, each packaging sheet Ob conveyed by the conveyor 1 is inspected as to whether or not the heat seal portion H is bitten.
[0118]
FIG. 9 (B) shows a scanning line L passing through the surface without the band printing BP for the packaging sheet Ob shown in FIG. 9 (A). ₁ Waveform of image signal along the top (L ₁ And a scanning line L that passes through the portion where the band printing BP is present. ₂ The waveform of the image signal along the line (L ₂ ). Scan line L with belt printing BP ₂ The signal level of the upper image signal is the scanning line L without the band printing BP. ₁ The overall signal level is lower than the signal level of the image signal above. Scanning line L passing on the belt printing BP ₂ The signal level of the image signal may be equal to or lower than the biting determination level even though there is no biting in the heat seal portion H.
[0119]
In this embodiment, the biting determination circuit 40 corrects the signal level on the scanning line of the portion where the band printing BP is printed to the same level as the signal level on the scanning line of the portion where the band printing BP is not present. are doing.
[0120]
The signal level along the scanning line on the surface where the band printing BP is printed is compared with the signal level along the scanning line on the surface where the band printing BP is not printed, and a correction value is preliminarily determined based on the difference. Calculated. This correction value is set in advance in the bite determination circuit 40 (or given from the control circuit 17). In calculating the correction value, an average value in a plurality of packaging sheets may be obtained.
[0121]
The biting determination circuit 40 corrects the preprocessed image signal given from the wave cancel circuit 20 using the correction value, for example, as follows. The width up to the top edge of the band printing BP of the packaging sheet Ob is h ₂ And the width to the bottom edge of the belt print BP is h ₁ (H ₁ , H ₂ Is represented by the number of scan lines scanning this width). After the determination start signal is given, the biting determination circuit 40 counts the number of synchronization signals. The synchronization signal is output as one pulse per line. This count is h ₂ From the time of reaching ₁ The bite determination circuit 40 adds a level corresponding to the correction value to the preprocessed image signal from the wave cancel circuit 20 until the value reaches, and performs bite determination on the added image signal. The biting determination may be performed on the image signal from the wave cancel circuit 20 using the corrected biting determination level obtained by subtracting the level corresponding to the correction value from the biting determination level. .
[0122]
In this way, the setting of biting due to the low signal level of the image signal on the scanning line of the portion where the band printing BP is printed is prevented.
[0123]
In the above embodiment, the neural network 16 is used to distinguish perforations, I notches, characters, symbols, and the like from bites. Instead of using the neural network 16, an area having perforations, I notches, characters, and the like to be distinguished from biting may be masked. The biting determination circuit 40 does not perform biting determination for the masked area.
[0124]
FIG. 10 shows an example of a region masked on the image of the packaging sheet Ob.
[0125]
The area to be masked with respect to the perforation M is such that the center position (pixel position) of the mask is m in the length direction of the packaging sheet Ob. ₁ , M ₂ And the mask width (number of pixels) is m _w It is prescribed by.
[0126]
The area to be masked with respect to the I notch N is the center position m of the mask in the longitudinal direction of the packaging sheet Ob. ₁ , M ₂ And the mask width (number of pixels) is i. _w It is prescribed by. The mask start position (line) is i in the width direction of the packaging sheet Ob. _p And the width of the mask is i _h It is prescribed by.
[0127]
In the area where the band printing BP is masked, the mask start position (line) is h in the width direction of the packaging sheet Ob. ₂ And the end position (line) of the mask is h ₁ It is prescribed by. The band printing BP does not need to be masked if the level correction described above is performed.
[0128]
In the area masking the character string “26X” representing the content, the mask start position (pixel position) is n in the length direction of the packaging sheet Ob. ₁ , N ₂ , N _Three And the mask width (number of pixels) is n _w It is prescribed by. Regarding the width direction of the packaging sheet Ob, the mask start position (line) is the mask print BP mask end position h. ₁ Width n from _p And the mask width (number of lines) is n _h It is prescribed by.
[0129]
These parameters relating to the mask are set in the control circuit 17 for each type of packaging sheet according to the shape of the packaging sheet Ob. The biting determination circuit 40 refers to the parameters set in the control circuit 17, and performs biting determination after masking the image of the packaging sheet Ob.
[0130]
Parameters defined by the number of pixels (m ₁ , M ₂ , M _w , I _w , N ₁ , N ₂ , N _Three , N _w ) And the number of pixels obtained by counting the clock signal, the start position and end position of the mask region in the length direction are determined. Parameters related to the number of lines (i _p , I _h , H ₁ , H ₂ , N _p , N _h ) And the count value obtained by counting the synchronization signal, the start position and end position of the mask area in the width direction are determined.
[0131]
Needless to say, the inspection target of the bite inspection system is not limited to the above-described three-packed one sheet, but may be a sheet on which one or more packages are formed.
[Brief description of the drawings]
FIG. 1 shows an example of a packaging sheet.
FIG. 2A is an enlarged view of a part of a wrapping sheet, showing an example in which the heat seal part has a bite and the pocket part has wrinkles. (B) is the scanning line L shown in (A). _k-2 The waveform of the image signal along
FIG. 3 shows the overall configuration of a bite inspection system.
FIG. 4 shows the waveform of each signal in a wave cancel circuit.
FIG. 5 is a block diagram showing a detailed configuration of the bite inspection device.
FIG. 6 is a block diagram showing a detailed configuration of a wave cancel circuit.
FIG. 7 shows an example of the structure of a neural network.
FIG. 8 (A), (B), (C) and (D) each show an example of a pattern to be learned by a neural network.
9A shows the position of the scanning line on the packaging sheet, and FIG. 9B shows the scanning line L. ₁ And L ₂ The waveform of the image signal along
FIG. 10 shows a mask area set on the packaging sheet.
[Explanation of symbols]
1 Conveyor
2 Encoder
3 PLL circuit
4 Lighting equipment
5 CCD line image sensor
6 Defective product discharge device
10 Biting inspection device
11 Clock generation circuit
12 Sheet detection circuit
13 Address counter
14 Image memory
15 Status memory
16 Neural network
17 Control circuit
18, 21, A / D conversion circuit
20 Wave cancel circuit
22, 23, 24 1 line delay circuit
25, 26, 27, 28 D / A converter circuit
29, 30, 35 Differential amplifier circuit
31 and 32 both wave rectifier circuit
33 Adder / Smoothing circuit
34 Averaging / smoothing circuit
40 Biting detection circuit

Claims (9)

ポケット部に被包装物が充填され，かつ上記ポケット部の周囲が圧着されたシール部をもつ分包シートについて，上記シール部における上記被包装物の噛込を検査する装置であり，
上記分包シートを撮像し，この撮像により得られる画像信号を出力する撮像手段，
上記撮像手段から出力される近接する少なくとも２つの走査ラインに沿う画像信号の差を画像信号から減算して得られる前処理済画像信号を生成する前処理手段，および
上記前処理手段により生成された前処理済画像信号をあらかじめ設定された閾値で閾値処理することによって，上記分包シートのシール部に被包装物の噛込があるかどうかを判定する噛込判定手段，
を備えた噛込検査装置。A device for inspecting the biting of the article to be packaged in the seal part with respect to a packaging sheet having a seal part in which the object to be packaged is filled in the pocket part and the periphery of the pocket part is crimped,
An imaging means for imaging the packaging sheet and outputting an image signal obtained by the imaging;
A preprocessing means for generating a preprocessed image signal obtained by subtracting a difference between image signals along at least two adjacent scanning lines output from the imaging means from the image signal, and generated by the preprocessing means A biting judging means for judging whether or not there is biting of an object to be packaged in the sealing portion of the packaging sheet by thresholding the preprocessed image signal with a preset threshold;
A bite inspection device. 上記前処理手段により生成された前処理済画像信号を画像データに変換するＡ／Ｄ変換手段，
上記Ａ／Ｄ変換手段によって変換された画像データを記憶する画像メモリ，
上記噛込判定手段によって噛込があると判定された画像データの位置を表わすステータス・データを記憶するステータス・メモリ，
上記ステータス・メモリに記憶されたステータス・データに基づいて，噛込があると判定された位置を含む判定領域を決定し，この判定領域内に含まれる画像データを，上記画像メモリから読出すデータ抽出手段，
上記データ抽出手段によって読出された判定領域内の画像データを入力とし，この画像データによって表される画像パターンが，あらかじめ設定された１または複数の所定の画像パターンの一に一致または類似するかどうかを判定する画像パターン判定手段，ならびに
上記画像パターン判定判定手段が上記一または複数の所定の画像パターンの少なくとも一に一致または類似しないと判定したときに，上記分包シートのシール部に被包装物の噛込があると判定し，上記噛込判定手段が噛込があると判定しなかったとき，および上記画像パターン判定手段が上記一または複数の所定の画像パターンの少なくとも一に一致または類似するとの判定したときに，上記分包シートのシール部に被包装物の噛込がないと判定する総合判定手段，
をさらに備えた請求項１に記載の噛込検査装置。A / D conversion means for converting the preprocessed image signal generated by the preprocessing means into image data;
An image memory for storing image data converted by the A / D conversion means;
A status memory for storing status data indicating the position of the image data determined to be bitten by the biting judgment means;
Based on the status data stored in the status memory, a determination area including a position determined to be bitten is determined, and image data included in the determination area is read from the image memory. Extraction means,
Whether the image data in the determination area read by the data extraction means is input, and whether the image pattern represented by the image data matches or resembles one or more preset predetermined image patterns And when the image pattern determination determination unit determines that the image pattern determination determination unit does not match or resemble at least one of the one or more predetermined image patterns. When the biting determination means does not determine that there is biting, and the image pattern determination means matches or resembles at least one of the one or more predetermined image patterns Comprehensive determination means for determining that there is no biting of the packaged object in the seal part of the packaging sheet when
The bite inspection device according to claim 1, further comprising: 上記前処理手段は，上記少なくとも２つの走査ラインに沿う画像信号の平均から上記画像信号の差を減算するものである，請求項１に記載の噛込検査装置。The bite inspection device according to claim 1, wherein the preprocessing means subtracts a difference between the image signals from an average of the image signals along the at least two scanning lines. 上記前処理手段は，近接する４つの走査ラインに沿う画像信号のうち，いずれか２つの画像信号の差と，他の２つの画像信号の差との和を求めることにより強調差信号を得，上記４つの画像信号の平均をとることにより平均画像信号を得，平均画像信号から強調差信号を減算することにより上記前処理済画像信号を得るものである，請求項１に記載の噛込検査装置。The preprocessing means obtains an enhanced difference signal by obtaining a sum of a difference between any two image signals and a difference between the other two image signals among the image signals along the four adjacent scanning lines, The bite inspection according to claim 1, wherein an average image signal is obtained by taking an average of the four image signals, and the preprocessed image signal is obtained by subtracting an enhancement difference signal from the average image signal. apparatus. 上記画像パターン判定手段は，上記１または複数の所定の画像パターンをあらかじめ学習したニューラル・ネットワークによって構成される，請求項２に記載の噛込検査装置。The bite inspection device according to claim 2, wherein the image pattern determination means is configured by a neural network that has learned the one or more predetermined image patterns in advance. 上記噛込判定手段は，あらかじめ設定された分包シートのマスク領域以外の領域を表わす前処理済画像信号について噛込の判定を行う，請求項１に記載の噛込検査装置。The biting inspection device according to claim 1, wherein the biting determination means performs biting determination on a preprocessed image signal representing an area other than a mask area of a pre-set packaging sheet. 上記噛込判定手段は，上記分包シートの所定領域における走査ラインの前処理済画像信号を，あらかじめ設定された補正値を用いて補正し，この補正画像信号について噛込の判定を行う，請求項１に記載の噛込検査装置。The biting determination means corrects a preprocessed image signal of a scanning line in a predetermined area of the packaging sheet using a preset correction value, and determines biting with respect to the corrected image signal. The biting inspection apparatus according to Item 1. ポケット部に被包装物が充填され，かつ上記ポケット部の周囲が圧着されたシール部をもつ分包シートについて，上記シール部における上記被包装物の噛込を検査する方法であり，
上記分包シートを撮像することにより画像信号を得，
撮像により得られた近接する少なくとも２つの走査ラインに沿う画像信号の差を画像信号から減算して得られる前処理済画像信号を生成し，
生成された前処理済画像信号をあらかじめ設定された閾値で閾値処理することによって，上記分包シートのシール部に被包装物の噛込があるかどうかを判定する，
噛込検査方法。It is a method for inspecting the biting of the object to be packaged in the seal part for a packaging sheet having a seal part in which the object to be packaged is filled in the pocket part and the periphery of the pocket part is crimped.
An image signal is obtained by imaging the packaging sheet,
Generating a preprocessed image signal obtained by subtracting a difference between image signals along at least two adjacent scanning lines obtained by imaging from the image signal;
The generated preprocessed image signal is subjected to threshold processing with a preset threshold value, thereby determining whether or not there is a bite of the package in the sealing portion of the packaging sheet.
Bite inspection method. 生成された前処理済画像信号を画像データにＡ／Ｄ変換し，
Ａ／Ｄ変換された画像データを画像メモリに記憶し，
噛込があると判定された画像データの位置を表わすステータス・データをステータス・メモリに記憶し，
上記ステータス・メモリに記憶されたステータス・データに基づいて噛込があると判定された位置を含む判定領域を決定し，この判定領域内に含まれる画像データを，上記画像メモリから読出し，
読出された判定領域内の画像データを入力とし，この画像データによって表される画像パターンが，あらかじめ設定された１または複数の所定の画像パターンの一に一致または類似するかどうかを判定し，
上記一または複数の所定の画像パターンの少なくとも一に一致または類似しないと判定したときに，上記分包シートのシール部に被包装物の噛込があると判定し，
噛込があると判定しなかったとき，および上記一または複数の所定の画像パターンの少なくとも一に一致または類似するとの判定したときに，上記分包シートのシール部に被包装物の噛込がないと判定する，
請求項８に記載の噛込検査方法。The generated preprocessed image signal is A / D converted into image data,
Store the A / D converted image data in the image memory,
Status data indicating the position of image data determined to be bitten is stored in the status memory,
Determining a determination area including a position determined to be bitten based on the status data stored in the status memory, and reading out image data included in the determination area from the image memory;
The image data in the read determination area is input, and it is determined whether the image pattern represented by the image data matches or resembles one or more predetermined image patterns set in advance,
When it is determined that it does not match or resemble at least one of the one or more predetermined image patterns, it is determined that there is a bite of a packaged item in the sealing portion of the packaging sheet,
When it is determined that there is no bite, and when it is determined that it matches or resembles at least one of the one or more predetermined image patterns, the packaged object is bitten into the seal portion of the packaging sheet. Judge that there is no
The biting inspection method according to claim 8.

Images