JP2014145652A - 異物検査装置 - Google Patents

異物検査装置 Download PDF

Info

Publication number
JP2014145652A
JP2014145652A JP2013014160A JP2013014160A JP2014145652A JP 2014145652 A JP2014145652 A JP 2014145652A JP 2013014160 A JP2013014160 A JP 2013014160A JP 2013014160 A JP2013014160 A JP 2013014160A JP 2014145652 A JP2014145652 A JP 2014145652A
Authority
JP
Japan
Prior art keywords
foreign matter
image
candidate point
foreign
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013014160A
Other languages
English (en)
Other versions
JP6028919B2 (ja
Inventor
Makoto Takiishi
誠 滝石
Masao Nito
正夫 仁藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2013014160A priority Critical patent/JP6028919B2/ja
Publication of JP2014145652A publication Critical patent/JP2014145652A/ja
Application granted granted Critical
Publication of JP6028919B2 publication Critical patent/JP6028919B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】異物ではない割れ・穴と、異物と、を確実に区別し、異物検知率の増加と誤検知率の低減をともに実現する異物検査装置を提供する。
【解決手段】加振装置10により振動するバッグ2に対して照明装置20が照明し、このバッグ2内の粉末を撮影したカメラ30の検出信号を用いて、信号処理装置40が、所定期間毎の複数枚の画像を取得し、画像のライン別の部分候補点を各画像のライン毎に抽出し、画像のライン別の部分候補点に基づいて画像別の第1の候補点を画像毎に抽出し、この第1の候補点に基づいて複数毎の画像にわたって所定範囲内に時間的に連続して現れる第2の候補点を抽出し、この第2の候補点のうち所定の基準を満たす異物候補点を抽出し、この異物候補点のうち割れ・穴を除いて異物と判定するような異物検査装置1とした。
【選択図】図2

Description

本発明は、粉末表層面にある微細な紙・金属・樹脂・布・皮・糸・髪・塵埃等の異物(以下、単に異物という)の有無を検出する異物検査装置に関する。
粉末に混入した異物を検査する場合、粉末の中に埋もれた異物を粉末表層面に浮上させる必要がある。そこで粉末に振動を与えることで粉末表層面に異物を出現させている。このように粉末に振動を与えて異物を検査する装置は、例えば、特許文献1、2等に開示されたものが知られている。
特許文献1には、透明容器に振動を加えて、粉末と比重が異なる異物を分離させ、分離した異物を検査する方法が開示されている。そして検査員の目視によりこの異物を検査する点、または、検査員の目視に代えて工業用カメラを用いて異物を検査する点などが開示されている。
また、特許文献2には、縦方向および横方向に透明容器を加振し、粉末を容器内で回転対流させ、この粉末を撮影した動画を用いて異物を検出する装置が開示されている。異物を粉末表層面に確実に出現させて、確実に動画処理を行えるようにしている。
特開平02−187646号公報(実施例全文、第4図,第5図等) 特開2010−8339号公報(段落[0013],[0014],図3,図4等)
粉末を加振するとき、粉末に割れ、穴、凹凸(以下、割れ・穴と総称する)が生じる。画像処理により異物を検出する場合、異物と割れ・穴との区別は容易ではなく、割れ・穴を異物と誤検知するおそれがあった。
画像処理による検知では、異物をもれなく確実に検知するように検知率を上げたとき、異物ではない割れ・穴も異物であると検知して誤検知率が増加するという課題があった。
逆に、異物は検知するが割れ・穴は検知しないように誤検知率を抑えたとき、異物も見逃して検知率が低下するという課題があった。
異物と割れ・穴との切り分けが効果的に行われない限り、異物検知率と誤検知率とをともに向上させることは容易ではないという課題があった。
引用文献1には工業用カメラを用いて検査する点が開示されているが、どのように画像処理を行って異物を検出するかについてまでは開示されていない。
また、引用文献2には、画像処理について言及されているが、予め設定したしきい値に基づいて取込んだ画像の各点における2値化処理を行って異物の有無を判定するというものであり、特に深い穴や割れがある場合には黒色であると判定されて異物として誤認識されるおそれがある。
このように割れ・穴を考慮して画像処理を行う検査装置については従来では存在していなかった。割れ・穴に影響されることなく異物を確実に検出できるような異物検査装置が希求されていた。
そこで本発明は、前記した課題に鑑みてなされたものであり、その目的は、異物ではない割れ・穴と、異物と、を確実に区別し、異物検知率の増加と誤検知率の低減をともに実現する異物検査装置を提供することにある。
本発明の請求項1に係る異物検査装置は、
透明収容体内に充填された粉末中への異物の混入の有無を検査する異物検査装置において、
透明収容体に振動を加えて透明収容体内の粉末を流動させて異物を粉末の表層面へ移動させる加振装置と、
透明収容体内の粉末およびこの粉末の表層面の異物に透明収容体の透明なシート面を通して光を照射する照明装置と、
透明収容体内で流動する粉末およびこの粉末の表層面の異物からの反射光を透明収容体の透明なシート面を通して撮影するカメラと、
カメラの出力信号から所定期間毎の複数枚の画像を取得し、画像のライン別の部分候補点を各画像のライン毎に抽出し、画像のライン別の部分候補点に基づいて画像別の第1の候補点を画像毎に抽出し、この第1の候補点に基づいて複数毎の画像にわたって所定範囲内に時間的に連続して現れる第2の候補点を抽出し、この第2の候補点のうち所定の基準を満たす異物候補点を抽出し、この異物候補点のうち割れ・穴を除いて異物と判定する信号処理装置と、
を備えることを特徴とする。
また、本発明の請求項2に係る異物検査装置は、
請求項1に記載の異物検査装置において、
画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、一枚の画像中の一のラインを選択し、このライン中の突出する絶対濃度値とその周辺で二番目に突出する絶対濃度値との差である相対濃度値を算出し、相対濃度値が所定閾値を上回るときに、突出する絶対濃度値がある箇所を異物の部分候補点として選択する処理を各画像のライン毎に行うことを特徴とする。
また、本発明の請求項3に係る異物検査装置は、
請求項2に記載の異物検査装置において、
画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、先に選択された部分候補点の絶対濃度値の傾きである検出ヒステリシスを算出し、検出ヒステリシスが所定閾値を上回るときに、異物の部分候補点として選択する処理をさらに行うことを特徴とする。
また、本発明の請求項4に係る異物検査装置は、
請求項3に記載の異物検査装置において、
画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、先に選択された部分候補点の絶対濃度値がある箇所とその周辺の二番目に突出する絶対濃度値がある箇所との距離である検出周辺サイズを算出し、検出周辺サイズが所定閾値を下回るときに、異物の部分候補点として選択する処理をさらに行うことを特徴とする。
また、本発明の請求項5に係る異物検査装置は、
請求項4に記載の異物検査装置において、
画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、先に選択された部分候補点の所定閾値を下回る絶対濃度値が連続する幅値を算出し、幅値が所定閾値の範囲内にあるときに、ライン上の異物の部分候補点として選択する処理をさらに行うことを特徴とする。
また、本発明の請求項6に係る異物検査装置は、
請求項5に記載の異物検査装置において、
画像のライン別の部分候補点に基づいて画像別の第1の候補点を画像毎に抽出する前記信号処理装置は、選択された部分候補点を連結して連結距離を算出し、連結距離が所定閾値の範囲内にあるときに、第1の候補点として選択する処理を行うことを特徴とする。
また、本発明の請求項7に係る異物検査装置は、
請求項6に記載の異物検査装置において、
第1の候補点に基づいて複数毎の画像にわたって所定範囲内に時間的に連続して現れる第2の候補点を抽出する前記信号処理装置は、選択された第1の候補点に対して連続する任意の枚数の画像にわたり、第1の候補点が移動する距離および角度が所定閾値の範囲内にあるときに第2の候補点として選択する処理を行うことを特徴とする。
また、本発明の請求項8に係る異物検査装置は、
請求項7に記載の異物検査装置において、
第2の候補点のうち所定の基準を満たす異物候補点を抽出する前記信号処理装置は、選択された第2の候補点に対して、第2の候補点の相対濃度値が所定閾値の範囲内にあり、第2の候補点の面積に相対濃度値を乗じた強度体積値が所定閾値の範囲内にあり、第2の候補点の面積である強度面積値が所定閾値の範囲内にあり、連結されている第2の候補点の個数が所定閾値の範囲内にあり、および、連結される画像の毎数が所定閾値の範囲内にあるときに異物候補点として選択する処理を行うことを特徴とする。
また、本発明の請求項9に係る異物検査装置は、
請求項8に記載の異物検査装置において、
異物候補点のうち割れ・穴を除いて異物と判定する前記信号処理装置は、選択された異物候補点に対して、その点から任意距離の周辺にある点の絶対濃度値の差を測定し、差が所定閾値を下回るときに、異物と判定する処理を行うことを特徴とする。
また、本発明の請求項10に係る異物検査装置は、
請求項9に記載の異物検査装置において、
異物候補点のうち割れ・穴を除いて異物と判定する前記信号処理装置は、選択された異物候補点に対して、異物候補点の絶対濃度値が所定閾値の範囲内にあるときに、異物と判定する処理を行うことを特徴とする。
また、本発明の請求項11に係る異物検査装置は、
請求項1〜請求項10の何れか一項に記載の異物検査装置において、
前記信号処理装置は、前記加振装置の振動の強弱を切換可能に制御するとともに振動の強弱に応じた閾値を複数持ち、振動の強弱によって閾値を切り替える処理を行うことを特徴とする。
本発明によれば、異物ではない割れ・穴と、異物と、を確実に区別し、異物検知率の増加と誤検知率の低減をともに実現する異物検査装置を提供することができる。
本発明の実施の形態の異物検査装置の要部平面図である。 本発明の実施の形態の異物検査装置の要部正面図である。 画像と濃度の関係の説明図であり、図3(a)はバッグの画像を示す写真、図3(b)は座標点−濃度特性図である。 信号処理装置の異物検査処理のメインフローのフローチャートである。 背景処理の説明図であり、図5(a)は処理前の画像、図5(b)は処理前の画像による座標点−濃度特性図である。 背景処理の説明図であり、図6(a)は処理後の画像、図6(b)は処理後の画像による座標点−濃度特性図である。 信号処理装置のライン内異物部分候補点抽出のフローを示すフローチャートである。 ライン内異物部分候補点抽出の説明図であり、図8(a)はライン上の異物や割れ・穴の位置のモデル説明図、図8(b)はモデルによる座標点−濃度特性図である。 信号処理装置の画像内異物候補点抽出のフローを示すフローチャートである。 連結による判定を説明する説明図であり、図10(a)は繊維の判定の説明図、図10(b)は穴の判定の説明である。 信号処理装置の画像間異物候補点抽出のフローを示すフローチャートである。 画像間異物候補点抽出の説明図である。 異物候補点抽出の説明図である。 信号処理装置の異物候補点抽出のフローを示すフローチャートである。 信号処理装置の異物判定のフローを示すフローチャートである。 異物判定を説明する説明図であり、図16(a)は異物の判定の説明図、図16(b)は穴の判定の説明である。
続いて、本発明の異物検査装置について図を参照しつつ説明する。図1は本発明の実施の形態の異物検査装置の要部平面図、図2は同じく要部正面図である。この異物検査装置1は、加振装置10、照明装置20、カメラ30、信号処理装置40を備えている。加振装置10の上には、粉末が充填されたバッグ2が載置されている。このバッグ2は、透明収容体の一例であって透明な部材で形成されている。
本発明の異物検査装置1は、バッグ2内に充填された粉末中に混入した異物を検出するものであり、透明なバッグ2内で流動する粉末を上側から撮像して検査する。この粉末は、例えば、注射用や点滴用の粉末薬剤等が挙げられる。
加振装置10は、平面XY方向(横方向)に50Hz〜250Hzの振動を加える横振動機構(図示せず)と、垂直Z方向(縦方向)に10Hz〜50Hzの振動を加える縦振動機構(図示せず)と、を備えるものであり、縦横方向へ振動を加える。「横方向」とは、重力が働く方向に対して直角を向く方向、すなわちXY方向(透明収容体を載置した底面に平行な方向)をいい、粉末の割れ・穴をなくすように粉末をならす振動である。また、「縦方向」とは、重力が働く方向、すなわちZ方向をいい、異物を粉末の表層面へ移動させる振動である。特に縦方向よりも横方向の周波数を高くすることで粉末を水平方向にならすようにして割れ・穴が発生しないようにしている。
照明装置20は、本形態では例示的に四方を囲む4個のバー型照明としている。4個のバー型照明は支持部(図示せず)に固定される。なお、照明の形状はこのバー型に限定されるものではなく、他の形状(リング型、または、LEDを同心円状や平行線状に配置したもの)を採用しても良い。また、照明の配置なども適宜選択して良い。検査をより正確にするため種々の形状や配置構成を選択した照明装置20とすることができる。照明装置20から粉末に照射された光が反射し、この反射光がカメラ30へ到達する。
カメラ30は、動画、または、連続する静止画像を撮像できるものであれば、デジタルデータを出力する方式のカメラでも、アナログ信号を出力するカメラでも良い。カメラ30は、四方を囲む4個のバー型照明の中央の開口部から、下側にあるバッグ2内で流動する粉末を撮像するようになされている。バッグ2内の粉末は透明なシート面を介して照明装置20で照射されており、異物や割れ・穴による陰影を明確にした状態の反射光をカメラ30が撮影する。そして、カメラ30の撮像範囲はバッグ2の縁部も検査できる範囲に設定する。なお、縁部がないような撮像範囲とすることも考えられるが、縁部周辺にある異物を確実に検出するためにも縁部も含めた撮像範囲とすることが好ましい。
信号処理装置40は、カメラからの信号を入力する。例えば、カメラ30がアナログの動画信号を出力するならば、信号処理装置40は図示しないA/D変換部により動画データに変換して入力し、その動画データの複数の画像を利用する。また、カメラ30がデジタルの動画データを出力するならば、その動画データの複数の画像を利用する。また、カメラ30がデジタルの静止画像データを連続して出力するならば、その静止画像データの複数の画像を利用する。
以下、ある時点の画像データを一枚の画像データ、画像データの一の線上にあるデータをラインデータと称して説明する。この画像データは、例えば、1024×1024の画素サイズで256階調の濃淡データを含むようなデータである。そして検査では所定時間毎の連続する画像データが用いられる。なお、濃淡が取得できればよいため、カラー画像か白黒画像かの何れかを選択することができる。作業員により目視も伴う場合はカラーとしても良い。
このような信号処理装置40は、カメラ30から得た動画データ、または、複数毎連続する静止画像データ、から抽出された複数毎の画像データを図示しない内部メモリに格納する。信号処理装置40はこれらの複数毎の画像データを用いて画像認識による異物検査処理を行う。なお、具体的な処理については後述する。
画像データの例について説明する。図3(a)はバッグ2のある時点の画像を示す写真である。図3(a)のA点に混入した異物が映っている。この場合、A点を含むラインを画像データ上に設定し、さらにこのライン上にある各座標に対応するデジタルの絶対濃度値をラインデータと設定する。
ラインデータは、(X座標、X座標に対応する絶対濃度値)というデータであって、一のラインにわたる座標別の複数のデータである。図3(b)は座標−濃度特性図であり、画像のあるライン上の各座標における絶対濃度値を表したものである。この特性では絶対濃度値が高くなる(上に行く)につれて明るく(白く)なり、絶対濃度値が低くなる(下に行く)につれて暗く(黒く)なる。バッグ2の縁部では上側に尖るピーク部が存在する。A点の異物がある箇所では下側に尖るピーク部が存在する。
続いて、本発明の特徴をなす異物検査処理について説明する。図4は異物検査処理を説明するメインフローのフローチャートである。ここに加振装置10により加振された状態のバッグ2の粉末をカメラ30が撮影し、信号処理装置40は、このカメラ30の出力信号から所定期間毎の複数枚の画像を取得し、図示しないメモリ部に複数毎の画像データを予め保存しているものとする。
信号処理装置40は、背景処理(ステップS1)、ライン内異物部分候補点抽出(ステップS2)、画像内異物候補点抽出(ステップS3)、画像間異物候補点抽出(ステップS4)、異物候補点抽出(ステップS5)、異物判定(ステップS6)を順次行っていくものである。
まず背景処理を行う(ステップS1)。この背景処理を行う理由について説明する。図3(a)の写真からも明らかなように粉末は表面が均一平面ではなく細かい凹凸があり、図3(b)で示すように、絶対濃度値も微細な振動を含むデータとなっている。加えて絶対濃度値は照明や影などによっても左右される。この場合、図5(a)で示すように粉末の細かい凹凸を含む画像により取得した絶対濃度値となり、図5(b)で示すように異物以外の粉末の山や谷を多数検出して異物判定に影響を与えるおそれがある。
そこで、図6(a)で示すように画像処理により所定閾値より小さい凹凸をカットするようにして、微小濃淡による凹凸を除去するような背景処理を行う。これにより、図6(b)で示すように大きく濃淡が異なるピーク以外を除去し、粉末の微小な凹凸と異物候補点とを切り分けることができる。このような処理は、全ての画像データに対してそれぞれ処理が行われる。そして、この際に異物候補が存在するため絶対濃度値が閾値を下回る位置を含むラインを選択・抽出する。異物候補がないラインについては判定を行わないため選択しない。なお、ライン上では例えば円状の異物の一部が現れるものでありライン上の異物候補を部分異物候補という。これにより、判定する箇所を大幅に絞り込んでいるが、この段階では、異物の部分ではなく割れ・穴の部分も多数含んでいる。
続いて、ライン内異物部分候補点抽出(ステップS2)を行う。この処理ではある画像データのうち絶対濃度値が所定閾値を下回る箇所を含むような一のラインデータ(一本の線上のデータ)を用いてこの箇所が異物部分候補に相当するか否かを判定して異物部分候補点を絞り込むものである。
この検出について図を参照しつつ説明する。図7はライン内異物部分候補点抽出のフローチャートである。一枚の画像中の一のラインが選択されているものとする。
まず、ライン上のデータにおいて相対濃度値aが所定閾値を上回るか否か判定する(ステップS21)。相対濃度値aは、図8(b)で示すように、ライン上の突出する絶対濃度値とその周辺で二番目に突出する絶対濃度値との差である。図8(b)では異物が持つ絶対濃度値とその任意の距離内にある割れ・穴の絶対濃度値との差を図示している。なお、一本のライン上に複数個の異物が位置することは確率上では皆無に等しく、一個の異物の周りにおいて他に絶対濃度値が大きいものは割れ・穴のみであることを前提にしている。相対濃度値aが所定閾値を上回るときは最も絶対濃度値が突出する箇所を異物の部分候補点として残し(ステップS22へ進む)、相対濃度値aが所定閾値を下回るときは両者が同じ割れ・穴であるとして部分候補点から除外する(ステップS26)。このように周辺と比較して相対濃度差aが大きいものを異物としている。
続いて、ライン上のデータにおいて検出ヒステリシスbが所定閾値を上回るか否か判定する(ステップS22)。検出ヒステリシスbは絶対濃度値の立下り時の傾き(図8(b)のdy/dx)である。これは一般的に背景である粉末の色(白)に対して、異物はコントラストの差が大きい異なる色(黒)をしているため、異物のある箇所では絶対濃度値が急激に変わることを前提にしている。一方で割れ・穴や縁部付近では検出ヒステリシスbが小さいため、部分候補点から除外できる。ステップS21で選択された部分候補点のうち検出ヒステリシスbが所定閾値を上回るときは異物の部分候補点として残し(ステップS23へ進む)、検出ヒステリシスbが所定閾値を下回るときは割れ・穴であるとして部分候補から除外する(ステップS26)。このように急激に濃度が変化するものを異物の部分候補としている。
続いて、ライン上のデータにおいて検出周辺サイズcが所定閾値を下回るか否か判定する(ステップS23)。検出周辺サイズcは、図8(b)で示すように、ステップS21,22で選択された部分候補点の絶対濃度値がある箇所とその周辺の二番目に突出する絶対濃度値がある箇所との距離である。これは、割れ・穴のピーク値は差が無い為に隣接した場合は相対濃度値が小さい値となり、割れ・穴であると判定できることを前提にしている。検出周辺サイズcが所定閾値を下回るときは異物の部分候補点として残し(ステップS24へ進む)、検出周辺サイズcが所定閾値を上回るときは割れ・穴であるとして部分候補点から除外する(ステップS26)。このように隣接する割れ・穴を除去している。
続いて、ライン上のデータにおいて終点幅dが所定閾値の範囲内にあるか否か判定する(ステップS24)。終点幅dは、図8(b)で示すように立下り開始点から立上り完了点までの間を幅とし、ある程度幅が大きい又は小さいものは割れ・穴と判定できることを前提にしている。終点幅dが所定閾値の範囲内にあるときは異物の部分候補点として残し(ステップS25へ進む)、終点幅dが所定閾値の範囲外にあるときは割れ・穴であるとして部分候補点から除外する(ステップS26)。このように幅が範囲外のピークは穴であるとして除去し、幅が範囲内のピークを異物としている。
このようにしてあるライン上の部分候補点が確定する。このようなライン内異物部分候補点抽出は、絶対濃度値が所定閾値を下回る(ピークが大きい)ため部分候補点を含む可能性があるとして予め選択されていたラインの全てについて行う。これによる複数毎の画像におけるライン上の部分候補点が確定する。図4のライン内異物部分候補点抽出(ステップS2)はこのようにして行われる。
続いてステップS2で抽出された部分候補点に対し、さらに画像内異物候補点抽出(ステップS3)が行われる。画像内異物候補点抽出(ステップS3)の詳細は、詳しくは図9で示す画像内異物候補点抽出のフローチャートのように行われる。
まず、画像内連結を行う(ステップS31)。ある画像に含まれるラインであってステップS2で選択された部分候補点を含むラインのうち、隣接する複数のラインを連結する。これにより部分候補点を含む画像が認識される。この場合、候補点が異物(例えば繊維)であれば、図10(a)のような画像になる。また、候補点が穴であれば図10(b)のような画像になる。
続いて、連結距離e・連結範囲fを算出する(ステップS32)。
連結距離eは、連続する部分候補点により線が形成された場合、この線の距離を検査するものである。連結範囲fは、連続する部分候補点により面が形成された場合、この面を検査するものである。
続いて、連結距離eが所定閾値の範囲内か否か判定する(ステップS33)。連結距離eが所定閾値の範囲内にあるときは異物の候補点として残し(ステップS34へ進む)、連結距離eが所定閾値の範囲外にあるときは切り捨てるのではなく一応の候補である第1未連結候補点とする(ステップS35)。これにより比較的長い異物を候補に残す。
続いて、連結範囲fが所定閾値の範囲内か否か判定する(ステップS34)。連結範囲fが所定閾値の範囲内にあるとは異物の第1候補点として残し(ステップS37へ進む)、連結範囲fが所定閾値の範囲外にあるときは異物ではなく小さい又は大きな穴・割れであるとして候補から除外する(ステップS36)。例えば、図10(a)のような線では第1候補点として残るが、図10(b)で示すような大きな穴では閾値の範囲を上回るために候補点から除外される。これにより割れ・穴ではないが比較的長い異物を第1候補点として残す。
このようにしてある画像における第1候補点が確定する。このような画像内異物候補点抽出を、全ての画像について行う。これによる複数毎の画像における第1候補点が確定する。図4の画像内異物候補点抽出(ステップS3)はこのようにして行われる。
続いてステップS3で抽出された第1候補点に対し、さらに画像間異物候補点抽出(ステップS4)が行われる。画像間異物候補点抽出(ステップS4)の詳細は、詳しくは図11で示す画像間異物候補点抽出のフローチャートのように行われる。
まず、第1未連結候補点・第1候補点を入力する(ステップS41)。ここでは画像内異物候補点抽出(ステップS3)で抽出した第1候補点に加えて、第1未連結候補点も候補に残している。
続いて、画像間連結を行う(ステップS42)。複数ある画像の中からさらに連続する画像を選択し、ひとかたまりとした画像連結範囲とする。画像間連結を行うと図12で示すように複数の画像にまたがる異物の第1未連結候補点・第1候補点を比較することができる。これらの候補点に対して画像間の連結処理を行い、出現時間と移動距離が算出される。連結の条件は、ある候補点を持つ画像から任意の枚数について未来の方向へ比較を行い、指定した距離、角度内に候補点が存在すれば、同一のものとして連結処理がされる。この画像では振動中の異物の挙動に着目して異物であるか否かを判定していく。
続いて、第1未連結候補点・第1候補点がこの画像間連結範囲に含まれるか否か判定する(ステップS43)。画像連結範囲に含まれない第1未連結候補点・第1候補点は第2未連結候補点として残し(ステップS44へ進む)、画像連結範囲に含まれる第1未連結候補点・第1候補点を抽出する(ステップS45へ進む)。図12で示すように複数枚の画像にまたがる画像連結範囲の第1未連結候補点・第1候補点を確定する。
続いて、複数の画像の第1未連結候補点・第1候補点の挙動が連結角度内に含まれるか否か判定する(ステップS45)。図12で示すように隣接する画像間では連結角度θ内に含まれている場合は第2候補点であるものとして残す。連結角度内に含まれない第1未連結候補点・第1候補点は第3未連結候補点として残し(ステップS46へ進む)、連結角度内に含まれる第1未連結候補点・第1候補点を抽出する(ステップS47へ進む)。これにより挙動がおかしい候補を除去することができる。
続いて、複数の画像の第1未連結候補点・第1候補点の挙動が連結距離内に含まれるか否か判定する(ステップS47)。図12で示すように隣接する画像間では移動する距離が所定値以内である場合は第2候補点であるものとして残す。連結距離内に含まれない第1未連結候補点・第1候補点は第4未連結候補点として残し(ステップS48へ進む)、連結距離内に含まれる第1未連結候補点・第1候補点を抽出する(ステップS49へ進む)。これにより短時間で遠距離間移動するような挙動がおかしい候補を除去することができる。
このようにして最終的に残った第1未連結候補点・第1候補点を第2候補点とする(ステップS49)。このようにしてある画像間にまたがる第2候補点が確定する。このような画像間異物候補点抽出は、画像連結範囲を代えて多数回行うようにしても良い。これによる複数毎の画像にわたる第2候補点が確定する。図4の画像間異物候補点抽出(ステップS4)はこのようにして行われる。
続いてステップS4で抽出された第2候補点に対し最終的な異物候補点を抽出する異物候補点抽出(ステップS5)を行う。詳しくは図14の異物候補点抽出のフローチャートにより行われる。
まず、第2,3,4未連結候補点・第2候補点を入力する(ステップS501)。ここでは画像間異物候補点抽出(ステップS4)で抽出した第2候補点に加えて、第2,3,4未連結候補点も候補として残している。
続いて、第2,3,4未連結候補点・第2候補点の相対濃度値が所定閾値の範囲内か否か判定する(ステップS502)。相対濃度値とは粉末の絶対濃度値と第2,3,4未連結候補点・第2候補点の絶対濃度値との差であり、この相対濃度値が所定閾値の範囲外にある第2,3,4未連結候補点・第2候補点を除外し(ステップS503)、相対濃度値が所定閾値の範囲内にある第2,3,4未連結候補点・第2候補点を抽出する(ステップS504へ進む)。これにより相対濃度値が所定閾値の範囲外にある第2,3,4未連結候補点・第2候補点を除外することができる。
続いて、第2,3,4未連結候補点・第2候補点の強度体積値が所定閾値の範囲内か否か判定する(ステップS504)。強度体積値は図13で示すように異物の面積に相対濃度値を乗じた値である。強度体積値が所定閾値の範囲外にある第2,3,4未連結候補点・第2候補点を除外し(ステップS505)、強度体積値が所定閾値の範囲内にある第2,3,4未連結候補点・第2候補点を抽出する(ステップS506へ進む)。これにより相対濃度値が所定閾値の範囲内にあっても体積が所定閾値の範囲外であるものはノイズ等であって異物ではないとして排除することができる。
続いて、第2,3,4未連結候補点・第2候補点の強度面積値が所定閾値の範囲内か否か判定する(ステップS506)。強度面積値は図13で示すように異物の面積である。強度面積値が所定閾値の範囲外にある第2,3,4未連結候補点・第2候補点を除外し(ステップS507)、強度面積値が所定閾値の範囲内にある第2,3,4未連結候補点・第2候補点を抽出する(ステップS508へ進む)。これにより面積が所定閾値の範囲外にあるものはノイズ等であって異物ではないとして排除することができる。
続いて、第2,3,4未連結候補点・第2候補点の異物連結得点が所定閾値を範囲内か否か判定する(ステップS508)。異物連結得点とはある一枚の画像において連結されているラインの数である。異物連結得点が所定閾値の範囲外にある第2,3,4未連結候補点・第2候補点を除外し(ステップS509)、異物連結得点が所定閾値の範囲内にある第2,3,4未連結候補点・第2候補点を抽出する(ステップS510へ進む)。これにより所定閾値の範囲外のラインが連結されたものを異物と判定している。
続いて、第2,3,4未連結候補点・第2候補点は移動量を考慮するか否か判定する(ステップS508)。移動量を考慮する場合はステップS511へ進み、移動量を考慮しない場合はステップS513へ進む。
移動量を考慮する場合、第2,3,4未連結候補点・第2候補点の画像間移動量が所定閾値を上回るか否か判定する(ステップS511)。画像間移動量は複数の画像にまたがって連結されている異物候補により形成される移動量である。画像間移動量が短いような第2,3,4未連結候補点・第2候補点を除外し(ステップS514)、画像間移動量が長いような第2,3,4未連結候補点・第2候補点を抽出する(ステップS512へ進む)。これにより移動量が短いものは異物ではないとして排除することができる。
続いて、第2,3,4未連結候補点・第2候補点の画像連結数が所定閾値の範囲内か否か判定する(ステップS512)。画像連結数は連結されている画像の数である。画像連結数が所定閾値の範囲外にある第2,3,4未連結候補点・第2候補点を除外し(ステップS514)、画像連結数が所定閾値の範囲内にある第2,3,4未連結候補点・第2候補点を抽出する(ステップS515)。これにより所定閾値の範囲枚数に連続して登場しないものは異物ではないとして排除することができる。
一方で移動量を考慮しない場合、第2,3,4未連結候補点・第2候補点の画像連結数が所定閾値の範囲内か否か判定する(ステップS513)。画像連結数は連結されている画像の数である。画像連結数が所定閾値の範囲外にある第2,3,4未連結候補点・第2候補点を除外し(ステップS514)、画像連結数が所定閾値の範囲内にある第2,3,4未連結候補点・第2候補点を抽出する(ステップS515)。これにより所定閾値の範囲枚数に連続して登場しないものは異物ではないとして排除することができる。
このようにして最終的に残った第2,3,4未連結候補点・第2候補点を第3候補点とする(ステップS515)。このような異物候補点抽出により異物の第3候補点が確定する。図4の異物候補点抽出(ステップS5)はこのようにして行われる。
続いてステップS5で抽出された第3候補点に対し最終的な異物の判定を行う異物判定(ステップS6)を行う。これは特に誤検知を排除するものである。詳しくは図15の異物判定のフローチャートにより行う。
まず、第3候補点を入力する(ステップS61)。続いて、第3候補点の周辺濃度値の変化が所定閾値を下回るか否かを判定する(ステップS62)。周辺濃度とは、図16(a),(b)で示す点線四角上に位置する箇所の絶対濃度値である。図16(a)のように異物であれば周辺濃度値の変化が小さく、また、図16(b)のように割れ・穴であれば周辺濃度値に大きな変化が生じる。ここの周辺濃度値の変化があるものを除去すれば割れ・穴を排除することができる。周辺濃度値の変化が所定閾値を上回る第3候補点を除外し(ステップS63)、周辺濃度値の変化が所定閾値を下回る第3候補点を抽出する(ステップS64へ進む)。これにより割れ・穴を除外することができる。
続いて、周辺濃度値がどの範囲にあるかを判定する(ステップS64)。これは、周辺濃度値が高い、つまり白ければ粉末上にありと判定し(ステップS66へ進む)、そうでなければバッグ2のシート面上にあると判定する(ステップS65へ進む)。
周辺濃度値からシート面上にあると判定した場合にさらに絶対濃度値がシート面上物濃度値を満たすか否かを判定する(ステップS65)。これは、異物の絶対濃度値がシート面用に設定された所定閾値(シート面上異物濃度値)の範囲内にあるか否かを判定し満たすならば異物であると最終的に決定し(ステップS69)、そうでなければ割れ・穴であるとして除外する(ステップS67)。
一方、周辺濃度値から粉末上にあると判定した場合に絶対濃度値が粉末上異物濃度値を満たすか否かを判定する(ステップS66)。これは、異物の絶対濃度値が粉末用に設定された所定閾値(粉末上異物濃度値)の範囲内にあるか否かを判定し満たすならば異物であると最終的に決定し(ステップS69)、そうでなければ割れ・穴であるとして除外する(ステップS68)。
このようにして最終的に異物であると判定する(ステップS69)。このように異物を含むと判定されたバッグ2は不良品と認定され、図示しない警報装置により異物が混入されていることが通知され、作業員により回収等の処理がなされることとなる。このような異物検査装置1では、異物ではない割れ・穴と、異物と、を確実に区別できるようになる。本発明の異物検査装置1はこのようなものとなる。
なお、先の説明では振動は縦振動用の周波数および横振動用の周波数は固定されているものとして説明した。しかしながら、振動は強振動(振幅を大きくする)と弱振動(振幅を小さくする)とを別途加え、それぞれの振動時に上記のような検査処理を行うようしてより検出能力を高めることができる。
この場合、信号処理装置40では、弱振動用に設定された閾値と、強振動用に設定された閾値と、をそれぞれ設定しておき、検査中は振動の強弱に併せて閾値を変える。信号処理装置40は加振装置10を制御するようになされている。強振動で振動させる場合、信号処理装置40は、強振動で振動させるように加振装置10を制御し、また、閾値として強振動用の値を選択する。同様に、弱振動で振動させる場合、信号処理装置40は、弱振動で振動させるように加振装置10を制御し、また、閾値として弱振動用の値を選択する。閾値を複数設定でき、振動に併せて閾値を切替え、判定を実施する。
これにより、強振動時は、粉末の挙動が大きくなり、誤検知の原因となる粉末の割れ・穴の発生率が高くなるが、閾値を全体的に厳しくする又は検査対象外にすることで、粉末の割れ・穴を検出してしまうという誤検知率の低減を実現する。
対して、弱振動時は、粉末の挙動が小さく、粉末の割れ・穴の発生率が低くなるためにその分、閾値を全体的に緩くすることで異物検知率の向上を実現する。
また、本発明は特に医薬品等のバッグについて例示的に説明をしたが、バッグに限定するものではなく、医薬品等の透明な瓶に封入された粉末に混入した異物を検知する装置としても良い。また、医薬品のみならず、化学薬品・食品などの粉末に適用しても良い。
また、特に異物は絶対濃度値が低く、粉末は絶対濃度値が高いものとして説明した。しかしながら、コントラストが大きいものであれば本発明の検査が可能であり、例えば、異物の絶対濃度値が高く、粉末の絶対濃度値が低いものであっても検査が可能である。実情に応じて適宜調整の上で使用可能である。
このような本発明の異物検査装置は、製品の最終状態であるバッグ内に充填された粉末(例えば粉末状の薬剤、化学物質または食品など)の中に混入された異物の有無の検査に好適である。
1:異物検査装置
10:加振装置
20:照明装置
30:カメラ
40:信号処理装置

Claims (11)

  1. 透明収容体内に充填された粉末中への異物の混入の有無を検査する異物検査装置において、
    透明収容体に振動を加えて透明収容体内の粉末を流動させて異物を粉末の表層面へ移動させる加振装置と、
    透明収容体内の粉末およびこの粉末の表層面の異物に透明収容体の透明なシート面を通して光を照射する照明装置と、
    透明収容体内で流動する粉末およびこの粉末の表層面の異物からの反射光を透明収容体の透明なシート面を通して撮影するカメラと、
    カメラの出力信号から所定期間毎の複数枚の画像を取得し、画像のライン別の部分候補点を各画像のライン毎に抽出し、画像のライン別の部分候補点に基づいて画像別の第1の候補点を画像毎に抽出し、この第1の候補点に基づいて複数毎の画像にわたって所定範囲内に時間的に連続して現れる第2の候補点を抽出し、この第2の候補点のうち所定の基準を満たす異物候補点を抽出し、この異物候補点のうち割れ・穴を除いて異物と判定する信号処理装置と、
    を備えることを特徴とする異物検査装置。
  2. 請求項1に記載の異物検査装置において、
    画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、一枚の画像中の一のラインを選択し、このライン中の突出する絶対濃度値とその周辺で二番目に突出する絶対濃度値との差である相対濃度値を算出し、相対濃度値が所定閾値を上回るときに、突出する絶対濃度値がある箇所を異物の部分候補点として選択する処理を各画像のライン毎に行うことを特徴とする異物検査装置。
  3. 請求項2に記載の異物検査装置において、
    画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、先に選択された部分候補点の絶対濃度値の傾きである検出ヒステリシスを算出し、検出ヒステリシスが所定閾値を上回るときに、異物の部分候補点として選択する処理をさらに行うことを特徴とする異物検査装置。
  4. 請求項3に記載の異物検査装置において、
    画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、先に選択された部分候補点の絶対濃度値がある箇所とその周辺の二番目に突出する絶対濃度値がある箇所との距離である検出周辺サイズを算出し、検出周辺サイズが所定閾値を下回るときに、異物の部分候補点として選択する処理をさらに行うことを特徴とする異物検査装置。
  5. 請求項4に記載の異物検査装置において、
    画像のライン別の部分候補点を各画像のライン毎に抽出する前記信号処理装置は、先に選択された部分候補点の所定閾値を下回る絶対濃度値が連続する幅値を算出し、幅値が所定閾値の範囲内にあるときに、ライン上の異物の部分候補点として選択する処理をさらに行うことを特徴とする異物検査装置。
  6. 請求項5に記載の異物検査装置において、
    画像のライン別の部分候補点に基づいて画像別の第1の候補点を画像毎に抽出する前記信号処理装置は、選択された部分候補点を連結して連結距離を算出し、連結距離が所定閾値の範囲内にあるときに、第1の候補点として選択する処理を行うことを特徴とする異物検査装置。
  7. 請求項6に記載の異物検査装置において、
    第1の候補点に基づいて複数毎の画像にわたって所定範囲内に時間的に連続して現れる第2の候補点を抽出する前記信号処理装置は、選択された第1の候補点に対して連続する任意の枚数の画像にわたり、第1の候補点が移動する距離および角度が所定閾値の範囲内にあるときに第2の候補点として選択する処理を行うことを特徴とする異物検査装置。
  8. 請求項7に記載の異物検査装置において、
    第2の候補点のうち所定の基準を満たす異物候補点を抽出する前記信号処理装置は、選択された第2の候補点に対して、第2の候補点の相対濃度値が所定閾値の範囲内にあり、第2の候補点の面積に相対濃度値を乗じた強度体積値が所定閾値の範囲内にあり、第2の候補点の面積である強度面積値が所定閾値の範囲内にあり、連結されている第2の候補点の個数が所定閾値の範囲内にあり、および、連結される画像の毎数が所定閾値の範囲内にあるときに異物候補点として選択する処理を行うことを特徴とする異物検査装置。
  9. 請求項8に記載の異物検査装置において、
    異物候補点のうち割れ・穴を除いて異物と判定する前記信号処理装置は、選択された異物候補点に対して、その点から任意距離の周辺にある点の絶対濃度値の差を測定し、差が所定閾値を下回るときに、異物と判定する処理を行うことを特徴とする異物検査装置。
  10. 請求項9に記載の異物検査装置において、
    異物候補点のうち割れ・穴を除いて異物と判定する前記信号処理装置は、選択された異物候補点に対して、異物候補点の絶対濃度値が所定閾値の範囲内にあるときに、異物と判定する処理を行うことを特徴とする異物検査装置。
  11. 請求項1〜請求項10の何れか一項に記載の異物検査装置において、
    前記信号処理装置は、前記加振装置の振動の強弱を切換可能に制御するとともに振動の強弱に応じた閾値を複数持ち、振動の強弱によって閾値を切り替える処理を行うことを特徴とする異物検査装置。
JP2013014160A 2013-01-29 2013-01-29 異物検査装置 Active JP6028919B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013014160A JP6028919B2 (ja) 2013-01-29 2013-01-29 異物検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013014160A JP6028919B2 (ja) 2013-01-29 2013-01-29 異物検査装置

Publications (2)

Publication Number Publication Date
JP2014145652A true JP2014145652A (ja) 2014-08-14
JP6028919B2 JP6028919B2 (ja) 2016-11-24

Family

ID=51426013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013014160A Active JP6028919B2 (ja) 2013-01-29 2013-01-29 異物検査装置

Country Status (1)

Country Link
JP (1) JP6028919B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017083312A (ja) * 2015-10-28 2017-05-18 三井造船株式会社 表面損傷検出方法および表面損傷検出装置
CN109521493A (zh) * 2017-09-19 2019-03-26 杉野机械股份有限公司 异物检查装置以及异物检查方法
WO2020188728A1 (ja) * 2019-03-19 2020-09-24 日本電気株式会社 検品装置、検品方法、及び非一時的なコンピュータ可読媒体
US20210383531A1 (en) * 2018-10-31 2021-12-09 Nipro Corporation Foreign matter inspection system and foreign matter inspection method
CN116944278A (zh) * 2023-05-11 2023-10-27 工业富联(佛山)产业示范基地有限公司 异物检测方法和相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60114748A (ja) * 1983-11-26 1985-06-21 Takeda Chem Ind Ltd 固形製剤の表面異物のカメラ検査方法およびその装置
JPH0351748A (ja) * 1989-07-19 1991-03-06 Takeda Chem Ind Ltd 粉末密封透明容器の自動検査装置
US5239358A (en) * 1991-02-12 1993-08-24 Hajime Industries Powder material inspection apparatus
JPH06323999A (ja) * 1993-05-17 1994-11-25 Kanebo Ltd 異物画像の判別装置及び方法
JP2000298103A (ja) * 1999-04-15 2000-10-24 Nittetsu Mining Co Ltd 透明容器内粉末の異物検査装置
JP2001256478A (ja) * 2000-03-09 2001-09-21 Shin Etsu Chem Co Ltd 異物検査方法、異物検査装置及び異物検査プログラムを記録した記録媒体
JP2010008339A (ja) * 2008-06-30 2010-01-14 Decsys:Kk 透明容器内粉末中の異物検査方法及び異物検査装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60114748A (ja) * 1983-11-26 1985-06-21 Takeda Chem Ind Ltd 固形製剤の表面異物のカメラ検査方法およびその装置
JPH0351748A (ja) * 1989-07-19 1991-03-06 Takeda Chem Ind Ltd 粉末密封透明容器の自動検査装置
US5239358A (en) * 1991-02-12 1993-08-24 Hajime Industries Powder material inspection apparatus
JPH06323999A (ja) * 1993-05-17 1994-11-25 Kanebo Ltd 異物画像の判別装置及び方法
JP2000298103A (ja) * 1999-04-15 2000-10-24 Nittetsu Mining Co Ltd 透明容器内粉末の異物検査装置
JP2001256478A (ja) * 2000-03-09 2001-09-21 Shin Etsu Chem Co Ltd 異物検査方法、異物検査装置及び異物検査プログラムを記録した記録媒体
JP2010008339A (ja) * 2008-06-30 2010-01-14 Decsys:Kk 透明容器内粉末中の異物検査方法及び異物検査装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017083312A (ja) * 2015-10-28 2017-05-18 三井造船株式会社 表面損傷検出方法および表面損傷検出装置
CN109521493A (zh) * 2017-09-19 2019-03-26 杉野机械股份有限公司 异物检查装置以及异物检查方法
CN109521493B (zh) * 2017-09-19 2020-12-01 杉野机械股份有限公司 异物检查装置以及异物检查方法
US20210383531A1 (en) * 2018-10-31 2021-12-09 Nipro Corporation Foreign matter inspection system and foreign matter inspection method
EP3875946A4 (en) * 2018-10-31 2022-07-27 Nipro Corporation FOREIGN OBJECT INSPECTION DEVICE AND FOREIGN OBJECT INSPECTION METHOD
US11971363B2 (en) * 2018-10-31 2024-04-30 Nipro Corporation Foreign matter inspection system and foreign matter inspection method
WO2020188728A1 (ja) * 2019-03-19 2020-09-24 日本電気株式会社 検品装置、検品方法、及び非一時的なコンピュータ可読媒体
JPWO2020188728A1 (ja) * 2019-03-19 2020-09-24
EP3943921A4 (en) * 2019-03-19 2022-03-16 NEC Corporation INSPECTION DEVICE, INSPECTION METHOD AND COMPUTER READABLE NON-TRANSITORY MEDIA
JP7238964B2 (ja) 2019-03-19 2023-03-14 日本電気株式会社 検品装置、検品方法、及びプログラム
US11972555B2 (en) 2019-03-19 2024-04-30 Nec Corporation Product-inspection apparatus, product-inspection method, and non-transitory computer readable medium
CN116944278A (zh) * 2023-05-11 2023-10-27 工业富联(佛山)产业示范基地有限公司 异物检测方法和相关设备

Also Published As

Publication number Publication date
JP6028919B2 (ja) 2016-11-24

Similar Documents

Publication Publication Date Title
JP6028919B2 (ja) 異物検査装置
CN105849534B (zh) 表面缺陷检测方法及表面缺陷检测装置
JP4150390B2 (ja) 外観検査方法及び外観検査装置
JP5086970B2 (ja) 木材の外観検査装置、木材の外観検査方法
JP2004354100A (ja) 容器内液体中の異物検出方法及びその装置
JP5074998B2 (ja) 透明フィルムの外観検査方法およびその装置
JP4517826B2 (ja) 液面検出方法
JP6596188B2 (ja) 探傷装置、及び探傷装置による傷部検出方法
JP2009293999A (ja) 木材欠陥検出装置
EP2605186A3 (en) Method and apparatus for recognizing a character based on a photographed image
TWI512284B (zh) 玻璃氣泡瑕疵檢測系統
KR20200095554A (ko) 와이어 형상 검사 장치 및 와이어 형상 검사 방법
JP2013205202A (ja) 半田ツノ外観検査装置
JP6863196B2 (ja) 気密性検査方法及び装置
JP2009116419A (ja) 輪郭検出方法及び輪郭検出装置
JP6321709B2 (ja) 表面疵検査方法
CN116843640A (zh) 瓷砖表面凹坑缺陷检测方法、***及存储介质
JP6035124B2 (ja) 欠陥検査装置、及び欠陥検査方法
JP2016217989A (ja) 欠陥検査装置および欠陥検査方法
EP3792620A1 (en) Magnetic particle inspection device
JP2004361085A (ja) 外観検査装置
JP2012088199A (ja) 異物検査装置および異物検査方法
KR101637977B1 (ko) 레이저 비전 시스템을 이용한 용접 조인트의 특징점 검출 방법
KR20150137497A (ko) 후판 표면 결함 탐상 장치 및 방법
JP2019066222A (ja) 外観検査装置および外観検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160923

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161004

R150 Certificate of patent or registration of utility model

Ref document number: 6028919

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250