JP2022128310A - 計数装置、学習モデル生成装置、検査装置及びプログラム - Google Patents
計数装置、学習モデル生成装置、検査装置及びプログラム Download PDFInfo
- Publication number
- JP2022128310A JP2022128310A JP2021026765A JP2021026765A JP2022128310A JP 2022128310 A JP2022128310 A JP 2022128310A JP 2021026765 A JP2021026765 A JP 2021026765A JP 2021026765 A JP2021026765 A JP 2021026765A JP 2022128310 A JP2022128310 A JP 2022128310A
- Authority
- JP
- Japan
- Prior art keywords
- positional relationship
- image
- individual objects
- attention
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
【課題】包装物のX線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことを可能とする。【解決手段】本発明の計数装置は、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、位置関係画像に基づき、一群に含まれる個物の個数を計数する計数手段と、を備える。【選択図】図1
Description
本発明は、包装物に収容された個物の個数を検査に用いる計数装置、学習モデル生成装置、検査装置及びプログラムに関する。
菓子等の個物が複数収容された包装物について、収容された個物の個数を、当該包装物を開封することなく検査する方法として、例えば、包装物のX線透過画像に基づき計数する方法(例えば、特許文献1)や、包装物の質量が所定の質量範囲内に入っていることを確認する方法などが挙げられる。
収容された個物の個数を、包装物のX線透過画像に基づき計数する従来の方法の場合、収容された個物が複数重なって収容されていると、正しく計数することができない。また、包装物の質量が所定の質量範囲内に入っていることを確認する方法の場合、個物の一個一個の質量は必ずしも一定ではないため、個数がより少ない又はより多い場合でも所定の質量範囲内に入ってしまう可能性がある。
本発明は上記の課題に鑑みてなされたものであり、包装物のX線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことを可能とする計数装置、学習モデル生成装置、検査装置及びプログラムを提供することを目的とする。
本発明の計数装置は、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する注目領域抽出手段と、位置関係画像に基づき、一群に含まれる個物の個数を計数する計数手段と、を備える。
本発明の計数装置においては、個物の注目領域は、当該個物の所定の注目点から所定の距離の範囲であり、位置関係画像において注目点からの距離に応じた視覚効果で表現され、位置関係画像において、2以上の注目領域が重なり合っている部分は、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、計数手段は、当該視覚効果を加味して個数を計数してもよい。
本発明の学習モデル生成装置は、学習データである、一群をなす複数の個物の画像と、正解ラベルである、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像と、からなるデータセットを用いて機械学習を実行することにより、位置関係画像が未知である、一群をなす複数の個物の画像が入力されることによって、当該一群をなす複数の個物の画像に対応する位置関係画像を出力する学習モデルを生成する学習モデル生成手段を備える。
本発明の学習モデル生成装置においては、個物の注目領域は、当該個物の所定の注目点から所定の距離の範囲であり、位置関係画像において注目点からの距離に応じた視覚効果で表現され、位置関係画像において、2以上の注目領域が重なり合っている部分は、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、計数手段は、当該視覚効果を加味して個数を計数してもよい。
本発明の検査装置は、一群をなす複数の個物を搬送する搬送部と、搬送されている一群をなす複数の個物に電磁波を照射する電磁波照射部と、一群をなす複数の個物を経た電磁波を検出する電磁波検出部と、電磁波検出部における電磁波の検出データに基づき、一群をなす複数の個物の画像を構成する画像構成手段と、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、位置関係画像に基づき、一群に含まれる個物の個数を計数する計数手段と、を備える。
本発明の検査装置においては、個物の注目領域は、当該個物の所定の注目点から所定の距離の範囲であり、位置関係画像において注目点からの距離に応じた視覚効果で表現され、位置関係画像において、2以上の注目領域が重なり合っている部分は、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、計数手段は、当該視覚効果を加味して個数を計数してもよい。
本発明の計数装置、学習モデル生成装置及び検査装置は、各手段の機能が記述されたプログラムをコンピュータに実行させることにより実現してもよい。
本発明の計数装置、学習モデル生成装置、検査装置及びプログラムによれば、包装物のX線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことが可能となる。
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
図1は、包装物に収容された個物の個数を、包装物の画像に基づき計数する計数装置10及び学習モデル生成装置20の機能ブロック図である。
計数装置10は、位置関係画像生成手段12と計数手段14を備え、学習モデル生成装置20は、学習モデル生成手段22を備える。
位置関係画像生成手段12は、一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する。図2は、包装物Aに収容されて一群をなす12個の個物P101~P112の画像の一例を示す図である。
学習モデルは、学習モデル生成手段22において予め生成されたものを用いる。
学習モデル生成手段22は、学習データとして、一群をなす複数の個物の画像と、正解ラベルである、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像と、からなるデータセットを用いて機械学習を実行することで、位置関係画像が未知である、一群をなす複数の個物の画像の入力によって、それぞれの個物の注目領域及びそれぞれの注目領域の位置関係が表現された位置関係画像を出力する学習モデルを生成する。
一群をなす複数の個物の画像は、どのように生成されたものでもよく、例えば、包装物AにX線、赤外光、可視光など任意の電磁波を照射し、透過し又は反射された成分を受光して、画素ごとの受光強度の強弱の集合として生成されたものを用いる。また、一群をなす複数の個物の画像は、各個物の注目点を決定可能な程度に各個物の輪郭を確認できれば、部分的に不明瞭であっても構わない。
注目領域とは、一群をなす複数の個物の画像に含まれるそれぞれの個物の画像において、所定のルールに従い設定される注目点を基準に、所定のルールに従い設定される領域をいう。注目点の設定ルール及び注目点を基準とした注目領域の設定ルールは任意である。例えば、個物の形状が矩形の場合に、注目点を対角線の交点として設定し、注目点を中心として或る半径の円形範囲を注目領域と設定するなどの方法が挙げられる。
図3に、学習データの一例として、一群をなす13個の矩形の個物P1~P13の画像を示す。オペレータは、当該画像に含まれる各個物上に注目点を設定し注目領域を描画する所定の操作を行う。
図4は、個物P上に注目領域Rを描画する処理の一例を説明する図である。まず、個物Pにおける注目点Cを所定のルールに従い設定する。図4(a)に、矩形の対角線の交点を注目点Cとして設定する例を示す。続いて、注目点Cを含む注目領域Rを所定のルールに従い設定した上で、注目領域R内を、注目点Cからの距離に応じてカラーやグレースケールの濃度が変化するヒートマップなどの任意の視覚効果で描画する。図4(b)に、注目点Cを中心とした所定の半径の範囲である円形領域を注目領域Rと設定し、注目点Cを最高濃度として注目点Cから離れるほど薄くなるグレースケールで描画する例を示す。
図5に、図3に示す画像に含まれる個物P1~P13上に、注目領域R1~R13をそれぞれ描画した例を示す。オペレータは、例えば、計数装置10に備えられている又は接続された任意の表示手段に当該画像を表示させ、当該画像を参照しながら手入力で注目点の設定及び注目領域の描画を行ってもよいし、予め用意された、当該画像が入力されることにより、当該画像に含まれる各個物上に注目点及び注目領域を自動設定するツールを用いて行ってもよい。
なお、各個物に注目領域を描画した際、複数の注目領域の一部又は全部が重なり合う場合には、それぞれの注目領域の重なり合っている部分の視覚効果は重畳される。例えば、注目領域をグレースケールで描画し、最高濃度を1、最低濃度を0の値で表現するとき、2つの個物の注目領域の一部又は全部が重なり合っている場合には、重なり合っている部分の濃度は、重なり方に応じて最高で2、最低で0の値をとる。
続いて、図5の画像から注目領域R1~R13を位置関係画像として抽出する。抽出した位置関係画像を図6に示す。当該位置関係画像には、個物P1~P13のそれぞれの注目領域R1~R13、及び個物P1~P13の位置関係に基づく注目領域R1~R13のそれぞれの位置関係が表現されているとともに、注目領域が複数重なっている部分については、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現されている。
そして、図3に示す一群をなす複数の個物の画像を学習データとし、図6に示す位置関係画像を正解ラベルとして、これらをデータセットとする。
このようなデータセットを、個物の個数や位置関係が異なる多数用意し、学習モデル生成手段22は、これらのデータセットを用いて機械学習を繰り返し実行することで、位置関係画像が未知である、一群をなす複数の個物の画像が入力されることによって、当該一群をなす複数の個物の画像に対応する位置関係画像を出力する学習モデルを生成する。機械学習は、人が特徴量を定義する一般的な機械学習であってもよいし、マシンが特徴量を定義するディープラーニングであってもよい。
位置関係画像生成手段12は、このように用意された学習モデルを用い、例えば図2に示す、位置関係画像が未知である、一群をなす12個の個物P101~P112の画像が入力されると、図7に示す注目領域R101~R112の位置関係画像を出力する。
計数手段14は、位置関係画像生成手段12が出力した位置関係画像に基づき、包装物Aに収容されて一群をなす複数の個物の個数を計数する。
位置関係画像からの個数の計数は、任意の方法により行ってよい。例えば、画像解析により行ってもよいし、学習データである位置関係画像と、正解ラベルである当該位置関係画像に含まれる個物の個数と、からなるデータセットを複数学習して生成された学習モデルに、計数対象の位置関係画像を入力して、出力された個数を計数結果としてもよい。
画像解析で行う場合、例えば、各個物の注目領域に、注目点が最高濃度1で、注目点から遠ざかるほど濃度が0に近づくように濃淡がつけられているとき、注目領域が複数重なっている部分については、それぞれの注目領域の重なり合っている部分の視覚効果が重畳された視覚効果に基づき、重なっている数量を判定することが可能である。
具体的には例えば、個物が複数あれば、位置関係画像には1以上の濃淡が存在することになるため、濃度がピークになっている部分及び濃度の値を検出し、それぞれのピーク部分の濃度の値が所定の値(例えば1)又は値の範囲内(例えば0.8以上~1.8未満)であれば1個、別の所定の値(例えば2)又は値の範囲内(例えば1.8以上)であれば2個というようにカウントして、合計個数を計数してもよい。
また、個数のカウントを閾値のみに基づき行うのではなく、更に他の条件を加味してカウントしてもよい。例えば、あるピーク部分の濃度の値が1.81だったとき、隣接するピーク部分間の距離を閾値と比較し、隣接するピーク部分までの距離が閾値以上であればそのまま2個とカウントし、閾値未満であれば隣接するピーク部分周辺の濃度の影響を受けて高濃度になっているとして1個とカウントしてもよい。また、ピーク部分周辺の画素の濃度の合計値を算出し、閾値未満であればそのまま2個とカウントし、閾値以上であれば隣接するピーク部分周辺の濃度の影響を受けて高濃度になっているとして1個とカウントしてもよい。また、ピーク部分周辺の一定濃度以上の画素の面積を特定し、閾値以上であればそのまま2個とカウントし、閾値未満であれば隣接するピーク部分との高濃度領域の重なりが大きいとして1個とカウントしてもよい。
なお、上記の例では、個物の重なりが2個までの場合の閾値を例示したが、3個以上の場合には同様な考え方で閾値を設定すればよい。
以上説明した本発明の計数装置及び学習モデル生成装置によれば、包装物のX線透過画像に基づく収容個物の計数を、収容された個物が複数重なった状態であっても正しく行うことが可能となる。
また、一群をなす複数の個物の画像を学習モデルに入力して位置関係画像を抽出し、当該位置関係画像に基づき計数するという段階を踏むことで、計数値に誤りがあった場合に、いずれの段階に不都合があったかの切り分けを容易に行うことが可能となる。
本発明の計数装置と、計数装置に入力する一群をなす複数の個物の画像を生成する各手段と、を組み合わせた検査装置を構成してもよい。
図8にこのような検査装置100の機能ブロック図を示す。検査装置100は、搬送部110、電磁波照射部120、電磁波検出部130、画像構成手段140、及び計数装置10を備える。
搬送部110は、1または複数の各種コンベアで構成され、載置された一群をなす複数の個物Wsを平面的に一定の方向に搬送(図において3次元座標系のXY平面がY軸方向に移動)して所定の検査領域を通過させる。
電磁波照射部120は、X線、紫外線、可視光、赤外線等の電磁波を、検査領域に向けて(図においてZ軸方向に)照射する。
電磁波検出部130は、搬送部110を挟んで電磁波照射部120と対向する位置に配置される。電磁波検出部130は、電磁波照射部120が照射した電磁波を検出可能な、搬送部110による搬送方向に直交する方向(図におけるX軸方向)に配列された複数の検出素子からなるラインセンサを少なくとも1列備え、検査領域を通過中の、一群をなす複数の個物Wsを透過して電磁波検出部130に到達した電磁波の強度の分布を検出する。
なお、電磁波照射部120が、検査領域を通過中の、一群をなす複数の個物Wsに斜めに電磁波を照射し、反射した電磁波を検出可能な位置に電磁波検出部130を配置して、当該電磁波検出部130に到達した電磁波の強度の分布を検出してもよい。
電磁波照射部120と電磁波検出部130の間の検査領域に一群をなす複数の個物Wsが存在すると、電磁波照射部120から照射された電磁波は、一群をなす複数の個物Wsの各位置における当該電磁波の透過率又は反射率に応じて減衰して電磁波検出部130に到達することになり、検査対象物の内部の状態が電磁波検出部130によって検出される電磁波の強度の分布として観測される。
画像構成手段140は、電磁波検出部130で検出された一群をなす複数の個物Wsを透過又は反射した電磁波の強度の分布を2次元の画像として構成する。
計数装置10は、位置関係画像生成手段12と計数手段14を備え、各手段の機能は、既述のとおりである。
なお、検査装置100は、図8に示す構成に加え、更に、画像構成手段140により構成された2次元画像を解析して異物検査等を行う機能を備えてもよい。
本発明の計数装置、学習モデル生成装置及び検査装置は、各手段の機能が記述されたプログラムをコンピュータに実行させることにより実現してもよい。すなわち、コンピュータにおいて、任意の記憶手段に記憶させたプログラムをCPUが読み出して実行することにより各手段の機能を実現してもよい。
なお、本発明は上記各実施形態に限定されるものではない。各実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。すなわち、本発明において表現されている技術的思想の範囲内で適宜変更が可能であり、その様な変更や改良を加えた形態も本発明の技術的範囲に含む。
10 計数装置
12 位置関係画像生成手段
14 計数手段
20 学習モデル生成装置
22 学習モデル生成手段
A 包装物
C 注目点
P、P1~P13、P101~P112 個物
R、R1~R13、R101~R112 注目領域
12 位置関係画像生成手段
14 計数手段
20 学習モデル生成装置
22 学習モデル生成手段
A 包装物
C 注目点
P、P1~P13、P101~P112 個物
R、R1~R13、R101~R112 注目領域
Claims (7)
- 一群をなす複数の個物の画像が入力され、前記画像を、予め備える学習モデルに入力して出力された、それぞれの前記個物の注目領域及びそれぞれの前記注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、
前記位置関係画像に基づき、前記一群に含まれる前記個物の個数を計数する計数手段と、
を備える計数装置。 - 前記個物の前記注目領域は、前記個物の所定の注目点から所定の距離の範囲であり、前記位置関係画像において前記注目点からの距離に応じた視覚効果で表現され、
前記位置関係画像において、2以上の前記注目領域が重なり合っている部分は、それぞれの前記注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、
前記計数手段は、前記視覚効果を加味して前記個数を計数する
ことを特徴とする請求項1に記載の計数装置。 - 学習データである、一群をなす複数の個物の画像と、正解ラベルである、それぞれの前記個物の注目領域及びそれぞれの前記注目領域の位置関係が表現された位置関係画像と、を含む学習データセットを用いて機械学習を実行することにより、位置関係画像が未知である、一群をなす複数の個物の画像が入力されることによって、当該一群をなす複数の個物の画像に対応する位置関係画像を出力する学習モデルを生成する学習モデル生成手段を備える学習モデル生成装置。
- 前記個物の前記注目領域は、前記個物の所定の注目点から所定の距離の範囲であり、前記位置関係画像において前記注目点からの距離に応じた視覚効果で表現され、
前記位置関係画像において、2以上の前記注目領域が重なり合っている部分は、それぞれの前記注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現されている
ことを特徴とする請求項3に記載の学習モデル生成装置。 - 一群をなす複数の個物を搬送する搬送部と、
搬送されている前記一群をなす複数の個物に電磁波を照射する電磁波照射部と、
前記一群をなす複数の個物を経た電磁波を検出する電磁波検出部と、
前記電磁波検出部における電磁波の検出データに基づき、前記一群をなす複数の個物の画像を構成する画像構成手段と、
前記一群をなす複数の個物の画像が入力され、当該画像を、予め備える学習モデルに入力して出力された、それぞれの前記個物の注目領域及びそれぞれの前記注目領域の位置関係が表現された位置関係画像を出力する位置関係画像生成手段と、
前記位置関係画像に基づき、前記一群に含まれる前記個物の個数を計数する計数手段と、
を備える検査装置。 - 前記個物の前記注目領域は、前記個物の所定の注目点から所定の距離の範囲であり、前記位置関係画像において前記注目点からの距離に応じた視覚効果で表現され、
前記位置関係画像において、2以上の前記注目領域が重なり合っている部分は、それぞれの前記注目領域の重なり合っている部分の視覚効果が重畳された視覚効果で表現され、
前記計数手段は、前記視覚効果を加味して前記個数を計数する
ことを特徴とする請求項5に記載の検査装置。 - コンピュータを請求項1から6のいずれか1項に記載の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021026765A JP2022128310A (ja) | 2021-02-22 | 2021-02-22 | 計数装置、学習モデル生成装置、検査装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021026765A JP2022128310A (ja) | 2021-02-22 | 2021-02-22 | 計数装置、学習モデル生成装置、検査装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022128310A true JP2022128310A (ja) | 2022-09-01 |
Family
ID=83061256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021026765A Pending JP2022128310A (ja) | 2021-02-22 | 2021-02-22 | 計数装置、学習モデル生成装置、検査装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022128310A (ja) |
-
2021
- 2021-02-22 JP JP2021026765A patent/JP2022128310A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019159440A1 (ja) | 検査装置 | |
JP6537008B1 (ja) | 検査装置 | |
JP6355232B2 (ja) | X線検査装置 | |
JP7295568B2 (ja) | 検査装置及びプログラム | |
JP2015137858A (ja) | 検査装置 | |
JP6068060B2 (ja) | X線検査装置 | |
JP2022128310A (ja) | 計数装置、学習モデル生成装置、検査装置及びプログラム | |
EP4220142A1 (en) | X-ray inspection device and x-ray inspection method | |
JP7250330B2 (ja) | 検査装置及び学習装置 | |
JP6454503B2 (ja) | 検査装置 | |
JP7231530B2 (ja) | X線検査装置 | |
JP7411984B2 (ja) | 検査装置 | |
JP6144584B2 (ja) | 破損検査装置 | |
JP7250301B2 (ja) | 検査装置、検査システム、検査方法、検査プログラム及び記録媒体 | |
JP7323177B2 (ja) | 検査システム、検査装置、学習装置及びプログラム | |
EP4224153A1 (en) | X-ray inspection apparatus | |
JP2023137175A (ja) | 電磁波検査装置 | |
JP2024054011A (ja) | 検査装置 | |
JP2018017674A (ja) | 光検査装置 | |
Graves et al. | 3D X-ray inspection of food products | |
JP2021148645A (ja) | X線検査装置 | |
JP2023137174A (ja) | 電磁波検査装置 | |
JP2023056656A (ja) | X線検査装置及びプログラム | |
JP6363735B2 (ja) | 検査装置 | |
JP5947674B2 (ja) | X線検査装置 |