JP2022062303A - Ｘ線検査装置、ｘ線検査プログラム、ｘ線検査方法、物品検査システム - Google Patents

Abstract

【課題】機械学習を用いる方法では、大量の学習データを入手することが困難である、という課題がある。【解決手段】Ｘ線検査装置１００は、Ｘ線照射部と、Ｘ線検出部と、画像生成部と、被検出物検出部とを備える。被検出物検出部は、Ｘ線画像と、被検出物を検出する学習モデルＬＭと、を用いて被検出物の検出を行う。学習モデルＬＭは、第１ステップと、第２ステップとを有する学習モデル生成方法によって生成されたものである。第１ステップは、被検出物を含まない基本物品画像Ｙｂａｓｅと、疑似被検出物画像から構成される複数の単位画像ＵＩと、を合成して学習用画像Ｙｉｎｐｕｔ及び教師信号Ｔｏｕｔｐｕｔ＿ｏｈを生成する。第２ステップは、基本物品画像Ｙｂａｓｅ、単位画像ＵＩ、又は単位画像ＵＩの配置を変更しながら、第１ステップを複数回繰り返し、学習モデルＬＭを生成する。【選択図】図７

Description

Ｘ線検査装置、Ｘ線検査プログラム、Ｘ線検査方法、物品検査システムに関する。

非特許文献１（「Ｘ線を用いた食品中の異物混入検査」 大平倫宏、周洪鈞、坂巻佳壽美、上村久仁男、清水英明、斉木秀夫著 東京都立産業技術研究センター研究報告第３号、２００８年）に示されているように、Ｘ線を用いて、物品に含まれる異物などの被検出物を検出する技術がある。

非特許文献１では、微分フィルタを用いて、被検出物が混入した物品のＸ線画像内のエッジを強調し、閾値によって２値化処理を行うことにより、物品に含まれる被検出物を検出する。しかし、微分フィルタを用いる方法では、被検出物の他に、ノイズや、物品の外形も抽出してしまうため、これらの区別が難しい。

そのため、微分フィルタを用いる方法ではなく、機械学習を用いる方法が考えられる。しかし、機械学習を用いる方法では、学習データとなる、被検出物が混入した物品のＸ線画像、の絶対数が少なく、大量の学習データを入手することが困難である、という課題がある。

第１観点のＸ線検査装置は、検査対象の物品に内包される被検出物の検出を行う。Ｘ線検査装置は、Ｘ線照射部と、Ｘ線検出部と、画像生成部と、被検出物検出部とを備える。Ｘ線照射部は、物品にＸ線を照射する。Ｘ線検出部は、物品を透過したＸ線を検出する。画像生成部は、Ｘ線検出部の検出結果から、物品のＸ線画像を生成する。被検出物検出部は、Ｘ線画像と、被検出物を検出する学習モデルと、を用いて被検出物の検出を行う。学習モデルは、第１ステップと、第２ステップとを有する学習モデル生成方法によって生成されたものであることを特徴とする。第１ステップは、被検出物を含まない物品のＸ線画像である基本物品画像と、疑似的な被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、学習用画像中の疑似被検出物画像の位置を示す教師信号を生成する。第２ステップは、基本物品画像、単位画像、又は単位画像の配置を変更しながら、第１ステップを複数回繰り返し、学習用画像と、教師信号と、を関連付けて学習する学習モデルを生成する。

第１観点のＸ線検査装置では、学習モデルは、第１ステップと、第２ステップとを有する学習モデル生成方法によって生成されたものであることを特徴とする。第１ステップは、被検出物を含まない物品のＸ線画像である基本物品画像と、疑似的な被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、学習用画像中の疑似被検出物画像の位置を示す教師信号を生成する。第２ステップは、基本物品画像、単位画像、又は単位画像の配置を変更しながら、第１ステップを複数回繰り返し、学習用画像と、教師信号と、を関連付けて学習する学習モデルを生成する。その結果、Ｘ線検査装置は、被検出物を含まない数枚の物品画像から、疑似的な被検出物が混入した大量の物品画像を、学習データとして入手することができる。

第２観点のＸ線検査装置は、第１観点のＸ線検査装置であって、単位画像内の１つ又は複数の疑似被検出物画像は、細長い形状を有する。学習モデルは、疑似被検出物画像の、太さ、角度、及び／又は、輝度値を変更しながら、第１ステップを複数回繰り返し生成されている。

このように構成したことによって、第２観点のＸ線検査装置は、様々な太さ、角度、及び、輝度値の被検出物を、学習することができる。

第３観点のＸ線検査装置は、第２観点のＸ線検査装置であって、単位画像内の１つ又は複数の疑似被検出物画像は、湾曲部をさらに有する。学習モデルは、疑似被検出物画像の湾曲部の曲率を変更しながら第１ステップを複数回繰り返し生成されている。

このように構成したことによって、第３観点のＸ線検査装置は、様々な曲率の被検出物を、学習することができる。

第４観点のＸ線検査装置は、第１観点から第３観点のいずれかのＸ線検査装置であって、学習モデルは、基本物品画像の輝度値を変更しながら、第１ステップを複数回繰り返し生成されている。

このように構成したことによって、第４観点のＸ線検査装置は、物品の様々な厚みを、学習することができる。

第５観点のＸ線検査装置は、第１観点から第４観点のいずれかのＸ線検査装置であって、学習モデルは、学習用画像、及び、教師信号を分割しながら、第１ステップを複数回繰り返し生成されている。

このように構成したことによって、第５観点のＸ線検査装置は、学習データを、さらに増加させることができる。

第６観点のＸ線検査装置は、第１観点から第５観点のいずれかのＸ線検査装置であって、物品は、魚、肉、野菜又は果物である。被検出物は、骨、骨片又は種である。

このように構成したことによって、第６観点のＸ線検査装置は、特に、魚、肉、野菜又は果物から、骨、骨片又は種を、検出することができる。

第７観点のＸ線検査プログラムは、検査対象の物品に内包される被検出物の検出をコンピュータによって実現する。Ｘ線検査プログラムは、Ｘ線照射ステップと、Ｘ線検出ステップと、画像生成ステップと、被検出物検出ステップとを実行させる。Ｘ線照射ステップは、物品にＸ線を照射する。Ｘ線検出ステップは、物品を透過したＸ線を検出する。画像生成ステップは、Ｘ線検出ステップの検出結果から、物品のＸ線画像を生成する。被検出物検出ステップは、Ｘ線画像と、被検出物を検出する学習モデルとを用いて被検出物の検出を行う。学習モデルは、第１ステップと、第２ステップとを有する学習モデル生成方法によって生成されたものであることを特徴とする。第１ステップは、被検出物を含まない物品のＸ線画像である基本物品画像と、疑似的な被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、学習用画像の中の疑似被検出物画像の位置を示す教師信号を生成する。第２ステップは、基本物品画像、単位画像、又は単位画像の配置を変更しながら、第１ステップを複数回繰り返し、学習用画像と、教師信号と、を関連付けて学習する学習モデルを生成する。

第８観点のＸ線検査方法は、検査対象の物品に内包される被検出物の検出を行う。Ｘ線検査方法は、Ｘ線照射ステップと、Ｘ線検出ステップと、画像生成ステップと、被検出物検出ステップとを備える。Ｘ線照射ステップは、物品にＸ線を照射する。Ｘ線検出ステップは、物品を透過したＸ線を検出する。画像生成ステップは、Ｘ線検出ステップの検出結果から、物品のＸ線画像を生成する。被検出物検出ステップは、Ｘ線画像と、被検出物を検出する学習モデルとを用いて被検出物の検出を行う。学習モデルは、第１ステップと、第２ステップとを有する学習モデル生成方法によって生成されたものであることを特徴とする。第１ステップは、被検出物を含まない物品のＸ線画像である基本物品画像と、疑似的な被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、学習用画像の中の疑似被検出物画像の位置を示す教師信号を生成する。第２ステップは、基本物品画像、単位画像、又は単位画像の配置を変更しながら、第１ステップを複数回繰り返し、学習用画像と、教師信号と、を関連付けて学習する学習モデルを生成する。

第９観点の物品検査システムは、検査対象の物品に内包される被検出物、の検出を行う。物品検査システムは、Ｘ線照射部と、Ｘ線検出部と、画像生成部と、被検出物検出部とを備える。Ｘ線照射部は、物品にＸ線を照射する。Ｘ線検出部は、物品を透過したＸ線を検出する。画像生成部は、Ｘ線検出部の検出結果から、物品のＸ線画像を生成する。被検出物検出部は、Ｘ線画像と、被検出物を検出する学習モデルとを用いて被検出物の検出を行う。学習モデルは、合成部と、学習部とを有する学習モデル生成装置によって生成されたものであることを特徴とする。合成部は、被検出物を含まない物品のＸ線画像である基本物品画像と、疑似的な被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、学習用画像の中の疑似被検出物画像の位置を示す教師信号を生成する。学習部は、基本物品画像、単位画像、又は単位画像の配置を変更しながら、合成部による合成及び生成を複数回繰り返し、学習用画像と、教師信号と、を関連付けて学習する学習モデルを生成する。

Ｘ線検査装置は、被検出物を含まない数枚の物品画像から、疑似的な被検出物が混入した大量の物品画像を、学習データとして入手することができる。

Ｘ線検査装置を含む物品検査システムの概略図である。 Ｘ線検査装置の概略正面図である。 Ｘ線検査装置の概略の制御ブロック図である。 Ｘ線検査装置のシールドボックスの内部の簡易的な構成図である。 Ｘ線検査装置におけるＸ線ラインセンサのＸ線検出素子によって検出される透過Ｘ線量の例を示すグラフである。 学習モデル生成装置の概略の制御ブロック図である。 Ｘ線検査装置及び学習モデル生成装置の機能ブロック図である。 学習モデル生成方法のフローチャートである。 基本物品画像の例を示す図である。 魚身領域画像の例を示す図である。 疑似魚骨画像から構成される単位画像の例を示す図である。 同心円を利用して、疑似魚骨画像を生成する方法を説明するための図である。 全体疑似魚骨画像の例を示す図である。 単位画像の配置パターンの例を示す図である。 魚身疑似魚骨画像の例を示す図である。 学習用画像の例を示す図である。 Ｕ－Ｎｅｔを基としたＣＮＮ構造を示す図である。 Ｕ－Ｎｅｔを基としたＣＮＮ構造を示す図である。 Ｕ－Ｎｅｔを基としたＣＮＮ構造を示す図である。

（１）全体構成
Ｘ線検査装置１００は、物品検査システム１に組み込まれ、検査対象の物品Ｐに内包される被検出物（以下、異物と記載することがある。）の検出を行う。物品Ｐは、魚、肉、野菜又は果物等であるが、本実施形態では、物品Ｐは、魚とする。Ｘ線検査装置１００は、搬送されてくる物品Ｐに対してＸ線を照射して得られるＸ線画像に基づき、物品Ｐの品質検査を行う。品質検査の種類は、限定されるものではないが、本実施形態では、Ｘ線検査装置１００は、物品Ｐの異物検査を行う。異物検査とは、物品Ｐへの異物の混入の有無を検査する検査である。異物は、骨、骨片又は種等であるが、本実施形態では、異物は、細長い形状に湾曲部ＣＰを有する魚骨とする。

図１は、Ｘ線検査装置１００を含む物品検査システム１の概略図である。図１に示すように、物品検査システム１は、第１コンベア２、Ｘ線検査装置１００、振分装置４、及び第２コンベア６を有する。物品検査システム１では、第１コンベア２が、物品ＰをＸ線検査装置１００まで搬送する。Ｘ線検査装置１００では、物品Ｐの異物検査が行われる。Ｘ線検査装置１００の異物検査の結果は、Ｘ線検査装置１００の下流側に配置される振分装置４へと送信される。振分装置４は、Ｘ線検査装置１００が異物を含まないと判断した物品Ｐを第２コンベア６へと送る。また、振分装置４は、Ｘ線検査装置１００が異物を含むと判断した物品Ｐを不良品貯留コンベア８ａ，８ｂへと送る。

図２は、Ｘ線検査装置１００の概略正面図である。図３は、Ｘ線検査装置１００の概略の制御ブロック図である。図４は、Ｘ線検査装置１００のシールドボックス１０の内部の簡易的な構成図である。Ｘ線検査装置１００は、図２～図４に示すように、主として、シールドボックス１０、Ｘ線照射器２０、Ｘ線ラインセンサ３０、搬送機構４０、遮蔽カーテン４８、モニタ５０及びコントローラ６０を有する。

（２）詳細構成
以下では、説明の便宜上、方向や配置を説明するために「上」、「下」、「左」、「右」、「前（正面）」、「後（背面）」等の表現を用いる場合がある。これらの表現は、特に断りの無い場合、図中に矢印で示した方向に従う。本実施形態では、物品Ｐの搬送方向は左右方向であり、Ｘ線ラインセンサ３０の長手方向は前後方向である。

（２－１）シールドボックス
シールドボックス１０は、Ｘ線照射器２０、Ｘ線ラインセンサ３０、コントローラ６０等の機器を収容する筐体である。また、シールドボックス１０は、検査空間Ｓを覆う。検査空間Ｓは、Ｘ線照射器２０が照射するＸ線が、搬送機構４０により搬送される物品Ｐに照射される空間である。シールドボックス１０は、図２に示すよう、シールドボックス１０の下方に配置される脚部フレーム１５により支持される。

シールドボックス１０は、図２に示すように、左右の側面に開口１２を有している。開口１２は、検査対象の物品Ｐを搬出入するための開口である。物品Ｐは、搬送機構４０により、搬入口側の開口１２からシールドボックス１０の内部の検査空間Ｓに搬入され、搬出口側の開口１２からシールドボックス１０の外部に搬出される。本実施形態では、第１コンベア２で排出されてきた物品Ｐは、左側の開口１２からシールドボックス１０の内部に搬入され、右側の開口１２からシールドボックス１０の外部に搬出され振分装置４に受け渡される。

図２に示すように、物品Ｐの搬出入口となる開口１２には、シールドボックス１０の外部へのＸ線漏洩を抑制するため、遮蔽カーテン４８が設けられている。シールドボックス１０の内部への物品Ｐの搬入時、及び、シールドボックス１０からの物品Ｐの搬出時には、遮蔽カーテン４８は、遮蔽カーテン４８に接触する物品Ｐにより押しのけられる。

図２に示すように、シールドボックス１０の正面下部には、開閉可能な正面パネル１４が設けられている。メンテナンス作業者は、正面パネル１４の上方側を前方に倒すように回転させ、正面パネル１４を開くことで、検査空間Ｓに配置される遮蔽カーテン４８や搬送機構４０のメンテナンスを行うことができる。

シールドボックス１０の正面上部には、図２に示すように、モニタ５０が配置されている。また、シールドボックス１０の正面上部には、電源スイッチ等のスイッチ（図示せず）が配置されている。

（２－２）Ｘ線照射器
Ｘ線照射器２０は、Ｘ線を照射するＸ線源である。

Ｘ線照射器２０は、図２に示すように、シールドボックス１０の内部の左右方向における中央部に配置されている。また、Ｘ線照射器２０は、搬送機構４０が物品Ｐを搬送する検査空間Ｓの上方に配置されている。言い換えれば、Ｘ線照射器２０は、図４に示すように、搬送機構４０のコンベアベルト４２の上方に配置されている。

図４に示すように、Ｘ線照射器２０は、コンベアベルト４２の下方に配置されているＸ線ラインセンサ３０に向けてＸ線を照射する。言い換えれば、Ｘ線照射器２０は、搬送機構４０により搬送されてＸ線ラインセンサ３０の上方を通過する物品Ｐに対して、Ｘ線を照射する。Ｘ線照射器２０は、Ｘ線が搬送機構４０による物品Ｐの搬送方向に対して直交する方向（ここでは前後方向）に広がるようにＸ線を照射する。言い換えれば、Ｘ線照射器２０は、コンベアベルト４２の幅方向に広がるようにＸ線を照射する。Ｘ線照射器２０が照射するＸ線の照射範囲Ｚは概ね扇状である。

（２－３）Ｘ線ラインセンサ
Ｘ線ラインセンサ３０は、Ｘ線を検出するＸ線検出器である。

Ｘ線ラインセンサ３０は、図４に示すように、搬送機構４０が物品Ｐを搬送する検査空間Ｓの下方に配置されている。言い換えれば、Ｘ線ラインセンサ３０は、搬送機構４０のコンベアベルト４２の下方に配置されている。

Ｘ線ラインセンサ３０は、図４に示すように、主として多数のＸ線検出素子３２を有する。Ｘ線ラインセンサ３０のＸ線検出素子３２は、搬送機構４０の物品Ｐの搬送方向と交差する向きに並ぶように配置されている。特にここでは、Ｘ線検出素子３２は、搬送機構４０の物品Ｐの搬送方向と直交する前後方向に並ぶように配置されている。

Ｘ線ラインセンサ３０は、物品Ｐを透過したＸ線（透過Ｘ線）を検出する。具体的には、Ｘ線ラインセンサ３０の各Ｘ線検出素子３２は、物品Ｐを透過したＸ線量（透過Ｘ線量）を検出する。各Ｘ線検出素子３２は、検出された透過Ｘ線量に応じた電圧を示すＸ線透過信号を出力する。コントローラ６０は、Ｘ線ラインセンサ３０の出力するＸ線透過信号を受信し、Ｘ線透過信号に基づいてＸ線画像を生成する。

図５は、Ｘ線検査装置１００におけるＸ線ラインセンサ３０のＸ線検出素子３２によって検出される透過Ｘ線量の例を示すグラフである。グラフの横軸は、各Ｘ線検出素子３２の位置に対応する。また、グラフの横軸は、搬送機構４０の搬送方向に直交する水平方向の距離に対応する。グラフの縦軸は、Ｘ線検出素子３２で検出された透過Ｘ線量を示す。Ｘ線ラインセンサ３０の検出結果に基づきコントローラ６０が生成するＸ線画像では、透過Ｘ線量の多いところが明るく（淡く）表示され、透過Ｘ線量が少ないところが暗く（濃く）表示される。すなわち、Ｘ線画像の明暗（濃淡）は、透過Ｘ線の検出量に対応する。

（２－４）搬送機構
搬送機構４０は、物品検査システム１の第１コンベア２によってＸ線検査装置１００まで搬送されてきた物品Ｐを受け取り、検査空間Ｓを通過するように物品Ｐを搬送し、Ｘ線検査装置１００の下流側の第２コンベア６へと受け渡す機構である。搬送機構４０の種類を限定するものではないが、本実施形態では、搬送機構４０はベルトコンベアである。搬送機構４０は、シールドボックス１０の左側面及び右側面に形成された２つの開口１２を貫通するように配置され、搬送機構４０が物品Ｐを搬送する搬送路は、シールドボックス１０を貫通して延びる。

図２～図４に示すように、搬送機構４０は、主として、コンベアベルト４２と、モータ４４と、駆動ローラ４６ａと、従動ローラ４６ｂとを有する。コンベアベルト４２は、無端状で、駆動ローラ４６ａと従動ローラ４６ｂとに巻き掛けられている。モータ４４は、駆動ローラ４６ａを駆動し回転させる。搬送機構４０は、モータ４４で駆動ローラ４６ａを回転させることで、コンベアベルト４２を駆動し、コンベアベルト４２上の物品Ｐを搬送する。

（２－５）遮蔽カーテン
遮蔽カーテン４８は、検査空間Ｓの外部へのＸ線の漏洩を防止するための部材である。遮蔽カーテン４８は、例えば、タングステンを含むゴム製である。ただし、遮蔽カーテン４８の材質はタングステンを含むゴム製に限定されるものではなく、例えばステンレス製であってもよい。

図２に示すように、遮蔽カーテン４８は、物品Ｐの搬出入口となる開口１２に、物品Ｐの搬送方向に沿って二列に設けられている。ただし、遮蔽カーテン４８の列数は例示であって二列に限定されるものではなく、一列又は三列以上であってもよい。遮蔽カーテン４８は、Ｘ線の漏洩防止の観点からは、物品Ｐの搬送方向に沿って複数列設けられることが好ましい。

（２－６）モニタ
モニタ５０は、情報の表示機能を有するフルドット表示の液晶ディスプレイである。モニタ５０は、情報の表示機能に加え、タッチパネル機能も有する。

モニタ５０は、コントローラ６０が生成したＸ線画像や、コントローラ６０の異物検査の結果を表示する。また、モニタ５０は、Ｘ線検査装置１００の設定や、検査パラメータ等の入力を促す画面を表示する。

（２－７）コントローラ
コントローラ６０は、Ｘ線検査装置１００の各種機器の動作を制御する機器である。コントローラ６０は、Ｘ線検査装置１００の運転中にＸ線ラインセンサ３０が検出した物品Ｐを透過したＸ線量に基づいてＸ線画像を生成する。コントローラ６０は、生成したＸ線画像に基づいて物品Ｐの品質検査を行う。本実施形態では、コントローラ６０は、生成したＸ線画像に基づいて物品Ｐの異物検査を行う。

図３に示すように、コントローラ６０は、Ｘ線照射器２０、Ｘ線ラインセンサ３０、モータ４４及びモニタ５０と電気的に接続されている。コントローラ６０は、各種機器２０，３０，４４及び５０の動作を制御する。また、コントローラ６０は、Ｘ線ラインセンサ３０及びモニタ５０等から、各種情報を受け取る。また、コントローラ６０は、Ｘ線検査装置１００の下流側に配置され、Ｘ線検査装置１００により異物を含んでいると判断された物品Ｐを不良品として振り分ける振分装置４、とも通信可能に接続されている。

コントローラ６０は、図３に示すように、制御・演算装置としてのＣＰＵ６１と、ＲＯＭ６２、ＲＡＭ６３及びＨＤＤ（ハードディスクドライブ）６４を含む記憶装置６５と、を有する。ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、及びＨＤＤ６４は、アドレスバス，データバス等のバスラインを介して相互に接続されている。

また、コントローラ６０は、図示しない表示制御回路、キー入力回路及び通信ポートを有する。表示制御回路は、モニタ５０のデータ表示を制御する回路である。キー入力回路は、モニタ５０のタッチパネル機能を用いて入力されたキー入力データを取り込む回路である。通信ポートは、インターネットやＬＡＮ等のネットワークを介して、Ｘ線検査装置１００と、他の機器とを通信可能に接続するポートである。

記憶装置６５には、ＣＰＵ６１によって実行される各種プログラムや、Ｘ線検査装置１００の設定や、学習モデルＬＭや、異物検査の検査結果等が記憶されている。Ｘ線検査装置１００の設定は、例えば、物品Ｐの検査速度の設定である。

Ｘ線検査装置１００は、ＣＰＵ６１が記憶装置６５に記憶されているプログラムを実行することで実現される機能として、主として、Ｘ線照射部６１ａと、Ｘ線検出部６１ｂと、画像生成部６１ｃと、被検出物検出部６１ｄとを備える。

（２－７－１）Ｘ線照射部
Ｘ線照射部６１ａは、物品ＰにＸ線を照射する。Ｘ線照射部６１ａは、コントローラ６０が、Ｘ線照射器２０の動作を制御することで実現される。

（２－７－２）Ｘ線検出部
Ｘ線検出部６１ｂは、物品Ｐを透過したＸ線を検出する。Ｘ線検出部６１ｂは、コントローラ６０が、Ｘ線ラインセンサ３０の動作を制御することで実現される。

（２－７－３）画像生成部
画像生成部６１ｃは、Ｘ線検出部６１ｂの検出結果から、物品ＰのＸ線画像を生成する。具体的には、画像生成部６１ｃは、Ｘ線検出部６１ｂによって検出された透過Ｘ線量に基づいてＸ線画像を生成する。画像生成部６１ｃは、Ｘ線ラインセンサ３０の各Ｘ線検出素子３２から出力される、透過Ｘ線の強度に関するデータ（Ｘ線透過信号）を細かい時間間隔で取得し、データをマトリクス状に時系列につなぎ合わせて、物品ＰのＸ線画像を生成する。

（２－７－４）被検出物検出部
被検出物検出部６１ｄは、画像生成部６１ｃによって生成された物品ＰのＸ線画像と、被検出物を検出する学習モデルＬＭとを用いて、被検出物の検出を行う。学習モデルＬＭは、後述する学習モデル生成装置２００から取得する。

被検出物検出部６１ｄは、被検出物の検出結果を、Ｘ線検査装置１００の下流側に配置された振分装置４に送信する。異物混入有りと判断された場合、コントローラ６０は、モニタ５０に不良品表示を行う。

（２－８）学習モデル
本実施形態では、学習モデルＬＭは、学習モデル生成装置２００によって生成される。

学習モデル生成装置２００は、コントローラ１１０を有する。コントローラ１１０は、学習モデル生成装置２００の各種機器の動作を制御する機器である。図６は、学習モデル生成装置２００の概略の制御ブロック図である。コントローラ１１０は、図６に示すように、制御・演算装置としてのＣＰＵ１１１と、ＲＯＭ１１２、ＲＡＭ１１３及びＨＤＤ１１４を含む記憶装置１１５と、を有する。ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、及びＨＤＤ１１４は、アドレスバス，データバス等のバスラインを介して相互に接続されている。

また、コントローラ１１０は、図示しない表示制御回路、キー入力回路及び通信ポートを有する。表示制御回路は、図示しないモニタのデータ表示を制御する回路である。キー入力回路は、キーボード等により入力されたキー入力データを取り込む回路である。通信ポートは、インターネットやＬＡＮ等のネットワークを介して、学習モデル生成装置２００と、他の機器とを通信可能に接続するポートである。本実施形態では、学習モデル生成装置２００と、Ｘ線検査装置１００とは、ネットワーク介して通信可能に接続されている。しかし、学習モデル生成装置２００と、Ｘ線検査装置１００とは、データの受け渡しが可能であれば、ネットワークを介して接続されていなくてもよい。この場合、学習モデル生成装置２００と、Ｘ線検査装置１００とは、例えば、ＵＳＢメモリ等の記憶媒体を用いて、データの受け渡しを行う。また、Ｘ線検査装置１００と、学習モデル生成装置２００とは、１つの装置であってもよい。この場合、Ｘ線検査装置１００は、ＣＰＵ６１が記憶装置６５に記憶されているプログラムを実行することで実現される機能として、後述する学習モデル生成装置２００が有する機能を備える。

記憶装置１０５には、ＣＰＵ１０１によって実行される各種プログラム等が記憶されている。

学習モデル生成装置２００は、ＣＰＵ１１１が記憶装置１１５に記憶されているプログラムを実行することで実現される機能として、主として、合成部１１１ａと、学習部１１１ｂとを備える。

学習モデルＬＭは、合成部１１１ａの処理と、学習部１１１ｂの処理とを実行することで生成される。言い換えると、学習モデルＬＭは、合成部１１１ａの処理である第１ステップＳ１と、学習部１１１ｂの処理である第２ステップＳ２とを有する学習モデル生成方法によって生成される。

図７は、Ｘ線検査装置１００及び学習モデル生成装置２００の機能ブロック図である。図８は、学習モデル生成方法のフローチャートである。以下、図７及び図８を用いて、学習モデルＬＭが生成される過程を説明する。

以下に登場する画像は、グレースケール画像であり、２次元配列で表される。２次元配列の各要素は、画像内の各ピクセルに対応する。２次元配列の各要素の値は、画像内の各ピクセルの輝度値に対応する。輝度値は、０から２５５の値をとり、０が黒色、２５５が白色であるとする。

（２－８－１）合成部
図７及び図８のステップＳ１－１に示すように、合成部１１１ａは、Ｘ線検査装置１００の画像生成部６１ｃが生成した、魚骨（被検出物）を含まない魚（物品Ｐ）のＸ線画像である基本物品画像Ｙ_ｂａｓｅを、Ｘ線検査装置１００から取得する。図９は、基本物品画像Ｙ_ｂａｓｅの例を示す図である。図９に示すように、基本物品画像Ｙ_ｂａｓｅの魚身領域は、透過Ｘ線量が比較的少ないため、輝度値が小さく、黒色に近い色となる。一方、基本物品画像Ｙ_ｂａｓｅの背景領域（コンベア領域）は、透過Ｘ線量が比較的多いため、輝度値が大きく、白色に近い色となる。

合成部１１１ａは、基本物品画像Ｙ_ｂａｓｅを取得すると、図７及び図８のステップＳ１－２に示すように、基本物品画像Ｙ_ｂａｓｅの輝度値を、以下の数式により二値化し、魚身領域と、背景領域とを輝度値によって分割した画像である魚身領域画像Ｔ_ｂｏｄｙを生成する。

ここで、Ｙ_ｂａｓｅ（ｘ，ｙ）は、基本物品画像Ｙ_ｂａｓｅ内のピクセルの位置（ｘ，ｙ）における輝度値である。また、Ｔｈ_ｂｏｄｙは二値化のための輝度値の閾値である。Ｔｈ_ｂｏｄｙは、例えば輝度値ヒストグラム等を用いて決定する。図１０は、魚身領域画像Ｔ_ｂｏｄｙの例を示す図である。図１０に示すように、魚身領域画像Ｔ_ｂｏｄｙは、魚身領域の輝度値が１、背景領域の輝度値が０である。なお、魚身領域は、輝度値が１であるため、図１０に示すような白色とはならないが、背景領域と区別するため、ここでは白色で描いている。

合成部１１１ａは、魚身領域画像Ｔ_ｂｏｄｙを生成すると、図７及び図８のステップＳ１－３に示すように、以下の数式により、基本物品画像Ｙ_ｂａｓｅの魚身領域の輝度値を変更してもよい。

ここで、ａｍｏｕｎｔ_ａｕｇは、輝度値の変分を示す。数２に示すように、合成部１１１ａは、基本物品画像Ｙ_ｂａｓｅの魚身領域の輝度値を、一律にａｍｏｕｎｔ_ａｕｇの値だけ増減することができる。以下、基本物品画像Ｙ_ｂａｓｅの魚身領域の輝度値を変更した画像を基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}と記載する。基本物品画像Ｙ_ｂａｓｅの魚身領域の輝度値を変更しない場合であっても、（ａｍｏｕｎｔ_ａｕｇの値が０であるとして、）基本物品画像Ｙ_ｂａｓｅの代わりに、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}を用いる。

合成部１１１ａは、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}を生成すると、図７及び図８のステップＳ１－４に示すように、疑似的な魚骨（被検出物）の画像である疑似魚骨画像ＰＢ（疑似被検出物画像）から構成される単位画像ＵＩを生成する。図１１は、疑似魚骨画像ＰＢから構成される単位画像ＵＩの例を示す図である。図１１では、単位画像ＵＩは、６本の疑似魚骨画像ＰＢから構成されている。

単位画像ＵＩ内の１つ又は複数の疑似魚骨画像ＰＢ（疑似被検出物画像）は、細長い形状を有する。合成部１１１ａは、疑似魚骨画像ＰＢの太さ、角度、及び／又は、輝度値を調整して、単位画像ＵＩを生成する。また、単位画像ＵＩ内の１つ又は複数の疑似魚骨画像ＰＢ（疑似被検出物画像）は、湾曲部ＣＰを有する。合成部１１１ａは、疑似魚骨画像ＰＢの湾曲部ＣＰの曲率を調整して、単位画像ＵＩを生成する。単位画像ＵＩ内に、これらの疑似魚骨画像ＰＢを生成するには、例えば、単位画像ＵＩ内の２本の対角線の交点Ｏを中心とする同心円を利用する。図１２は、同心円を利用して、疑似魚骨画像ＰＢを生成する方法を説明するための図である。図１２には、単位画像ＵＩ内の２本の対角線の交点Ｏを中心として、２つの同心円Ｃ１，Ｃ２が描かれている。半径ｒ１の同心円Ｃ１が内側の円であり、半径ｒ２の同心円Ｃ１が外側の円である。図１２に示すように、同心円Ｃ１と同心円Ｃ２との間の領域を、なす角がθの２つの直線で区切り、区切られた領域の輝度値を適切な疑似魚骨画像ＰＢの輝度値に、それ以外の単位画像ＵＩ内の輝度値を０（黒色）にする。次に、区切られた領域の両端ＴＭが尖るように、両端ＴＭの一部の輝度値を０（黒色）に変更すると、疑似魚骨画像ＰＢ（図１２のハッチングされた領域）が出来上がる。このとき、疑似魚骨画像ＰＢの太さは、同心円Ｃ２の半径ｒ２と、同心円Ｃ１の半径ｒ１との差であるｒ２－ｒ１の値の大小で調整することができる。疑似魚骨画像ＰＢの角度は、角度θでどの方位を区切るかで調整することができる。疑似魚骨画像ＰＢの輝度値は、例えば、１２８以下の値で調整する。疑似魚骨画像ＰＢの湾曲部ＣＰの曲率は、同心円Ｃ１，Ｃ２の半径ｒ１，ｒ２の大小で調整することができる。

合成部１１１ａは、単位画像ＵＩを生成すると、図７及び図８のステップＳ１－５に示すように、複数の単位画像ＵＩを生成する。複数の単位画像ＵＩとは、単位画像ＵＩを魚身領域画像Ｔ_ｂｏｄｙ全体に敷き詰めた画像（全体疑似魚骨画像Ｂ）である。図１３は、全体疑似魚骨画像Ｂの例を示す図である。全体疑似魚骨画像Ｂを構成する単位画像ＵＩの配置パターンは、複数考えられる。例えば、図８のステップＳ１－４で生成した単位画像ＵＩをそのままの向きで魚身領域画像Ｔ_ｂｏｄｙ全体に配置してもよいし、単位画像ＵＩを９０度回転した画像を魚身領域画像Ｔ_ｂｏｄｙ全体に配置してもよい。また、すべての単位画像ＵＩを同じ向きに配置するのではなく、ある場所だけ角度の異なる単位画像ＵＩを配置してもよい。図１４は、単位画像ＵＩの配置パターンの例を示す図である。図１４には、全体疑似魚骨画像Ｂの一部の領域が示されている。図１４内の格子状に区切られた各区画が、単位画像ＵＩである。ここでは、単位画像ＵＩ１が、図８のステップＳ１－４で生成された単位画像ＵＩであるとする。単位画像ＵＩ１には、上向きの矢印が記載されている。単位画像ＵＩ２には、右向きの矢印が記載されている。これは、単位画像ＵＩ２が、単位画像ＵＩ１を時計回りに９０度回転して配置された画像であることを意味する。同様に、単位画像ＵＩ３は、単位画像ＵＩ１を時計回りに１８０度回転して配置された画像である。

合成部１１１ａは、全体疑似魚骨画像Ｂを生成すると、図７及び図８のステップＳ１－６に示すように、以下の数式により、全体疑似魚骨画像Ｂ内の疑似魚骨画像ＰＢを、魚身領域だけに残した画像（魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}）を生成する。

ここで、演算∩は、ピクセル毎に輝度値の積をとる演算である。図１５は、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の例を示す図である。図１５に示すように、魚身領域画像Ｔ_ｂｏｄｙの背景領域の輝度値は０であるため、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の背景領域の輝度値は０（黒色）となる。一方、魚身領域画像Ｔ_ｂｏｄｙの魚身領域の輝度値は１であるため、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の魚身領域の輝度値は、全体疑似魚骨画像Ｂと同じ輝度値となる。

合成部１１１ａは、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}を生成すると、図７及び図８のステップＳ１－７に示すように、以下の数式により、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}と、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}とを合成し、学習用画像Ｙ_{ｉｎｐｕｔ}を生成する。

ここで、ｍｉｘ－ｒａｔｉｏは、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}を、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}に合成する際の濃度を表す。図１６は、学習用画像Ｙ_{ｉｎｐｕｔ}の例を示す図である。図１６に示すように、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の背景領域の輝度値は０であるため、学習用画像Ｙ_{ｉｎｐｕｔ}の背景領域の輝度値は、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}と同じ輝度値となる。また、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の魚身領域の内、疑似魚骨画像ＰＢ以外の領域の輝度値も０であるため、学習用画像Ｙ_{ｉｎｐｕｔ}の魚身領域の内、疑似魚骨領域以外の領域の輝度値も、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}と同じ輝度値となる。一方、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の疑似魚骨画像ＰＢの輝度値は０ではないため、学習用画像Ｙ_{ｉｎｐｕｔ}の疑似魚骨領域の輝度値は、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}の輝度値から、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の輝度値にｍｉｘ－ｒａｔｉｏをかけた値、を除いた輝度値となる。ｍｉｘ－ｒａｔｉｏの値が大きいほど、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}の疑似魚骨領域の輝度値は大きく減少するので、学習用画像Ｙ_{ｉｎｐｕｔ}の疑似魚骨領域の輝度値は、０（黒色）に近づくことになる。

合成部１１１ａは、学習用画像Ｙ_{ｉｎｐｕｔ}を生成すると、図７及び図８のステップＳ１－８に示すように、以下の数式により、教師信号Ｔ_{ｏｕｔｐｕｔ}を生成する。

ここで、演算￣は、０より大きな輝度値を０に、０の輝度値を０より大きな値（例えば１）に変換する演算である。数５に示すように、教師信号Ｔ_{ｏｕｔｐｕｔ}は、学習用画像Ｙ_{ｉｎｐｕｔ}の中の疑似魚骨画像ＰＢ（疑似被検出物画像）の位置を表す。具体的には、魚身領域画像Ｔ_ｂｏｄｙの背景領域の輝度値は０であるため、教師信号Ｔ_{ｏｕｔｐｕｔ}の背景領域の要素の値は０となる。一方、魚身領域画像Ｔ_ｂｏｄｙの魚身領域の輝度値は１である。このとき、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の魚身領域の内、疑似魚骨画像ＰＢ以外の領域の輝度値は０であるため、教師信号Ｔ_{ｏｕｔｐｕｔ}の魚身領域の内、疑似魚骨領域以外の領域の要素の値は１となる。また、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}の疑似魚骨画像ＰＢの輝度値は０より大きいため、教師信号Ｔ_{ｏｕｔｐｕｔ}内の疑似魚骨領域の要素の値は２となる。言い換えると、教師信号Ｔ_{ｏｕｔｐｕｔ}の要素が２である場合、これに相当するピクセルは、疑似魚骨領域である。教師信号Ｔ_{ｏｕｔｐｕｔ}の要素が１である場合、これに相当するピクセルは、魚身領域の内、疑似魚骨領域以外の領域である。教師信号Ｔ_{ｏｕｔｐｕｔ}の要素が０である場合、これに相当するピクセルは、背景領域である。そのため、Ｔ_{ｏｕｔｐｕｔ}の要素の値である「０」，「１」及び「２」は、クラスラベルを表す。以下、「０」を背景クラス（背景領域）、「１」を魚身クラス（魚身領域の内、疑似魚骨領域以外の領域）、「２」を魚骨クラス（疑似魚骨領域）と記載する。例えば、教師信号Ｔ_{ｏｕｔｐｕｔ}の要素が２である場合、これに相当するピクセルは、魚骨クラスに属している。

合成部１１１ａは、教師信号Ｔ_{ｏｕｔｐｕｔ}を生成すると、図７及び図８のステップＳ１－９に示すように、教師信号Ｔ_{ｏｕｔｐｕｔ}をワンホット表現に変換した教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}を生成する。ここで、ワンホット表現とは、３つのクラスに対応する３つのチャネルを設け、教師信号Ｔ_{ｏｕｔｐｕｔ}の要素の値が、あるクラスラベルであった場合に、そのクラスのチャネルの対応する要素の値を１に、そのクラス以外のチャネルの対応する要素の値を０にする表現である。例えば、教師信号Ｔ_{ｏｕｔｐｕｔ}の要素（ｘ、ｙ）の値が２であった場合、魚骨クラスのチャネルの要素（ｘ、ｙ）の値を１とし、背景クラス及び魚身クラスのチャネルの要素（ｘ、ｙ）の値を０とする。そのため、教師信号Ｔ_{ｏｕｔｐｕｔ}は２次元配列で表されるのに対し、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}は３つチャネルの次元をさらに有する３次元配列で表される。

合成部１１１ａは、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}を生成すると、図７及び図８のステップＳ１－１０に示すように、学習用画像Ｙ_{ｉｎｐｕｔ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}を、より小さな画像に分割してもよい。例えば、学習用画像Ｙ_{ｉｎｐｕｔ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}が３００×３００ピクセルであった場合、これを１００×１００ピクセルの９枚の画像に切り分けてもよい。以下、分割後の画像を、それぞれ学習用画像Ｙ_{ｉｎｐｕｔ＿ｄｉｖ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ＿ｄｉｖ}と記載する。学習用画像Ｙ_{ｉｎｐｕｔ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}を、より小さな画像に分割しない場合であっても、（１分割を行ったとして、）学習用画像Ｙ_{ｉｎｐｕｔ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}の代わりに、学習用画像Ｙ_{ｉｎｐｕｔ＿ｄｉｖ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ＿ｄｉｖ}を用いる。

学習用画像Ｙ_{ｉｎｐｕｔ＿ｆｉｎ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ＿ｆｉｎ}は、後述する学習モデルＬＭを生成するための学習データＬＤである。学習用画像Ｙ_{ｉｎｐｕｔ＿ｆｉｎ}は、グレースケール画像であり、２次元配列で表される。教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ＿ｆｉｎ}は、３つチャネルの次元をさらに有する３次元配列で表される。

（２－８－１－１）合成部の自由度
合成部１１１ａは、学習データＬＤを増大させるための自由度を有する。

図８のステップＳ１－１には、取得する基本物品画像Ｙ_ｂａｓｅを変更する自由度がある。

図８のステップＳ１－３には、基本物品画像Ｙ_ｂａｓｅの魚身領域の輝度値を変更する際に、ａｍｏｕｎｔ_ａｕｇの値を変更する自由度がある。

図８のステップＳ１－４には、疑似魚骨画像ＰＢの太さ、角度、及び／又は、輝度値を変更し、又は、疑似魚骨画像ＰＢの湾曲部ＣＰの曲率を変更して、単位画像ＵＩを生成する自由度がある。

図８のステップＳ１－５には、単位画像ＵＩの配置パターンを変更して、全体疑似魚骨画像Ｂを生成する自由度がある。

図８のステップＳ１－７には、基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}と、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}とを合成する際に、ｍｉｘ－ｒａｔｉｏの値を変更する自由度がある。

図８のステップＳ１－１０には、学習用画像Ｙ_{ｉｎｐｕｔ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}を分割する自由度がある。

（２－８－２）学習部
図７及び図８のステップＳ２－１に示すように、学習部１１１ｂは、学習データＬＤが所定件数以上になるまで、基本物品画像Ｙ_ｂａｓｅ、単位画像ＵＩ、又は単位画像ＵＩの配置を変更しながら、合成部１１１ａによる合成及び生成（第１ステップＳ１）を複数回繰り返し、学習データＬＤを蓄積する。

基本物品画像Ｙ_ｂａｓｅの変更は、ステップＳ１－１における取得する基本物品画像Ｙ_ｂａｓｅの変更、及び、ステップＳ１－３における基本物品画像Ｙ_ｂａｓｅの魚身領域の輝度値の変更である。

単位画像ＵＩの変更は、ステップＳ１－４における疑似魚骨画像ＰＢ（疑似被検出物画像）の太さ、角度、及び／又は、輝度値の変更、及び、同じくステップＳ１－４における疑似魚骨画像ＰＢ（疑似被検出物画像）の湾曲部ＣＰの曲率の変更である。

単位画像ＵＩの配置の変更は、ステップＳ１－５における単位画像ＵＩの配置パターンの変更である。

また、学習部１１１ｂは、学習データＬＤが所定件数以上になるまで、ステップＳ１－１０における学習用画像Ｙ_{ｉｎｐｕｔ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}の分割を行いながら、合成部１１１ａによる合成及び生成（第１ステップＳ１）を複数回繰り返し、学習データＬＤを蓄積する。

なお、学習部１１１ｂは、学習データＬＤが所定件数以上になるまで、ステップＳ１－７における基本物品画像Ｙ_{ｂａｓｅ＿ａｕｇ}と、魚身疑似魚骨画像Ｂ_{ｏｎ＿ｂｏｄｙ}とを合成する際のｍｉｘ－ｒａｔｉｏの値を変更しながら、合成部１１１ａによる合成及び生成（第１ステップＳ１）を複数回繰り返し、学習データＬＤを蓄積することもできる。

学習部１１１ｂは、学習データＬＤが所定件数以上になると、図７及び図８のステップＳ２－２に示すように、学習用画像Ｙ_{ｉｎｐｕｔ＿ｄｉｖ}と、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ＿ｄｉｖ}と、を関連付けて学習する学習モデルＬＭを生成する。

（２－８－２－１）学習モデルの詳細
本実施形態では、学習モデルＬＭは、Ｕ－Ｎｅｔを基としたＣＮＮ構造を用いる。しかし、学習モデルＬＭはこれに限定されず任意である。

図１７ａ～図１７ｃは、Ｕ－Ｎｅｔを基としたＣＮＮ構造を示す図である。図１７ａ～図１７ｃは、３つの図面に分割されているが、上下方向につながる１つのＣＮＮ構造を示している。図１７ａ～図１７ｃにおいて、ｆ＝（ｘ，ｙ）は、フィルタサイズがｘ（幅）×ｙ（高さ）であること、ｎは特徴マップ数、ドロップアウトの比率はドロップアウトの消失比率、Ｗ（幅）×Ｈ（高さ）は入出力画像及び特徴マップの画像サイズを表す。Ｕ－Ｎｅｔは、高速かつ正確なセグメンテーションに向けたＣＮＮ構造である。通常のＣＮＮによって行われるクラス分類では、畳み込み層が物体の局所的な特徴を抽出する役割を担い、プーリング層が物体の全体的な位置ずれに対するロバスト性を生み出す役割を担っている。そのため、層が深くなるに従い、抽出される特徴量は集積され、その特徴の全体的な位置情報はより曖昧になる。しかし、セグメンテーションにおいては、物体の局所的特長と全体的位置情報の両方を得ることが重要である。そこで、Ｕ－Ｎｅｔでは、Ｅｎｃｏｄｅｒで抽出された特徴マップと、Ｄｅｃｏｄｅｒで得られた特徴マップとを連結（図１７ａ～図１７ｃの左から右への矢印）することで、局所的特徴を保持したまま全体的位置情報の復元を実現している。また、ＣＮＮには、活性化関数ＲｅＬＵの前段にバッチ正規化を導入する。さらに、疑似魚骨と本物の魚骨の乖離を考慮し、汎化性能を確保する目的で、ドロップアウトを導入する。出力層の活性化関数は、ソフトマックス関数とし、ピクセル毎に魚骨クラス、魚身クラス及び背景クラスの確率とみなせる値を出力する。

損失関数は、以下に示すように、ｉチャネル毎の重みα_ｉを付けた交差エントロピーを用いる。

ここで、Ｎは出力ユニットの総数（本実施形態では、Ｎ＝Ｗ×Ｈ。）、Ｄはチャネル数（本実施形態では、Ｄ＝３。）、ｔ_ｎｉはｎ番目のピクセルのｉチャネルの教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ＿ｄｉｖ}の値、ｙ_ｎｉはｎ番目のピクセルのｉチャネルの出力層の出力値である。重みα_ｉについては、各クラスのデータ量に反比例するように設定する。学習用画像Ｙ_{ｉｎｐｕｔ＿ｄｉｖ}内において、検査対象である魚骨は非常に細いため、魚骨クラスのピクセル数と、他のクラスのピクセル数との間で、極端なデータ量の偏りが生じている。データ量に偏りがある場合、交差エントロピーでは、その値が多数クラスのデータに引きずられる。これにより、ＣＮＮは、多数クラスに対して分類精度が高く、少数クラスに対して分類精度が低いモデルとなる。そこで、各クラスのデータ量の不均衡を補正するように、交差エントロピーに重み付けを行う。これにより、クラス毎の量が不均一なデータに対しても、ＣＮＮの学習を適切に行うことができる。

なお、推論時においては、Ｘ線検査装置１００の被検出物検出部６１ｄは、画像生成部６１ｃによって生成された物品ＰのＸ線画像を、学習モデルＬＭに入力し、ピクセル毎に３クラス分の確率が格納された３次元配列を出力する。本実施形態では、Ｘ線検査装置１００の被検出物検出部６１ｄは、魚骨クラスの確率が最大である出力領域をＨｉｇｈ信号、その他の出力領域をＬｏｗ信号として、魚骨領域を示す二値画像を生成し、魚骨（被検出物）の検出を行う。

（２－８－３）評価実験
ここでは、非特許文献１に示される微分フィルタを用いた手法（以下、従来手法と記載する。）と、本実施形態の学習モデル生成方法による手法（以下、今回手法と記載する。）と、を用いて、魚のＸ線画像から魚骨領域を検出し、これらの性能を評価する。

（２－８－３－１）実験環境
評価実験の実行環境は、以下に示す通りである。
ＯＳ：Ｕｂｕｎｔｕ１６．０４ＬＴＳ
ＣＰＵ：ＩｎｔｅｌＣｏｒｅｉ７‐８７００ ３．２０ＧＨｚ
メモリ：１６．００ＧＢ
ＧＰＵ：ＮＶＩＤＩＡ ＧｅＦｏｒｃｅＧＴＸ１０８０ ８ＧＢ
統合開発環境：ＭＡＴＬＡＢ（登録商標）

ＣＮＮの学習と推論の畳み込み演算は、Ｄｅｅｐ ＬｅａｒｎｉｎｇのライブラリであるＣａｆｆｅを用いた。

（２－８－３－２）前提条件
ここでは、図８のステップＳ１－１において、基本物品画像Ｙ_ｂａｓｅを１０枚取得した。この基本物品画像Ｙ_ｂａｓｅの画像サイズは、８００×１６００ピクセルである。また、ステップＳ１－３において、基本物品画像Ｙ_ｂａｓｅの魚身領域の輝度値を変更する際のａｍｏｕｎｔ_ａｕｇの値として、０，±５，±１０の５種類の値を用いた。また、ステップＳ１－１０において、８００×１６００ピクセルの学習用画像Ｙ_{ｉｎｐｕｔ}を、１２８×１２８ピクセルの画像に分割した。

１０枚の基本物品画像Ｙ_ｂａｓｅを用いると、学習データＬＤは１０枚となる。さらに、１枚の基本物品画像Ｙ_ｂａｓｅに対して、５種類のａｍｏｕｎｔ_ａｕｇの値を用いると、学習データＬＤは５０（＝１０×５）枚となる。さらに、１枚の８００×１６００ピクセルの学習用画像Ｙ_{ｉｎｐｕｔ}を、１２８×１２８ピクセルの画像に分割すると、１枚が１０３４枚になるので、学習データＬＤは、約５万（＝５０×１０３４）枚となる。上記は一例であるが、このようにして、今回手法では、大量の学習データＬＤを入手することができる。

評価用画像は、本物の魚骨が混入しているＸ線画像１０枚とした。学習モデルＬＭの学習回数は、５００万回とした。最適化アルゴリズムには、Ａｄａｍを用いた。学習率ｌｒは、指数関数的減衰を用い、初期値ｌｒ_ｂａｓｅを１０^－４とし、学習回数ｉｔｅｒに対し、

となるように設定を行った。損失関数の重みα_ｉは、背景クラスの重みであるα_０を０．０４１２、魚身クラスの重みであるα_１を０．１０３４、魚骨クラスの重みであるα_２を１とした。

評価指標は、客観指標として出力の正確性を示す適合率、網羅性を示す再現率、これらの調和平均であるＦ値、及び、出力領域と正解領域の一致具合を評価するＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を用いた。それぞれの値は、出力画像をＹ_ｏｕｔｐｕｔ、正解画像をＹ_ｔｒｕｔｈとすると、以下の数式で表される。

ここで｜Ｙ｜は、画像Ｙ内の、輝度値が０より大きいピクセルの数を表す。適合率、再現率、Ｆ値及びＩｏＵは、従来手法及び今回手法の出力において、魚骨領域をＨｉｇｈ信号、その他の領域をＬｏｗ信号とした二値画像に対し、計測を行う。ただし、魚骨の境界部分は曖昧であるため、どちらの手法においても、演算∩の際は、正解領域Ｙ_ｔｒｕｔｈと、その周囲２ピクセルを、正解領域と許容して算出する。

（２－８－３－３）実験結果
以下の表１に、適合率、再現率、Ｆ値及びＩｏＵの算出結果を示す。

表１に示すように、今回手法が、すべての評価指標において、高い値を示した。これは、魚骨領域をより正確に抽出でき、また背景領域内のノイズの誤検出を低減できたためであると考えられる。

（４）特徴
（４－１）
Ｘ線を用いて、物品に含まれる異物などの被検出物を検出する技術がある。

従来は、微分フィルタを用いて、被検出物が混入した物品のＸ線画像内のエッジを強調し、閾値によって２値化処理を行うことにより、物品に含まれる被検出物を検出する。しかし、微分フィルタを用いる方法では、被検出物の他に、ノイズや、物品の外形も抽出してしまうため、これらの区別が難しい。そのため、微分フィルタを用いる方法ではなく、機械学習を用いる方法が考えられる。しかし、機械学習を用いる方法では、学習データとなる、被検出物が混入した物品のＸ線画像、の絶対数が少なく、大量の学習データを入手することが困難である、という課題があった。

本実施形態のＸ線検査装置１００では、学習モデルＬＭは、第１ステップＳ１と、第２ステップＳ２とを有する学習モデル生成方法によって生成されたものであることを特徴とする。第１ステップＳ１は、魚骨（被検出物）を含まない物品ＰのＸ線画像である基本物品画像Ｙ_ｂａｓｅと、疑似的な魚骨（被検出物）の画像である疑似魚骨画像ＰＢ（疑似被検出物画像）から構成される複数の単位画像ＵＩと、を合成して学習用画像Ｙ_{ｉｎｐｕｔ}を生成し、学習用画像Ｙ_{ｉｎｐｕｔ}中の疑似魚骨画像ＰＢ（疑似被検出物画像）の位置を示す教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}を生成する。第２ステップＳ２は、基本物品画像Ｙ_ｂａｓｅ、単位画像ＵＩ、又は単位画像ＵＩの配置を変更しながら、第１ステップＳ１を複数回繰り返し、学習用画像Ｙ_{ｉｎｐｕｔ}と、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}と、を関連付けて学習する学習モデルＬＭを生成する。その結果、Ｘ線検査装置１００は、魚骨（被検出物）を含まない数枚の物品画像から、疑似的な被検出物が混入した大量の物品画像を、学習データＬＤとして入手することができる。

（４－２）
本実施形態のＸ線検査装置１００では、単位画像ＵＩ内の１つ又は複数の疑似魚骨画像ＰＢ（疑似被検出物画像）は、細長い形状を有する。学習モデルＬＭは、疑似魚骨画像ＰＢ（疑似被検出物画像）の、太さ、角度、及び／又は、輝度値を変更しながら、第１ステップＳ１を複数回繰り返し生成されている。その結果、Ｘ線検査装置１００は、様々な太さ、角度、及び、輝度値の魚骨（被検出物）を、学習することができる。

（４－３）
本実施形態のＸ線検査装置１００では、単位画像ＵＩ内の１つ又は複数の疑似魚骨画像ＰＢ（疑似被検出物画像）は、湾曲部ＣＰをさらに有する。学習モデルＬＭは、疑似魚骨画像ＰＢ（疑似被検出物画像）の湾曲部ＣＰの曲率を変更しながら第１ステップＳ１を複数回繰り返し生成されている。その結果、Ｘ線検査装置１００は、様々な曲率の魚骨（被検出物）を、学習することができる。

（４－４）
本実施形態のＸ線検査装置１００では、学習モデルＬＭは、基本物品画像Ｙ_ｂａｓｅの輝度値を変更しながら、第１ステップＳ１を複数回繰り返し生成されている。その結果、Ｘ線検査装置１００は、物品Ｐの様々な厚みを、学習することができる。

（４－５）
本実施形態のＸ線検査装置１００では、学習モデルＬＭは、学習用画像Ｙ_{ｉｎｐｕｔ}、及び、教師信号Ｔ_{ｏｕｔｐｕｔ＿ｏｈ}を分割しながら、第１ステップＳ１を複数回繰り返し生成されている。その結果、Ｘ線検査装置１００は、学習データＬＤを、さらに増加させることができる。

（４－６）
本実施形態のＸ線検査装置１００では、物品Ｐは、魚、肉、野菜又は果物である。被検出物は、骨、骨片又は種である。その結果、Ｘ線検査装置１００は、特に、魚、肉、野菜又は果物から、骨、骨片又は種を、検出することができる。

（５）変形例
（５－１）変形例１Ａ
本実施形態では、Ｘ線検査装置１００は、Ｘ線照射部６１ａと、Ｘ線検出部６１ｂと、画像生成部６１ｃと、被検出物検出部６１ｄの機能により、検査対象の物品Ｐに内包される魚骨（被検出物）の検出を行った。

しかし、Ｘ線検査装置１００は、Ｘ線照射部６１ａの処理に対応するＸ線照射ステップと、Ｘ線検出部６１ｂの処理に対応するＸ線検出ステップと、画像生成部６１ｃの処理に対応する画像生成ステップと、被検出物検出部６１ｄの処理に対応する被検出物検出ステップとを備えるＸ線検査プログラム、を実行し検査対象の物品Ｐに内包される魚骨（被検出物）の検出を行ったと捉えてもよい。

（５－２）変形例１Ｂ
本実施形態では、Ｘ線検査装置１００は、Ｘ線照射部６１ａと、Ｘ線検出部６１ｂと、画像生成部６１ｃと、被検出物検出部６１ｄの機能により、検査対象の物品Ｐに内包される魚骨（被検出物）の検出を行った。

しかし、Ｘ線検査装置１００は、Ｘ線照射部６１ａの処理に対応するＸ線照射ステップと、Ｘ線検出部６１ｂの処理に対応するＸ線検出ステップと、画像生成部６１ｃの処理に対応する画像生成ステップと、被検出物検出部６１ｄの処理に対応する被検出物検出ステップとを備えるＸ線検査方法、により検査対象の物品Ｐに内包される魚骨（被検出物）の検出を行ったと捉えてもよい。

１ 物品検査システム
６１ａ Ｘ線照射部
６１ｂ Ｘ線検出部
６１ｃ 画像生成部
６１ｄ 被検出物検出部
１００ Ｘ線検査装置
２００ 学習モデル生成装置
ＬＭ 学習モデル
Ｐ 物品
Ｓ１（Ｓ１－１～Ｓ１－１０） 第１ステップ
Ｓ２（Ｓ２－１～Ｓ２－２） 第２ステップ
ＵＩ 単位画像
Ｙ_ｂａｓｅ 基本物品画像
Ｙ_{ｉｎｐｕｔ} 学習用画像
Ｔ_{ｏｕｔｐｕｔ＿ｏｈ} 教師信号

「Ｘ線を用いた食品中の異物混入検査」 大平倫宏、周洪鈞、坂巻佳壽美、上村久仁男、清水英明、斉木秀夫著 東京都立産業技術研究センター研究報告第３号、２００８年

Claims (9)

1. 検査対象の物品に内包される被検出物の検出を行うＸ線検査装置であって、
   前記物品にＸ線を照射するＸ線照射部と、
   前記物品を透過した前記Ｘ線を検出するＸ線検出部と、
   前記Ｘ線検出部の検出結果から、前記物品のＸ線画像を生成する画像生成部と、
   前記Ｘ線画像と、前記被検出物を検出する学習モデルと、を用いて前記被検出物の検出を行う被検出物検出部と、
   を備え、
   前記学習モデルは、
   前記被検出物を含まない前記物品のＸ線画像である基本物品画像と、疑似的な前記被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、前記学習用画像中の前記疑似被検出物画像の位置を示す教師信号を生成する、第１ステップと、
   前記基本物品画像、前記単位画像、又は前記単位画像の配置を変更しながら、前記第１ステップを複数回繰り返し、前記学習用画像と、前記教師信号と、を関連付けて学習する学習モデルを生成する、第２ステップと、
   を有する学習モデル生成方法によって生成されたものであることを特徴とする、
   Ｘ線検査装置。
2. 前記単位画像内の１つ又は複数の前記疑似被検出物画像は、細長い形状を有し、
   前記学習モデルは、前記疑似被検出物画像の、太さ、角度、及び／又は、輝度値を変更しながら、前記第１ステップを複数回繰り返し生成されている、
   請求項１に記載のＸ線検査装置。
3. 前記単位画像内の１つ又は複数の前記疑似被検出物画像は、湾曲部をさらに有し、
   前記学習モデルは、前記疑似被検出物画像の前記湾曲部の曲率を変更しながら前記第１ステップを複数回繰り返し生成されている、
   請求項２に記載のＸ線検査装置。
4. 前記学習モデルは、前記基本物品画像の輝度値を変更しながら、前記第１ステップを複数回繰り返し生成されている、
   請求項１から３のいずれか一項に記載のＸ線検査装置。
5. 前記学習モデルは、前記学習用画像、及び、前記教師信号を分割しながら、前記第１ステップを複数回繰り返し生成されている、
   請求項１から４のいずれか一項に記載のＸ線検査装置。
6. 前記物品は、魚、肉、野菜又は果物であり、
   前記被検出物は、骨、骨片又は種である、
   請求項１から５のいずれか一項に記載のＸ線検査装置。
7. 検査対象の物品に内包される被検出物の検出をコンピュータによって実現するためのＸ線検査プログラムであって、
   前記物品にＸ線を照射するＸ線照射ステップと、
   前記物品を透過した前記Ｘ線を検出するＸ線検出ステップと、
   前記Ｘ線検出ステップの検出結果から、前記物品のＸ線画像を生成する画像生成ステップと、
   前記Ｘ線画像と、前記被検出物を検出する学習モデルと、を用いて前記被検出物の検出を行う被検出物検出ステップと、
   を実行させ、
   前記学習モデルは、
   前記被検出物を含まない前記物品のＸ線画像である基本物品画像と、疑似的な前記被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、前記学習用画像の中の前記疑似被検出物画像の位置を示す教師信号を生成する、第１ステップと、
   前記基本物品画像、前記単位画像、又は前記単位画像の配置を変更しながら、前記第１ステップを複数回繰り返し、前記学習用画像と、前記教師信号と、を関連付けて学習する学習モデル、を生成する、第２ステップと、
   を有する学習モデル生成方法によって生成されたものであることを特徴とする、
   Ｘ線検査プログラム。
8. 検査対象の物品に内包される被検出物の検出を行うＸ線検査方法であって、
   前記物品にＸ線を照射するＸ線照射ステップと、
   前記物品を透過した前記Ｘ線を検出するＸ線検出ステップと、
   前記Ｘ線検出ステップの検出結果から、前記物品のＸ線画像を生成する画像生成ステップと、
   前記Ｘ線画像と、前記被検出物を検出する学習モデルと、を用いて前記被検出物の検出を行う被検出物検出ステップと、
   を備え、
   前記学習モデルは、
   前記被検出物を含まない前記物品のＸ線画像である基本物品画像と、疑似的な前記被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、前記学習用画像の中の前記疑似被検出物画像の位置を示す教師信号を生成する、第１ステップと、
   前記基本物品画像、前記単位画像、又は前記単位画像の配置を変更しながら、前記第１ステップを複数回繰り返し、前記学習用画像と、前記教師信号と、を関連付けて学習する学習モデル、を生成する、第２ステップと、
   を有する学習モデル生成方法によって生成されたものであることを特徴とする、
   Ｘ線検査方法。
9. 検査対象の物品に内包される被検出物の検出を行う物品検査システムであって、
   前記物品にＸ線を照射するＸ線照射部と、
   前記物品を透過した前記Ｘ線を検出するＸ線検出部と、
   前記Ｘ線検出部の検出結果から、前記物品のＸ線画像を生成する画像生成部と、
   前記Ｘ線画像と、前記被検出物を検出する学習モデルと、を用いて前記被検出物の検出を行う被検出物検出部と、
   を備え、
   前記学習モデルは、
   前記被検出物を含まない前記物品のＸ線画像である基本物品画像と、疑似的な前記被検出物の画像である疑似被検出物画像から構成される複数の単位画像と、を合成して学習用画像を生成し、前記学習用画像の中の前記疑似被検出物画像の位置を示す教師信号を生成する、合成部と、
   前記基本物品画像、前記単位画像、又は前記単位画像の配置を変更しながら、前記合成部による合成及び生成を複数回繰り返し、前記学習用画像と、前記教師信号と、を関連付けて学習する学習モデルを生成する、学習部と、
   を有する学習モデル生成装置によって生成されたものであることを特徴とする、
   物品検査システム。

Images