JP7170602B2 - 学習データ作成装置及び方法、並びに機械学習装置及び方法 - Google Patents

Description

本発明は学習データ作成装置及び方法、並びに機械学習装置及び方法に係り、特に学習器を機械学習させる学習データを効率よく作成する技術に関する。

従来、学習データを作成する画像出力装置として、特許文献１に記載のものがある。

特許文献１に記載の画像出力装置は、対象物を第１の方向から撮影した第１の画像と、対象物を第２の方向から撮影した第２の画像とを取得し、これらの第１の画像と第２の画像とを所定の位置関係で一の画像内に含む合成画像を生成する。

特許文献１に記載の画像出力装置は、上記のようにして生成した合成画像を、機械学習可能な又は学習結果として得られた学習器の入力データとすることで、対象物を複数方向から撮影した画像の情報を用いた機械学習を可能にし、又は対象物の評価結果を得ることができるようにしている。

特開２０１８－１３２９６２号公報

特許文献１に画像出力装置は、学習器への入力データとして合成画像を作成するものの、「教師あり学習」させる場合の「学習に使われる出力の正解データ」を作成するものではない。

「教師あり学習」を行う場合、「学習に使用される入力データ」と「学習に使われる出力の正解データ」との組からなる学習データを準備する必要があるが、特許文献１には、正解データの作成方法については記載されていない。一般に学習データの作成に際し、正解データの作成に時間と労力がかかるが、特許文献１に記載の発明はこのような課題を解決していない。

本発明はこのような事情に鑑みてなされたもので、学習器を「教師あり学習」させる学習データを効率よく作成し、学習器を機械学習させることができる学習データ作成装置及び方法、並びに機械学習装置及び方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る学習データ作成装置は、被写体を第１撮影方法で撮影して第１画像を取得する第１画像取得部と、被写体を第１撮影方法とは異なる第２撮影方法で撮影して第２画像を取得する第２画像取得部と、第１画像と第２画像とを組とし、組を学習器の学習データとして記憶部に記憶させる記憶制御部と、を備える。

本発明の一の態様によれば、例えば、第１画像取得部に取得した第１画像を学習器への入力データとし、第２画像取得部に取得した第２画像を学習器に対する正解データとすることができる。これにより、第１画像と第２画像の組を効率よく作成することができる。

本発明の他の態様に係る学習データ作成装置において、第２画像取得部は、第２撮影方法で撮影された画像を画像処理して第２画像を生成する画像処理部を含み、記憶制御部は、第１画像を学習器の入力データとし、第２画像を学習器の正解データとして記憶部に記憶させることが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第２撮影方法で撮影された画像は、被写体への照明の入射方向が異なる複数の画像であり、画像処理部は、複数の画像から被写体に付加された刻印又は印字が強調された第２画像を生成することが好ましい
本発明の更に他の態様に係る学習データ作成装置において、画像処理部は、複数の画像から被写体に付加された刻印又は印字が強調された複数のエッジ画像を生成し、生成した複数のエッジ画像を合成した合成画像を第２画像として生成することが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、画像処理部は、複数の画像を入力画像とし、被写体に付加された刻印又は印字が強調された画像を認識結果として出力する学習済み認識器を含み、複数の画像を認識器に入力し、認識器の認識結果を第２画像として生成することが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、被写体は、刻印又は印字が付加された薬剤であることが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第１撮影方法と第２撮影方法とは、被写体に対する照明方法が異なることが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第１撮影方法の照明方法は、被写体に対して全方向から光を入射させ、第２撮影方法の照明方法は、被写体に対する入射方向が異なる複数の光を順次入射させることが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第１画像取得部及び第２画像取得部は、被写体の周囲の配置された複数の照明光源と、複数の照明光源の点灯を制御する照明制御部とを含み、照明制御部は、第１撮影方法の照明方法として複数の照明光源を同時に点灯させ、第２撮影方法の照明方法として複数の照明光源を順次点灯させることが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、複数の照明光源は、被写体の前方、後方、右方及び左方のうち少なくとも２箇所に配置されたものであることが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第１画像取得部及び第２画像取得部は、被写体を撮影するカメラ部と、カメラ部を制御するカメラ制御部と、画像処理部とを含み、カメラ制御部は、第１撮影方法の照明方法により被写体が照明されると、カメラ部により被写体を撮影させ、第２撮影方法の照明方法により被写体が順次照明されると、順次照明される毎に被写体を撮影させ、画像処理部は、順次照明される毎にカメラ部により撮影された複数の画像を画像処理して第２画像を生成することが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、被写体は、刻印又は印字が付加され、画像処理部は、被写体に付加された刻印又は印字を強調する画像処理を実施し、刻印又は印字を強調した第２画像を生成することが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第１画像取得部及び第２画像取得部は、被写体の周囲の配置された複数の照明光源であって、それぞれ波長帯域が異なる複数の光を被写体に照射する複数の照明光源と、波長帯域が異なる複数の光にそれぞれ感度を有する複数種類の画素を備えたカメラ部とを含み、第１撮影方法は、複数の照明光源により照明された被写体をカメラ部により撮影して第１画像を取得し、第２撮影方法は、複数の照明光源により照明された被写体をカメラ部により撮影し、複数種類の画素に対応して複数の画像を取得し、第２画像取得部は、複数の画像を画像処理して第２画像を取得することが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、被写体は、刻印が付加され、第２画像取得部は、被写体の３次元情報を取得する３次元情報取得部と、画像処理部とを含み、画像処理部は、３次元情報取得部により取得された被写体の３次元情報に基づいて被写体の刻印を抽出し、被写体の刻印を強調した第２画像を生成することが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第１撮影方法と第２撮影方法とは、それぞれ異なる撮影モダリティを使用して被写体を撮影する撮影方法であることが好ましい。

本発明の更に他の態様に係る学習データ作成装置において、第１撮影方法及び第２撮影方法のうちの一方の撮影方法は、ＣＴ装置を使用して被写体を撮影する撮影方法であり、第１撮影方法及び第２撮影方法のうちの他方の撮影方法は、ＭＲＩ装置を使用して被写体を撮影する撮影方法であることが好ましい。

本発明の更に他の態様に係る機械学習装置は、学習器と、上記の学習データ作成装置の記憶部に記憶された学習データを使用し、組を構成する第１画像を学習器を機械学習させる場合の入力画像とし、組を構成する第２画像を正解データとして学習器を機械学習させる学習制御部と、を備える。

本発明の更に他の態様に係る機械学習装置は、被写体を第１撮影方法で撮影して第１画像を取得する第１画像取得部と、被写体を第１撮影方法とは異なる第２撮影方法で撮影して第２画像を取得する第２画像取得部と、学習器と、第１画像と第２画像とを組として、学習器を機械学習させる学習制御部と、を備える。

本発明の更に他の態様に係る学習データ作成方法は、第１画像取得部が、被写体を第１撮影方法で撮影して第１画像を取得するステップと、第２画像取得部が、被写体を第１撮影方法とは異なる第２撮影方法で撮影して第２画像を取得するステップと、記憶制御部が、第１画像と第２画像とを組とし、組を学習器の学習データとして記憶部に記憶させるステップと、を含む。

本発明の更に他の態様に係る学習データ作成方法において、被写体は、刻印又は印字が付加された薬剤であることが好ましい。

本発明の更に他の態様に係る学習データ作成方法において、第１撮影方法と第２撮影方法とは、被写体に対する照明方法が異なることが好ましい。

本発明の更に他の態様に係る機械学習方法は、学習制御部が、上記の学習データ作成方法により作成され、記憶部に記憶された学習データを使用し、組を構成する第１画像を学習器を機械学習させる場合の入力画像とし、組を構成する第２画像を正解データとして学習器を機械学習させるステップを含む。

本発明の更に他の態様に係る機械学習方法は、第１画像取得部が、被写体を第１撮影方法で撮影して第１画像を取得するステップと、第２画像取得部が、被写体を第１撮影方法とは異なる第２撮影方法で撮影して第２画像を取得するステップと、学習制御部が、第１画像と第２画像とを組として、学習器を機械学習させるステップと、を含む。

本発明によれば、学習器を「教師あり学習」させる学習データを効率よく自動で作成することができる。

図１は、本発明に係る機械学習装置の概略構成を示すブロック図である。 図２は、図１に示した学習データ作成装置の第１実施形態の要部ブロック図である。 図３は、カメラ部及び照明光源を使用して、分包袋の画像を取得する様子を示す側面図である。 図４は、カメラ部及び照明光源を使用して、分包袋の画像を取得する様子を示す平面図である。 図５は、分包袋内の１つの薬剤の照明方向が異なる５枚の画像を示す図である。 図６は、主として図２に示した画像処理部の具体的な構成を示すブロック図である。 図７は、分包袋の画像から１つの薬剤の領域を切り出した薬剤画像の一例を示す図である。 図８は、薬剤の中心を通るｘ－ｙ平面で切断した薬剤の断面構造の模式図である。 図９は、エッジ画像生成部でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。 図１０は、記憶部に記憶された第１画像、第２画像の複数組の学習データセットのイメージ図である。 図１１は、図１に示した学習データ作成装置の第２実施形態の要部を示す図である。 図１２は、図１に示した学習データ作成装置の第２実施形態に使用されるカメラ部のカラーイメージセンサの分光感度を示す図である。 図１３は、図１に示した学習データ作成装置の第３実施形態の要部を示す図である。 図１４は、本発明に係る機械学習方法の実施形態を示すフローチャートである。

以下、添付図面に従って本発明に係る学習データ作成装置及び方法、並びに機械学習装置及び方法の好ましい実施形態について説明する。

［機械学習装置の構成］
図１は、本発明に係る機械学習装置の概略構成を示すブロック図である。

図１に示す機械学習装置１０は、学習データ作成装置１０Ａと学習器５０とを含み、学習器５０は、学習データ作成装置１０Ａにより作成された学習データセットにより機械学習を行う。

学習データ作成装置１０Ａは、第１画像取得部２０Ａ及び第２画像取得部２０Ｂを含む画像取得部２０と、記憶制御部４０とから構成されている。

第１画像取得部２０Ａは、被写体を第１撮影方法で撮影して第１画像２５を取得する部分であり、第２画像取得部２０Ｂは、同じ被写体を第２撮影方法で撮影して第２画像２７を取得する部分である。尚、第１画像取得部２０Ａによる第１撮影方法、及び第２画像取得部２０Ｂによる第２撮影方法の詳細については後述する。

第１画像取得部２０Ａにより取得された第１画像２５、及び第２画像取得部２０Ｂにより取得された第２画像２７は、それぞれ記憶制御部４０に出力される。

記憶制御部４０は、入力する第１画像２５と第２画像２７とを組とし、記憶部４２に記憶させる。記憶部４２は、学習データ作成装置１０Ａに内蔵されたハードディスク装置等のメディアでもよいし、学習データ作成装置１０Ａに着脱自在なリムーバブルメディアでもよい。

ここで、第１画像２５と第２画像２７の組は、学習器５０による機械学習時に、第１画像２５と第２画像２７のうちのいずれか一方の画像（本例では、第１画像２５）は、学習器５０の学習に使用される入力データとし、他方の画像（本例では第２画像２７）を学習器５０の学習に使用される正解データとすることができる。

記憶制御部４０は、複数の被写体の各被写体に対して、それぞれ第１画像２５と第２画像２７とを取得し、第１画像２５と第２画像２７の複数組の学習データセットを、記憶部４２に記憶させる。

学習器５０の学習制御部５２は、記憶部４２に記憶させた学習データセットに基づいて学習器５０を機械学習させることができる。

第１画像を入力画像とし、第２画像を認識結果として出力する学習器５０としては、畳み込みニューラルネットワーク（ＣＮＮ： Convolutional Neural Network））で構成されるものが考えられ、代表的な学習モデルであるVGG16、AlexNetなどを適用することができる。

学習データセットを使用し、学習制御部５２により学習器５０を「教師あり学習」させる方法は周知であるため、ここでは学習器５０の学習方法の説明は省略する。

学習済みの学習器（認識器）５０は、任意の被写体の画像（例えば、第１画像２５に相当する画像）を入力すると、任意の被写体を第２撮影方法で撮影して取得される第２画像２７と同等の画像を認識結果として出力する。

これにより、任意の被写体を第２撮影方法で撮影して取得される第２画像２７と同等の画像（認識結果）を、任意の被写体を第２撮影方法で撮影することなく取得することができる。

＜学習データ作成装置の第１実施形態＞
図２は、図１に示した学習データ作成装置１０Ａの第１実施形態の要部ブロック図であり、特に画像取得部２０に関して示している。

本例の被写体は、刻印又は印字が付加された薬剤であり、図２に示す画像取得部２０は、薬剤を撮影するカメラ部２２と、薬剤を照明する照明光源２４と、カメラ部２２及び照明光源２４を制御する制御部２６と、画像処理部３０とから構成されている。

図３及び図４は、カメラ部２２（２２Ａ、２２Ｂ）、及び照明光源２４（２４Ｆ，２４Ｂ，２４Ｒ，２４Ｌ）を使用して、分包袋ＴＰの画像を取得する様子を示す側面図及び平面図である。

分包袋ＴＰが連続して構成される薬包帯ＰＢは、ステージ２１上に載置され、順次搬送される。ステージ２１は、ｘｙ平面（水平面）に平行な載置面及び裏面を有する板状部材である。ステージ２１は、光透過性を有する材料によって構成されている。ここでは、ステージ２１は、ｘ軸方向に１３０ｍｍ、ｙ軸方向に８０ｍｍの大きさを有している。

分包袋ＴＰには、それぞれ調剤された１回に服用する複数の薬剤が分包されている。照明光源２４の複数の照明光源２４Ｆ，２４Ｂ，２４Ｒ，２４Ｌは、薬包帯ＰＢの上側（図３の＋ｚ方向側）及び下側（図３の－ｚ方向側）に、それぞれ前方、後方、右方及び左方の４つの照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌが配置される。尚、図３においては薬包帯ＰＢの右方及び左方の照明光源２４Ｒ及び２４Ｌの図示を、図４においては薬包帯ＰＢの下側の４つの照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌの図示を、それぞれ省略している。

薬包帯ＰＢの上側の４つの照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌは、ｘｙ平面視において，それぞれ図４の－ｘ方向、＋ｘ方向、＋ｙ方向及び、－ｙ方向に斜め上方向から光を照射する。即ち、照明光源２４Ｆの照明方向は、ｘｙ平面視において照明光源２４Ｂの照明方向と対向する方向であり、照明光源２４Ｒの照明方向は、ｘｙ平面視において照明光源２４Ｆ，２４Ｂの照明方向と直交する方向であり、照明光源２４Ｌの照明方向と対向する方向である。

薬包帯ＰＢの下側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌについても、同様に配置されている。これにより、照明光源２４は、分包袋ＴＰ（に分包された薬剤）の表側及び裏側に光を照射する。

カメラ部２２（２台のカメラ部２２Ａ、２２Ｂ）は、デジタルカメラにより構成される。図３に示すように、一方のカメラ部２２Ａは薬包帯ＰＢの上側に、他方のカメラ部２２Ｂは薬包帯ＰＢの下側に配置される。カメラ部２２Ａ及びカメラ部２２Ｂは、分包袋ＴＰ（に分包された薬剤）の表側及び裏側を撮影する。

分包袋ＴＰ（薬包帯ＰＢ）は、図示しない搬送機構により図４の＋ｘ方向（薬包帯ＰＢの長手方向）に搬送される。撮影の際には、分包袋ＴＰの上側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌによって分包袋ＴＰの上側が、分包袋ＴＰの下側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌによって分包袋ＴＰの下側が、それぞれ前後左右の４方向から照明される。尚、分包袋ＴＰには、撮影の際には照明光源２４から照射される光以外の光は照射されないことが好ましい。

図４に示すように、分包袋ＴＰの上側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌのそれぞれと、カメラ部２２Ａの撮影光軸ＰＡとの間隔（ｄ１、ｄ２、ｄ３、ｄ４）は同じである。つまり、複数の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌと撮影光軸ＰＡとが等間隔（ｄ１＝ｄ２＝ｄ３＝ｄ４）である。分包袋ＴＰの下側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌのそれぞれとカメラ部２２Ｂについても、同様に配置されている。

図２に戻って、制御部２６は、カメラ部２２Ａ，２２Ｂを制御するカメラ制御部と、照明光源２４を制御する照明制御部とを含み、分包袋ＴＰの上側を撮影する場合、照明制御部は、分包袋ＴＰの上側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌを順次点灯させ、分包袋ＴＰをそれぞれ異なる方向から順次照明する。カメラ制御部は、各照明方向から照明された分包袋ＴＰを、順次照明される毎にカメラ部２２Ａにより撮影させる。

また、制御部２６の照明制御部は、上側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌを同時に点灯させ、均一に（全方向から）照明させ、カメラ制御部は、均一に（全方向から）照明された分包袋ＴＰをカメラ部２２Ａにより撮影させる。

分包袋ＴＰの下側を撮影する場合、制御部２６は、分包袋ＴＰの下側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，２４Ｌ、及び下側のカメラ部２２Ｂを上記と同様に制御する。

図５は、分包袋ＴＰ内の１つの薬剤（薬剤の一例）への照明方向が異なる５枚の画像を示す図である。

図５において、４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ及びＧ_Ｌは、薬剤の上側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌを順次点灯させ、カメラ部２２Ａより撮影された画像であり、画像Ｇ_Ａは、上側の照明光源２４Ｆ，２４Ｂ，２４Ｒ，及び２４Ｌを同時に点灯させ、カメラ部２２Ａより撮影された画像である。

図５に示す４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ及びＧ_Ｌには、それぞれ照明方向に伴って輝度ムラが発生している。また、図５に示す各画像上の「Ａ」は、刻印Ｓを示しているが、画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｌ及びＧ_Ｒの刻印Ｓは、薬剤の表面の凹凸形状であり、後述するように照明方向に伴って、刻印Ｓの影の出方が異なるものとなる。

一方、４つの照明光源２４Ｆ，２４Ｂ，２４Ｒ，２４Ｌを同時に点灯させて撮影された画像Ｇ_Ａには輝度ムラは発生しないが、刻印Ｓの影が出にくいため、刻印Ｓは不明瞭になる。尚、図５上では、刻印Ｓの影の出方や刻印Ｓが明瞭か不明瞭かは図示されていない。

図６は、主として図２に示した画像処理部３０の具体的な構成を示すブロック図である。

図６に示す画像処理部３０は、画像切り出し部３２及びエッジ画像生成部３４から構成されている。

カメラ部２２Ａ、２２Ｂにより取得された分包袋ＴＰを撮影した画像（本例では、表側の５枚の画像、及び裏側の５枚の画像の合計１０枚の画像）は、画像切り出し部３２に加えられる。

画像切り出し部３２は、分包袋ＴＰの画像から分包袋ＴＰに分包された複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像を生成する。

図７は、分包袋ＴＰの画像から１つの薬剤の領域を切り出した薬剤画像の一例を示す図である。

薬剤画像の切り出しは、薬剤の外形を検出し、薬剤の外形にしたがって切り出すことが好ましい。図７に示す例では、分包袋ＴＰの画像から薬剤の外形が内接する矩形領域を切り出している。このようにして、１つの薬剤について、１０枚の薬剤画像が切り出される。

尚、図７に示す薬剤画像は、全方向から光を入射させて撮影した分包袋ＴＰの画像から切り出した、輝度ムラのない画像である。

以下、１０枚の薬剤画像のうちの薬剤の上側のカメラ部２２Ａにより撮影された５枚の薬剤画像を、図５に示した画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ、Ｇ_Ｌ及びＧ_Ａとして、これらの画像に対する画像処理について説明する。

図６に示す画像切り出し部３２により切り出された画像Ｇ_Ａは、被写体（薬剤）に対して全方向から光を入射させて薬剤を撮影した、輝度ムラのない画像であり、本例では、この画像Ｇ_Ａが、第１撮影方法により撮影された第１画像２５として出力される。即ち、第１撮影方法は、薬剤を均一に照明（全方向から薬剤を照明）する照明方法にて撮影する撮影方法であり、第１撮影方法により撮影された画像Ｇ_Ａを第１画像２５とする。

また、画像切り出し部３２により切り出された５枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ、Ｇ_Ｌ及びＧ_Ａのうちの照明方向に伴って刻印Ｓの影の出方が異なる４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ、Ｇ_Ｌは、エッジ画像生成部３４に加えられる。

エッジ画像生成部３４は、４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ、Ｇ_Ｌからそれぞれ照明方向に応じた方向のエッジ抽出フィルタ（例えば、ソーベルフィルタ）を使用し、４枚のエッジ画像を生成する。

図８は、薬剤Ｔの中心を通るｘ－ｙ平面で切断した薬剤Ｔの断面構造の模式図であり、１画素分のラインのプロファイルを示している。

図８上の薬剤Ｔは、直径がＤであり、表面には断面がＶ字状の溝からなる割線である刻印Ｓが形成されている。刻印Ｓの溝の幅はＷである。尚、刻印Ｓの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、薬剤Ｔの表面における距離をいう。

ここで、照明光源２４の照明光源２４Ｆのみを点灯し、照明光Ｌ_Ｆにより薬剤Ｔを照明する場合と、照明光源２４の照明光源２４Ｂのみを点灯し、照明光Ｌ_Ｂにより薬剤Ｔを照明する場合とでは、刻印Ｓの影の出方が異なる。

即ち、照明光Ｌ_Ｆにより薬剤Ｔを照明する場合、刻印Ｓの左側（後方側）の面Ｓ_Ｂは照明光Ｌ_Ｆが照射されるが、刻印Ｓの右側（前方側）の面Ｓ_Ｆには照明光Ｌ_Ｆは照射されなくなり、刻印Ｓの右側の面Ｓ_Ｆに影が発生する。同様に、照明光Ｌ_Ｆとは反対方向の照明光Ｌ_Ｂにより薬剤Ｔを照明する場合、刻印Ｓの右側の面Ｓ_Ｆは照明光Ｌ_Ｂが照射されるが、刻印Ｓの左側の面Ｓ_Ｂには照明光Ｌ_Ｂは照射されなくなり、刻印Ｓの左側の面Ｓ_Ｂに影が発生する。

図９は、エッジ画像生成部３４でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。

ソーベルフィルタＦ_Ｆは、図８上の右方向（前方）からの照明光Ｌ_Ｆが照射された薬剤Ｔの画像Ｇ_Ｆからエッジ抽出する場合に使用され、ソーベルフィルタＦ_Ｂは、図８上の左方向（後方）から照明光Ｌ_Ｂが照射された薬剤Ｔの画像Ｇ_Ｂからエッジ抽出する場合に使用される。

図９に示すソーベルフィルタＦ_Ｆ、Ｆ_Ｂのカーネルサイズは、刻印Ｓの幅Ｗ（の画素数）の半分より大きいサイズのソーベルフィルタを用いることが好ましい。例えば、刻印Ｓの溝の幅の画素数が４画素であれば、その半分の２画素より大きいサイズ（ｘ軸方向３画素×ｙ軸方向３画素等）のソーベルフィルタを用いる。本実施形態では各照明光によりそれぞれ溝の幅の半分の領域に影が発生するため、エッジからの画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。

エッジ画像生成部３４は、画像Ｇ_Ｆ、Ｇ_Ｂに対してそれぞれソーベルフィルタＦ_Ｆ、Ｆ_Ｂを使用し、画像Ｇ_Ｆ、Ｇ_Ｂに対応するエッジ画像を生成する。また、エッジ画像生成部３４は、右方向からの照明光が照射された薬剤Ｔの画像Ｇ_Ｒ、及び左方向からの照明光が照射された薬剤Ｔの画像Ｇ_Ｌに対しても、上記と同様に照明光の方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する。

尚、エッジ画像生成部３４におけるエッジ抽出フィルタ処理に使用するフィルタとしては、ソーベルフィルタに限らず、ラプラシアンフィルタ、キャニーフィルタ等を使用することができる。

エッジ画像生成部３４は、４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ，及びＧ_Ｌに対してそれぞれエッジ画像を生成し、生成した４枚のエッジ画像を合成した合成画像を第２画像２７として出力する。この第２画像２７は、薬剤に付加された刻印Ｓを強調した画像である。

このように画像取得部２０の第１画像取得部２０Ａは、薬剤を均一に照明（全方向から薬剤を照明）する照明方法にて照明された薬剤を撮影する方法（第１撮影方法）により第１画像２５（画像Ｇ_Ａ）を取得する。

一方、画像取得部２０の第２画像取得部２０Ｂは、第１撮影方法とは異なる第２撮影方法で撮影した第２画像を取得する。即ち、第２画像取得部２０Ｂは、薬剤に対する入射方向が異なる複数の光（前後左右の光）を順次入射させて撮影し、４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｌ、Ｇ_Ｒ及びＧ_Ａを取得し、薬剤に付加された刻印を強調する画像処理を実施し、刻印を強調した第２画像２７を取得する。

画像処理部３０は、１０枚の薬剤画像のうちの薬剤の下側のカメラ部２２Ｂにより撮影された５枚の薬剤画像に基づいて、第１画像２５及び第２画像２７を取得することは言うまでもない。

画像処理部３０から出力される第１画像２５及び第２画像２７は、図１に示した記憶制御部４０に加えられる。

記憶制御部４０は、前述したように第１画像２５と第２画像２７とを組とし、この組を学習器５０の学習データとして記憶部４２に記憶させる。

尚、本例の照明光源２４は、４つの照明光源２４Ｆ，２４Ｂ，２４Ｒ，２４Ｌを有し、被写体の前方、後方、右方及び左方の４箇所に配置されているが、少なくとも２箇所に配置されたものでもよい。

また、図６に示した画像処理部３０（特にエッジ画像生成部３４）の代わりに、学習済み認識器を適用してもよい。

この場合の学習済み認識器は、被写体への照明の入射方向が異なる複数の画像一式（本例では、４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｌ、Ｇ_Ｒ及びＧ_Ａ）を入力画像とし、被写体に付加された刻印又は印字が強調された画像を認識結果として出力するように機械学習されたものである。この認識器への入力データとして、被写体（薬剤）への照明の入射方向が異なる複数の画像一式を認識器に入力させると、認識器は、認識結果である刻印又は印字が強調された画像を第２画像２７として生成（出力）することができる。

図１０は、記憶部４２に記憶された第１画像２５、第２画像２７の複数組の学習データセットのイメージ図である。

記憶部４２には、刻印の形状等が異なる複数の薬剤の各薬剤の第１画像２５と第２画像２７とを１組として複数組記憶される。

これにより、学習データ作成装置１０Ａは、学習器５０を「教師あり学習」させるための学習データセット（第１画像２５と第２画像２７の複数組）を効率よく作成し、記憶部４２に保存させることができる。

図１に戻って、学習器５０の学習制御部５２は、学習データ作成装置１０Ａにより作成された学習データセット（記憶部４２に保存された学習データセット）を使用し、学習器５０を機械学習させる。例えば、学習器５０のパラメータ（ＣＮＮ等の学習モデルの各パラメータ）を最適化する学習が実施される。

本例の学習データセットにより機械学習させた学習器５０は、任意の薬剤の１枚の画像を入力すると、その薬剤に付加された刻印又は印字を強調したエッジ画像を認識結果として出力する。この認識結果は、任意の薬剤の鑑別又は監査を行うために使用することができ、また、任意の薬剤の画像にエッジ画像を合成することで、薬剤の刻印等が視認しやすい合成画像の生成に使用することができる。

＜学習データ作成装置の第２実施形態＞
図１１は、図１に示した学習データ作成装置１０Ａの第２実施形態の要部を示す図であり、特に照明光源に関して示している。

図１１に示す照明光源６０は、薬剤Ｔの周囲の配置された複数の照明光源６０Ａ，６０Ｂ，６０Ｃから構成されており、複数の照明光源６０Ａ，６０Ｂ，６０Ｃは、それぞれ波長帯域が異なる光を、３方向から薬剤Ｔに照射する。本例では、照明光源６０Ａ，６０Ｂ，６０Ｃは、それぞれ波長帯域λａの赤色（Ｒ）、波長帯域λｂの緑色（Ｇ）、及び波長帯域λｃの青色（Ｂ）の光を発光するものとする。

また、図示しないカメラ部は、波長帯域が異なる複数の光（ＲＧＢの光）にそれぞれ感度を有する複数種類の画素を備えた公知のカラーイメージセンサを有する。カラーイメージセンサの複数種類の画素（Ｒ画素、Ｇ画素、Ｂ画素）には、それぞれＲＧＢのカラーフィルタが設けられており、Ｒ画素、Ｇ画素、Ｂ画素は、図１２に示すようにそれぞれ波長帯域λａ、λｂ、λｃに対応する感度を有している。

第２実施形態において、被写体（薬剤Ｔ）を撮影する場合、複数の照明光源６０Ａ，６０Ｂ，６０Ｃを同時に点灯して薬剤ＴにＲＧＢの光を照射する。

薬剤Ｔの第１画像を取得する第１撮影方法は、照明光源６０Ａ，６０Ｂ，６０Ｃにより照明された薬剤Ｔを、カラーイメージセンサを備えたカメラ部により撮影し、薬剤Ｔのカラー画像（第１画像）を取得する。

薬剤Ｔの第２画像を取得する第２撮影方法は、第１撮影方法と同様に照明光源６０Ａ，６０Ｂ，６０Ｃにより照明された薬剤Ｔを、カラーイメージセンサを備えたカメラ部により撮影し、複数種類の画素（ＲＧＢ画素）に対応して複数の画像（Ｒ画像、Ｇ画像、Ｂ画像）を取得する。そして、第２画像取得部は、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ画像処理して第２画像を取得する。

Ｒ画像、Ｇ画像、Ｂ画像に対する画像処理は、照明光源６０Ａ，６０Ｂ，６０ＣのＲ、Ｇ、Ｂ光の照明方向に応じたエッジ抽出フィルタを使用して３枚のエッジ画像を生成し、３枚のエッジ画像を合成した合成画像を第２画像として生成する。

第２実施形態によれば、１回の撮影により組を構成する第１画像と第２画像を取得することができる。

＜学習データ作成装置の第３実施形態＞
図１３は、図１に示した学習データ作成装置１０Ａの第３実施形態の要部を示す図であり、特に第２画像取得部に関して示している。

図１３に示す第２画像取得部２０Ｂは、被写体の第２画像２７を取得する部分であり、３次元測定器７０及び画像処理部７２から構成されている。尚、被写体の第１画像を取得する第１画像取得部２０Ａは、例えば、第１実施形態又は第２実施形態のものを使用することができる。

図１３に示す３次元測定器（３次元情報取得部）７０は、立体形状を有する被写体（薬剤）の３次元情報を取得する。３次元測定器７０は、レーザ光を走査して薬剤の３次元情報を取得するもの、ステレオカメラにより薬剤の３次元情報を取得するものなどが考えられる。

画像処理部７２は、３次元測定器７０により取得された薬剤の３次元情報に基づいて薬剤の刻印を抽出し、薬剤の刻印を強調した画像を生成し、生成した画像を第２画像２７として出力する。

＜学習データ作成装置の第４実施形態＞
第４実施形態の第１画像取得部及び第２画像取得部は、それぞれ撮影方法が異なる撮影モダリティを使用して同一の被写体を撮影し、第１画像と第２画像の１組を取得する。

撮影方法が異なる撮影モダリティとしては、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置が考えられる。

ＭＲＩ装置は、被写体のボリュームデータを取得することができる。また、ＣＴ装置は、所定のピッチで複数枚のＣＴ画像が撮影され、複数枚のＣＴ画像を積層したボリュームデータとして取得することができる。

したがって、ＣＴ装置及びＭＲＩ装置により同じ被写体を撮影して得た各ボリュームデータの同じ断面位置の画像を、それぞれ第１画像と第２画像とすることができる。

尚、ＣＴ装置により取得した画像を第１画像、ＭＲＩ装置により取得した画像を第２画像としてもよいし、ＭＲＩ装置により取得した画像を第１画像、ＣＴ装置により取得した画像を第２画像としてもよい。

＜機械学習方法＞
図１４は、本発明に係る機械学習方法の実施形態を示すフローチャートである。

尚、図１４に示す機械学習方法は、第１実施形態の学習データ作成装置における学習データ作成方法を含む機械学習方法における処理内容を示している。

図１４において、図２に示す制御部２６は、照明光源２４の全ての照明光源２４Ｆ，２４Ｂ，２４Ｒ，２４Ｌを同時に点灯させ（ステップＳ１０）、全方向から照明された被写体（薬剤）をカメラ部２２Ａにより撮影させる。これにより、カメラ部２２Ａ、照明光源２４、及び制御部２６を有する画像取得部２０のうちの第１画像取得部２０Ａは、第１画像２５を取得する（ステップＳ１２）。

続いて、制御部２６は、照明光源２４Ｆのみを点灯させ（ステップＳ１４）、照明光源２４Ｆにより照明された薬剤をカメラ部２２Ａにより撮影させて薬剤の画像Ｇ_Ｆを取得する（ステップＳ１６）。

制御部２６は、ステップＳ１６、Ｓ１８と同様にして、照明光源２４Ｂ，２４Ｒ，２４Ｌを順次点灯し、順次点灯に同期してカメラ部２２Ａにより薬剤を撮影させ、薬剤の画像Ｇ_Ｂ，Ｇ_Ｒ，Ｇ_Ｌを取得する（ステップＳ２０～Ｓ２８）。

続いて、エッジ画像生成部３４は、ステップＳ１６、Ｓ２０，Ｓ２４，Ｓ２８でそれぞれ取得した４枚の画像Ｇ_Ｆ，Ｇ_Ｂ，Ｇ_Ｒ，及びＧ_Ｌに対し、それぞれ対応するソーベルフィルタを適用して４枚のエッジ画像を生成し、生成した４枚のエッジ画像を合成したエッジ画像を第２画像２７として取得する（ステップＳ３０）。この第２画像２７は、薬剤に付加された刻印又は印字を強調した画像である。

記憶制御部４０は、ステップＳ１２で取得した第１画像２５と、ステップＳ３０で取得した第２画像２７とを組とし、記憶部４２に記憶させる（ステップＳ３２）。

上記のステップＳ１０～Ｓ３２は、薬剤の上方のカメラ部２２Ａで薬剤を撮影した複数枚の画像に基づいて第１画像２５、第２画像２７の組を取得して記憶部４２に記憶させるが、薬剤の下方のカメラ部２２Ｂでも薬剤を撮影し、同様に第１画像２５、第２画像２７の組を取得して記憶部４２に記憶させる。また、上記のステップＳ１０～Ｓ３２の処理は、種類の異なる他の薬剤（複数の薬剤）に対しても行われ、その結果、複数の薬剤に対応する第１画像２５、第２画像２７の複数組が記憶部４２に記憶されることになる。

学習器５０を機械学習させる局面では、学習制御部５２は、学習データ作成方法により作成され、記憶部４２に記憶された学習データセットを使用し、学習器５０を機械学習させる（ステップＳ３４）。

［その他］
本発明は、本実施形態の機械学習装置及び方法に限らず、機械学習装置及び方法に含まれる学習データ作成装置及び方法も含むことは言うまでもない。

また、学習データ作成装置により作成された学習データは記憶部に保存されるが、記憶部に保存される学習データは、本発明以外の方法で作成された第１画像と第２画像の組を含んでいてもよい。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 機械学習装置
１０Ａ 学習データ作成装置
２０ 画像取得部
２０Ａ 第１画像取得部
２０Ｂ 第２画像取得部
２１ ステージ
２２ カメラ部
２２Ａ カメラ部
２２Ｂ カメラ部
２４、２４Ｂ、２４Ｆ、２４Ｌ、２４Ｒ 照明光源
２５ 第１画像
２６ 制御部
２７ 第２画像
３０ 画像処理部
３２ 画像切り出し部
３４ エッジ画像生成部
４０ 記憶制御部
４２ 記憶部
５０ 学習器
５２ 学習制御部
６０、６０Ａ、６０Ｂ、６０Ｃ 照明光源
７０ ３次元測定器
７２ 画像処理部
Ｆ_Ｂ、Ｆ_Ｆ ソーベルフィルタ
Ｇ_Ａ、Ｇ_Ｂ、Ｇ_Ｆ、Ｇ_Ｌ、Ｇ_Ｒ 画像
Ｌ_Ｂ、Ｌ_Ｆ 照明光
ＰＡ 撮影光軸
ＰＢ 薬包帯
Ｓ 刻印
Ｓ１０～Ｓ３４ ステップ
Ｔ 薬剤
ＴＰ 分包袋
λａ、λｂ、λｃ 波長帯域

Claims (13)

1. 刻印又は印字が付加された薬剤を第１撮影方法で撮影して第１画像を取得する第１画像取得部と、
   前記薬剤を前記第１撮影方法とは異なる第２撮影方法で撮影して第２画像を取得する第２画像取得部と、
   前記第１画像と前記第２画像とを組とし、前記組を学習器の学習データとして記憶部に記憶させる記憶制御部と、を備え、
   前記第２画像取得部は、前記第２撮影方法で撮影された複数の画像であって、前記薬剤への照明の入射方向が異なる複数の画像から、前記薬剤に付加された刻印又は印字が強調された前記第２画像を生成する画像処理部を含み、
   前記記憶制御部は、前記第１画像を前記学習器の入力データとし、前記第２画像を前記学習器の正解データとして前記記憶部に記憶させる、
   学習データ作成装置。
2. 前記画像処理部は、前記複数の画像から前記薬剤に付加された刻印又は印字が強調された複数のエッジ画像を生成し、前記生成した前記複数のエッジ画像を合成した合成画像を前記第２画像として生成する、請求項１に記載の学習データ作成装置。
3. 前記画像処理部は、前記複数の画像を入力画像とし、前記薬剤に付加された刻印又は印字が強調された画像を認識結果として出力する学習済み認識器を含み、前記複数の画像を前記認識器に入力し、前記認識器の認識結果を前記第２画像として生成する、請求項１に記載の学習データ作成装置。
4. 前記第１撮影方法と前記第２撮影方法とは、前記薬剤に対する照明方法が異なる請求項１に記載の学習データ作成装置。
5. 前記第１撮影方法の照明方法は、前記薬剤に対して全方向から光を入射させ、
   前記第２撮影方法の照明方法は、前記薬剤に対する入射方向が異なる複数の光を順次入射させる請求項４に記載の学習データ作成装置。
6. 前記第１画像取得部及び前記第２画像取得部は、前記薬剤の周囲の配置された複数の照明光源と、前記複数の照明光源の点灯を制御する照明制御部とを含み、
   前記照明制御部は、前記第１撮影方法の照明方法として前記複数の照明光源を同時に点灯させ、前記第２撮影方法の照明方法として前記複数の照明光源を順次点灯させる請求項５に記載の学習データ作成装置。
7. 前記複数の照明光源は、前記薬剤の前方、後方、右方及び左方のうち少なくとも２箇所に配置されたものである請求項６に記載の学習データ作成装置。
8. 前記第１画像取得部及び前記第２画像取得部は、前記薬剤を撮影するカメラ部と、前記カメラ部を制御するカメラ制御部と、画像処理部とを含み、
   前記カメラ制御部は、前記第１撮影方法の照明方法により前記薬剤が照明されると、前記カメラ部により前記薬剤を撮影させ、前記第２撮影方法の照明方法により前記薬剤が順次照明されると、前記順次照明される毎に前記薬剤を撮影させ、
   前記画像処理部は、前記順次照明される毎に前記カメラ部により撮影された複数の画像を画像処理して前記第２画像を生成する請求項５から７のいずれか１項に記載の学習データ作成装置。
9. 前記第１画像取得部及び前記第２画像取得部は、前記薬剤の周囲の配置された複数の照明光源であって、それぞれ波長帯域が異なる複数の光を前記薬剤に照射する複数の照明光源と、前記波長帯域が異なる複数の光にそれぞれ感度を有する複数種類の画素を備えたカメラ部とを含み、
   前記第１画像取得部は、前記複数の照明光源により照明された前記薬剤を前記カメラ部により撮影して前記第１画像を取得し、
   前記第２画像取得部は、前記複数の照明光源により照明された前記薬剤を前記カメラ部により撮影し、前記複数種類の画素に対応して複数の画像を取得する、
   請求項１に記載の学習データ作成装置。
10. 刻印が付加された薬剤を第１撮影方法で撮影して第１画像を取得する第１画像取得部と、
    前記薬剤を前記第１撮影方法とは異なる第２撮影方法で撮影して第２画像を取得する第２画像取得部と、
    前記第１画像と前記第２画像とを組とし、前記組を学習器の学習データとして記憶部に記憶させる記憶制御部と、を備え、
    前記第２画像取得部は、前記薬剤の３次元情報を取得する３次元情報取得部と、画像処理部とを含み、
    前記画像処理部は、前記３次元情報取得部により取得された前記薬剤の３次元情報に基づいて前記薬剤の刻印を抽出し、前記薬剤の刻印を強調した前記第２画像を生成し、
    前記記憶制御部は、前記第１画像を前記学習器の入力データとし、前記第２画像を前記学習器の正解データとして前記記憶部に記憶させる、
    学習データ作成装置。
11. 学習器と、
    請求項１から１０のいずれか１項に記載の学習データ作成装置の前記記憶部に記憶された学習データを使用し、前記組を構成する第１画像を前記学習器を機械学習させる場合の入力画像とし、前記組を構成する第２画像を正解データとして前記学習器を機械学習させる学習制御部と、
    を備えた機械学習装置。
12. 第１画像取得部が、刻印又は印字が付加された薬剤を第１撮影方法で撮影して第１画像を取得するステップと、
    第２画像取得部が、前記薬剤を前記第１撮影方法とは異なる第２撮影方法で撮影して第２画像を取得するステップと、
    記憶制御部が、前記第１画像と前記第２画像とを組とし、前記組を学習器の学習データとして記憶部に記憶させるステップと、を含み、
    前記第２画像を取得するステップは、前記第２撮影方法で撮影された複数の画像であって、前記薬剤への照明の入射方向が異なる複数の画像から、前記薬剤に付加された刻印又は印字が強調された前記第２画像を生成し、
    前記記憶部に記憶させるステップは、前記第１画像を前記学習器の入力データとし、前記第２画像を前記学習器の正解データとして前記記憶部に記憶させる、
    学習データ作成方法。
13. 学習制御部が、請求項１２に記載の学習データ作成方法により作成され、前記記憶部に記憶された学習データを使用し、前記組を構成する第１画像を学習器を機械学習させる場合の入力画像とし、前記組を構成する第２画像を正解データとして学習器を機械学習させるステップを含む機械学習方法。

Images