JP6731134B2 - 芋判断装置及び芋選別装置 - Google Patents

Description

本発明は、芋判断装置及び芋選別装置に関するものである。

圃場から収穫機（ハーベスター）を用いて馬鈴薯（ジャガイモ）を収穫すると、馬鈴薯以外に石や土塊などの異物も同時に収穫される。収穫された馬鈴薯を貯蔵したり、運搬するためには、収穫された馬鈴薯から異物を除去する必要がある。なお、以下では、馬鈴薯について説明するが、サツマイモ等の他の芋についても同様である。

下記の特許文献１では、落下する物体に対して方向転換デバイスを接触させて、物体の落下軌道を変更することが可能な装置が開示されている。この装置は、物体を光学的に走査して得られた判別結果に基づいて、方向変換デバイスの位置を調整することで、物体を品質別に選別したり異物を除去したりする。

特表２０１４−５３３６０４号公報

馬鈴薯を異物と区別する技術として、光学的な処理を行うことが一般的に行われているが、この場合、表面が土に覆われている状態で、馬鈴薯を異物と確実に区別することが求められている。

圃場から収穫された馬鈴薯や石は、表面が土に覆われているため、石が馬鈴薯の形状に近似している場合、全体形状、表面の色に基づいて、両者を区別することが困難である。また、馬鈴薯は、球形に近い形、一方向に長い形、中間部分がくびれた形など様々な形状を有しており、馬鈴薯は、石以外の人工物や茎などの異物と区別することが難しい場合もある。

本発明は、このような事情に鑑みてなされたものであって、対象物が芋であるか否かの判断において判断精度を向上させることが可能な芋判断装置及び芋選別装置を提供することを目的とする。

上記課題を解決するために、本発明の芋判断装置及び芋選別装置は以下の手段を採用する。
すなわち、本発明に係る芋判断装置は、対象物を撮像する撮像部と、前記対象物に所定の波長の光を照射する照射部と、前記撮像部で撮像されて取得された前記対象物の画像データに基づいて、前記対象物のテクスチャに関する特徴量を抽出する特徴抽出部と、芋の画像データに関する基本特徴量が予め記録された第１記憶部と、抽出された前記特徴量と前記基本特徴量を比較する第１比較部と、前記対象物にて反射した光を受光し、受光した光に基づく前記波長の輝度情報を取得する輝度情報取得部と、芋にて反射した光に基づく前記波長の基本輝度情報が予め記録された第２記憶部と、取得された前記対象物の前記輝度情報と前記基本輝度情報を比較する第２比較部と、前記第１比較部及び前記第２比較部における比較結果に基づいて、前記対象物が芋であるか否かを判断する判断部とを備える。

上記発明において、前記照射部は、前記対象物に波長の異なる複数の光を順次照射し、前記輝度情報取得部は、前記波長ごとの前記輝度情報を取得し、前記第２記憶部は、前記波長ごとの基本輝度情報を予め記録し、前記第２比較部は、取得された前記対象物の前記輝度情報と前記基本輝度情報を前記波長ごとに比較してもよい。

上記発明において、前記特徴抽出部は、Local Binary Patternを用いて前記対象物のテクスチャに関する特徴量を抽出してもよい。

上記発明において、前記輝度情報取得部は、前記輝度情報として、前記対象物の画像データにおける輝度の平均値又は分散値を算出してもよい。

上記発明において、前記撮像部で撮像されて取得された前記対象物の画像データに基づいて、前記対象物の輪郭形状を抽出し曲率情報を取得する曲率情報取得部と、芋の画像データに関する基本曲率情報が予め記録された第３記憶部と、取得された前記曲率情報と前記基本曲率情報を比較する第３比較部とを更に備えてもよく、前記判断部は、前記第１比較部、前記第２比較部及び前記第３比較部における比較結果に基づいて、前記対象物が芋であるか否かを判断してもよい。

上記発明において、前記曲率情報取得部は、前記輪郭形状上の所定長さ毎の曲率を算出し、前記曲率情報として、算出された前記曲率ごとの頻度を算出してもよい。

本発明に係る芋選別装置は、上述の芋判断装置と、前記芋判断装置で判断された結果に基づいて、前記対象物を選別する選別部とを備える。

本発明によれば、対象物が芋であるか否かの判断において判断精度を向上させることができる。

本発明の第１実施形態に係る馬鈴薯選別装置を示す構成図である。 本発明の第１実施形態に係る馬鈴薯選別装置のライスキャンカメラ及びＬＥＤ照明部の動作に関するタイミングチャートである。 本発明の第１実施形態に係る馬鈴薯選別装置のライスキャンカメラの撮像素子を示す概略図である。 本発明の第１実施形態に係る馬鈴薯選別装置を示すブロック図である。 本発明の第１実施形態に係る馬鈴薯選別装置の動作を示すフローチャートである。 本発明の第１実施形態に係る馬鈴薯選別装置の制御部の動作を示すフローチャートである。 本発明の第２実施形態に係る馬鈴薯選別装置を示すブロック図である。 本発明の第２実施形態に係る馬鈴薯選別装置の制御部の動作を示すフローチャートである。

［第１実施形態］
以下、本発明の第１実施形態に係る馬鈴薯選別装置１について説明する。
本発明の第１実施形態に係る馬鈴薯選別装置１は、収穫され貯蔵された多数の馬鈴薯に混在している異物と、馬鈴薯とを選別する装置である。異物としては、石、土塊、人工物、茎、木片、貝殻などがある。馬鈴薯選別装置１は、異物や馬鈴薯の表面に土が付着したままの状態で、異物と馬鈴薯を選別できる。

馬鈴薯選別装置１は、搬送された馬鈴薯などの物体を自由落下させ、落下中の物体に選別板６を当てて、物体の落下軌道を変更する。馬鈴薯選別装置１は、落下中の物体が馬鈴薯である否かを光学的に判断して、判断結果に基づいて選別板６の位置を調整し、馬鈴薯の場合と異物の場合とで落下軌道を異ならせる。これにより、馬鈴薯選別装置１は、馬鈴薯と異物を異なる場所へ分配できる。

馬鈴薯選別装置１は、図１に示すように、搬送部２と、光学部３と、制御部４と、選別部５などからなる。なお、光学部３と制御部４によって、本発明に係る芋判断装置が構成される。

搬送部２は、例えばある一定以上の幅を有するコンベヤーであり、物体を一端部から他端部にかけて一方向へ搬送し、他端部から物体を落下させる。搬送部２の一端部に複数の物体が連続的又は断続的に供給されると、搬送部２による搬送中に物体間の位置が均される。搬送部２は、例えば、馬鈴薯数個から１０数個分程度の幅を有することから、搬送部２の他端部からは、複数個の物体がほぼ同時に落下される。

また、物体の落下が一定間隔を空けて行われるように、搬送部２では、搬送方向の物体の間隔が搬送部２に設けられた仕切板（図示せず。）によって調整される。仕切板は、搬送部２のベルトなどに設置され、搬送方向に移動可能である。搬送方向で隣り合う仕切板の間に、搬送方向に１個ずつ物体が収容されることで、他端部からの物体の落下が一定間隔を空けて行われる。

選別部５は、搬送部２の幅とほぼ同じ幅を有し、複数の選別板６が幅方向に設置される。選別部５の選別板６は、アクチュエータ７によって、物体の落下軌道に位置したり、軌道外に位置したりと、設置位置が変更可能である。選別板６が、物体の落下軌道上に位置するとき、物体を跳ねて、物体の落下軌道を変更させる。一方、選別板６が物体の落下軌道外に位置するとき、物体の落下軌道を変更させずに、そのまま下方へ物体を落下させる。これにより、選別部５は、物体を２方向へ分配できる。

例えば、物体が馬鈴薯であると判断されたとき、選別板６が落下軌道外に位置して、物体をそのまま落下させることができる。反対に、馬鈴薯以外の異物であると判断されたとき、選別板６が落下軌道上に位置して、異物を跳ね、跳ねた先の場所に馬鈴薯を落下させることができる。落下先では、図１に示すように、物体をコンベヤー１０に載せて別の場所へ搬送してもよいし、籠などに物体を収納してもよい。

選別部５の選別板６は、一端近傍が回転可能に固定されて、選別板６が軸周りに回転することで、選別板６の板面が、物体の落下軌道上に位置したり、落下軌道外に位置したりする。

選別部５の各選別板６の幅は、馬鈴薯１個分以下である。馬鈴薯選別装置１は、搬送部２の他端部から落下した物体の位置を検出し、検出された落下位置に対応する場所に配置された選別板６が、馬鈴薯であるか否かの判断結果に基づいて移動する。複数個の物体が幅方向に同時に落下し、物体毎に判断結果が異なる場合でも、各選別板６が個別に動作を行うため、物体毎に落下軌道を異ならせることができる。制御部４の選別制御部１２（図４参照）から受信する駆動信号に基づいてアクチュエータ７が駆動し、その結果、各選別板６の位置が変更される。

選別部５は、上下方向に複数段（例えば２段以上）設けられてもよい。選別部５が上下方向に２段設置される場合、落下する物体を３方向へ分配できる。例えば、馬鈴薯であるか否かによって２方向に分配するだけでなく、馬鈴薯であると判断された場合に品質の良否で更に２方向に分配して、合計３方向に分配することができる。

光学部３は、例えば、ラインスキャンカメラ８と、ＬＥＤ照明部９などからなる。光学部３は、外部の光が入らない遮光空間に設置される。落下中の物体は、遮光空間を通過中に、ＬＥＤ照明部９によって光が照射されて、ラインスキャンカメラ８は、物体で反射した光のみを受光する。

ラインスキャンカメラ８は、落下中の物体を撮影し、撮影によって取得された画像データを制御部４へ送信する。ラインスキャンカメラ８は、互いに対向した２台が１対となって設置され、向かい合う２方向から物体を撮影する。これにより、一つの物体の全面を撮影できるため、馬鈴薯であるか否かの判断や、馬鈴薯の品質の判断を精度良く行うことができる。なお、ラインスキャンカメラ８は、必ずしも対で設置される必要はなく、ラインスキャンカメラ８を１台のみ設置して、１方向のみから物体を撮影してもよい。この場合、ラインスキャンカメラ８は、一つの物体の片面のみを撮影することになる。片面のみ撮影した場合と両面を撮影した場合の選別結果に差がない場合は、簡易な構成で本発明を実現できる。

ＬＥＤ照明部９は、落下中の物体に対し、所定の波長を有する光を照射する。ラインスキャンカメラ８は、ＬＥＤ照明部９が照射し、物体で反射した所定の波長の光を受光する。

ＬＥＤ照明部９は、互いに対向した２台が１対又は４台が２対となって設置され、向かい合う２方向から物体に同一波長の光を照射する。これにより、一つの物体の全面に同一波長の光を照射できる。なお、ＬＥＤ照明部９は、必ずしも対で設置される必要はなく、ラインスキャンカメラ８が１台のみ設置される場合、ＬＥＤ照明部９は、物体に対して１方向からのみ光を照射するように物体に対して片側のみに設置されてもよい。

１対のＬＥＤ照明部９は、異なる波長の光を照射するように複数種類のＬＥＤをそれぞれ備えてもよい。ＬＥＤ照明部９が、複数種類の波長の光を照射することで、馬鈴薯であるか否かの判断や、馬鈴薯の品質の判断を精度良く行うことができる。

複数種類のＬＥＤが設けられる場合、図２に示すタイミングチャートのように、ＬＥＤ照明部９は、異なる波長の光を時分割で順次照射する。ＬＥＤ照明部９による異なる波長の光の点灯と、ラインスキャンカメラ８の撮像素子におけるラインごとの走査は、同期している。点灯制御部２３は、制御部４から受信するラインスキャンカメラ８のラインごとの走査タイミングに基づいて、ＬＥＤ照明部９による異なる波長の光の点灯を行う。ラインスキャンカメラ８の撮像素子は、ＬＥＤ照明部９の点灯に対応して、ラインごとに所定の波長の光を受光する。その結果、ラインスキャンカメラ８は、異なる波長の光を反射した物体の画像データを、複数種類の波長ごとに取得できる。

たとえば、ＬＥＤ照明部９が、それぞれ照射する波長が異なる４種類のＬＥＤを備える場合、４種類の波長の光を反射した物体の画像データを取得できる。すなわち、４種類の波長ごとの画像データが得られる。

図３に示すように、複数のラインを備える撮像素子２０において、上から、第１の波長の光を受光する第１のライン、第２の波長の光を受光する第２のライン、第３の波長の光を受光する第３のライン、・・・と予め割り当てておく。そして、例えば、第１の波長の光が照射されている間、第１のラインで受光した光に基づく輝度情報が取得され、次に、第２の波長の光が照射されている間、第２のラインで受光した光に基づく輝度情報が取得される。以下同様に、各波長の光ごとに輝度情報が取得される。

第１〜第４のラインを１段としたとき、図３に示す例では、撮像素子２０は、合計１０段４０ラインを有する。１段目〜１０段目の第１のラインが同時に輝度情報が取得され、次に、１段目〜１０段目の第２のラインが同時に輝度情報が取得される。その後、１段目〜１０段目の第３のライン、１段目〜１０段目の第４のラインの輝度情報が取得される。

また、各ライン間の撮影タイミングの間隔（ラインクロック）の分、物体が移動しているため、撮像素子２０における各ラインの高さは、物体の落下速度と、ラインクロックを考慮して、決定されている。各ライン間の撮影タイミングの間隔に、物体が撮像素子２０の面内方向でＡmm移動する場合、１ラインの高さはＡmmに決定される。これにより、異なる波長の光を受光する各ラインは、高さ方向の位置が異なるが、物体の同一位置を撮影できる。

ＬＥＤ照明部９から照射される光の所定の波長は、例えば、450nmから1000nmの範囲にあるいずれかの波長である。ＬＥＤ照明部９が照射する光の波長は、例えば、馬鈴薯と異物の反射特性の違いが大きく表れる波長が選択される。一般的に、馬鈴薯又は想定される異物が反射しやすい波長の光又は吸収しやすい波長の光が存在するため、これらを予め特定することによって、ＬＥＤ照明部９が照射する光の波長を選択できる。

なお、ＬＥＤ照明部９は、１種類のＬＥＤのみを備えて、単波長の光を照射する構成としてもよいし、複数種類の波長の光を照射する場合、２種類、３種類又は５種類以上の波長の光を照射してもよい。これらの場合もラインスキャンカメラ８の撮像素子は、ＬＥＤ照明部９の点灯に対応して、ラインごとに所定の波長の光を受光する。

制御部４は、図４に示すように、画像処理部１１と、選別制御部１２などを備える。

画像処理部１１は、図４に示すように、位置・大きさ特定部１３と、テクスチャ特徴量抽出部１４と、輝度情報取得部１５と、記憶部１６と、第１比較部１７と、第２比較部１８と、判断部１９などを備える。

位置・大きさ特定部１３は、ラインスキャンカメラ８で取得された画像データに基づいて、落下中の物体の位置や大きさを特定する。位置・大きさ特定部１３は、例えば、物体の位置及び大きさを座標で特定し、特定された結果を選別制御部１２へ送る。

テクスチャ特徴量抽出部１４は、ラインスキャンカメラ８で撮像されて取得された物体の画像データに基づいて、物体のテクスチャに関する特徴量を抽出する。これにより、物体のテクスチャ、すなわち、物体表面の模様に基づいて、取得された画像データが馬鈴薯であるか否かを判断することができる。馬鈴薯表皮は、特有の斑点や芽の窪み等を有し、他の物質には見られない特徴を有していることから、その特徴を利用して、馬鈴薯と異物を識別する。

テクスチャに関する特徴量の抽出は、例えば、Local Binary Pattern（LBP）を改良した回転不変性を有する回転不変ＬＢＰを用いて行われる。ＬＢＰでは、まず、中心画素値と周辺画素値の大小を比較し、大小を０又は１で記録する。３画素×３画素を基本単位とする場合、中心画素値と周辺画素値の大小の比較によって８つの比較結果が得られ、その８つの比較結果を並べて８ケタの２進数を取得する。そして、８ケタの２進数を１０進数に変換すると、０から２５５までの１０進数が得られる。これを取得された物体の入力画像の全ての画素に適用すると、入力画像の階調数に関わらず、ＬＢＰによって取得される画像は、２５６階調の画像になる。その結果、入力画像は、２５６階調グレースケール画像へ正規化される。

ＬＢＰを用いることで、ラインスキャンカメラ８で取得された画像における輝度値の大小に関わらず、テクスチャが同一又は近似である場合、同一の特徴量又は近似した特徴量が取得可能である。また、ＬＢＰでは、３画素×３画素を基本単位として、画素間の数値の大小比較と、２進数から１０進数への変換が主な計算であるため、高速処理を実現できる。

なお、テクスチャに関する特徴量の抽出は、画像処理において一般的に用いられる手法を適用でき、ＬＢＰ以外の手法でもよい。

テクスチャに関する特徴が抽出された画像データ（ＬＢＰの場合、２５６階調グレースケールの画像データ）に基づいて特徴量が得られると、その特徴量は、第１比較部１７によって、予め記憶部１６に記録された基本特徴量と比較される。基本特徴量は、例えば、画像処理のパターン学習で取得されたデータである。本実施形態の場合、複数の馬鈴薯に関する画像データに基づいて、予め基本特徴量を取得しておく。例えば、画像処理のパターン学習において、予め取得した多数の馬鈴薯の画像に対して、回転不変ＬＢＰを用いて特徴量を抽出し、抽出された特徴量に基づいて、特徴の似た馬鈴薯のデータをクラス分けし、それぞれのクラスの平均ベクトルを算出しておく。なお、予め取得する複数の馬鈴薯の画像データにおける馬鈴薯は、実際に選別が行われる馬鈴薯と同一の状態、例えば、表面に土が付着した状態である。

第１比較部１７は、選別時にラインスキャンカメラ８で取得された物体の画像データに基づいてテクスチャ特徴量抽出部１４によって取得された特徴量と、予め記憶部１６に記録された基本特徴量とを比較する。この比較は、例えば、選別時に取得された特徴量から構成される特徴ベクトルと、予め記録された基本特徴量から構成される各クラスの平均ベクトル（２５６次元）との間の距離の算出である。取得された特徴ベクトルと平均ベクトルとの間の距離は、ユークリッド距離による距離によって求められる。距離が短いほうが、基本特徴量に近似している、すなわち馬鈴薯に近似しているデータであると判断できる。一方、距離が所定の閾値を超えた場合、異物であると判断できる。

また、第１比較部１７は、所定の閾値と、算出された距離とを比較する。第１比較部１７は、算出された距離が所定の閾値以下であるか否かの結果を判断部１９へ送る。

本実施形態では、予め取得された馬鈴薯の画像データに基づいて、予め複数のクラスが生成されて、各クラスの平均ベクトルが求められている。そして、選別時に取得された特徴量から構成される特徴ベクトルが、それらの各平均ベクトルと比較される。本実施形態と異なり、複数のクラスを生成せず、一つの平均ベクトルのみを求める場合、馬鈴薯自体にばらつきがあることから、選別時に取得された特徴ベクトルが、この一つの平均ベクトルと比較される場合、馬鈴薯に近い特徴量を有する異物を識別することが困難である。一方、本実施形態のように、複数のクラスに対してそれぞれ平均ベクトルを求め、選別時に取得された特徴ベクトルが、複数の平均ベクトルと比較されることによって、馬鈴薯に近い特徴量を有する異物に対しても、精度良く識別することが可能となる。

輝度情報取得部１５は、ラインスキャンカメラ８で撮像されて取得された物体の画像データに基づいて、物体の画像データの輝度データを取得する。そして、輝度情報取得部１５は、輝度データに基づいて、物体の画像データの輝度の平均値及び分散値（輝度情報）を算出し取得する。なお、画像データの輝度の頻度は、縦軸に頻度をとり横軸に輝度値をとるヒストグラムで表すことができる。

ＬＥＤ照明部９が照射する複数種類の波長ごとに画像が得られることから、輝度情報取得部１５は、各波長ごとの輝度データ（分光反射強度）を取得できる。そして、各波長ごとに画像データの輝度の平均値及び標準偏差を算出する。たとえば、ＬＥＤ照明部９が、それぞれ照射する波長が異なる４種類のＬＥＤを備える場合、４種類の波長ごとの画像が得られ、それぞれに平均値と、平均値及び分散値に基づく標準偏差が算出され取得される。すなわち、この場合、８要素のデータが得られる。なお、８要素のデータは、各波長の画像における物体表面の輝度の平均値と標準偏差ではなく、平均値と分散値でもよい。そして、８要素からなる特徴ベクトルが構成される。

これにより、物体が反射する特定の波長の光を受光して撮像された画像データの輝度情報に基づいて、取得された画像データが馬鈴薯であるか否かを判断することができる。

波長ごとの画像データに基づいてそれぞれに平均値及び標準偏差が算出されると、それらの平均値及び標準偏差は、第２比較部１８によって、予め記憶部１６に記録された波長ごとの基本平均値及び基本標準偏差と比較される。基本平均値又は基本標準偏差は、例えば、画像処理のパターン学習で取得されたデータである。本実施形態の場合、複数の馬鈴薯に関する画像データの輝度データに基づいて、予め基本平均値又は基本標準偏差を取得しておく。例えば、画像処理のパターン学習において、予め取得した多数の馬鈴薯の画像の輝度データに対して、平均値及び標準偏差を算出し、算出された平均値及び標準偏差に基づいて、特徴の似た馬鈴薯のデータをクラス分けし、それぞれのクラスの平均ベクトルを算出しておく。なお、予め取得する複数の馬鈴薯の画像データにおける馬鈴薯は、実際に選別が行われる馬鈴薯と同一の状態、例えば、表面に土が付着した状態である。

第２比較部１８は、選別時に波長ごとの画像データに基づいて算出された平均値と、予め記憶部１６に記録された基本平均値とを比較し、また、波長ごとの画像データに基づいて算出された標準偏差と、予め記憶部１６に記録された基本標準偏差とを比較する。この比較は、選別時に取得された平均値と標準偏差から構成される特徴ベクトルと、予め記録された基本平均値及び基本標準偏差から構成される各クラスの平均ベクトルとの間の距離の算出である。取得された特徴ベクトルと平均ベクトルとの間の距離は、マハラノビス距離による距離によって求められる。距離が短いほうが、基本平均値及び基本標準偏差に近似している、すなわち馬鈴薯に近似しているデータであると判断できる。一方、距離が所定の閾値を超えた場合、異物であると判断できる。

また、第２比較部１８は、所定の閾値と、算出された距離とを比較する。第２比較部１８は、算出された距離が所定の閾値以下であるか否かの結果を判断部１９へ送る。

判断部１９は、第１比較部１７と第２比較部１８における比較結果に基づいて、撮影された物体が馬鈴薯であるか否かを判断する。

判断部１９は、第１比較部１７において、算出された距離が所定の閾値よりも小さいという結果が得られ、かつ、第２比較部１８において、算出された距離が所定の閾値以下であるという結果が得られた場合、ラインスキャンカメラ８で取得された物体の画像データは、馬鈴薯に関する画像データであると判断する。判断部１９は、画像データが馬鈴薯に関する画像データであるか否かの判断結果を選別制御部１２へ送る。

選別制御部１２は、位置・大きさ特定部１３において特定された落下している物体の位置及び大きさに基づいて、駆動させる選別板６の位置及び数を決定する。また、選別制御部１２は、判断部１９による馬鈴薯であるか否かの判断結果に基づいて、選別板６を物体の落下軌道上へ移動させたり、落下軌道外へ移動させたりする。すなわち、選別制御部１２は、駆動させる選別板６の位置及び数を決定し、かつ、選別板６を物体の落下軌道上へ移動させたり、落下軌道外へ移動させたりする。

次に、本実施形態に係る馬鈴薯選別装置１の動作について説明する。
図５は、本実施形態に係る馬鈴薯選別装置１の動作を示すフローチャートである。まず、搬送部２によって、馬鈴薯及び馬鈴薯以外の異物を含む物体が搬送されて、端部から物体が落下される（ステップＳ１）。なお、落下前に搬送部２に設けられた仕切板によって、搬送方向の物体の間隔が調整され、端部からの物体の落下が一定間隔を空けて行われる。

落下中に光学部３によって、所定の波長を有する光が照射されて、光が照射されているときに物体が撮像される（ステップＳ２）。そして、撮像結果に基づいて、物体が馬鈴薯であるか又は異物であるかが判断される（ステップＳ３）。

その後、物体が馬鈴薯であるか否かの判断結果と落下タイミングに応じて、選別部５の選別板６の位置が調整され、馬鈴薯の場合と異物の場合とで落下軌道を異ならせる（ステップＳ５）。このとき、落下している物体の位置及び大きさが特定され（ステップＳ４）、駆動させる選別板６の位置及び数も決定される。そして、落下している物体が選別板６に当たることにより、落下位置が変化する。その結果、馬鈴薯選別装置１は、馬鈴薯と異物を異なる場所へ分配できる。

本実施形態において、物体が馬鈴薯であるか否かの判断は、テクスチャに関する特徴量と、反射光の波長に基づく輝度情報によって行われる。図６は、本実施形態に係る馬鈴薯選別装置１の制御部４の動作を示すフローチャートである。まず、ラインスキャンカメラ８が物体を撮像した結果、画像データが取得される（ステップＳ１１）。

テクスチャに関する特徴量については、まず、ラインスキャンカメラ８で撮像されて取得された物体の画像データに基づいて、物体のテクスチャに関する特徴量が抽出される（ステップＳ１２）。この抽出は、例えば、回転不変Local Binary Pattern（LBP）を用いて行われる。特徴量が抽出されると、その特徴量は、第１比較部１７によって、予め記憶部１６に記録された基本特徴量と比較される（ステップＳ１３）。この比較は、まず、選別時に取得された特徴量から構成される特徴ベクトルと、予め記録された基本特徴量から構成される各クラスの平均ベクトル（２５６次元）との間の距離（例えばユークリッド距離）が算出され、次に、算出された距離が所定の閾値以下であるか否かが比較される。

反射光の波長に基づく輝度情報については、まず、ラインスキャンカメラ８で撮像されて取得された物体の画像データに基づいて、物体の画像データの輝度データが取得される。そして、輝度データに基づいて、画像データの輝度の平均値及び分散値（輝度情報）が算出され取得される（ステップＳ１４）。複数種類の波長ごとに画像が得られる場合、各波長ごとの輝度データが取得され、各波長ごとに画像データの輝度の平均値及び標準偏差が算出される。

算出された平均値及び標準偏差は、第２比較部１８によって、予め記憶部１６に記録された基本平均値及び基本標準偏差と比較される（ステップＳ１５）。複数種類の波長ごとに画像が得られる場合、波長ごとの基本平均値及び基本標準偏差と比較される。この比較は、まず、選別時に取得された平均値と標準偏差から構成される特徴ベクトルと、予め記録された基本平均値及び基本標準偏差から構成される各クラスの平均ベクトルとの間の距離（例えばマハラノビス距離）が算出され、次に、算出された距離が所定の閾値以下であるか否かが比較される。

そして、第１比較部１７と第２比較部１８における比較結果に基づいて、撮影された物体が馬鈴薯であるか否かが判断される。すなわち、算出されたテクスチャに関する特徴量、輝度の平均値及び標準偏差が条件を満たすか否かが判断される（ステップＳ１６）。

テクスチャに関する特徴量に関し、第１比較部１７で算出された距離が所定の閾値以下であるという結果が得られ、かつ、反射光の波長に基づく輝度情報に関し、第２比較部１８で算出された距離が所定の閾値以下であるという結果が得られた場合、ラインスキャンカメラ８で取得された物体の画像データは、馬鈴薯に関する画像データであると判断される（ステップＳ１７）。

他方、第１比較部１７で算出された距離が所定の閾値を超えている場合、又は、第２比較部１８で算出された距離が所定の閾値を超えている場合は、ラインスキャンカメラ８で取得された物体の画像データは、馬鈴薯に関する画像データではなく、異物であると判断される（ステップＳ１８）。

以上、本実施形態によれば、テクスチャに関する特徴量と、反射光の波長に基づく輝度情報によって、物体が馬鈴薯であるか否かの判断が行われる。テクスチャに関する特徴量だけで判断を行う場合、物体表面の模様が馬鈴薯に近似している物体（例えば、表面に土が付着した石など）が、馬鈴薯であると判断される可能性が高い。また、反射光の波長に基づく輝度情報だけで判断を行う場合、物体が反射する特定の波長の光が近似している物体が、馬鈴薯であると判断される可能性が高い。このように、いずれか一方では、馬鈴薯と異物とを区別できない場合があるが、本実施形態では、両方の条件を満たすときに馬鈴薯であると判断することによって、馬鈴薯と異物の選別精度を向上させることができる。

［第２実施形態］
以下、本発明の第２実施形態に係る馬鈴薯選別装置１について説明する。なお、以下では、第１実施形態と重複する構成要素及び作用効果については、詳細な説明を省略する。
上述した第１実施形態では、テクスチャに関する特徴量と、反射光の波長に基づく輝度情報によって、物体が馬鈴薯であるか否かの判断をする場合について説明したが、これらの二つの判断条件に追加して、別の判断条件を考慮して、物体が馬鈴薯であるか否かの判断をしてもよい。
例えば、本実施形態では、画像データにおける物体の境界の曲率を更に用いて、物体が馬鈴薯であるか否かの判断を行う。

図７に示すように、本実施形態に係る制御部４の画像処理部１１は、上述した第１実施形態に加えて、曲率情報取得部２１と第３比較部２２を更に備える。

曲率情報取得部２１は、ラインスキャンカメラ８で撮像されて取得された物体の画像データに基づいて、物体と背景の境界線、すなわち物体の輪郭形状を抽出し、輪郭形状上の所定長さ毎の曲率を算出する。物体の輪郭は、閉曲線を有し、外側に凸状の曲線部分は、正（プラス）の値となり、内側に凹んだ凹状の曲線部分は、負（マイナス）の値となり、直線に近い部分は０（ゼロ）に近い値となる。馬鈴薯の輪郭は、一般的に外側に凸状である部分が多くの割合を占め、所定長さごとの曲率は、正の値をとることが多い。また、馬鈴薯の輪郭は、輪郭に沿って曲率の変化が緩やかである。一方、石、植物の茎等の異物の輪郭は、直線で構成されていることが多く、輪郭に沿って曲率が正負に大きく変動する。なお、輪郭形状による異物識別は、馬鈴薯の表面に付着した土の影響を受けにくい。

曲率情報取得部２１は、算出された曲率について、算出された曲率の最大値を基準に正規化し、正規化された曲率ごとの頻度を累積（集計）する。そして、曲率情報取得部２１は、曲率に関する頻度情報（曲率情報）を第３比較部２２に送る。

曲率に関する頻度情報が得られると、第３比較部２２は、所定の閾値Ｔｃ（例えば0.07）以下の曲率の頻度が全体に対して占める割合を算出する。また、第３比較部は、所定の閾値Ｔｃ以下の曲率の頻度の全体に対する割合と、所定の閾値Ｔｒ％（例えば20％）とを比較する。所定の閾値Ｔｃ以下の曲率の頻度の全体に対する割合が、所定の閾値Ｔｒ％以下であれば、馬鈴薯である可能性が高く、所定の閾値Ｔｃ以下の曲率の頻度の全体に対する割合が、所定の閾値Ｔｒ％を超えていれば、異物である可能性が高い。

馬鈴薯は、石、植物の茎等の異物の場合と異なり、曲率が０（ゼロ）前後以下の割合が少ない。そのため、上述のように、所定の閾値Ｔｃを0.07に設定し、所定の閾値Ｔｒを20％に設定することで、通常の馬鈴薯の場合だけでなく、馬鈴薯２個が連結して瓢箪型のように中央付近が窪んだ輪郭を有する場合にも、異物と判断されずに、馬鈴薯であると判断させることができる。

判断部１９は、第１比較部１７と第２比較部１８と第３比較部２２における比較結果に基づいて、撮影された物体が馬鈴薯であるか否かを判断する。

判断部１９は、第３比較部２２において、所定の閾値Ｔｃ以下の曲率の頻度の全体に対する割合が、所定の閾値Ｔｒ％以下であるという結果が得られ、第１比較部１７において、算出された距離が所定の閾値よりも小さいという結果が得られ、かつ、第２比較部１８において、算出された距離が所定の閾値以下であるという結果が得られた場合、ラインスキャンカメラ８で取得された物体の画像データは、馬鈴薯に関する画像データであると判断する。判断部１９は、画像データが馬鈴薯に関する画像データであるか否かの判断結果を選別制御部１２へ送る。

次に、本実施形態に係る馬鈴薯選別装置１の動作について説明する。図８は、本実施形態に係る馬鈴薯選別装置１の制御部４の動作を示すフローチャートである。
馬鈴薯であるか否かの判断は、テクスチャに関する特徴量と、反射光の波長に基づく輝度情報に加えて、画像データにおける物体の境界の曲率が考慮されて行われる。

物体の境界の曲率については、まず、ラインスキャンカメラ８で撮像されて取得された物体の画像データに基づいて、物体と背景の境界線、すなわち物体の輪郭が抽出され、輪郭上の所定長さ毎の曲率が算出される。そして、算出された曲率に基づいて、曲率ごとの頻度が累積されて、曲率の頻度情報が取得される（ステップＳ１９）。

そして、曲率に関する頻度情報が得られると、第３比較部２２によって、所定の閾値Ｔｃ以下の曲率の頻度が全体に対して占める割合が算出される。そして、第３比較部２２によって、所定の閾値Ｔｃ以下の曲率の頻度の全体に対する割合が、所定の閾値Ｔｒ％以下であるか否かが比較される（ステップＳ２０）。

そして、第１比較部１７と第２比較部１８と第３比較部２２における比較結果に基づいて、撮影された物体が馬鈴薯であるか否かが判断される。すなわち、算出されたテクスチャに関する特徴量、輝度の平均値及び標準偏差、及び、曲率の頻度が条件を満たすか否かが判断される（ステップＳ２１）。

物体の境界の曲率に関し、第３比較部２２において、所定の閾値Ｔｃ以下の曲率の頻度の全体に対する割合が、所定の閾値Ｔｒ％以下であるという結果が得られた場合、また、テクスチャに関する特徴量に関し、第１比較部１７で算出された距離が所定の閾値以下であるという結果が得られ、かつ、反射光の波長に基づく輝度情報について、第２比較部１８で算出された距離が所定の閾値以下であるという結果が得られた場合、ラインスキャンカメラ８で取得された物体の画像データは、馬鈴薯に関する画像データであると判断される（ステップＳ２２）。

他方、第３比較部２２において、所定の閾値Ｔｃ以下の曲率の頻度の全体に対する割合が、所定の閾値Ｔｒ％を超えているという結果が得られた場合、ラインスキャンカメラ８で取得された物体の画像データは、馬鈴薯に関する画像データではなく、異物であると判断される。なお、第１実施形態と同様に、第１比較部１７で算出された距離が所定の閾値を超えている場合、又は、第２比較部１８で算出された距離が所定の閾値を超えている場合も、異物であると判断される（ステップＳ２３）。

以上、本実施形態によれば、テクスチャに関する特徴量と、反射光の波長に基づく輝度情報と、画像データにおける物体の境界の曲率の３種類の条件によって、物体が馬鈴薯であるか否かの判断が行われる。テクスチャに関する特徴量、及び、反射光の波長に基づく輝度情報の２種類の条件によって、物体が馬鈴薯であるか否かの判断をする第１実施形態に比べて、本実施形態では、画像データにおける物体の境界の曲率を考慮することによって、馬鈴薯と異物の選別精度を更に向上させることができる。

画像データにおける物体の境界の曲率だけで判断を行う場合、物体の境界の曲率が馬鈴薯と近似している物体（例えば石など）が、馬鈴薯であると判断される可能性が高い。このように、画像データにおける物体の境界の曲率だけでは、馬鈴薯と異物とを区別できない場合があるが、本実施形態では、３種類の条件を満たすときに馬鈴薯であると判断することによって、馬鈴薯と異物の選別精度を向上させることができる。

なお、上述した第１、第２実施形態では、第１比較部１７、第２比較部１８において閾値が一つのみ設定される場合について説明したが、本発明は、この例に限定されない。例えば、第１比較部１７、第２比較部１８において、複数、例えば二つの異なる値の閾値を設定してもよい。選別時、第１比較部１７又は第２比較部１８で算出された距離が、第１比較部１７と第２比較部１８のいずれか一方において、低い方の閾値以下であるとき、第１比較部１７と第２比較部１８の他方の高い方の閾値以下であれば、馬鈴薯であると判断するようにしてもよい。これにより、馬鈴薯に関するテクスチャと分光反射強度による二つの判定において相関関係がある場合、より精度良く識別することが可能になる。

また、上述した実施形態では、本発明に係る芋選別装置の一例として、馬鈴薯選別装置１について説明したが、本発明はこの例に限定されない。本発明に係る芋選別装置は、馬鈴薯以外のサツマイモなどの芋についても適用可能である。

上述した実施形態では、搬送部２において、物体を一端部から他端部にかけて一方向へ搬送し、他端部から物体を落下させ、選別部５の選別板６が、物体の落下軌道に位置したり、軌道外に位置したりと、設置位置が変更されることによって、異物又は馬鈴薯の落下先を変更して、対象物を選別する例について説明したが、本発明はこの例に限定されない。例えば、搬送部及び選別部を構成する装置は、青果などの選別機として用いられている技術を適用できる。例えば、選別機は、水平なコンベヤー等によって、対象物を搬送し、判断結果に基づいて、コンベヤーの搬送ルートの外へ対象物を移動させる構成を有する。対象物をコンベヤーの外へ移動させる装置は、例えば、コンベヤーの一部がコンベヤーの下方へ降下して対象物を下方へ移動させる構成を有するものや、羽根状の部材が対象物を拾い上げてコンベヤーの側方へ排除する構成を有するものなどがある。

１ ：馬鈴薯選別装置
２ ：搬送部
３ ：光学部
４ ：制御部
５ ：選別部
６ ：選別板
７ ：アクチュエータ
８ ：ラインスキャンカメラ
９ ：ＬＥＤ照明部
１０ ：コンベヤー
１１ ：画像処理部
１２ ：選別制御部
１３ ：位置・大きさ特定部
１４ ：テクスチャ特徴量抽出部
１５ ：輝度情報取得部
１６ ：記憶部
１７ ：第１比較部
１８ ：第２比較部
１９ ：判断部
２０ ：撮像素子
２１ ：曲率情報取得部
２２ ：第３比較部
２３ ：点灯制御部

Claims (7)

1. 対象物を撮像する撮像部と、
   前記対象物に所定の波長の光を照射する照射部と、
   前記撮像部で撮像されて取得された前記対象物の画像データに基づいて、前記対象物のテクスチャに関する特徴量を抽出する特徴抽出部と、
   芋の画像データに関する基本特徴量が予め記録された第１記憶部と、
   抽出された前記特徴量と前記基本特徴量を比較する第１比較部と、
   前記対象物にて反射した光を受光し、受光した光に基づく前記波長の輝度情報を取得する輝度情報取得部と、
   芋にて反射した光に基づく前記波長の基本輝度情報が予め記録された第２記憶部と、
   取得された前記対象物の前記輝度情報と前記基本輝度情報を比較する第２比較部と、
   前記第１比較部及び前記第２比較部における比較結果に基づいて、前記対象物が芋であるか否かを判断する判断部と、
   を備える芋判断装置。
2. 前記照射部は、前記対象物に波長の異なる複数の光を順次照射し、
   前記輝度情報取得部は、前記波長ごとの前記輝度情報を取得し、
   前記第２記憶部は、前記波長ごとの基本輝度情報を予め記録し、
   前記第２比較部は、取得された前記対象物の前記輝度情報と前記基本輝度情報を前記波長ごとに比較する請求項１に記載の芋判断装置。
3. 前記特徴抽出部は、Local Binary Patternを用いて前記対象物のテクスチャに関する特徴量を抽出する請求項１又は２に記載の芋判断装置。
4. 前記輝度情報取得部は、前記輝度情報として、前記対象物の画像データにおける輝度の平均値又は分散値を算出する請求項１から３のいずれか１項に記載の芋判断装置。
5. 前記撮像部で撮像されて取得された前記対象物の画像データに基づいて、前記対象物の輪郭形状を抽出し、曲率情報を取得する曲率情報取得部と、
   芋の画像データに関する基本曲率情報が予め記録された第３記憶部と、
   取得された前記曲率情報と前記基本曲率情報を比較する第３比較部と、
   を更に備え、
   前記判断部は、前記第１比較部、前記第２比較部及び前記第３比較部における比較結果に基づいて、前記対象物が芋であるか否かを判断する請求項１から４のいずれか１項に記載の芋判断装置。
6. 前記曲率情報取得部は、前記輪郭形状上の所定長さ毎の曲率を算出し前記曲率情報として、算出された前記曲率ごとの頻度を算出する請求項５に記載の芋判断装置。
7. 請求項１から６のいずれか１項に記載の芋判断装置と、
   前記芋判断装置で判断された結果に基づいて、前記対象物を選別する選別部と、
   を備える芋選別装置。
   

Images