JP4171806B2 - 果実そ菜類の等級判別方法。 - Google Patents
果実そ菜類の等級判別方法。 Download PDFInfo
- Publication number
- JP4171806B2 JP4171806B2 JP2005060014A JP2005060014A JP4171806B2 JP 4171806 B2 JP4171806 B2 JP 4171806B2 JP 2005060014 A JP2005060014 A JP 2005060014A JP 2005060014 A JP2005060014 A JP 2005060014A JP 4171806 B2 JP4171806 B2 JP 4171806B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- grade
- vegetables
- fruit
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Sorting Of Articles (AREA)
- Image Processing (AREA)
Description
従来の等級判別方法は、例えば果実の場合、カラーセンサーによる対象の微少量の輪切りに含まれるカラー量(1次元カラー量)を連続的に測定した総和量と、設定閾値との比較によって着色度を判定する方法であった。
カラーセンサーを用いる方法は、色づきの分布が全般に万遍にわたっている場合には問題ないが、局所的に分散した色むらがあるときには、この1次元的方法では、その色むらを判別することはできず、このような2次元的に判断を必要とする場合には、人間の判断に頼らざるを得ず、等級判別に多大な時間と労力が必要だった。
また、特開平9−29185号公報には、メロンなどの果皮ネットパターンの良否を判定する方法が記載されている。
さらに、特開平5−2632号公報には、撮像カメラから得られた色彩情報からニューラルネットワーク技術を使い等級判定する方法が記載されている。
しかし、これらの従来技術は、人間の目による判断に代替できるレベルに達しておらず、実用化されていなかった。
(1)果実そ菜類を撮像した画像によって等級を判別する果実そ菜類の等級判別法であって、等級半別を行う果実そ菜類を撮像した画像の各画素を赤(R), 緑(G)、青(B)の3原色により表現し、または各画素の色彩をHSV方式に変換する第1工程と、
前記各画素から得られる赤(R)、緑(G)、青(B)のデータ、または該データをHSV方式に変換されたデータを用いて、相互結合型ニューラルネットによる自己組織化を行って、当該種類の果実そ菜類に特有の2次元色特徴地図を作成する第2工程と、
前記果実そ菜類を等級別に分類したサンプルにより、前記2次元色特徴地図とラベリング処理を用いて得られる対象物体の色・位置情報を用いて、赤い領域の大きさ、赤い領域の彩度の平均値、色むらの領域の大きさ、色むらの領域の数、円形度、色むらの領域の飛散度に基づいて等級別に得られる複数の2次元特徴量を決定し、前記等級別2次元特徴量にN層ニューラルネットワークを作用させた場合に、各等級が定まるようにN層ニューラルネットワークを構成させる第3工程と、
任意の当該果実そ菜類を撮像し、前記第2工程で得られた2次元色特徴地図とラベリング処理を用いて得られる複数の2次元特徴量に前記ニューラルネットを作用させて当該果実そ菜類の等級を出力する第4工程とを有することを特徴とする果実そ菜類の等級判別方法。
(2)前記2次元色特徴地図およびラベリング処理を用いて得られる結果は、色および形状情報を含み、果実そ菜類における色、形状または傷の自動判別に適用することを特徴とする請求項1に記載の果実そ菜類の等級判別法。
具体的には、本発明は従来にない全く新しい一連の知能画像処理法によって、画像の2次元的解析が可能となり、そのもとで得られる様々な2次元特徴量から、これまで人間の判断に頼っていた果実そ菜類の等級判別を自動化することができるなど、産業上有用な著しい効果を奏する。
図1は、本発明における果実そ菜類の等級判別方法の処理フローを例示する図である。
まず、等級判別を行う果実そ菜類を撮像した画像の各画素を赤(R)、緑(G)、青(B)の3原色により表現し、または各画素の色彩をHSV方式に変換する(S-1)。
等級別に選別しようとする一種類の果実等を無差別に2次元色特徴地図を作成するに十分な個数を撮像し、その各画素を通常の色の3原色により表示してもよいが、各画素の色彩をH(Hue:色相)、S(Saturation:彩度)、V(Value:明度)の3要素で色を表現することにより、RGB色空間よりも、人間の知覚に近い色彩モデルにすることができるうえ、画像中で光が全反射し、真っ白く見えるハイライト部分も、色相H,Sによって識別することができる。
ここに、自己組織化とは、「教師なし学習」ともいい、外界からの内部構造に関する信号(教師信号)がないにもかかわらず、その内部構造を外界に適応させることをいう。
また、相互結合型ニューラルネットワークとは、特徴地図の入力層と競合層間が完全結合であり、各入力ユニットは競合層のすべてのユニットと結合しているモデルをいう。全結合は結合荷重をもち、これを入力ベクトルに応じて更新していくことで、自己組織化が行われる。
また、前記果実そ菜類を等級別に分類したサンプルにより複数の2次元特徴量を前記2次元色特徴地図とラベリング処理を用いて得られる対象物体の色・位置情報から決定し、前記等級別2次元特徴量にN層ニューラルネットワークを作用させた場合に各等級が定まるようにN層ニューラルネットワークを構成させる(S-3)。
果実そ菜類を等級別に分類したサンプルの画像を2次元特徴地図を使って認識・分類するクラスタリングを行い、次いで連結している画素をひとまとめにし、その領域ごとに異なるラベルを割り振るラベリングを行うことにより得られる対象物体の色・位置情報から複数の2次元特徴量を決める。
ここに、本発明に用いる複数の2次元特徴量とは、2次元画像から得られる複数の特徴量をいい、本発明においては、この複数の2次元特徴量を用いることによって、従来用いられていたカラー量などの1次元情報では判別できなかった、局所的に分散した色むらなどを自動的に判別することができる。
さらに、前記2次元色特徴地図およびラベリング処理により得られる結果は、形状情報を含み、果実そ菜類における形状または傷選別に適用することにより、色むら以外の形状による等級判別を自動的に行うことができる。
なお、本発明を機械部品や機械製品の形状判別に応用することにより、機械分野における自動判別を実現することができる。
これらは、果実そ菜類を撮像した画像が2次元画像データとしてコンピュータに取り込まれてから後の、コンピュータ上での一連の自動的な処理の流れを示したものである。
第1ステップは、上面撮影であのRGB表示対象画像である。第2ステップは、RGB画像からHSV色空間画像への変換である。前述のようにHSV画像は人間の色の知覚に基づいた表現方法であり、この表現により人間の知覚にあった色修正が可能となる。HSVとRGBの間には1対1の対応関係が成り立っている。
自己組織化地図は、入力層ユニットの入力ベクトルEと、競合層ユニットの荷重ベクトルWi(t)との距離(A)式を最小にする競合層の勝者ユニットを探し、そのユニットと近傍ユニットのWを更新しながら組織化を行う手法である。
勝者ユニットとその近傍の結合定数の更新の仕方は、学習率をαとして次の式で行われる。
第5ステップは、確認された対象物の位置および色の2次元情報から、判別に有効な複数の2次元特徴量を求める。
例えば、りんごの色むらを判別する場合の特徴量としては、例えば、F1.赤い領域の大きさ、F2.赤い領域の彩度の平均値、F3.色むらの領域の大きさ、F4.色むらの領域の数、F5.円形度、F6〜F9.色むらの領域の飛散度(大きさに応じて4段階)とすることが好ましい。
本発明における判別手段としては、N層ニューラルネットワーク(NN)を用いるが、脳を模した学習機械であって、いくつかのユニットがまとまった数段の層から成り、各層間のユニットは結合しており、各結合の持つ結合荷重を更新することで学習を行う階層型パーセプトロンを用いることが好ましい。
例えば、りんごの色むらを判別する場合には、前述のF1〜F9の特徴量を求め、その値を3層ニューラルネットワーク(NN)の入力ベクトルとし、教師信号をその対応する等級として学習を行う。
学習法としては、例えば、出力と教師信号との誤差から、最急降下法により結合荷重を更新するBP(Back Propagation:誤差逆伝播)学習法を用いることによって、入力ベクトルの符号化、線形分離不可能な入力パターンの学習が可能である。
ユニット数は、例えば、入力層9個(特徴量の数)、隠れ層14個、出力層5個(等級数)とし、学習の終了条件をε=1.0×10-5とする。
これらの過程の中で、第3、第4、第5ステップは、それぞれ目的にあった学習装置や、特徴変量をあらかじめ独立に作成しておく。
学習が終った上記の一連の判別処理システムに対して、等級未知の2次元画像を取り込めば、全自動的に等級判別を行うことができる。
図4の、上段は特選、下段は無印の等級のりんごを示しており、左端は元画像、真ん中はクラスタリング後、右端はラベリング後の画像である。
本発明の等級判別方法を用いて25個の画像について等級判別を行った結果、熟練した人間の判別結果と同じく、全て正しい判別を行うことができ、本発明の効果が確認された。
Claims (2)
- 果実そ菜類を撮像した画像によって等級を判別する果実そ菜類の等級判別法であって、
等級半別を行う果実そ菜類を撮像した画像の各画素を赤(R), 緑(G)、青(B)の3原色により表現し、または各画素の色彩をHSV方式に変換する第1工程と、
前記各画素から得られる赤(R)、緑(G)、青(B)のデータ、または該データをHSV方式に変換されたデータを用いて、相互結合型ニューラルネットによる自己組織化を行って、当該種類の果実そ菜類に特有の2次元色特徴地図を作成する第2工程と、
前記果実そ菜類を等級別に分類したサンプルにより、前記2次元色特徴地図とラベリング処理を用いて得られる対象物体の色・位置情報を用いて、赤い領域の大きさ、赤い領域の彩度の平均値、色むらの領域の大きさ、色むらの領域の数、円形度、色むらの領域の飛散度に基づいて等級別に得られる複数の2次元特徴量を決定し、前記等級別2次元特徴量にN層ニューラルネットワークを作用させた場合に、各等級が定まるようにN層ニューラルネットワークを構成させる第3工程と、
任意の当該果実そ菜類を撮像し、前記第2工程で得られた2次元色特徴地図とラベリング処理を用いて得られる複数の2次元特徴量に前記ニューラルネットを作用させて当該果実そ菜類の等級を出力する第4工程とを有することを特徴とする果実そ菜類の等級判別方法。 - 前記2次元色特徴地図およびラベリング処理を用いて得られる結果は、色および形状情報を含み、果実そ菜類における色、形状または傷の自動判別に適用することを特徴とする請求項1に記載の果実そ菜類の等級判別法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005060014A JP4171806B2 (ja) | 2005-03-04 | 2005-03-04 | 果実そ菜類の等級判別方法。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005060014A JP4171806B2 (ja) | 2005-03-04 | 2005-03-04 | 果実そ菜類の等級判別方法。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006239602A JP2006239602A (ja) | 2006-09-14 |
JP4171806B2 true JP4171806B2 (ja) | 2008-10-29 |
Family
ID=37046524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005060014A Active JP4171806B2 (ja) | 2005-03-04 | 2005-03-04 | 果実そ菜類の等級判別方法。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4171806B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489684B2 (en) | 2015-12-14 | 2019-11-26 | Samsung Electronics Co., Ltd. | Image processing apparatus and method based on deep learning and neural network learning |
US11003958B2 (en) | 2018-06-26 | 2021-05-11 | Walmart Apollo, Llc | Food quality image classification |
WO2022182191A1 (ko) * | 2021-02-26 | 2022-09-01 | 농업회사법인 아이오크롭스 주식회사 | 수확 대상 과실 판단 방법 및 과실 수확 장치. |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105562361B (zh) * | 2015-12-23 | 2017-12-22 | 西安工程大学 | 一种织物分拣机器人自主分拣方法 |
CN112775032B (zh) * | 2020-12-25 | 2022-08-23 | 深圳市一诺维奇教育科技有限公司 | 一种水果分拣方法、装置及柔性机器人 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0520426A (ja) * | 1991-07-15 | 1993-01-29 | Sumitomo Heavy Ind Ltd | ニユーラルネツトワークを用いた果実の色合判定装置 |
JPH0929185A (ja) * | 1995-07-17 | 1997-02-04 | Takaaki Satake | 果皮表面に固有のネットパターンを有する青果物の等級判定方法 |
JP4123469B2 (ja) * | 2002-04-15 | 2008-07-23 | グローリー株式会社 | 特徴抽出方法 |
-
2005
- 2005-03-04 JP JP2005060014A patent/JP4171806B2/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489684B2 (en) | 2015-12-14 | 2019-11-26 | Samsung Electronics Co., Ltd. | Image processing apparatus and method based on deep learning and neural network learning |
US11341375B2 (en) | 2015-12-14 | 2022-05-24 | Samsung Electronics Co., Ltd. | Image processing apparatus and method based on deep learning and neural network learning |
US11003958B2 (en) | 2018-06-26 | 2021-05-11 | Walmart Apollo, Llc | Food quality image classification |
WO2022182191A1 (ko) * | 2021-02-26 | 2022-09-01 | 농업회사법인 아이오크롭스 주식회사 | 수확 대상 과실 판단 방법 및 과실 수확 장치. |
Also Published As
Publication number | Publication date |
---|---|
JP2006239602A (ja) | 2006-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Moallem et al. | Computer vision-based apple grading for golden delicious apples based on surface features | |
AU2013347861B2 (en) | Scoring and controlling quality of food products | |
EP1977371B1 (en) | Method and system for identifying illumination fields in an image | |
Barnes et al. | Visual detection of blemishes in potatoes using minimalist boosted classifiers | |
Fashi et al. | The relationship between the appearance of pomegranate fruit and color and size of arils based on image processing | |
Razak¹ et al. | Mango grading by using fuzzy image analysis | |
WO2019151393A1 (ja) | 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 | |
KR20100015628A (ko) | 목재의 검사 방법, 장치 및 프로그램 | |
Eissa et al. | Understanding color image processing by machine vision for biological materials | |
US9219891B2 (en) | Object identification apparatus | |
JP4171806B2 (ja) | 果実そ菜類の等級判別方法。 | |
Alfatni et al. | Recent methods and techniques of external grading systems for agricultural crops quality inspection-review | |
García-Alegre et al. | Eggshell defects detection based on color processing | |
Saifullah et al. | Palm oil maturity classification using K-nearest neighbors based on RGB and L* a* b color extraction | |
JPH0929185A (ja) | 果皮表面に固有のネットパターンを有する青果物の等級判定方法 | |
Liu et al. | Intelligent bamboo part sorting system design via machine vision | |
CN112115824B (zh) | 果蔬检测方法、装置、电子设备以及计算机可读介质 | |
Lu et al. | Detecting defects on citrus surface based on circularity threshold segmentation | |
Saito et al. | Eggplant classification using artificial neural network | |
JP4534599B2 (ja) | 画像処理方法 | |
Gunasekaran | Computer vision systems | |
Mora et al. | Olive Ripening Phase Estimation based on Neural Networks | |
Putri et al. | Comparison between colour models in automatic identification of cane sugar | |
Khan et al. | Blemish detection in citrus fruits | |
Saito et al. | Neural network application to eggplant classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |