JPWO2016133175A1 - Fruit sorting system, fruit sorting device, and fruit sorting method - Google Patents
Fruit sorting system, fruit sorting device, and fruit sorting method Download PDFInfo
- Publication number
- JPWO2016133175A1 JPWO2016133175A1 JP2017500739A JP2017500739A JPWO2016133175A1 JP WO2016133175 A1 JPWO2016133175 A1 JP WO2016133175A1 JP 2017500739 A JP2017500739 A JP 2017500739A JP 2017500739 A JP2017500739 A JP 2017500739A JP WO2016133175 A1 JPWO2016133175 A1 JP WO2016133175A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- fruit
- width
- inspection
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 title claims description 63
- 238000007689 inspection Methods 0.000 claims abstract description 138
- 238000010191 image analysis Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 239000010902 straw Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 51
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 238000007599 discharging Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000007664 blowing Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 238000010187 selection method Methods 0.000 claims 1
- 230000004308 accommodation Effects 0.000 abstract description 5
- 235000010469 Glycine max Nutrition 0.000 description 131
- 244000068988 Glycine max Species 0.000 description 131
- 235000013339 cereals Nutrition 0.000 description 45
- 230000000694 effects Effects 0.000 description 26
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 16
- 238000002845 discoloration Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 244000013123 dwarf bean Species 0.000 description 11
- 235000021331 green beans Nutrition 0.000 description 11
- 230000002950 deficient Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 241000196324 Embryophyta Species 0.000 description 9
- 206010027146 Melanoderma Diseases 0.000 description 9
- 238000003306 harvesting Methods 0.000 description 9
- 239000000835 fiber Substances 0.000 description 8
- 229910052757 nitrogen Inorganic materials 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000005336 cracking Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 229930002875 chlorophyll Natural products 0.000 description 5
- 235000019804 chlorophyll Nutrition 0.000 description 5
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 235000016623 Fragaria vesca Nutrition 0.000 description 4
- 240000009088 Fragaria x ananassa Species 0.000 description 4
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 4
- 240000007594 Oryza sativa Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 4
- 244000046052 Phaseolus vulgaris Species 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 244000269722 Thea sinensis Species 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000132456 Haplocarpha Species 0.000 description 2
- 235000019764 Soybean Meal Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 235000016709 nutrition Nutrition 0.000 description 2
- 239000004455 soybean meal Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 235000009024 Ceanothus sanguineus Nutrition 0.000 description 1
- 241001137251 Corvidae Species 0.000 description 1
- 235000011511 Diospyros Nutrition 0.000 description 1
- 244000236655 Diospyros kaki Species 0.000 description 1
- 240000003553 Leptospermum scoparium Species 0.000 description 1
- 241000219745 Lupinus Species 0.000 description 1
- 235000015459 Lycium barbarum Nutrition 0.000 description 1
- 235000010582 Pisum sativum Nutrition 0.000 description 1
- 240000004713 Pisum sativum Species 0.000 description 1
- 241000219492 Quercus Species 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 206010064127 Solar lentigo Diseases 0.000 description 1
- 241000219793 Trifolium Species 0.000 description 1
- 230000002378 acidificating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/85—Investigating moving fluids or granular solids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Geometry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Sorting Of Articles (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
莢内の種子を観察するに際して、透過光による撮影の必要性を無くし、反射光を撮影する事により、莢内における種子の収容状態(特に粒数や大きさ)を検査でき、望ましくは撮影画像から算出した植生指数の値により莢果を検査又は選別するようにした莢果選別システム及び莢果選別装置を提供する。この莢果選別システムは、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別するものであり、撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像解析手段は、撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査とを実行するか、又はこれに代えて当該植生指数の値により莢果を検査又は選別する莢果選別システムとする。When observing the seeds in the pod, it is possible to inspect the seed accommodation state (especially the number and size) of the seed in the pod by photographing the reflected light, eliminating the need for photographing with transmitted light. There are provided a fruit sorting system and a fruit sorting apparatus which inspects or sorts fruit according to the value of the vegetation index calculated from the above. This fruit sorting system examines or sorts the fruit by analyzing an image obtained by photographing a fruit with a bowl, and obtains an image obtained by the photographing means and an image obtaining means. Image analysis means for analyzing the image, and the image analysis means, based on the captured image, the length of each fruit, a size test for measuring the width of each fruit, and the length of the measured fruit Based on the above, a grain number inspection for calculating the number of seeds contained in the straw is executed, or alternatively, a fruit sorting system for inspecting or sorting the fruit according to the value of the vegetation index.
Description
本発明は、枝豆を始めとする莢果、特に莢が付いている莢果を選別する為の莢果選別システム及び莢果選別装置に関し、外観及び/又は植生指数に基づいて莢果を選別する為の莢果選別システム及び莢果選別装置に関する。
The present invention relates to a fruit sorting system and a fruit sorting apparatus for sorting fruit and fruits such as edamame, and in particular, a fruit sorting system for sorting fruit based on appearance and / or vegetation index. And a fruit sorting apparatus.
莢果は、マメ科植物の多くに見られる果実であり、インゲン、エンドウ、ネムノキ、ダイズ、ハナズオウ、ルピナス、クローバー、カラスノエンドウなどが含まれる。これら莢果は莢が付いた状態で収穫されることも多く、未成熟な大豆を収穫した枝豆においては、莢が付いた状態で食卓に提供されることも多い。 Fruits are fruits found in many leguminous plants, and include green beans, peas, nemkins, soybeans, red oaks, lupines, clovers, and crows. These fruits are often harvested in the state of strawberry, and in the soybeans harvested from immature soybeans, they are often provided on the table in the state of strawberry.
このような莢果であっても、市場に流通させる際には、その品質や等級を管理する為に選別が必要である。ところが、莢果は、それぞれの莢に入っている豆の数が異なっており、また当該豆の大きさも様々である。そこで従前においては、莢付き莢果の選別を自動化するべく、カメラを利用して、枝豆を始めとする莢付きの莢果を選別する技術も幾つか提案されている。 Even when such a fruit is distributed in the market, it is necessary to select it in order to manage its quality and grade. However, the number of beans contained in each cocoon is different, and the size of the beans varies. Therefore, in the past, in order to automate the selection of fruit with a strawberry, several techniques have been proposed that use a camera to select fruit with a strawberry, such as green soybeans.
例えば特許文献1(特開2008−62116号公報)では、透過光を利用して、莢果の等級に基づき莢果を選別するべく、莢果を透過した透過光によって莢果を撮像する透過光撮像手段を備え、この透過光撮像手段が撮像した莢果の画像に基づいて莢果の等級を判別して、選別する莢果選別システムを提案している。また特許文献2(特開2005−279524号公報)では、エダマメ莢の精選別作業の省力化、高能率化を達成するべく、平面視V字状に二面を120°の角度で連結した合わせ鏡の連結部の中心面上に、エダマメ莢をその長手方向を垂直状態で落下させてエダマメ莢の全面画像を取得するエダマメ莢の精選別方法を提案している。 For example, Patent Document 1 (Japanese Patent Application Laid-Open No. 2008-62116) includes transmitted light imaging means that uses transmitted light and picks up the fruits using the transmitted light that has passed through the fruits in order to select the fruits based on the grade of the fruits. A fruit sorting system for discriminating and sorting the grades of fruit based on the fruit image picked up by the transmitted light imaging means is proposed. Further, in Patent Document 2 (Japanese Patent Application Laid-Open No. 2005-279524), in order to achieve labor-saving and high efficiency of fine sorting of edamame koji, the two surfaces are joined in a V-shape in plan view at an angle of 120 °. We have proposed a method for fine sorting of edamame potatoes, which obtains an entire image of edamame candy by dropping the edamame candy in the vertical direction on the center plane of the connecting portion of the mirror.
また、莢果類の選別に際しては、更に莢果の活性度、水分含有量などの生育状況においても選別するのが望ましい。そして従前においては、作物を撮影した画像についてスペクトル分析を行い、生育状況等を判断する技術も提案されている。 Further, when selecting fruits and vegetables, it is desirable to further select them according to the growth conditions such as the activity and water content of the fruits. In the past, a technique has also been proposed in which a spectrum analysis is performed on an image obtained by photographing a crop to determine the growth status and the like.
例えば特許文献3(特開2006−250827号公報)では、リモートセンシングを利用したスペクトル画像により稲の蛋白含有率を推定して食味を診断する作物の生育状況分析方法が提案されている。また特許文献4(特開2013−231645号公報)では、茶樹の新芽の摘採の適否を短時間且つ高い精度で簡易に判断可能とするべく、茶葉の画像情報に含まれる光学データを用いて植生指数を算出し、これを用いて茶葉の摘採適性を評価する茶葉の摘採適性評価方法が提案されている。
For example, Patent Document 3 (Japanese Patent Laid-Open No. 2006-250827) proposes a crop growth state analysis method for diagnosing the taste by estimating the protein content of rice from a spectrum image using remote sensing. Moreover, in patent document 4 (Unexamined-Japanese-Patent No. 2013-231645), vegetation is used using the optical data contained in the image information of a tea leaf in order to be able to judge the appropriateness of the picking of the shoot of a tea tree in a short time and with high precision easily. A tea leaf plucking aptitude evaluation method for calculating an index and evaluating tea leaf plucking suitability using this index has been proposed.
前述の通り、従前においてもカメラを利用して、莢付きの莢果を選別する技術は、種々提案されている。しかしながら、莢内における豆の収容状態を検査する為には、当該莢果の透過光を撮影しなければならなかった。そして莢果における透過光を撮影するためには、網目状のベルトで搬送するか、落下している莢果を撮影する等、透過光を撮影する為の構成が必要であった。 As described above, various techniques have been proposed in the past for using a camera to select a fruit with a wrinkle. However, in order to inspect the bean accommodation state in the basket, the transmitted light of the fruit must be photographed. In order to photograph the transmitted light in the fruit, a configuration for photographing the transmitted light, such as transporting with a mesh belt or photographing the falling fruit, is required.
そこで本発明は、このような透過光の撮影の必要性を無くし、莢付きの莢果に照射した光の反射光を撮影する事により、莢内における種子の収容状態(特に粒数や大きさ)を検査できるようにした莢果選別システム及び莢果選別装置を提供する事を第1の課題とする。 Therefore, the present invention eliminates the need for such transmitted light imaging, and captures the reflected light of the light irradiated to the fruit with a cocoon, thereby allowing the seed accommodation state (especially the number and size of grains) in the cocoon. It is a first object to provide a fruit sorting system and a fruit sorting apparatus that can inspect the fruit.
更に、莢内における豆の収容状態と共に、莢果の大きさや形状、又は莢の裂けや欠けなどを検査する場合であっても反射光を撮影した画像を使用し、品質管理用画像の保存領域を減じ、また検査処理速度を向上させた莢果選別システム及び莢果選別装置を提供する事を第2の課題とする。 In addition, the storage state of the quality control image can be obtained by using the image obtained by reflecting the reflected light even when inspecting the size and shape of the fruit or the tearing or chipping of the cocoon along with the state of the beans contained in the cocoon. It is a second object to provide a fruit sorting system and a fruit sorting apparatus that can reduce and improve the inspection processing speed.
また従来、莢果の選別や検査に使用されているカメラは可視光を撮影するものであり、専ら可視光画像によってのみ莢果の外観などを検査するだけであった。このような可視光を撮影した面像の検査は、専ら平面画像におけるスペクトルや色彩の変化等によって判断されることから、正確性において未だ改善の余地を有していた。特に莢果のキズなどを検査する場合には、単なる可視光画像では、当該キズ部分の色と周囲の色との差異が明確に出現しにくい事から、正確な検査や選別が困難であった。 Conventionally, cameras used for sorting and inspecting fruits have taken visible light, and have only inspected the appearance of fruits only with a visible light image. Since inspection of such a surface image obtained by photographing visible light is determined solely by changes in the spectrum and color of the planar image, there is still room for improvement in accuracy. In particular, when inspecting flaws and the like in fruits, it is difficult to accurately inspect and sort because a difference between the color of the flaw part and the surrounding color is not clearly shown in a simple visible light image.
そこで本発明は、可視光画像にこだわることなく、より正確に外観の検査・選別を実施する事ができるようにし、特にキズなどを目視同様に検査・選別できるようにした莢果選別システム及び莢果選別装置、並びに莢果選別方法を提供する事を第3の課題とする。 Accordingly, the present invention provides a fruit sorting system and a fruit sorting system that can inspect and sort the appearance more accurately without sticking to a visible light image, and in particular, can inspect and sort scratches and the like in the same manner as visually. It is a third object to provide an apparatus and a fruit sorting method.
また、植物である莢果は、生育状況や収穫時期等によって、生育度合いが変わってくる。また収穫後における時間の経過や保管状況によっても、莢果の乾燥度(水分含有量)が異なってくる。しかしながら莢果を商品として出荷する際には、一定の品質基準を満たしている事が必要になる。よって品質管理を徹底させる上でも、莢果の活性度を検査し且つ選別する事が必要になる。 In addition, the degree of growth of the fruits and vegetables, which are plants, varies depending on the growth conditions and harvest time. In addition, the dryness (water content) of the fruits varies depending on the passage of time and storage conditions after harvesting. However, when shipping fruit as a product, it is necessary to meet certain quality standards. Therefore, it is necessary to inspect and select the activity of the fruit to ensure thorough quality control.
そこで本発明は、植生指数を利用して、更に莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかを検査又は選別する事のできる莢果選別システム及び莢果選別装置、並びに莢果選別方法を提供する事を第4の課題とする。
Therefore, the present invention uses a vegetation index to further test or select at least one of fruit activity, moisture content, nitrogen content, fiber content, and protein content, and fruit sorting system. It is a fourth problem to provide an apparatus and a fruit sorting method.
上記課題を解決する為、本発明では取得した撮影画像を解析する事で、莢内の種子の数をも判定する事ができ、更に撮影画像に基づいて、欠けやヒゲの有無なども判断できるようにした莢果選別システム及び莢果選別装置を提供する。 In order to solve the above problems, the present invention can determine the number of seeds in the pod by analyzing the acquired captured image, and can also determine the presence or absence of chipping or beard based on the captured image. Provided are a fruit sorting system and a fruit sorting apparatus.
即ち、本発明では、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別システムであって、撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像解析手段は、撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査とを実行する莢果選別システムを提供する。 That is, in the present invention, by analyzing an image obtained by photographing a fruit with a jar, a fruit sorting system for inspecting or sorting the fruit, an image obtaining unit for obtaining an image photographed by the photographing unit, Image analysis means for analyzing the image acquired by the image acquisition means, the image analysis means is a size inspection for measuring the length of each fruit and the width of each fruit based on the photographed image, and measurement There is provided a fruit sorting system for performing a grain number inspection for calculating the number of seeds contained in a straw based on the length of the finished fruit.
また前記課題の少なくとも何れかを解決するために、本発明では、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別システムであって、撮影手段が撮影した莢果の反射画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像取得手段は、赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像とを抽出又は取得し、前記画像解析手段は、以下の数式1によって植生指数を算出し、当該植生指数の値により莢果を検査又は選別することを特徴とする、莢果選別システムを提供する。
R:赤色画像における赤色波長領域の反射率
IR:近赤外画像における近赤外波長領域の反射率]
In order to solve at least one of the above-mentioned problems, the present invention is a fruit sorting system for examining or sorting the fruits by analyzing an image obtained by photographing the fruits with a bowl. An image acquisition unit that acquires a reflected image of the captured fruit and an image analysis unit that analyzes the image acquired by the image acquisition unit, wherein the image acquisition unit includes a red image composed of reflected light in a red wavelength region; Extracting or obtaining a near-infrared image composed of reflected light in the near-infrared wavelength region, the image analysis means calculates a vegetation index according to the following formula 1, and examines or sorts the fruit by the value of the vegetation index A fruit sorting system is provided.
R: reflectance of red wavelength region in red image IR: reflectance of near infrared wavelength region in near infrared image]
かかる莢果選別システムは、コンピュータを用いて形成する事ができる。具体的にはコンピュータソフトウエアによって、処理内容と処理手順が制御されたコンピュータとして具体化する事ができる。そして、前記画像解析手段は、コンピュータソフトウエアが実行されることによって処理を行うCPUやメモリーによって構成する事ができる。 Such a fruit sorting system can be formed using a computer. Specifically, it can be embodied as a computer in which processing contents and processing procedures are controlled by computer software. The image analysis means can be constituted by a CPU or a memory that performs processing by executing computer software.
<粒数検査>
上記本発明にかかる莢果選別システムにおいて、画像解析手段は取得した撮影画像から、個々の莢果の長さと幅に関する情報を取得する「サイズ検査」を実行する。この長さと幅に関する情報は、取得した撮影画像における画素に基づいたドット数(又はピクセル数)として取得する他、検査対象物の実際の長さ及び幅として取得することができる。撮影画像から検査対象物の実際の長さ及び幅を算出する場合には、撮影画像上で特定される長さに一定の拡大または縮尺定数を乗算する。<Grain count inspection>
In the fruit sorting system according to the present invention, the image analysis means executes “size inspection” for obtaining information on the length and width of each fruit from the acquired photographed image. The information on the length and width can be acquired as the actual length and width of the inspection object in addition to the number of dots (or the number of pixels) based on the pixels in the acquired captured image. When calculating the actual length and width of the inspection object from the photographed image, the length specified on the photographed image is multiplied by a certain enlargement or scale constant.
そして計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する。この種子の数の設定は、莢果の長さに関連付けて種子の個数を規定した情報に基づいて設定する事ができる。例えば、予め莢果の長さと種子の個数を関連付けた長さ/個数テーブルを準備し、画像の解析によって読み取った莢果の長さを検索値として検索する事で、当該長さに対応する種の個数を演算・抽出する事ができる。また、取得した莢果の長さに応じて、一定の値(種子の個数)を出力する様にプログラムを設計することもできる。即ち、本発明では、莢の長さを計測して、この値を使用することで、透過光を撮影することなく、莢内に収容されている種子の大凡の数を算出する事ができる。 Based on the measured length of the fruit, the number of seeds contained in the cocoon is calculated. The number of seeds can be set based on information that defines the number of seeds in association with the length of the fruit. For example, by preparing a length / number table in which the length of fruit and the number of seeds are associated in advance, the number of seeds corresponding to the length is retrieved by searching the length of the fruit read by image analysis as a search value. Can be calculated and extracted. The program can also be designed to output a certain value (number of seeds) according to the length of the obtained fruit. That is, in the present invention, the approximate number of seeds contained in the pod can be calculated without measuring the transmitted light by measuring the length of the pod and using this value.
そして、上記の粒数検査に際しては、莢内の種子の数を算出すると共に、種子の存在によって変化する莢の幅を算出する事ができる。即ち、前記画像解析手段における粒数検査は、当該粒数の数の分だけ、個々の莢果の画像を長さ方向に分割する。そして当該分割した夫々の領域において幅が最大となる位置を凸部として設定すると共に、当該凸部間において幅が凹部より狭く且つ最小となる位置を凹部として設定する。そして当該凸部と凹部の幅を算出するように構成できる。このように莢の長さと、凸部及び凹部の幅を取得し、これを予め設定されている許容値と比較する事により、検査対象となる莢果のサイズを、より詳細に検査する事ができる。 In the grain number inspection, the number of seeds in the pod can be calculated, and the width of the pod that changes depending on the presence of the seed can be calculated. That is, in the grain number inspection in the image analysis means, the individual fruit images are divided in the length direction by the number of the grain number. In addition, a position where the width is maximum in each of the divided areas is set as a convex portion, and a position where the width is narrower than the concave portion and minimum between the convex portions is set as a concave portion. And it can comprise so that the width | variety of the said convex part and a recessed part may be calculated. Thus, by obtaining the length of the ridge and the width of the convex portion and the concave portion, and comparing this with a preset allowable value, the size of the fruit to be inspected can be inspected in more detail. .
また、凸部及び凹部を設定し、その幅を算出する際には、個々の莢果の画像を長さ方向に分割することなく、凸部及び凹部を特定して、その幅を算出する事もできる。即ち、前記莢果選別システムにおいて、画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を設定すると共に、莢果の長さ及び/又は種子の数に基づいて、幅方向における凸部の数を設定して、設定した凸部における夫々の幅と、凸部同士の間における最小幅である凹部の幅とを取得する粒数検査とを実行する莢果選別システムとすることができる。 Also, when setting the convex part and the concave part and calculating the width, it is possible to specify the convex part and the concave part and calculate the width without dividing the image of each result in the length direction. it can. That is, in the fruit sorting system, the image analyzing means is accommodated in the basket based on the size inspection for measuring the length of each fruit and the width of each fruit from the photographed image, and the measured fruit length. The number of seeds being set and the number of convex parts in the width direction are set based on the length of the fruit and / or the number of seeds, and the respective widths of the set convex parts and the convex parts It is possible to provide a fruit sorting system that executes a grain number inspection for obtaining the width of the concave portion that is the minimum width between the two.
前記サイズ検査を実行する事により、莢果の長さ及び/又は種子の数を算出し、その後において、当該莢果の長さ及び/又は種子の数に応じた幅方向における凸部の数を設定する。ここで、莢の長さ及び/又は種子の数に基づいて設定する値は、凸部の数であって、当該凸部の位置までも特定するものではない。当該凸部の位置は、当該莢果の全長における幅を走査し、幅の値が大きい方から順に設定した凸部の数だけ抽出し、当該抽出した幅の位置を凸部として設定し、当該凸部における夫々の幅を算出することができる。例えば、莢内の種子の数が2粒と設定された場合には、当該幅方向における凸部の数を2つに設定し、幅が広い順に2か所を凸部として設定し、その幅を算出する。また莢内の種子の数が3粒と設定された場合には、当該幅方向における凸部の数を3つに設定し、幅が広い順に3か所を凸部として設定し、それぞれの凸部における幅を取得する。 By performing the size inspection, the length of the fruit and / or the number of seeds is calculated, and then the number of convex portions in the width direction according to the length of the fruit and / or the number of seeds is set. . Here, the value set based on the length of the cocoon and / or the number of seeds is the number of convex portions, and does not specify the position of the convex portion. As for the position of the convex part, the width of the entire length of the fruit is scanned, the number of convex parts set in order from the largest value of the width is extracted, and the position of the extracted width is set as the convex part. Each width in the section can be calculated. For example, when the number of seeds in the pod is set to two, the number of convex portions in the width direction is set to two, and two places are set as convex portions in the order of width, and the width Is calculated. In addition, when the number of seeds in the pod is set to 3, the number of convex portions in the width direction is set to three, and three places are set as convex portions in the order of width, and each convex portion Get the width of the part.
次に凸部同士の間において、莢の幅が最小値となる位置を抽出し、当該最小幅の位置を凹部として設定し、その幅を取得する。即ち、莢内において種子が存在する場所は、輪郭が膨らんでいることから凸部を設定する事ができる。そして種子間には、凹部が存在することから、凹部の存在を確認する事により、凸部に種子が存在する事を確認できる。 Next, a position where the width of the ridge becomes the minimum value is extracted between the convex portions, the position of the minimum width is set as the concave portion, and the width is acquired. That is, the location where the seeds are present in the cocoon can set a convex portion because the contour is swollen. And since a recessed part exists between seeds, it can confirm that a seed exists in a convex part by confirming presence of a recessed part.
また、前記の粒数検査において、凸部が2つ以上として算出された場合には、当該凸部間における幅の変化量を確認する事が望ましい。莢の長さだけを以って粒数を特定した場合、同じ莢長でも、中に存在する種子の大きさ次第では、1粒であったり、2粒であったりする場合も考えられる為である。したがって、凸部間における幅の変化は谷部(凹部)が1つ出現するように変化している事を確認する事が望ましい。 Moreover, in the said particle | grain number test | inspection, when it calculates as two or more convex parts, it is desirable to confirm the variation | change_quantity of the width between the said convex parts. If the number of grains is specified only by the length of the cocoon, even if it is the same cocoon length, depending on the size of the seeds in it, there may be one or two grains. is there. Therefore, it is desirable to confirm that the change in the width between the convex portions changes so that one trough portion (concave portion) appears.
粒数検査においては、莢内に収容されている種子が1粒のみの莢果を特定する事も望ましい。かかる種子が1粒の莢果は、先ず莢の全長によって特定する事ができる。即ち、基準の長さよりも短い莢果は、種子が1粒だけであると想定する事ができる。莢果の長さにより粒数を予想する事で、粒数検査における処理速度を向上させることができる。そして、基準値以上の長さを有する莢果については、莢内の種子が2粒以上であると判断する。しかしながら2粒以上と判断しても、種子の粒が大きい場合には、実際には1粒しか収容されていない場合もある。そこで、撮影画像から幅を読み出し、凸部と凹部を抽出・確認して、実際の粒数を算出する。即ち、基準値以上の長さであり、粒数を2つと設定した場合には、当該莢果を長さ方向に2つの領域に分けて、それぞれの領域において最も幅広の凸部を抽出する。その結果、莢内に収容されている種子が2粒以上であれば、当該凸部は2か所に存在し、当該凸部間には凹部が存在するはずである。しかしながら、莢内の種子が1粒の場合には、仮に凸部を2か所に設定したとしても、当該凸部同士の間には、両方の凸部よりも狭い幅は存在せず、よって凹部が存在しないことになる。したがって、莢内の種子が1粒となり得る長さの莢果については、凸部間に凹部が存在するか否かを確認する事で、1粒か否かを判断する事ができる。 In the grain number inspection, it is also desirable to identify the fruit with only one seed contained in the pod. The fruit of one seed can be identified by the total length of the pod. That is, it is possible to assume that a fruit having a length shorter than the reference length has only one seed. By predicting the number of grains according to the length of the fruit, the processing speed in the grain number inspection can be improved. And about the fruit which has the length more than a reference value, it is judged that there are two or more seeds in the straw. However, even if it is determined that there are two or more grains, if the seed grains are large, only one grain may actually be accommodated. Therefore, the actual number of grains is calculated by reading the width from the photographed image, extracting and confirming the convex and concave portions. That is, when the length is equal to or greater than the reference value and the number of grains is set to two, the fruit is divided into two regions in the length direction, and the widest convex portion is extracted in each region. As a result, if there are two or more seeds contained in the pod, the convex portions should exist in two places, and there should be concave portions between the convex portions. However, when the seeds in the pod are one grain, even if the convex portions are set at two places, there is no narrower width between the convex portions than the two convex portions. There will be no recess. Therefore, it is possible to determine whether or not there is a single grain by checking whether or not there is a concave portion between the convex portions with respect to the length of fruit that can be one seed in the pod.
このように、莢内の種子が1粒の莢果を特定する処理は、特に枝豆を選別する際に有効である。枝豆の選別では、莢内の種子の数も商品価値に影響を与えている実情から、種子が1粒の莢果を特定し、これを選別する事で商品価値を高める事ができる為である。 Thus, the process in which the seeds in the pod identify one fruit is particularly effective when sorting green soybeans. This is because in the selection of green soybeans, the number of seeds in the basket also affects the commercial value, so that it is possible to increase the commercial value of the seed by identifying and selecting one fruit.
よって、上記本発明にかかる莢果選別システムによれば、透過光を撮影する必要なく、撮影手段から取得した撮影画像を解析するだけで、莢内に収容されている種子の数を正確に把握する事ができる。 Therefore, according to the fruit sorting system according to the present invention, it is not necessary to photograph the transmitted light, and the number of seeds contained in the basket is accurately grasped only by analyzing the photographed image acquired from the photographing means. I can do things.
上記のように撮影画像を解析する際、撮影画像に複数含まれる莢果は、各莢果ごとに抽出されている事が望ましい。よって、前記画像解析手段は、撮影手段から取得した撮影画像についてラベリング処理を行い、それぞれの莢果ごとの画像を作成するのが望ましい。更に、各画像について角度補正を行い、角度補正を行った補正画像について、長軸方向となる長さと、短軸方向となる幅とを計測するのが望ましい。ラベリング処理を施すことにより、莢果の輪郭形状を特定する事ができ、また角度補正を行う事により、莢果の長さ及び幅の測定を、より正確に行う事ができる為である。 When analyzing a photographed image as described above, it is desirable that a plurality of fruits included in the photographed image be extracted for each fruit. Therefore, it is preferable that the image analysis unit performs a labeling process on the captured image acquired from the imaging unit and creates an image for each result. Further, it is desirable to perform angle correction on each image and measure the length in the major axis direction and the width in the minor axis direction for the corrected image subjected to the angle correction. This is because the contour shape of the fruit can be specified by performing the labeling process, and the length and width of the fruit can be measured more accurately by correcting the angle.
即ち、莢果の選別を自動化する場合には、ベルトコンベアーなどの搬送手段で搬送する必要があり、搬送している莢果を撮影して、これを検査する必要がある。しかしながら搬送手段で搬送する莢果の向きを正確に揃えるのは事実上困難である。そこで無造作に搬送される莢果を撮影し、その向きを修正する事で、検査の実情に合致しながらも、莢果の長さ及び幅の測定を正確に行う事ができる莢果選別システムを実現するものである。 In other words, in order to automate the selection of fruits, it is necessary to convey them by a conveying means such as a belt conveyor, and it is necessary to inspect the conveyed fruits by photographing them. However, it is practically difficult to accurately align the direction of the fruits conveyed by the conveying means. Therefore, by photographing the fruits that are transported at random, and correcting their orientation, a fruit sorting system that can accurately measure the length and width of the fruits while meeting the actual conditions of the inspection is realized. It is.
<莢の欠け検査>
また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、検査対象物である莢果について欠けが有るか否かを検査する事が望ましい。
即ち、前記画像解析手段は、前記撮影手段から取得した撮影画像について、幅の変化量が所定の範囲である領域を検査領域として設定し、当該検査領域における任意の基準位置の幅を基準幅として取得すると共に、当該基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出した値を許容値と比較する欠け検査を行う事が望ましい。<Inspection of chipping of wrinkles>
In the fruit sorting system according to the present invention, it is preferable that the image analysis means inspects whether or not the fruit that is the inspection object is missing.
That is, the image analysis unit sets, as the inspection region, an area in which the amount of change in width is a predetermined range for the captured image acquired from the imaging unit, and uses the width of an arbitrary reference position in the inspection area as a reference width. It is desirable to obtain a width at a position moved in a certain direction from the reference position as a comparison width, and to perform a chip inspection in which a value obtained by calculating a difference between the reference width and the comparison width is compared with an allowable value.
幅の変化量が所定の範囲である領域を検査領域として設定する事により、長さ方向の端部等、ノイズが発生しやすい領域(即ち、御認識しやすい領域)を除くことができ、これにより解析速度を向上させることができる。そして、この検査領域内において、任意に定めた基準位置の幅を基準幅として取得し、この基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出する事により、幅の変化量を算出する事ができる。そして、この幅の変化量を、あらかじめ設定した許容値と比較することにより、欠けの有無を検査する事ができる。即ち、欠けが発生している部分では、莢果の幅が急激に変化することから、この変化量の大きい莢果については、欠けが発生していると判断する事ができる。 By setting an area where the amount of change in the width is within a predetermined range as an inspection area, it is possible to remove an area where noise is likely to occur (that is, an area that is easily recognized) such as an end in the length direction. Thus, the analysis speed can be improved. Then, within this inspection area, an arbitrarily defined reference position width is acquired as a reference width, a width at a position moved in a certain direction from the reference position is acquired as a comparison width, and the difference between the reference width and the comparison width The amount of change in width can be calculated by calculating. Then, the presence or absence of a chip can be inspected by comparing the change amount of the width with a preset allowable value. That is, since the width of the fruit changes abruptly at the portion where the chipping occurs, it can be determined that the chipping has occurred for the fruit having a large amount of change.
また検査領域において基準幅を取得する基準位置は任意の位置であって良いが、例えば前記凸部や凹部の何れかを基準値とする事もできる。凸部を基準位置とした場合には、当該基準位置から一定方向に移動した位置における幅は、凹部に至る迄、徐々に狭くなっていく筈である。一方、凹部を基準位置とした場合には、当該基準位置から一定方向に移動した位置における幅は、凸部に至る迄、徐々に広くなっていく筈である。よって、このような莢果類の形状における特徴を利用して、比較幅の変化量の増減を判断する事により、より高速かつ正確に欠けの発生の有無を検査する事ができる。 In addition, the reference position for acquiring the reference width in the inspection region may be an arbitrary position, but for example, any one of the convex portion and the concave portion may be used as the reference value. When the convex portion is used as the reference position, the width at the position moved in a certain direction from the reference position should gradually become narrower until reaching the concave portion. On the other hand, when the concave portion is used as the reference position, the width at the position moved in a certain direction from the reference position should gradually increase until reaching the convex portion. Therefore, it is possible to inspect for the occurrence of chipping faster and more accurately by determining the increase / decrease in the amount of change in the comparison width using the characteristics of the shape of the fruits.
<莢のヒゲ検査>
また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、更に莢から細長く伸びたヒゲ部の有無を調べるヒゲ部検査を行う事が望ましい。
即ち、前記画像解析手段は、更に前記撮影手段から取得した撮影画像について二値化処理を行い、莢の長さ方向に設定した任意の複数地点において、幅方向において色が変わるエッジ部分の数を検出し、当該エッジ部分の数が3個以上の地点をヒゲ部存在箇所として特定する事が望ましく、更に当該ヒゲ部存在箇所の始点と終点から、当該ヒゲ部の長さを算出するように構成するのが望ましい。<Inspection of mustaches>
In the fruit sorting system according to the present invention, it is preferable that the image analysis unit further performs a mustache inspection for checking whether or not there is a mustache extending elongated from the wrinkle.
That is, the image analysis unit further performs binarization processing on the captured image acquired from the imaging unit, and determines the number of edge portions whose color changes in the width direction at an arbitrary plurality of points set in the length direction of the eyelid. It is desirable to detect and specify a point where the number of the edge portions is three or more as a beard portion existing location, and further, the length of the beard portion is calculated from the start point and the end point of the beard portion existing location It is desirable to do.
撮影画像について二値化処理を実施する事により、撮影画像中における莢果の輪郭が明瞭になり、背景部分と莢果部分とを区別しやすくなる。その結果、莢果部分の領域を認識しやすくなることから、処理速度の向上を図れる他、画像を正確に認識する事ができ、検査精度を高める事ができる。 By performing the binarization process on the photographed image, the outline of the fruit in the photographed image becomes clear, and the background part and the fruit part can be easily distinguished. As a result, it becomes easy to recognize the region of the fruit portion, so that the processing speed can be improved, the image can be recognized accurately, and the inspection accuracy can be increased.
このヒゲ部検査の検査対象としているのは、莢の縁部分から筋状に飛び出たスジ等であり、これを画像認識によって判読し、その長さに応じて選別するものである。具体的には、各莢果ごとに作成した画像において、幅方向における輪郭部分であるエッジの数によって判断する。即ち莢果の長さ方向にわたって、幅方向に延伸する線と輪郭部分との交点をエッジとし、このエッジの数が2つであれば、それは莢の輪郭によって取得されたものであり、2を超えて存在する場合には、莢の輪郭から飛び出ている部分(即ち、ヒゲ部分)が存在すると判断することができる。そしてこの処理を莢の長さ方向全体にわたって実行することにより、エッジの数が2つを超えて存在する部分から、当該エッジの数が2つになっている部分までの領域の長さを、ヒゲ部の長さとして算出することができる。 The inspection object of the mustache part inspection is a streak or the like that protrudes in a streak shape from the edge portion of the eyelid, which is read by image recognition and selected according to its length. Specifically, in the image created for each result, the determination is made based on the number of edges that are contour portions in the width direction. That is, the intersection of the line extending in the width direction and the contour portion over the length direction of the fruit is an edge. If the number of edges is two, it is obtained by the contour of the cocoon and exceeds 2. If it exists, it can be determined that there is a portion protruding from the contour of the ridge (that is, a mustache portion). And by executing this process over the entire length direction of the ridge, the length of the region from the portion where the number of edges exceeds two to the portion where the number of edges is two, It can be calculated as the length of the beard portion.
その結果、反射光を撮影した2次元の画像を判読し、解析するだけで、ヒゲ部の存在を検査する事ができる。この点、仮に透過光を撮影した画像であれば、光の強さによって、このヒゲ部は撮影されない可能性もあり、撮影画像から当該ヒゲ部の有無の検査を行い得るには、反射光を撮影しているが故に実現できたものである。 As a result, it is possible to inspect the presence of the beard portion simply by reading and analyzing a two-dimensional image obtained by photographing the reflected light. In this regard, if the image is a photograph of transmitted light, the beard portion may not be photographed depending on the intensity of the light. In order to check the presence of the beard portion from the photographed image, reflected light is used. This was achieved because of the shooting.
<莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量検査>
この検査では植生指数を利用するものである。即ち、植生指数(特に、正規化差植生指数)は、植物表面における反射光によって、植物の植生状況や活性度を判断する為の指標である。即ち、多くの植物に含まれるクロロフィルは、0.5〜0.7μmの赤色可視光領域での反射率は20%未満であるのに対して、0.7〜1.3μmの近赤外域での反射率は60%を越える。そこで、この特定の波長域における光の吸収及び反射を利用して、植物の植生状況や活性度を判断するべく、−1〜+1の間に正規化した数値として算出するものである。<Inspection of fruit activity, water content, nitrogen content, fiber content, and protein content>
This test uses the vegetation index. That is, the vegetation index (particularly, the normalized difference vegetation index) is an index for judging the vegetation status and activity of the plant by the reflected light on the plant surface. That is, chlorophyll contained in many plants has a reflectance of less than 20% in the red visible light region of 0.5 to 0.7 μm, whereas the reflectance in the near infrared region of 0.7 to 1.3 μm is 60%. Over. Therefore, the light absorption and reflection in this specific wavelength range are used to calculate the normalized value between −1 and +1 in order to determine the vegetation status and activity of the plant.
また、クロロフィルは熱や酸性環境に対しては不安定であり、光による光分解性がみられ、とくに紫外線による分解能が著しい。そこで、上記植生指数を算出することにより、このクロロフィルの存在量を推定する事ができる。これにより活性度や収穫後の経過時間(即ち、鮮度)などを判断する事ができる。 In addition, chlorophyll is unstable to heat and acidic environment, exhibits photodegradability by light, and has particularly remarkable resolution by ultraviolet rays. Therefore, the abundance of this chlorophyll can be estimated by calculating the vegetation index. As a result, it is possible to determine the activity, the elapsed time after harvesting (ie, freshness), and the like.
さらに、上記植生指数と植物の窒素量、繊維量、及び蛋白含有量との間には相関性がある。例えば、赤色域波長と近赤外域波長の2つの波長域における植物の活性度と蛋白含有量との間に相関関係がある。より具体的には、植物に含まれるクロロフィルの含量と蛋白含有量との間の高い正の相関性がある。よって、植生指数を算出してクロロフィルの含量を推定する事で、蛋白含有量を推定する事ができ、対象となる莢果の食味を推定して選別する事ができる。 Furthermore, there is a correlation between the vegetation index and the nitrogen content, fiber content, and protein content of the plant. For example, there is a correlation between the activity of the plant and the protein content in two wavelength ranges, a red wavelength and a near infrared wavelength. More specifically, there is a high positive correlation between the content of chlorophyll contained in plants and the protein content. Therefore, by calculating the vegetation index and estimating the chlorophyll content, the protein content can be estimated, and the taste of the target fruit can be estimated and selected.
また、窒素量、繊維量と前記植生指数との間に相関性がある。即ち、赤色光域、近赤外光域の光学データによって植生指数を算出し、該植生指数によって窒素量、繊維量を推定する事で、対象となる莢果の育成状況、又は栄養状態、等を推定でき、それによって選別する事が可能となる。 In addition, there is a correlation between the amount of nitrogen, the amount of fiber, and the vegetation index. That is, by calculating the vegetation index from the optical data of the red light region and the near-infrared light region, and estimating the nitrogen amount and the fiber amount based on the vegetation index, the growth status or nutritional state of the target fruit is determined. It can be estimated and can be sorted accordingly.
そして、上記赤色画像における赤色波長領域の反射率や近赤外画像における近赤外波長領域の反射率は、デジタルカメラなどにおけるイメージセンサーで計測された反射輝度、反射スペクトルの強度ないしデジタル値として取得する事ができ、これらを用いて算出した植生指数により、植生の活性、植被率、葉面積指数(LAI)といった植生パラメーターを判断する事ができる。 Then, the reflectance in the red wavelength region in the red image and the reflectance in the near infrared wavelength region in the near-infrared image are acquired as the reflection luminance measured by the image sensor in the digital camera or the like, the intensity or digital value of the reflection spectrum. Vegetation parameters such as vegetation activity, vegetation coverage, and leaf area index (LAI) can be determined from the vegetation index calculated using them.
なお、上記赤色波長領域の反射光からなる赤色画像や、近赤外波長領域の反射光からなる近赤外画像は、撮影手段が撮影した莢果の反射画像から、それぞれの波長領域のスペクトルを抽出して取得することができる。その他にも、撮影手段にカラーフィルターを設置して、前記の波長領域内の反射画像を撮影して使用する事もできる。よって、例えば通常の商用デジタルカメラに対して、可視光遮断、赤外光遮断の2種類のレンズフィルタを設置して、可視光赤色と近赤外の画像を撮影する事もできる。 For the red image composed of the reflected light in the red wavelength region and the near infrared image composed of the reflected light in the near infrared wavelength region, the spectrum of each wavelength region is extracted from the reflected image of the fruit taken by the photographing means. And can be obtained. In addition, a color filter can be installed in the photographing means to photograph and use a reflected image in the wavelength region. Therefore, for example, an ordinary commercial digital camera can be provided with two types of lens filters of visible light blocking and infrared light blocking to capture visible red and near infrared images.
更に、前記画像解析手段は、画像取得手段が取得した赤色画像及び近赤外画像の夫々について二値化処理を行い、二値化処理した赤色画像及び近赤外画像を使用して、前記植生指数を算出するのが望ましい。画像を二値化処理する事により、定めた閾値によって濃淡のある画像を白と黒の2階調に変換する事ができ、当該画像からの検出対象の抽出を容易にする事ができる。即ち、二値化処理を行う事で、検出対象の抽出を容易にできる為、その後に前記植生指数を算出する場合等にも処理が容易となり、高速に処理(又は実行)する事が可能となる。 Further, the image analysis unit performs binarization processing on each of the red image and the near infrared image acquired by the image acquisition unit, and uses the binarized red image and near infrared image to generate the vegetation. It is desirable to calculate an index. By binarizing the image, a shaded image can be converted into two gradations of white and black according to a predetermined threshold value, and extraction of a detection target from the image can be facilitated. That is, by performing the binarization process, it is possible to easily extract the detection target, so that the process becomes easy even when calculating the vegetation index after that, and it is possible to process (or execute) at high speed. Become.
また、前記赤色画像及び近赤外画像は、それぞれを複数の領域に区画し、前記画像解析手段は、当該区画した領域ごとに植生指数を算出し、前記莢果を撮影した領域全体について、領域ごとに算出した植生指数の平均値を算出するのが望ましい。区画する領域は、撮影手段が撮影した画像において、莢果が写っている領域内であり、よって、当該莢果が映し出されている領域は抽出されている事が望ましい。撮影画像を解析する際、撮影画像に複数含まれる莢果は、各莢果ごとに抽出されている事が望ましいことから、取得した撮影画像についてラベリング処理を行って莢果の輪郭形状を特定し、それぞれの莢果ごとの画像を作成するのが望ましい。 Each of the red image and the near-infrared image is divided into a plurality of regions, and the image analysis unit calculates a vegetation index for each of the divided regions, and for each of the regions where the fruits are photographed, for each region. It is desirable to calculate the average value of the calculated vegetation index. The area to be divided is within the area where the fruits are reflected in the image captured by the photographing means. Therefore, it is desirable that the area where the fruits are reflected is extracted. When analyzing a captured image, it is desirable that a plurality of fruits included in the captured image are extracted for each result, so the acquired photographed image is labeled to identify the contour shape of the fruits, It is desirable to create an image for each fruit.
当該区画した領域ごとに植生指数を算出する事で、撮影したそれぞれの莢果ごとに、黒点や変色、或いは割れ等の不良を検査・判断する事ができる。即ち、区画した領域ごとに−1〜+1の間に正規化した数値として算出される為、前記不良の程度を認識する事ができる。例えば、黒点の大きさや変色の範囲、或いは割れの有無、等を認識する事ができる。よって、当該区画した領域ごとに植生指数を算出する事で、不良と認識された莢果の全てを廃棄する必要が無く、例えば不良の程度によって出荷先を変える等により、育成した莢果を無駄なく利用する事が可能になる。 By calculating the vegetation index for each of the divided areas, it is possible to inspect and determine defects such as black spots, discoloration, or cracks for each captured fruit. That is, since the value is calculated as a normalized value between −1 and +1 for each divided area, the degree of the defect can be recognized. For example, it is possible to recognize the size of black spots, the range of discoloration, the presence or absence of cracks, and the like. Therefore, by calculating the vegetation index for each sectioned area, it is not necessary to discard all the fruits recognized as defective.For example, the grown fruits can be used without waste by changing the shipping destination depending on the degree of defects. It becomes possible to do.
そして、領域ごとに算出した植生指数の平均値を算出する事で、検査・判断の対象となる莢果の活性度や収穫後の経過時間(即ち、鮮度)などを判断する事ができる。即ち、区画された領域ごとの植生指数の平均値をとる事で、1又は複数個の莢果を、撮影した領域全体における1つのグループとして認識し、その1つのグループの植生指数を算出する為に、領域ごとに算出した植生指数の平均値を算出する。領域ごとに算出した植生指数の平均値を算出する事で、当該グループの植生指数として認識でき、当該グループ内の莢果の活性度や、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかの評価項目を検査・判断する事ができる。よって対象となる莢果を鮮度、食味、栄養状態、等によって選別する事が可能になる。 Then, by calculating the average value of the vegetation index calculated for each region, it is possible to determine the activity of the fruit to be inspected / determined, the elapsed time after harvesting (ie, freshness), and the like. In other words, by taking the average value of the vegetation index for each divided area, one or more fruits are recognized as one group in the entire photographed area, and the vegetation index of that one group is calculated. The average value of the vegetation index calculated for each region is calculated. By calculating the average value of the vegetation index calculated for each region, it can be recognized as the vegetation index of the group, and the activity, water content, nitrogen content, fiber content, and protein content of the fruit in the group At least one of the evaluation items can be inspected and judged. Therefore, it becomes possible to select target fruits according to freshness, taste, nutritional state, and the like.
<莢果の割れ検査>
また、莢果の割れの有無の検査・判断を更に容易なものとする為に、可視光領域の反射光からなる可視光画像(以下、『RGB画像』とも言う)を利用するのが望ましい。即ち、前記画像取得手段によって可視光領域の反射光からなる可視光画像も取得する。前記画像解析手段では、当該可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算し、その値を前記植生指数の値に加算した値を利用する。例えば枝豆の割れの検査・判断をする場合にも、緑色と白色の2色のみで画像が構成され、割れが生じている部位は白色で表示できる為、視覚的にも判断しやすいものとなる。単なる前記植生指数で示された画像では、枝豆の緑色部の赤色反射量が少なく、非緑色部での赤色反射量が多い。即ち、枝豆の割れの箇所、及び枝豆以外の部分が赤色で示される為、割れの判断がし難いものとなる。そこで、可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算する事で赤色反射量を減らし、その値に植生指数の値(特に二値化処理したものが望ましい)を加算する事によって、非緑色部である割れの箇所を白色で示すことができる。これにより肉眼での認識を容易なものとする事ができる。なお、割れの判断に関しては、前記のように領域に分けず、撮影した領域全体について植生指数を算出してから、上記方法によって色の違いを確認する事でも検査・判断は可能となる。<Inspection of fruit cracking>
Further, it is desirable to use a visible light image (hereinafter also referred to as “RGB image”) composed of reflected light in the visible light region in order to make it easier to inspect and determine whether there is a crack in the fruit. That is, a visible light image composed of reflected light in the visible light region is also acquired by the image acquisition means. The image analysis means uses a value obtained by subtracting the reflectance of the red wavelength region in the red image from the reflectance of the visible light region in the visible light image and adding the value to the value of the vegetation index. For example, when inspecting and judging cracks in green soybeans, an image is composed of only two colors, green and white, and the part where the cracks are generated can be displayed in white, which makes it easy to visually judge. . In the image simply indicated by the vegetation index, the green portion of the green soybean has a small amount of red reflection, and the non-green portion has a large amount of red reflection. That is, since the part of the green soybean cracked and the part other than the green soybean are shown in red, it is difficult to determine the crack. Therefore, the amount of red reflection is reduced by subtracting the reflectance of the red wavelength region in the red image from the reflectance of the visible light region in the visible light image, and the value of the vegetation index (particularly binarized processing is added to that value). By adding (preferably), a crack portion which is a non-green portion can be shown in white. Thereby, recognition with the naked eye can be facilitated. In addition, regarding the determination of cracks, it is possible to inspect and determine by calculating the vegetation index for the entire photographed area without dividing it into areas as described above and then checking the color difference by the above method.
<莢果選別装置>
そして本発明では、上記のように構成した莢果選別システムを、莢果の搬送手段などと組み合わせる事で、連続的に莢果を選別することのできる莢果選別装置とすることができる。即ち、前記課題の少なくとも何れかを解決する為に、検査対象物を搬送する搬送手段と、当該搬送手段で搬送される検査対象物を撮影する撮影手段と、当該撮影手段が撮影した画像を取得すると共に、当該画像を解析する莢果選別手段とを具備しており、当該莢果選別手段として、上記本発明にかかる莢果選別システムを使用した莢果選別装置を提供する。<Fruit sorting device>
In the present invention, the fruit sorting system configured as described above can be combined with fruit transporting means, etc., to provide a fruit sorting apparatus that can continuously sort the fruit. That is, in order to solve at least one of the above problems, a conveyance unit that conveys an inspection object, an imaging unit that images the inspection object conveyed by the conveyance unit, and an image captured by the imaging unit are acquired. In addition, a fruit sorting device for analyzing the image is provided, and a fruit sorting device using the fruit sorting system according to the present invention is provided as the fruit sorting means.
かかる莢果選別装置によれば、検査対象である莢果を、搬送手段によって連続的に搬送し、これを撮影手段で撮影して、本発明にかかる莢果選別システムによって解析する事で、規格外の莢果を見つけ出し、必要に応じて排除する事ができる。 According to such a fruit sorting device, the fruit to be inspected is continuously transported by the transport means, photographed by the photographing means, and analyzed by the fruit sorting system according to the present invention. Can be found and eliminated as needed.
また、上記本発明にかかる莢果選別装置では、更に、搬送手段で搬送される検査対象物の内、莢果選別手段において指定された検査対象物に対してエアーを吹き付け、当該検査対象をエアーで吹き飛ばす排出手段を具備する事が望ましい。その際、前記莢果選別手段における画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定する事ができる。そこで当該排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付けるように構成するのが望ましい。 Moreover, in the fruit sorting apparatus according to the present invention, air is blown to the inspection object designated by the fruit sorting means among the inspection objects conveyed by the conveying means, and the inspection object is blown away by air. It is desirable to provide a discharging means. At this time, the image analyzing means in the fruit selecting means can specify the center of the length and the width from the result of the size inspection for measuring the length of each fruit and the width of each fruit from the photographed image. Therefore, it is desirable that the discharging means is configured to blow air toward the center of the length and width of the inspection object designated by the fruit sorting means.
排出手段を設ける事により、莢果選別システムによって規格外と判断された莢果を、搬送ラインから排出する事ができ、規格に合った莢果だけを選別することができる。また、この莢果選別システムを構成する画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定することができ、よって前記排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付けることができる。これにより規格外の莢果の中心に対してエアーを吹き付ける事ができ、これにより、規格外の莢果を確実に抜き出すことができる。これにおり、大量の選別が必要な場合であっても、精確且つ確実に、収穫した莢果の検査・選別を行う事ができる。
By providing the discharging means, it is possible to discharge the fruit judged to be out of the standard by the fruit sorting system from the transport line, and it is possible to sort only the fruit that meets the standard. In addition, the image analysis means constituting this fruit sorting system can specify the length and width center from the result of the size inspection that measures the length of each fruit and the width of each fruit from the captured image, Therefore, the discharging means can blow air toward the center of the length and width of the inspection object designated by the fruit sorting means. As a result, air can be blown to the center of the non-standard fruit, and the non-standard fruit can be reliably extracted. Thus, even when a large amount of sorting is required, the harvested fruits can be inspected and sorted accurately and reliably.
上記本発明の枝豆選別システムによれば、莢果に照射した光の反射光を撮影した画像に基づいて、莢内における種子の収容状態(特に粒数や大きさ)を検査することができ、透過光の撮影の必要性を無くすことができる。また、品質管理の為に撮影した画像を保存する場合であっても、反射光を撮影した画像を保存すれば良い事から、画像の保存領域を大幅に減じる事ができる。そして検査では、反射光を撮影した1種類の画像を解析すれば済む事から、収穫時期が一定の期間に制限されており、短い期間内に大量の莢果を検査・選別しなければならない莢果であっても、収穫後の検査・選別を、迅速且つ大量に行う事ができる。 According to the edamame sorting system of the present invention, it is possible to inspect the accommodation state (especially the number and size) of seeds in the cocoon based on the image obtained by photographing the reflected light of the light irradiated on the fruit. The need for light photography can be eliminated. Further, even when an image taken for quality control is saved, it is only necessary to save an image taken of reflected light, so that the image saving area can be greatly reduced. In the inspection, it is only necessary to analyze one type of image obtained by photographing the reflected light. Therefore, the harvest time is limited to a certain period, and a large number of fruit must be inspected and selected within a short period. Even if it exists, inspection and sorting after harvesting can be performed quickly and in large quantities.
また、撮影手段が撮影した莢果の反射画像、即ち赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像の画像に基づいて植生指数を算出すれば、この指数により莢果のキズや活性度等を検査・選別できる。即ち、より正確に外観の検査・選別を実施でき、特にキズなどを目視同様に検査・選別できる。 Further, if the vegetation index is calculated based on the reflected image of the fruit photographed by the photographing means, that is, the red image composed of the reflected light in the red wavelength region and the near infrared image composed of the reflected light in the near infrared wavelength region. By using this index, it is possible to inspect and sort the fruit scratches and activity. That is, the appearance can be inspected and selected more accurately, and in particular, scratches and the like can be inspected and selected in the same manner as visually.
また、当該植生指数を利用することにより、莢果の外観(特に割れ)のみならず、更に莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかを検査又は選別する事ができる。よって、収穫後の時間の経過や、莢果の乾燥度(水分含有量)等を細かく認識出来る為、品質管理をより徹底させる事ができる。 In addition, by using the vegetation index, not only the appearance (particularly cracking) of the fruit but also the activity, water content, nitrogen content, fiber content, and protein content of the fruit are examined or selected. I can do it. Therefore, since the passage of time after harvesting and the dryness (moisture content) of the fruit can be recognized in detail, quality control can be more thoroughly implemented.
さらに、上記本発明にかかる莢果選別システムを使用した莢果選別装置を利用する事で、収穫した莢果の検査・選別を、迅速且つ大量に行う事ができるようになる。即ち、本発明では、反射光画像を使用し、植生指数を算出する事により、莢内における種子の収容状態(特に粒数や大きさ)、莢の欠けやヒゲの有無、莢果の活性度や、水分含有量、窒素量、繊維量、及び蛋白含有量を検査する事ができる。これにより、収穫後の検査・選別を、何段階にも分けて行う必要が無くなる。よって本発明にかかる莢果選別装置を利用する事で、収穫時期が一定の期間に制限されており、短い期間内に大量の莢果を検査・選別しなければならない莢果であっても、収穫後の検査・選別を、迅速且つ大量に行う事ができるようになる。
Furthermore, by utilizing the fruit sorting apparatus using the fruit sorting system according to the present invention, it becomes possible to inspect and sort the harvested fruits quickly and in large quantities. That is, in the present invention, by using the reflected light image and calculating the vegetation index, the accommodation state of seeds (particularly the number and size) in the pod, the presence or absence of pods or beards, Water content, nitrogen content, fiber content, and protein content can be examined. This eliminates the need to perform post-harvest inspection / sorting in multiple stages. Therefore, by using the fruit sorting apparatus according to the present invention, the harvesting time is limited to a certain period, and even if the fruit has to be inspected and sorted in a short period, Inspection and sorting can be performed quickly and in large quantities.
以下、図面を参照しながら本発明にかかる莢果選別システムの1つの実施の形態を具体的に説明する。特に本実施の形態では、枝豆を選別する莢果選別システムについて、具体的に説明する。 Hereinafter, an embodiment of a fruit sorting system according to the present invention will be specifically described with reference to the drawings. In particular, in the present embodiment, a fruit sorting system for sorting green soybeans will be specifically described.
図1は、本実施の形態にかかる莢果選別システム(以下では、「枝豆選別システム40」とする)を用いて構成した莢果選別装置(以下では、「枝豆選別装置」とする)を示す全体構成図である。この枝豆選別装置は、選別対象となる枝豆Wを収容すると共に、選別ラインに連続的に供給するホッパー部10と、ホッパー部10から供給された枝豆Wを搬送する第一搬送手段20と、この第一搬送手段20で搬送された枝豆Wを反転させて搬送する第二搬送手段30と、それぞれの搬送手段に設けられた撮影手段21,31と、撮影手段21,31が撮影した画像を解析する枝豆選別システム40と、各搬送手段に設けられて搬送速度又は搬送量を検知する搬送検出手段22,32と、各搬送手段の終端側における枝豆Wの落下部に設けた排出手段23,33とで構成している。 FIG. 1 shows an overall configuration of a fruit sorting apparatus (hereinafter referred to as “green soybean sorting apparatus”) configured using a fruit sorting system according to the present embodiment (hereinafter referred to as “green soybean sorting system 40”). FIG. This green soybean sorting device accommodates green soybeans W to be selected, and continuously supplies the green beans to the sorting line, the first conveying means 20 for conveying the green beans W supplied from the hopper 10, and the The second conveying means 30 that inverts and conveys the green soybeans W conveyed by the first conveying means 20, the photographing means 21, 31 provided in each conveying means, and the images photographed by the photographing means 21, 31 are analyzed. The soy bean sorting system 40, the transport detecting means 22 and 32 provided in each transport means for detecting the transport speed or transport amount, and the discharge means 23 and 33 provided in the falling part of the soy beans W on the terminal side of each transport means. It consists of and.
前記ホッパー部10は、選別対象となる枝豆W(莢果)を収容する空間部を備えている。またホッパー部10の内部に収容されている枝豆Wを、第一搬送手段20と第二搬送手段30とからなる搬送手段に供給する為の排出構造を伴っている。かかる排出構造は、当該ホッパー部10の底面に設けられたベルトコンベアー等であり、ホッパー部10内に収容している枝豆Wを前方に移動させる。但し、このホッパー部10は、内部に収容している枝豆Wを、検査を実施する搬送手段に送り出す事ができれば他の構成であって良い。 The hopper portion 10 includes a space portion for storing green soybeans W (fruits) to be selected. In addition, it is accompanied by a discharge structure for supplying green soybeans W accommodated in the hopper section 10 to the conveying means composed of the first conveying means 20 and the second conveying means 30. Such a discharge structure is a belt conveyor or the like provided on the bottom surface of the hopper portion 10 and moves the green soybeans W housed in the hopper portion 10 forward. However, the hopper portion 10 may have another configuration as long as the green soybean W accommodated in the hopper portion 10 can be sent out to the conveying means for performing the inspection.
ホッパー部10から排出された枝豆Wは、第一搬送手段20と第二搬送手段30とからなる搬送手段に供給される。その際、ホッパー部10から落下した枝豆Wが相互に重なる事が無いように、落下部分には、ホッパーから排出された枝豆Wを振動させながら搬送する振動手段(図示せず)を設けるのも望ましい。 The green soybean W discharged from the hopper unit 10 is supplied to a conveying means composed of the first conveying means 20 and the second conveying means 30. At that time, a vibrating means (not shown) for conveying the green soybeans W discharged from the hopper while vibrating them may be provided in the dropped portion so that the green beans W dropped from the hopper 10 do not overlap each other. desirable.
前記第一搬送手段20及び第二搬送手段30は、それぞれベルトコンベアー等によって形成する事ができる。ホッパー部10から供給された枝豆Wは、最初に第一搬送手段20によって搬送される。この第一搬送手段20には、望ましくは搬送する枝豆Wの向きを一定方向に揃える為の整列部を伴う事ができる。かかる整列部は、例えば枝豆Wの搬送方向に長尺な整列板や線材(図示せず)を所定の間隔で配置して形成できる。搬送される枝豆Wは、この整列板に当たることにより、搬送方向に向かって縦向きになるように向きが修正される。 The first conveying means 20 and the second conveying means 30 can each be formed by a belt conveyor or the like. The green soybean W supplied from the hopper unit 10 is first transported by the first transport means 20. This first conveying means 20 can be preferably accompanied by an alignment portion for aligning the direction of the green soybeans W to be conveyed in a certain direction. Such an alignment portion can be formed, for example, by arranging alignment plates or wires (not shown) that are long in the conveying direction of the green beans W at a predetermined interval. The green soy beans W to be transported are corrected so as to be vertically oriented in the transport direction by hitting this alignment plate.
上記第一搬送手段20の上方には、第一搬送手段20によって搬送されている枝豆Wを撮影する為の撮影手段21が設けられている。この撮影手段21としては、カメラやビデオカメラを使用する事ができる。この撮影手段21は、搬送される枝豆Wを静止画又は動画で撮影し、その撮影画像を枝豆選別システム40に直接取り込んで解析できるように、撮影画像を電子データで取得することが望ましい。そして、この撮影手段21の撮影範囲に存在する枝豆Wを、安定的に照らす照明を設ける事も望ましい。枝豆Wを照らす光の明るさを一定にすることにより、撮影画像の輝度を安定させるためである。 Above the first conveying means 20, there is provided a photographing means 21 for photographing the green soybeans W conveyed by the first conveying means 20. As this photographing means 21, a camera or a video camera can be used. The photographing means 21 desirably captures the photographed image as electronic data so that the green soybean W being conveyed can be photographed as a still image or a moving image, and the photographed image can be directly taken into the green soybean sorting system 40 and analyzed. It is also desirable to provide lighting that stably illuminates the green soybean W existing in the photographing range of the photographing means 21. This is to stabilize the brightness of the photographed image by making the brightness of the light illuminating the green soybean W constant.
上記撮影手段21で撮影された画像は、コンピュータなどで構成されている枝豆選別システム40に送られる。枝豆選別システム40では、取得した撮影画像に基づいて、選別対象である枝豆Wを検査し、少なくとも枝豆Wの大きさや粒数、或いは欠けやヒゲの有無、黒点の有無や変色、及びわれの有無や活性度の少なくとも何れかを検査し、規格から外れる枝豆Wを特定する。この枝豆選別システム40の構成や処理については、後述する。 The image photographed by the photographing means 21 is sent to a green soybean sorting system 40 constituted by a computer or the like. In the green soybean sorting system 40, based on the acquired photographed image, the green soybean W to be sorted is inspected, and at least the size and number of grains of the green soybean W, the presence or absence of chipping or whiskers, the presence or absence of black spots, discoloration, and the presence of crack Or at least one of the activities, and identify green soybean W that is out of specification. The configuration and processing of the green soybean sorting system 40 will be described later.
第一搬送手段20には、その搬送速度や搬送距離を取得する為の搬送検出手段22を設けている。枝豆Wの搬送情報と撮影画像とを関連付けることにより、上記の枝豆選別システム40で選定した枝豆W(規格外の枝豆W)が、どこを搬送されているのかを特定する為である。搬送過程において、枝豆選別システム40で選定した規格外の枝豆Wを特定することで、当該規格外の枝豆Wを搬送ラインの外に排出する事もできる。かかる搬送検出手段22としては、ロータリーエンコーダやリニアエンコーダなどを使用する事ができる。 The first transport means 20 is provided with a transport detection means 22 for acquiring the transport speed and transport distance. This is to identify where the green soybean W (non-standard green soybean W) selected by the green soybean selection system 40 is conveyed by associating the conveyance information of the green soybean W with the photographed image. By specifying the non-standard green soybeans W selected by the green soybean sorting system 40 in the conveyance process, the non-standard green soybeans W can be discharged out of the conveyance line. As the conveyance detection means 22, a rotary encoder, a linear encoder, or the like can be used.
本実施の形態において、前記規格外の枝豆Wは、第一搬送手段20の終端から落下する際に排除される。即ち、第一搬送手段20の終端には、搬送している枝豆Wを第二搬送手段30に落下させる落下部が設けられており、当該落下部から落下する際、前記枝豆選別システム40で特定した枝豆W(規格外の枝豆W)を、排出手段23によって搬送ラインから排出する。かかる排出手段23は、特定した枝豆Wに対してエアーを吹き付けて、搬送ラインの外に吹き飛ばすように構成する他、特定した枝豆Wを取り出すことのできる構成で形成する事ができる。 In the present embodiment, the non-standard green soybeans W are excluded when falling from the end of the first conveying means 20. That is, at the end of the first conveying means 20, there is provided a dropping portion for dropping the green soybean W being conveyed to the second conveying means 30, and when falling from the dropping portion, the green soybean sorting system 40 identifies The edamame W (non-standard edamame W) is discharged from the transport line by the discharge means 23. The discharging means 23 can be formed by blowing air to the identified green soybean W and blowing it out of the transport line, or by a configuration that allows the specified green soybean W to be taken out.
以上により、第一搬送手段20によって搬送され、且つ枝豆選別システム40によって規格外と判断された枝豆Wは、排出手段23によって排出され、残った枝豆Wが第二搬送手段30によって搬送される。この第二搬送手段30で搬送する際、枝豆Wは、第一搬送手段20における搬送状態から反転させた状態で搬送するのが望ましい。したがって、第一搬送手段20の後、又は第二搬送手段30の始端側(第一搬送手段20側)には、搬送する枝豆Wを反転させる反転手段を設けるのが望ましい。かかる反転手段は、例えば搬送する枝豆Wを落下させる時の落差を利用して反転させる他、搬送される莢果の何れかの面にベルトやローラーによる回転力を作用させて反転することもできる。 As described above, the green soybeans W that have been transferred by the first transfer means 20 and determined to be out of specification by the green soybean sorting system 40 are discharged by the discharge means 23, and the remaining green beans W are transferred by the second transfer means 30. When transported by the second transport unit 30, the green soybean W is desirably transported in a state reversed from the transport state in the first transport unit 20. Therefore, it is desirable to provide a reversing means for reversing the green soybeans W to be conveyed after the first conveying means 20 or at the start end side (first conveying means 20 side) of the second conveying means 30. For example, the reversing means can be reversed by using a drop when dropping the green soybeans W to be transported, and can be reversed by applying a rotational force by a belt or a roller to any surface of the fruit to be transported.
この第二搬送手段30で搬送する枝豆Wも、前記第一搬送手段20における搬送と同じように選別される。即ち、第二搬送手段30で搬送する枝豆Wを撮影手段31で撮影し、その撮影画像を枝豆選別システム40で解析して、規格外の枝豆Wを特定する。その際、枝豆の搬送速度や距離は、ロータリーエンコーダからなる搬送検出手段32から取得する。そして当該規格外の枝豆Wは、搬送手段の終端において排出手段33によりエアーを吹き付けて排出する。かかる第二搬送手段30における処理は、前記第一搬送手段20における処理と同じであるから、図面では第一搬送ラインと同じ構成については符号に「10」の値を加算して示し、その詳細な説明は省略する。 The green soybeans W transported by the second transport means 30 are also sorted in the same manner as the transport in the first transport means 20. That is, the green soybean W conveyed by the second conveying means 30 is photographed by the photographing means 31, and the photographed image is analyzed by the green soybean sorting system 40 to identify the non-standard green soybean W. At that time, the conveyance speed and distance of green soybeans are acquired from the conveyance detection means 32 comprising a rotary encoder. And the non-standard green soybeans W are discharged by blowing air by the discharge means 33 at the end of the transport means. Since the process in the second transport unit 30 is the same as the process in the first transport unit 20, in the drawing, the same configuration as the first transport line is indicated by adding a value of “10” to the reference numeral, and the details The detailed explanation is omitted.
次に、図2〜23を参照しながら、この枝豆選別装置において搬送される枝豆を検査する枝豆選別システムの構成と、その処理内容を具体的に説明する。 Next, with reference to FIGS. 2 to 23, the configuration of the green soybean sorting system for inspecting green beans conveyed in the green soybean sorting device and the processing contents thereof will be described in detail.
図2は、本実施の形態に係る莢果選別システムを構成するコンピュータのハードウエア構成の例を示している。ただし、図2のコンピュータ500は、当該莢果選別システムの代表的な構成を例示したに過ぎず、当該枝豆選別システムは、画像解析のための演算装置やメモリ及びプログラムを実行する限りにおいて、専用の装置として構成しても良い。 FIG. 2 shows an example of a hardware configuration of a computer constituting the fruit sorting system according to the present embodiment. However, the computer 500 in FIG. 2 only exemplifies a typical configuration of the fruit sorting system, and the green soybean sorting system has a dedicated function as long as it executes an arithmetic device, a memory, and a program for image analysis. You may comprise as an apparatus.
この図2に示すコンピュータ500は、CPU501、メモリ502、音声出力装置503、ネットワークインタフェース504、ディスプレイコントローラ505、ディスプレイ506、入力機器インタフェース507、キーボード508、マウス509、外部記憶装置510、外部記録媒体駆動装置511、およびこれらの構成要素を互いに接続するバス512を含んで構成されている。 2 includes a CPU 501, a memory 502, an audio output device 503, a network interface 504, a display controller 505, a display 506, an input device interface 507, a keyboard 508, a mouse 509, an external storage device 510, and an external recording medium drive. The apparatus 511 includes a bus 512 that connects these components to each other.
CPU501は、コンピュータ500の各構成要素の動作を制御し、OSの制御下で、上記枝豆選別システムの各処理の実行をコントロールし、その動作を制御する。メモリ502は通常、不揮発性メモリであるROM(Read Only Memory)、および揮発性メモリであるRAM(Random Access Memory)から構成され、記憶部に相当する。ROMには、コンピュータ500の起動時に実行される枝豆選別システムで実行されるプログラム等が格納される。RAMには、CPU501で実行され、撮影手段から取得した画像を解析し、枝豆の大きさや粒数を算出し、また欠けやヒゲ・黒点・変色・割れの有無、又は活性度等を判断するためのプログラムや、それらのプログラムが実行中に使用するデータが一時的に格納される。 The CPU 501 controls the operation of each component of the computer 500, controls the execution of each process of the green soybean sorting system under the control of the OS, and controls its operation. The memory 502 is generally composed of a ROM (Read Only Memory) that is a non-volatile memory and a RAM (Random Access Memory) that is a volatile memory, and corresponds to a storage unit. The ROM stores a program executed by the green soybean selection system executed when the computer 500 is activated. The RAM is executed by the CPU 501 to analyze the image acquired from the photographing means, calculate the size and number of grains of green soybeans, and determine the presence or absence of chipping, whiskers, black spots, discoloration, cracks, activity, etc. Programs and data used by these programs during execution are temporarily stored.
音声出力装置503は、スピーカ等の、音声を出力する機器であり、ネットワークインタフェース504は、各種の機器と情報交換する為のネットワーク520に接続するためのインタフェースである。ディスプレイコントローラ505は、CPU501が発する描画命令を処理するための専用コントローラであり、表示部としてのディスプレイ506に描画データを出力する。かかるディスプレイ506は、LCD等で構成される表示装置である。 The audio output device 503 is a device that outputs sound, such as a speaker, and the network interface 504 is an interface for connecting to a network 520 for exchanging information with various devices. A display controller 505 is a dedicated controller for processing a drawing command issued by the CPU 501 and outputs drawing data to a display 506 serving as a display unit. The display 506 is a display device configured by an LCD or the like.
入力機器インタフェース507は、キーボード508やマウス509、或いはタッチパッドなどの入出力デバイスから入力された信号を受信して、その信号パターンに応じて所定の指令をCPU501に提供する。キーボード508やマウス509は、プログラムの実行や設定などの操作を行う場合に必要となる。 The input device interface 507 receives a signal input from an input / output device such as a keyboard 508, a mouse 509, or a touch pad, and provides a predetermined command to the CPU 501 according to the signal pattern. A keyboard 508 and a mouse 509 are necessary for operations such as program execution and settings.
外部記憶装置510も本明細書における記憶手段の範疇に含まれる。かかる外部記憶装置510は、たとえばハードディスクドライブ(HDD)のような記憶装置で構成することができる。この装置内には上述したプログラムやデータが記録され、実行時に、必要に応じてそこからメモリ502のRAMにロードされる。 The external storage device 510 is also included in the category of storage means in this specification. The external storage device 510 can be configured by a storage device such as a hard disk drive (HDD). The above-described program and data are recorded in this device, and are loaded from there into the RAM of the memory 502 as necessary at the time of execution.
外部記録媒体駆動装置511は、CD(Compact Disc)、MO(Magnet−Optical Disc)、DVD(Digital Versatile Disc)などの可搬型の外部記録媒体530の記録面にアクセスして、そこに記録されているデータを読み取る装置である。 The external recording medium driving device 511 accesses a recording surface of a portable external recording medium 530 such as a CD (Compact Disc), an MO (Magnet-Optical Disc), a DVD (Digital Versatile Disc), etc., and is recorded there. It is a device that reads data.
本実施の形態にかかる枝豆選別システムは、上記のように構成されるコンピュータを用いて形成され、以下の図3〜23に示す処理を実行する。 The green soybean sorting system according to the present embodiment is formed by using the computer configured as described above, and executes the processes shown in FIGS.
≪基本処理≫
図3は撮影手段から取得した撮影画像について実行する基本処理の内容を示すフローチャートであり、図4はこの基本処理の内容を示す処理内容図である。基本処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像を撮影手段から取得して、メモリに記録する(S11)。そして、図4(B)に示す様に、複数の枝豆が写っている画像に対し、枝豆ごとにラベリング処理を行い(S12)、枝豆ごとの画像を抽出する。そして抽出した枝豆ごとの画像について角度補正処理を行う(S13)。この角度補正処理では、各枝豆の画像において、長尺な向き(長さ方向)が横を向くように、画像処理を行う。そして図4(C)に示す様に、角度補正を行った画像に対して二値化処理を行い(S15)、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。≪Basic processing≫
FIG. 3 is a flowchart showing the contents of the basic process executed on the captured image acquired from the photographing means, and FIG. 4 is a process contents diagram showing the contents of the basic process. When the basic process is executed, the green soybean selection system first acquires a captured image showing a plurality of green beans from the imaging means and records it in the memory (S11). Then, as shown in FIG. 4 (B), a labeling process is performed for each green soybean on an image showing a plurality of green beans (S12), and an image for each green soybean is extracted. Then, angle correction processing is performed on the extracted image for each green soybean (S13). In this angle correction processing, image processing is performed so that the long direction (length direction) faces sideways in each green soybean image. Then, as shown in FIG. 4C, binarization processing is performed on the angle-corrected image (S15) so that necessary numerical values and locations can be quickly identified and acquired in each subsequent inspection. I have to.
≪粒数検査≫
図5は、粒数検査を行う処理内容を示すフローチャートであり、図6はこの粒数検査を行う処理内容図である。この粒数検査では、最初に前記基本処理を行った画像(二値化処理後の画像)を検査画像として取得する。この検査画像は、搬送手段を搬送される枝豆ごとに作成されることから、この粒数検査はすべての枝豆について実行される。≪Grain number inspection≫
FIG. 5 is a flowchart showing the processing content for performing the grain number inspection, and FIG. 6 is a processing content diagram for performing the grain number inspection. In this grain number inspection, an image that has been subjected to the basic processing first (an image after binarization processing) is acquired as an inspection image. Since this inspection image is created for each green soybean transported by the transport means, this grain number inspection is executed for all green beans.
検査画像を取得すると、コンピュータで構成されている枝豆選別システムのCPUは、図6(A)に示す様に、検査画像において枝豆が写し出されている領域における長さ方向のピクセル数を判読し、これに基づいて当該枝豆の長さを演算する(S52)。この演算は、撮影画像を実測値にする為の係数を乗算することによって算出する事ができる。そして、この演算により算出した枝豆の長さを取得すると、この長さに基づいて粒数を算出する(S54)。この粒数の算出は、図6に示す様に、長さとの関係で粒数を規定したファイル41を検索して抽出する他、ファイルシステムを検索するまでもなく、長さの値によって粒数を特定する値を返すようにプログラムを作成しておくこともできる。 When the inspection image is acquired, the CPU of the green soybean selection system constituted by a computer reads the number of pixels in the length direction in the region where the green soybean is projected in the inspection image, as shown in FIG. Based on this, the length of the green soybean is calculated (S52). This calculation can be calculated by multiplying a coefficient for making the captured image an actual measurement value. And if the length of green soybeans calculated by this calculation is acquired, the number of grains will be calculated based on this length (S54). As shown in FIG. 6, the calculation of the number of grains is performed by searching and extracting the file 41 in which the number of grains is defined in relation to the length, and without searching the file system. It is also possible to create a program that returns a value that specifies.
この演算の結果として得られる粒数に対しては、1粒か否かが判断される(S56)。これは枝豆の場合、1粒のものは商品価値が低い事もあることから、商品価値を高める為に種子が1粒の枝豆を選別して取り除くためである。この莢に収容される種子が1粒か否かの判断では、先ず前記粒数判断において、1粒と判断されたものが除かれる。よって、当該莢内の種子が1粒と判断された枝豆は、規格外品と判断され、排出手段により排出対象として特定される。 It is determined whether the number of grains obtained as a result of this calculation is 1 (S56). This is because, in the case of green soybeans, one grain may have a low commercial value, so that the seed selects and removes one green soybean to increase the commercial value. In determining whether there is one seed contained in this pod, first, in the determination of the number of grains, one determined as one grain is excluded. Therefore, the green soybean for which the seed in the persimmon is determined to be one grain is determined to be a nonstandard product, and is specified as a discharge target by the discharge means.
そして、前記粒数判断において、莢内に収容された種子が2粒以上と判断された枝豆は、その粒数に応じて、領域が分割される(S58)。図6では、特に2粒と判断された例を示している。この為、検査画像は、図6(B)に示す様に、長さ方向に2つの領域(A1及びA2)に分割されている。次にそれぞれの領域において、最も幅の値が大きい地点を凸部として設定する。図6(C)では、第一の領域A1において最も幅が広い地点を第一の凸部C1として設定し、第二の領域A2において最も幅が広い地点を第二の凸部C2として設定している。そして夫々の凸部における値(幅)を算出する(S59)。 And in the said grain number judgment, the area | region is divided | segmented according to the grain number of the green soybeans by which the seed accommodated in the basket was judged to be 2 or more (S58). FIG. 6 shows an example in which it is determined that there are two grains. For this reason, the inspection image is divided into two regions (A1 and A2) in the length direction, as shown in FIG. 6B. Next, in each region, a point having the largest width value is set as a convex portion. In FIG. 6C, the widest point in the first region A1 is set as the first convex portion C1, and the widest point in the second region A2 is set as the second convex portion C2. ing. Then, a value (width) at each convex portion is calculated (S59).
次に、図6(D)に示す様に、夫々の凸部(C1及びC2)の間SAの幅を演算し、図6(E)に示す様に、各凸部の幅よりも小さい値で、且つ幅が最小値となる地点を凹部として設定し、その幅を算出する(S60)。そして凹部の有無を判断し(S61)、凹部を算出できる場合には、莢内に2粒以上の種子が入っており、規格に合った枝豆として、この粒数検査では規格内と判断する(S62)。一方、凹部が算出できない場合には、莢内の種子が1粒の枝豆と判断し、規格外であると判断して、排出手段により排出対象として特定する。即ち枝豆選別システムは、莢の長さから、莢内の種子の数を2粒と判断した結果(図7(A))、前記同様に凸部及び凹部を特定する処理を実行する。具体的には、当該枝豆の画像を2つの領域(A1及びA2)に分割し(図7(B))、それぞれの領域において最も幅が広い領域を、それぞれの凸部(C1及びC2)に設定する(図7(C))。そして、この凸部同士の間であって、それぞれの凸部よりも狭く、且つ最も狭い幅の位置を凹部に設定する(図7(D))。しかし莢内の種子が1粒の場合には、この凹部の幅は、何れかの凸部と同じ幅になってしまうことから、当該凹部を設定する事ができない(図7(E))。よって、この場合には、莢内の種子が1粒と判断し、規格外の枝豆として特定する。 Next, as shown in FIG. 6 (D), the SA width between the respective convex portions (C1 and C2) is calculated, and as shown in FIG. 6 (E), a value smaller than the width of each convex portion. And the point where the width becomes the minimum value is set as the recess, and the width is calculated (S60). Then, the presence / absence of a recess is determined (S61). If the recess can be calculated, two or more seeds are contained in the pod, and it is determined to be within the standard in this grain number inspection as a green soybean that meets the standard ( S62). On the other hand, when the concave portion cannot be calculated, it is determined that the seed in the pod is one green soybean, it is determined that it is out of specification, and is specified as a discharge target by the discharge means. That is, the edamame sorting system executes the process of specifying the convex part and the concave part as described above as a result of judging that the number of seeds in the cocoon is two from the length of the cocoon (FIG. 7A). Specifically, the image of the green soybean is divided into two regions (A1 and A2) (FIG. 7B), and the widest region in each region is divided into the convex portions (C1 and C2). The setting is made (FIG. 7C). And the position of the narrowest width between these convex parts and narrower than each convex part is set to a recessed part (FIG.7 (D)). However, when the seed in the pod is one grain, the width of the concave portion is the same as any of the convex portions, and thus the concave portion cannot be set (FIG. 7E). Therefore, in this case, the seed in the pod is determined to be one grain, and is identified as a non-standard green soybean.
以上の様な処理によって粒数検査を実行することにより、処理の高速化を達成する事ができる。即ち、莢の長さによって、莢内の種子が1粒の枝豆を一次的に排除していることから、検査対象を減じる事ができ、これによって処理の高速化を図る事ができる。更に、長さでは規格内の枝豆について、更に凸部及び凹部を検査する事により、長さの規格は充たしながらも、実際には莢内の種子が1粒の枝豆を抽出する事ができ、選別の精度を大幅に向上させることができる。よって、上記の処理によって粒数検査を実行する事により、高速かつ正確に枝豆(莢内の種子が1粒の枝豆)を選別する事ができる。 By executing the particle number inspection by the above processing, the processing speed can be increased. That is, depending on the length of the pods, the seeds in the pods temporarily remove one edamame, so that the number of inspection objects can be reduced, thereby speeding up the processing. Furthermore, for the green soybeans that are within the standard in length, by further inspecting the convex part and the concave part, while the standard of the length is satisfied, the seeds in the pod can actually extract one green soybean, Sorting accuracy can be greatly improved. Therefore, by performing the grain number inspection by the above-described processing, it is possible to quickly and accurately select green soybeans (one soybean with one seed in the pod).
≪欠け検査≫
また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得する事により、更に欠け検査を実行する事ができる。この欠け検査では、枝豆における莢に欠けが有るか否かを検査するものであり、本実施の形態では、検査画像における枝豆の幅の変化量からこの欠けの有無を判断している。≪Chip inspection≫
Further, the green soybean sorting system can further perform the chip inspection by acquiring the inspection image created by performing the basic processing. In this chipping inspection, whether or not there is a chipping in the edamame is inspected. In this embodiment, the presence or absence of this chipping is determined from the amount of change in the width of the green soybeans in the inspection image.
図8は、この欠け検査における処理内容を示すフローチャートであり、図9はこの欠け検査を行う処理内容図である。図8に示す様に、この欠け検査の実行により、基本処理で作成した検査画像を読み込む(S81)。そしてこの検査画像における幅の変化が大きい領域、即ち、長さ方向における両端側の所定の領域を除いた範囲を検査領域に指定する(S82)。但し、この検査領域の指定に際しては、莢の幅を読み取るほか、全体の長さにおける割合で指定する事もでき、例えば枝豆の画像における全体長さの左右5%を除いた範囲を検査領域に指定する事もできる。 FIG. 8 is a flowchart showing the processing contents in this chip inspection, and FIG. 9 is a processing contents diagram for performing this chip inspection. As shown in FIG. 8, the inspection image created by the basic process is read by executing the chip inspection (S81). Then, an area having a large change in width in the inspection image, that is, a range excluding predetermined areas on both ends in the length direction is designated as the inspection area (S82). However, when specifying the inspection area, in addition to reading the width of the cocoon, it can also be specified as a percentage of the total length. For example, the range excluding the left and right 5% of the total length of the green soybean image is used as the inspection area. You can also specify.
検査領域を指定した後は、その検査範囲内において検査の基準となる任意の位置を指定し(S83)、当該基準位置の幅を演算して、これを基準幅に設定する(S84)。そして、この基準位置から、任意に定めた方向に所定量移動した地点における幅を比較幅として設定し、この比較幅の値を順次取得する。本実施の形態では、基準位置から左側に向かって所定量(例えば2ピクセル)ずつ移動した位置における幅を比較幅として順次取得している(S85)。そして、取得した基準幅と夫々の比較幅との差分を算出し(S86)、これを予め設定した許容値と比較する(S87)。この基準幅と夫々の比較幅との差分を算出に際しては、単純に、基準幅と夫々の比較幅の差分を算出する他、それぞれの比較値で算出した差分の変化量を算出する事もできる。この場合、差分の変化量についての許容値を予め設定し、変化量が許容値を超える場合に規格外の判定を行う事もできる。 After designating the inspection area, an arbitrary position as a reference for inspection within the inspection range is specified (S83), the width of the reference position is calculated, and this is set as the reference width (S84). Then, a width at a point moved from the reference position by a predetermined amount in an arbitrarily determined direction is set as a comparison width, and values of the comparison width are sequentially acquired. In the present embodiment, the width at the position moved by a predetermined amount (for example, 2 pixels) from the reference position to the left is sequentially acquired as the comparison width (S85). Then, a difference between the acquired reference width and each comparison width is calculated (S86), and this is compared with a preset allowable value (S87). When calculating the difference between the reference width and each comparison width, the difference between the reference width and each comparison width can be simply calculated, and the change amount of the difference calculated by each comparison value can also be calculated. . In this case, an allowable value for the change amount of the difference is set in advance, and when the change amount exceeds the allowable value, it is possible to perform a non-standard determination.
上記の差分と許容値の比較の結果、当該差分が許容値を超える場合には、基準値に比べて急激に幅が狭くなっていることを示している為、当該比較値の箇所に欠けが存在すると判断している。よって、この差分が許容値(あらかじめ設定している許容値)を超える場合には、規格外の判定を行う(S89)。一方、当該検査領域における任意の基準位置に基づいて算出した比較幅の差分が許容値以下である場合には、当該検査領域において次の基準位置を設定する(S90)。即ち、まだ検査していない範囲に新たに基準位置を設定する。新たに設定する基準位置は、その前に設定した基準位置に、任意の数を加算した分だけ長さ方向に移動した位置であり、当該位置を新たな基準位置として、再び比較幅との差分を算出し、その値を許容値と対比して、規格内か規格外かを判断する。莢果の内、特に枝豆は、莢内に種子が存在するか否かによって幅が大きく変化する。よって、何れか一つの地点を基準位置としたのでは、比較値との差分も大幅に変化する事になる。その結果、前記凸部と凹部における正常な形状変化なのか、或いは欠けが存在するのかを判断するのが困難になる。そこで、本実施の形態では、1つの枝豆の検査に際して、欠けの有無を検査する際に設定する検査領域内に複数の基準位置を設定し、それぞれの基準位置ごとの幅と比較幅との差分を算出し、欠けの存在を検査するように構成している。 As a result of the comparison between the difference and the allowable value, if the difference exceeds the allowable value, it indicates that the width is abruptly narrower than the reference value. Judging that it exists. Therefore, if this difference exceeds an allowable value (preset allowable value), a non-standard determination is performed (S89). On the other hand, when the difference of the comparison width calculated based on an arbitrary reference position in the inspection area is equal to or smaller than the allowable value, the next reference position is set in the inspection area (S90). That is, a new reference position is set in a range not yet inspected. The reference position to be newly set is a position moved in the length direction by adding an arbitrary number to the previously set reference position, and the difference from the comparison width is set again with the position as a new reference position. And the value is compared with the allowable value to determine whether the value is within or outside the standard. The width of edamame, especially edamame, varies greatly depending on whether seeds are present in the pod. Therefore, if any one point is used as the reference position, the difference from the comparison value also changes significantly. As a result, it becomes difficult to determine whether the convex portion and the concave portion are normal shape changes or whether there is a chip. Therefore, in the present embodiment, when inspecting one green soybean, a plurality of reference positions are set in the inspection area set when inspecting for the presence or absence of a chip, and the difference between the width for each reference position and the comparison width Is calculated and the presence of a chip is inspected.
そして、上記のように長さ方向に位置をずらしながら設定した基準位置ごとに、比較幅との差分を許容値と対比する。そして検査領域のすべてについて当該対比が完了した時点で、全ての基準位置において、比較幅との差分が許容値以下であれば規格内と判断して、検査している枝豆の欠け検査を終了する。 Then, for each reference position set while shifting the position in the length direction as described above, the difference from the comparison width is compared with the allowable value. Then, when the comparison is completed for all of the inspection areas, if the difference from the comparison width is equal to or less than the allowable value at all the reference positions, it is determined that it is within the standard, and the lack inspection of the green soybean being inspected is completed. .
以上の処理内容によって枝豆における欠けの有無を判断することにより、幅の変化量が大きい枝豆であっても、正確に欠けを検出する事ができる。また、基準位置を定めて、比較幅との差分を算出するだけである事から、その処理速度を高速化する事ができ、単位時間当たりの枝豆の選別量を多くする事ができる。 By determining the presence or absence of chipping in green soybeans based on the above processing contents, chipping can be accurately detected even for green soybeans with a large amount of change in width. Moreover, since only the difference between the reference position and the comparison width is calculated, the processing speed can be increased, and the amount of green soybeans selected per unit time can be increased.
≪ヒゲ検査≫
また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得し、更にヒゲ検査を実行する事ができる。このヒゲ検査では、枝豆の莢から線状に飛び出たヒゲ部が有るか否かを検査するものである。本実施の形態では、検査画像における枝豆の幅方向のエッジの数によって、このヒゲ部の有無を判断している。なお、このエッジとは、幅方向における輪郭の境界点のことであり、検査画像においては枝豆画像と背景とで色値が変化している地点として特定する事ができる。≪Beard inspection≫
In addition, the green soybean sorting system can acquire a test image created by performing a basic process and further perform a mustache test. In this mustache inspection, it is inspected whether or not there is a mustache portion that protrudes linearly from the pods of green soybeans. In the present embodiment, the presence or absence of this mustache portion is determined based on the number of edges in the width direction of green soybeans in the inspection image. This edge is a boundary point of the outline in the width direction, and can be specified as a point where the color value changes between the green soybean image and the background in the inspection image.
図10は、このヒゲ検査における処理内容を示すフローチャートであり、図11はこのヒゲ検査を行う処理内容図である。図10に示す様に、このヒゲ検査の実行指令により、基本処理で作成した検査画像を読み込む(S101)。そして取得した検査画像について、図11(B)に示す様に、長さ方向にエッジの数を検出する(S102)。具体的には、検査画像における枝豆の画像において、幅方向の輪郭に存在するポイント(以下「エッジ」とする)の数を検出する。そして、検出したエッジの数を判断する(S103)。このエッジの数の判断に際して、図11(C)の符号E2で示す様に、エッジが2個であれば、枝豆における正常な莢の輪郭を示している事になる。そこで、このヒゲ部が存在しない枝豆については規格内の判断をする(S105)。一方で、符号E1で示す様に、エッジの数が3個以上、具体的には4個である場合には、莢の輪郭の他に飛び出ている部分が存在する事になる。この飛び出ている部分が枝豆におけるヒゲ部に相当する事から、エッジの数が4個になっている地点をヒゲ部が存在する地点として特定し、当該ヒゲ部の有無を判断する(S104)。 FIG. 10 is a flowchart showing the processing content in this mustache test, and FIG. 11 is a processing content diagram for performing this mustache test. As shown in FIG. 10, the inspection image created by the basic process is read in response to the execution instruction of the mustache inspection (S101). For the acquired inspection image, the number of edges in the length direction is detected as shown in FIG. 11B (S102). Specifically, the number of points (hereinafter referred to as “edges”) existing in the contour in the width direction is detected in the green soybean image in the inspection image. Then, the number of detected edges is determined (S103). When determining the number of edges, as indicated by reference numeral E2 in FIG. 11C, if there are two edges, the outline of the normal cocoon in the green soybean is shown. Therefore, it is judged within the standard for green soybeans that do not have a mustache part (S105). On the other hand, as indicated by reference numeral E1, when the number of edges is three or more, specifically four, there is a protruding portion in addition to the outline of the eyelid. Since this protruding portion corresponds to a mustache portion in green soybeans, a point where the number of edges is four is specified as a point where the beard portion exists, and the presence or absence of the beard portion is determined (S104).
そしてヒゲ部が存在すると判断した枝豆については、次に当該ヒゲ部の長さを算出する(S106)。このヒゲ部の長さの算出は、図11(C)に示す様に、エッジの数が4個算出された地点からエッジの数が2個又は3個に収束する地点までの長さとして算出する。そして、この算出したヒゲ部の長さを、あらかじめ設定している許容値と比較し(S108)、ヒゲ部の長さが許容値以下である場合には、規格内と判断する。一方で、ヒゲ部の長さが許容値を超える場合には、規格外と判断して、前記排出手段における排出対象として記録する。 For the green soybeans that have been determined to have a mustache portion, the length of the mustache portion is then calculated (S106). As shown in FIG. 11C, the length of the beard portion is calculated as a length from a point where the number of edges is calculated to a point where the number of edges converges to two or three. To do. Then, the calculated length of the beard portion is compared with a preset allowable value (S108), and if the length of the beard portion is equal to or smaller than the allowable value, it is determined that the length is within the standard. On the other hand, when the length of the beard portion exceeds the allowable value, it is determined that it is out of the standard and is recorded as a discharge target in the discharge means.
以上の処理によって、単純にヒゲ部が有るか否かだけでなく、当該ヒゲ部の長さまでも検査する事ができることから、より正確な選別を実現する事ができる。なお、本発明にかかる莢果選別システム及び莢果選別装置は、上記実施の形態に示した態様に制限されることなく、種々変更を加える事ができる。例えば、粒数検査、欠け検査、及びヒゲ検査の少なくとも何れかを選択して実行するように構成したり、或いは各処理を実行するプログラムを別のロジックで構成して製造する事もできる。 By the above processing, it is possible to inspect not only whether there is a beard portion, but also the length of the beard portion, so that more accurate selection can be realized. It should be noted that the fruit sorting system and the fruit sorting apparatus according to the present invention can be variously modified without being limited to the mode shown in the above embodiment. For example, it can be configured to select and execute at least one of grain number inspection, chipping inspection, and whisker inspection, or can be manufactured by configuring a program for executing each process with different logic.
≪植生指数算出処理≫
図12は撮影手段から取得した撮影画像について実行する植生指数算出処理の内容を示すフローチャートであり、図13はこの植生指数算出処理の内容を示す処理内容図である。かかる植生指数算出処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像、具体的には赤色波長領域の反射光からなる赤色画像(図13では『R画像』と表示)と、近赤外波長領域の反射光からなる近赤外画像(図13では『IR画像』と表示)とを撮影手段から取得して、メモリに記録する(S111,S121)。そして、図13(B)に示す様に、この複数の枝豆が写っている画像に対し、各枝豆ごとにラベリング処理を行い(S112,S122)、枝豆ごとの画像を抽出し、この抽出した枝豆ごとの画像について角度補正処理を行う(S113,S123)。この角度補正処理では、各枝豆の画像において、長尺な向き(長さ方向)が縦に向くように画像処理を行う。そして図13(C)に示す様に、角度補正を行った画像に対して二値化処理を行い(S114,S124)、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。即ち、上記二値化処理した赤色画像及び近赤外画像を使用して、図13(D)に示す様に植生指数を算出して(S115)、検査画像として出力する(S116)。なお、本実施の形態では、上記ラベリング処理、角度補正処理、2値化処理を実施しているが、上記処理は必ずしも実施しなくとも植生指数を算出できる。≪Vegetation index calculation process≫
FIG. 12 is a flowchart showing the contents of the vegetation index calculation process executed on the photographed image acquired from the photographing means, and FIG. 13 is a process contents diagram showing the contents of this vegetation index calculation process. When this vegetation index calculation process is executed, the green soybean selection system first displays a photographed image showing a plurality of green beans, specifically a red image consisting of reflected light in the red wavelength region (“R image” in FIG. 13). ) And a near-infrared image composed of reflected light in the near-infrared wavelength region (indicated as “IR image” in FIG. 13) is acquired from the imaging means and recorded in the memory (S111, S121). Then, as shown in FIG. 13 (B), a labeling process is performed for each edamame on the image showing the plurality of edamame (S112, S122), and an image for each edamame is extracted. An angle correction process is performed for each image (S113, S123). In this angle correction processing, image processing is performed so that the long direction (length direction) is vertically oriented in each green soybean image. Then, as shown in FIG. 13C, binarization processing is performed on the image that has been subjected to angle correction (S114, S124), and in subsequent inspections, the necessary numerical values and locations can be quickly identified and acquired. I can do it. That is, using the binarized red image and near-infrared image, a vegetation index is calculated as shown in FIG. 13D (S115) and output as an inspection image (S116). In the present embodiment, the labeling process, the angle correction process, and the binarization process are performed. However, the vegetation index can be calculated without necessarily performing the process.
≪黒点・変色・割れ検査≫
図14は、黒点・変色・割れ検査を行う処理内容を示すフローチャートであり、図15は黒点・変色・割れ検査におけるさや領域/黒点領域を指定する様態を示す正面図である。かかる黒点・変色・割れ検査では、まずカメラ等の撮影手段によって、対象となる枝豆の検査画像を取得し(S151)、取得した画像における莢領域、及び不良領域を指定する(S152)。なお図15では、枝豆の莢領域61と、黒点の領域62を指定する様態を示しており、黒点検査を実施する場合の処理内容を示している。≪Inspection of black spots, discoloration, cracks≫
FIG. 14 is a flowchart showing the contents of processing for performing black spot / discoloration / cracking inspection, and FIG. 15 is a front view showing a mode of designating a sheath area / black spot area in the black spot / discoloration / crack inspection. In such black spot / discoloration / cracking inspection, first, an inspection image of the target green soybean is acquired by a photographing means such as a camera (S151), and a wrinkle region and a defective region in the acquired image are designated (S152). FIG. 15 shows a state in which the edamame cocoon area 61 and the black spot area 62 are designated, and shows the processing contents when the black spot inspection is performed.
上記のように、莢領域および不良領域を指定した後、領域ごとの植生指数を算出する (S153)。なお、黒点・変色・割れ検査を実施する場合、必ずしも植生指数を算出せずとも黒点・変色・割れを検出する事は可能であるが、植生指数を利用する事によって肉眼で認識し易くなり、その後の処理を容易にすることができる。 As described above, after designating the cocoon region and the defective region, the vegetation index for each region is calculated (S153). In addition, it is possible to detect sunspots, discoloration, and cracks without necessarily calculating the vegetation index when carrying out black spot, discoloration, and cracking inspections, but using the vegetation index makes it easier to recognize with the naked eye, Subsequent processing can be facilitated.
そして、莢全体に占める不良領域の比率を算出し(S154)、不良領域の比率を判断(S155)する事で、対象となる枝豆が規格内か否かを判断する事ができる。即ち、上記による不良領域の比率を算出する事によって、不良領域の比率が設定した許容値の範囲内か否かを判断する(S156)。対象となる枝豆の不良領域の比率が許容値内の場合には、規格内品としてその後の工程に搬送される(S158)。一方で、対象となる枝豆の不良領域の比率が許容値を超える場合には、規格外品として判断され、排出手段により排出対象として特定される(S157)。 Then, it is possible to determine whether or not the target green soybean is within the standard by calculating the ratio of the defective area occupying the entire basket (S154) and determining the ratio of the defective area (S155). That is, by calculating the ratio of the defective areas as described above, it is determined whether or not the ratio of the defective areas is within the set allowable value range (S156). If the ratio of the defective area of the target green soybean is within the allowable value, it is transported to the subsequent process as an in-standard product (S158). On the other hand, if the ratio of the defective area of the target green soybean exceeds the allowable value, it is determined as a non-standard product and specified as a discharge target by the discharge means (S157).
≪活性度検査≫
次に、対象となる枝豆の活性度検査を実施する場合について、図16で示すフローチャートに基づいて説明する。かかる活性度検査では、まずカメラ等の撮影手段によって対象となる枝豆の検査画像を取得し(S171)、取得した画像における検査領域を指定する(S172)。そして、指定した領域ごとの植生指数を算出し(S173)、その領域ごとの植生指数の平均値を算出する(S174)。ここでは、領域ごとの植生指数の平均値をとる事で、1又は複数個の枝豆を、撮影した領域全体における1つのグループとして認識している。領域ごとの植生指数の平均値を算出する事で、当該グループの植生指数を認識でき、当該グループ内の枝豆の活性度を認識する事ができる。よって、対象となる枝豆の活性度を認識出来る為、活性度による選別が可能となる。≪Activity test≫
Next, the case where the activity test of the target green soybean is performed will be described based on the flowchart shown in FIG. In such an activity test, first, an inspection image of the target green soybean is acquired by a photographing means such as a camera (S171), and an inspection region in the acquired image is designated (S172). Then, a vegetation index for each designated area is calculated (S173), and an average value of the vegetation index for each area is calculated (S174). Here, by taking the average value of the vegetation index for each region, one or a plurality of green soybeans are recognized as one group in the entire photographed region. By calculating the average value of the vegetation index for each region, the vegetation index of the group can be recognized, and the activity of green soybeans in the group can be recognized. Therefore, since the activity level of the target green soybeans can be recognized, selection based on the activity level is possible.
そして、上記によって算出された活性度、即ち領域ごとの植生指数の平均値が、予め設定した許容値の範囲内か否かを判断する(S175)。その結果、対象となる枝豆の活性度が許容値内の場合には、規格内品としてその後の工程に搬送される(S177)。一方で、対象となる枝豆の活性度が許容値を超える場合には、規格外品として判断され、排出手段により排出対象として特定される(S176)。 Then, it is determined whether or not the degree of activity calculated as described above, that is, the average value of the vegetation index for each region is within a preset allowable value range (S175). As a result, when the activity of the target green soybean is within the allowable value, it is conveyed to the subsequent process as an in-standard product (S177). On the other hand, if the activity of the target green soybeans exceeds the allowable value, it is determined as a non-standard product, and is specified as a discharge target by the discharge means (S176).
≪可視光画像を利用した割れ検査≫
次に、第2の実施の形態にかかる割れ検査の処理内容について、図17で示すフローチャートに基づいて説明する。かかる第2の実施形態の割れ検査では、可視光領域の反射光からなる可視光画像を利用して、割れ検査を実施する。まず、撮影手段から複数の枝豆が写っている撮影画像、具体的には可視光波長領域の反射光を撮影した可視光画像(以下、『RGB画像』とも言う)と、近赤外波長領域の反射光を撮影した近赤外画像(以下、『IR画像』とも言う)とを取得する(S181,S191)。なお、上記画像を取得する際、撮影手段が撮影した枝豆の反射画像から、それぞれの波長領域のスペクトルを抽出して取得する他、撮影手段にカラーフィルターを設置して、前記の波長領域内の反射画像を撮影して使用する事もできる≪Inspection of cracks using visible light images≫
Next, the processing content of the crack inspection according to the second embodiment will be described based on the flowchart shown in FIG. In the crack inspection according to the second embodiment, a crack inspection is performed using a visible light image made of reflected light in the visible light region. First, a photographic image showing a plurality of green soybeans from the photographing means, specifically a visible light image obtained by photographing reflected light in the visible light wavelength region (hereinafter also referred to as `` RGB image ''), and a near infrared wavelength region A near-infrared image obtained by photographing the reflected light (hereinafter also referred to as “IR image”) is acquired (S181, S191). In addition, when acquiring the above image, in addition to extracting and acquiring the spectrum of each wavelength region from the reflected image of green soybean imaged by the imaging unit, installing a color filter in the imaging unit, You can shoot and use reflection images
そして各々の画像において、対象となる検査領域を指定する(S182,S192)。検査領域を指定した後、カメラ視差によるピクセルのズレを修正する為に、取得したRGB画像及びIR画像について、画像合成処理(又はピクセルマッチング)を実施するのが望ましい(S183)。 In each image, an inspection area to be a target is designated (S182, S192). After designating the inspection area, it is desirable to perform image composition processing (or pixel matching) on the acquired RGB image and IR image in order to correct pixel displacement due to camera parallax (S183).
上記によって合成した画像において、植生指数を算出(S184)し、2値化処理を行う(S185)。一方で、合成した画像において可視光領域の反射率から赤色領域の反射率を減算する工程も同時に行う(S193)。そして、可視光領域の反射率から赤色領域の反射率を減算した値に、植生指数を2値化した値を加算(S186)する事によって、肉眼で認識できる割れの抽出が可能となる。 In the synthesized image, a vegetation index is calculated (S184) and binarization processing is performed (S185). On the other hand, the step of subtracting the reflectance of the red region from the reflectance of the visible light region in the synthesized image is also performed simultaneously (S193). Then, by adding the binary value of the vegetation index to the value obtained by subtracting the reflectance of the red region from the reflectance of the visible light region (S186), it becomes possible to extract a crack that can be recognized with the naked eye.
そして、上記によって抽出された枝豆の割れの有無を判断する(S187)。その結果、対象となる枝豆に割れが無い場合には、規格内品としてその後の工程に搬送される(S189)。一方で、対象となる枝豆に割れが有る場合には、規格外品として判断され、排出手段により排出対象として特定される(S188)。 Then, it is determined whether or not the green soybeans extracted as described above are cracked (S187). As a result, when there is no crack in the target green soybean, it is conveyed to the subsequent process as an in-standard product (S189). On the other hand, when the target green soybean is cracked, it is determined as a non-standard product and specified as a discharge target by the discharge means (S188).
実施例1では、上記枝豆の割れ検査が、肉眼で認識できる有効手法であるか否かを検証した。
<使用機械>
本実施例では、枝豆のさやの4バンド画像を得る為、約1,470万画素のデジタルカメラ(CANON PowerShot G10)に、赤外線カットフィルタ(以下、『IRカットフィルタ』とも言う)を除去し、赤外線透過フィルター(以下、単に『IRフィルター』とも言う)を取り付けて赤外線画像(以下、単に『IR』画像とも言う)を取得した。なお、使用したIRフィルターはFUJIFILM製のIR-76,78,80,82,84,86,88,90,92,94であり、各々の透過率を図18のグラフに示す。なお、このIRフィルターは700nm以下の短波長側の可視光を吸収し、赤外を通過するフィルムである。In Example 1, it was verified whether the green soybean crack inspection is an effective method that can be recognized with the naked eye.
<Use machine>
In this example, in order to obtain a four-band image of the pods of green soybeans, an infrared cut filter (hereinafter also referred to as “IR cut filter”) is removed from the digital camera (CANON PowerShot G10) of about 14.7 million pixels, and the infrared ray is transmitted. An infrared image (hereinafter also simply referred to as “IR” image) was obtained by attaching a filter (hereinafter also simply referred to as “IR filter”). The IR filter used was IR-76, 78, 80, 82, 84, 86, 88, 90, 92, 94 manufactured by FUJIFILM, and the transmittance of each is shown in the graph of FIG. This IR filter is a film that absorbs visible light on the short wavelength side of 700 nm or less and transmits infrared light.
次に、無改造のデジタルカメラ(CANON PowerShot G10)でRGBの3バンド画像(以下、単に『RGB』画像とも言う)を取得した。この両画像は光軸がずれないように試料から高さ30cmの箇所に固定した条件で撮影した。 Next, an RGB three-band image (hereinafter also simply referred to as “RGB” image) was obtained with a non-modified digital camera (CANON PowerShot G10). Both images were taken under the condition that they were fixed at a location 30 cm high from the sample so that the optical axis was not shifted.
なお、撮影したIR画像とRGB画像の4バンド画像処理では、両カメラのレンズ光軸が3次元空間で厳密に平行となることが困難であるため、画面上で異なった形で結像し、カメラ視差によるピクセルのずれも生じる。その為、処理を行うには画像の変形補正とRGB画像とIR画像の合成処理(ピクセルマッチング)が必要不可欠になる。そこで、取得画像のピクセルマッチングを行い、NDVI(植生指数)の算出と可視化を行った。このNDVI(植生指数)の算出と可視化の処理は次の手順で行った。即ち、まず1)処理・合成するRGB・IR画像を読み込み、2)RGB・IR画像から測定区画を指定する。次に、3)画像を合成し、4)合成した画像の歪みを補正する。そして、5)植生指数を算出・可視化・グラフ化を行った。 In the 4-band image processing of captured IR images and RGB images, it is difficult for the lens optical axes of both cameras to be strictly parallel in a three-dimensional space, so images are formed in different forms on the screen. Pixel displacement due to camera parallax also occurs. Therefore, image deformation correction and RGB image and IR image synthesis processing (pixel matching) are indispensable for processing. Therefore, pixel matching of the acquired image was performed, and NDVI (vegetation index) was calculated and visualized. This NDVI (vegetation index) calculation and visualization process were performed as follows. That is, first, 1) read an RGB / IR image to be processed / synthesized, and 2) specify a measurement section from the RGB / IR image. Next, 3) the images are combined, and 4) the distortion of the combined image is corrected. 5) The vegetation index was calculated, visualized, and graphed.
<検証方法>
供試試料としては、枝豆(品種『秘伝』)を使用し、良品莢、肉眼で認識することのできる割れが有る莢、肉眼で認識することの難しい割れが有る莢、の3種類を用意した。本実験では、まず1)10cm四方の正方形を書いた白色画用紙の枠内に収まるように上記3種類の供試試料を置き(図10参照)、次に、2)ライトを設置し十分な光量を確保しつつ、IRフィルターを取り付けたデジタルカメラを三脚で固定し、撮影を行った。なお、枝豆莢からデジタルカメラまでの高さ、シャッタースピード、絞り(F値)は同条件で行った。そして、3)上記撮影をIRフィルター76〜94にてそれぞれ行い、4)得られた画像について、NDVI(植生指数)の算出と可視化の処理を行い、枝豆の割れ判別の可否を検証した。<Verification method>
As test samples, edamame (variety “secret”) was used, and three types were prepared: non-defective rice cakes, rice cakes with cracks that can be recognized with the naked eye, and rice cakes with cracks that are difficult to recognize with the naked eye. . In this experiment, 1) Place the above three types of specimens so that they fit within the frame of a white paper with a 10cm square drawn (see Fig. 10), and then 2) install a light and provide sufficient light. We secured a digital camera with an IR filter and secured it with a tripod. The height from the edamame bowl to the digital camera, shutter speed, and aperture (F value) were the same. Then, 3) the above photographing was performed with IR filters 76 to 94, and 4) NDVI (vegetation index) was calculated and visualized for the obtained images, and whether or not cracking of green soybeans could be determined was verified.
<結果と考察>
図20は本実験における撮影で得られた枝豆莢のIR画像及びRGB画像であり、図21は画像処理ソフトで得られたNDVI(植生指数)画像である。また、図22はNDVI(植生指数)を基にした2値化処理画像であり、図23ではRGB画像から赤色の値を減らしたものに、2値化処理したNDVI画像を被せた画像を示している。<Results and discussion>
FIG. 20 is an IR image and RGB image of green soybean meal obtained by photographing in this experiment, and FIG. 21 is an NDVI (vegetation index) image obtained by image processing software. FIG. 22 is a binarized image based on NDVI (vegetation index), and FIG. 23 shows an image obtained by covering the binarized NDVI image with the red value reduced from the RGB image. ing.
図21に示すように、撮影した画像を画像処理ソフトにかけたNDVI画像では、肉眼で認識することのできる割れは全ての画像で認識することができた。 As shown in FIG. 21, in the NDVI image obtained by applying the captured image to the image processing software, a crack that can be recognized with the naked eye can be recognized in all the images.
また、NDVI画像に対し2値化処理を施して肉眼で認識することのできない割れの認識の可否を検討した。その結果を図22に示す。2値化処理では、単なるNDVI画像よりも肉眼で認識することのできる割れの認識が容易になった。なお、ライトの光量による影響を軽減する為にも、IR-86以下のフィルターを使用するのが望ましく、IR-86以下のフィルターを使用する事で莢の割れの認識が容易になることが確認できた。 In addition, the binarization process was applied to the NDVI image, and the possibility of recognizing cracks that could not be recognized with the naked eye was examined. The result is shown in FIG. The binarization process makes it easier to recognize cracks that can be recognized with the naked eye than simple NDVI images. In order to reduce the effects of light intensity, it is desirable to use a filter of IR-86 or lower, and it has been confirmed that the use of a filter of IR-86 or lower makes it easier to recognize cracks. did it.
また、NDVI画像では、緑色部の赤色反射量が少なく、非緑色部での赤色反射量が多いという性質がある。この性質を利用して、RGB画像から赤色の値を大きく減らしたものに、2値化処理したNDVI画像を被せることで、非緑色である割れの認識の可否を検討したものを図23に示している。結果、肉眼で認識することのできる割れは黒点の発生が無く、NDVI画像を2値化処理したものよりも容易に確認することができた。 In addition, the NDVI image has the property that the green portion has a small amount of red reflection and the non-green portion has a large amount of red reflection. FIG. 23 shows the result of examining whether or not a non-green crack can be recognized by applying a binarized NDVI image to an RGB image obtained by greatly reducing the red value using this property. ing. As a result, cracks that could be recognized with the naked eye were free from black spots and could be confirmed more easily than those obtained by binarizing an NDVI image.
以上のことより、上記検証ではRGB画像から赤色の値を大きく減らしたものに、2値化処理したNDVI画像を被せる処理は、単なるNDVI画像、及びそれを2値化処理したものよりも、肉眼で認識できる割れの確認が容易であることが確認できた。即ち、上記処理によって枝豆を選別する事で、正確に且つ迅速に検査・選別する事が可能になる。 From the above, in the above verification, the process of applying the binarized NDVI image to the image obtained by greatly reducing the red value from the RGB image is more unaided than the simple NDVI image and the binarized image. It was confirmed that it was easy to confirm the cracks that could be recognized by. That is, by selecting green soybeans by the above process, it becomes possible to inspect and select accurately and quickly.
10 ホッパー部
20 第一搬送手段
21,31 撮影手段
22,32 搬送検出手段
23,33 排出手段
30 第二搬送手段
31 撮影手段
32 搬送検出手段
33 排出手段
40 枝豆選別システム
W 枝豆10 Hopper section
20 First transfer means
21, 31 Photography means
22, 32 Transport detection means
23, 33 Discharge means
30 Second transport means
31 Shooting means
32 Transport detection means
33 Discharge means
40 Edamame sorting system
W Edamame
Claims (12)
撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、
前記画像解析手段は、
撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、
計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査と
を実行することを特徴とする莢果選別システム。
A fruit sorting system for inspecting or sorting the fruits by analyzing an image obtained by photographing the fruits with a bowl,
An image acquisition means for acquiring an image taken by the imaging means; and an image analysis means for analyzing the image acquired by the image acquisition means,
The image analysis means includes
A size test that measures the length of each fruit and the width of each fruit based on the captured image;
A fruit sorting system that performs a grain number test for calculating the number of seeds contained in the straw based on the measured fruit length.
当該粒数の数だけ個々の莢果の画像を長さ方向に分割して、当該分割した夫々の領域において幅が最大となる位置を凸部として設定すると共に、当該凸部間において幅が凹部より狭く且つ最小となる位置を凹部として設定し、当該凸部と凹部の幅を算出する、請求項1に記載の莢果選別システム。
Grain number inspection in the image analysis means,
The image of each fruit is divided in the length direction by the number of the number of grains, and the position where the width is maximum in each of the divided areas is set as a convex portion, and the width between the convex portions is smaller than the concave portion. The fruit sorting system according to claim 1, wherein a narrow and minimum position is set as a concave portion, and the width of the convex portion and the concave portion is calculated.
The image analysis unit performs a labeling process on the captured image acquired from the imaging unit, creates an image for each result, performs angle correction on each image, and performs a long axis direction on the corrected image on which the angle correction has been performed. The fruit sorting system according to claim 1 or 2 which measures the length which becomes and the width which becomes the direction of a minor axis.
前記撮影手段から取得した撮影画像について、幅の変化量が所定の範囲である領域を検査領域として設定し、当該検査領域における任意の基準位置の幅を基準幅として取得すると共に、当該基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出した値を許容値と比較する欠け検査を行う、請求項1又は2に記載の莢果選別システム。
Furthermore, the image analysis means includes
For the captured image acquired from the imaging unit, an area whose width change amount is within a predetermined range is set as an inspection area, and the width of an arbitrary reference position in the inspection area is acquired as a reference width, and from the reference position 3. The fruit sorting system according to claim 1, wherein a defect inspection is performed in which a width at a position moved in a certain direction is acquired as a comparison width, and a missing inspection is performed in which a value obtained by calculating a difference between the reference width and the comparison width is compared with an allowable value.
前記撮影手段から取得した撮影画像について二値化処理を行い、
莢の長さ方向に設定した任意の複数地点において、幅方向において色が変わるエッジ部分の数を検出し、当該エッジ部分の数が3個以上の地点をヒゲ部存在箇所として特定すると共に、且つ当該ヒゲ部存在箇所の始点と終点から、当該ヒゲ部の長さを算出する、請求項1又は2に記載の莢果選別システム。
Furthermore, the image analysis means includes
Perform binarization processing on the captured image acquired from the imaging means,
Detecting the number of edge portions whose color changes in the width direction at any plurality of points set in the length direction of the eyelid, specifying a point where the number of edge portions is 3 or more as a beard portion existing location, and The fruit sorting system according to claim 1 or 2, wherein the length of the beard portion is calculated from the start point and the end point of the beard portion existing location.
赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像とを抽出又は取得し、
前記画像解析手段は、前記サイズ検査及び粒数検査と共に、又は当該サイズ検査及び粒数検査に変えて、以下の数式1によって植生指数を算出し、当該植生指数の値により莢果を検査又は選別することを特徴とする、請求項1又は2に記載の莢果選別システム。
R:赤色画像における赤色波長領域の反射率
IR:近赤外画像における近赤外波長領域の反射率]
The image acquisition means includes
Extract or acquire a red image consisting of reflected light in the red wavelength region and a near infrared image consisting of reflected light in the near infrared wavelength region,
The image analysis means calculates the vegetation index according to the following formula 1 together with the size inspection and the grain number inspection or instead of the size inspection and the grain number inspection, and inspects or sorts the fruit according to the value of the vegetation index. The fruit sorting system according to claim 1 or 2, characterized by things.
R: reflectance of red wavelength region in red image IR: reflectance of near infrared wavelength region in near infrared image]
Further, the image analysis unit performs binarization processing on each of the red image and the near infrared image acquired by the image acquisition unit, and uses the binarized red image and near infrared image to generate the vegetation. The fruit sorting system according to claim 6 which calculates an index.
前記画像解析手段は、当該区画した領域ごとに植生指数を算出し、前記莢果を撮影した領域全体について、領域ごとに算出した植生指数の平均値を算出し、莢果を検査又は選別する、請求項6に記載の莢果選別システム。
Each of the red image and the near-infrared image is divided into a plurality of regions,
The image analysis means calculates a vegetation index for each divided area, calculates an average value of the vegetation index calculated for each area for the entire area where the fruit is photographed, and examines or sorts the fruit. 6. The fruit sorting system according to 6.
前記画像解析手段は、当該可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算し、その値を前記植生指数の値に加算した値によって、当該莢果における割れの有無を検査・判断する、請求項6に記載の莢果選別システム。
The image acquisition means further acquires a visible light image composed of reflected light in a visible light region,
The image analysis means subtracts the reflectance of the red wavelength region in the red image from the reflectance of the visible light region in the visible light image, and adds the value to the value of the vegetation index to determine the crack in the fruit. The fruit sorting system according to claim 6, wherein the presence or absence of the fruit is inspected and determined.
当該搬送手段で搬送される検査対象物を撮影する撮影手段と、
当該撮影手段が撮影した画像を取得すると共に、当該画像を解析する莢果選別手段とを具備しており、
当該莢果選別手段として、請求項1、2、又は6に記載の莢果選別システムが使用されている、莢果選別装置。
A transport means for transporting the inspection object;
Photographing means for photographing the inspection object conveyed by the conveying means;
The image capturing means acquires an image captured by the image capturing means, and has a fruit sorting means for analyzing the image,
A fruit sorting apparatus in which the fruit sorting system according to claim 1, 2, or 6 is used as the fruit sorting means.
前記莢果選別手段における画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定しており、
前記排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付ける、請求項6に記載の莢果選別装置。
Furthermore, it comprises a discharge means for blowing air to the inspection object designated by the fruit sorting means among the inspection objects conveyed by the conveying means, and blowing the inspection object with air,
The image analysis means in the fruit sorting means specifies the length and width center from the result of size inspection that measures the length of each fruit and the width of each fruit from the captured image,
The fruit sorting apparatus according to claim 6, wherein the discharging means blows air toward the center of the length and width of the inspection object designated by the fruit sorting means.
撮影手段が撮影した莢果の反射画像を取得し、取得した画像を解析することにより選別する処理を実行し、
前記取得する莢果の反射画像として、赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像とを抽出又は取得し、
前記以下の数式1によって植生指数を算出し、当該植生指数の値により莢果を検査又は選別することを特徴とする、莢果選別方法。
R:赤色画像における赤色波長領域の反射率
IR:近赤外画像における近赤外波長領域の反射率]A fruit sorting method for inspecting or sorting the fruit by analyzing an image obtained by photographing the fruit with a bowl,
A reflection image of the fruit taken by the photographing means is acquired, and a process of selecting by analyzing the acquired image is executed,
Extracting or obtaining a red image composed of reflected light in the red wavelength region and a near infrared image composed of reflected light in the near infrared wavelength region as the reflected image of the fruit to be obtained,
A fruit selection method, wherein a vegetation index is calculated by the following mathematical formula 1, and the fruit is examined or selected based on the value of the vegetation index.
R: reflectance of red wavelength region in red image IR: reflectance of near infrared wavelength region in near infrared image]
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015031088 | 2015-02-19 | ||
JP2015031088 | 2015-02-19 | ||
JP2015066102 | 2015-03-27 | ||
JP2015066102 | 2015-03-27 | ||
PCT/JP2016/054762 WO2016133175A1 (en) | 2015-02-19 | 2016-02-18 | Legume sorting system, legume sorting device, and legume sorting method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016133175A1 true JPWO2016133175A1 (en) | 2018-01-25 |
JP6590907B2 JP6590907B2 (en) | 2019-10-16 |
Family
ID=56692534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017500739A Active JP6590907B2 (en) | 2015-02-19 | 2016-02-18 | Fruit sorting system, fruit sorting device, and fruit sorting method |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6590907B2 (en) |
TW (1) | TWI632360B (en) |
WO (1) | WO2016133175A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11724287B2 (en) | 2018-06-11 | 2023-08-15 | Monsanto Technology Llc | Seed sorting |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018175555A1 (en) * | 2017-03-21 | 2018-09-27 | Monsanto Technology Llc | Seed sorting |
CN107350176A (en) * | 2017-07-18 | 2017-11-17 | 商洛学院 | A kind of corn seed quality detection device |
JP6621215B2 (en) * | 2017-12-19 | 2019-12-18 | 株式会社茶野電機工業 | Green soybean sorting machine |
TWI646325B (en) * | 2018-03-12 | 2019-01-01 | 朝陽科技大學 | Pill automatic optical detection device and detection method |
US11673166B2 (en) * | 2018-03-14 | 2023-06-13 | Monsanto Technology Llc | Seed imaging |
TWI662481B (en) * | 2018-06-15 | 2019-06-11 | China University Of Science And Technology | Automatic measurement system for optical image processing of rice water content |
JP2020151613A (en) * | 2019-03-18 | 2020-09-24 | ヤンマーパワーテクノロジー株式会社 | Crop sorting apparatus |
JP2021043149A (en) * | 2019-09-13 | 2021-03-18 | 日世株式会社 | Detection system and detection method |
JP7354869B2 (en) * | 2020-02-17 | 2023-10-03 | 東芝ライテック株式会社 | Cap inspection device and capsule inspection method |
IT202000015469A1 (en) * | 2020-06-26 | 2021-12-26 | Metacortex Srl | SYSTEM AND METHOD FOR MEASURING THE PHYSICAL CHARACTERISTICS OF PELLETS AND DEVICE PROVIDED IN THE SYSTEM |
KR102598333B1 (en) * | 2021-03-25 | 2023-11-06 | 재단법인대구경북과학기술원 | System for inspecting double-sided of inspection object using a plurality of conveyors and method thereof |
CN117607143B (en) * | 2023-10-16 | 2024-06-25 | 江苏跃畅新能源科技有限公司 | Device and method for detecting separation efficiency of solid broken mixed materials |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06347239A (en) * | 1993-06-04 | 1994-12-20 | Fuji Facom Corp | Visual inspection method |
JP2000185263A (en) * | 1998-12-21 | 2000-07-04 | Satake Eng Co Ltd | Particle sorting method by color and sorter |
JP2005083775A (en) * | 2003-09-05 | 2005-03-31 | Seirei Ind Co Ltd | Grain classifier |
JP2008020347A (en) * | 2006-07-13 | 2008-01-31 | Akita Prefecture | Legume discrimination structure |
JP2009189936A (en) * | 2008-02-13 | 2009-08-27 | Akita Prefecture | Beans-bearing pod discriminating structure |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0647239A (en) * | 1992-07-31 | 1994-02-22 | Matsushita Electric Ind Co Ltd | Humidifying and dehumidifying machine |
JP2002062113A (en) * | 2000-08-17 | 2002-02-28 | Ishii Ind Co Ltd | Method and device for measuring object to be detected |
JP2012103092A (en) * | 2010-11-10 | 2012-05-31 | Seiko Epson Corp | Reading device |
JP2013094764A (en) * | 2011-11-04 | 2013-05-20 | Yamamoto Co Ltd | Pod sorting apparatus |
JP6024949B2 (en) * | 2012-06-27 | 2016-11-16 | 株式会社サタケ | Grain appearance measuring device |
CN103344575B (en) * | 2013-07-01 | 2015-11-25 | 江南大学 | Based on the many quality damage-free detection methods of dry green soy bean of hyper-spectral image technique |
-
2016
- 2016-02-18 TW TW105104823A patent/TWI632360B/en active
- 2016-02-18 JP JP2017500739A patent/JP6590907B2/en active Active
- 2016-02-18 WO PCT/JP2016/054762 patent/WO2016133175A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06347239A (en) * | 1993-06-04 | 1994-12-20 | Fuji Facom Corp | Visual inspection method |
JP2000185263A (en) * | 1998-12-21 | 2000-07-04 | Satake Eng Co Ltd | Particle sorting method by color and sorter |
JP2005083775A (en) * | 2003-09-05 | 2005-03-31 | Seirei Ind Co Ltd | Grain classifier |
JP2008020347A (en) * | 2006-07-13 | 2008-01-31 | Akita Prefecture | Legume discrimination structure |
JP2009189936A (en) * | 2008-02-13 | 2009-08-27 | Akita Prefecture | Beans-bearing pod discriminating structure |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11724287B2 (en) | 2018-06-11 | 2023-08-15 | Monsanto Technology Llc | Seed sorting |
Also Published As
Publication number | Publication date |
---|---|
TW201636596A (en) | 2016-10-16 |
WO2016133175A1 (en) | 2016-08-25 |
TWI632360B (en) | 2018-08-11 |
JP6590907B2 (en) | 2019-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6590907B2 (en) | Fruit sorting system, fruit sorting device, and fruit sorting method | |
Blasco et al. | Machine vision system for automatic quality grading of fruit | |
US11673166B2 (en) | Seed imaging | |
EP3801934B1 (en) | Process and system for in-line inspection of product stream for detection of foreign objects | |
US20030072484A1 (en) | Method and apparatus for identifying and quantifying characteristics of seeds and other small objects | |
EP2923305A2 (en) | Method for scoring and controlling quality of food products in a dynamic production line | |
JP4590553B2 (en) | Nondestructive judgment method for ginger damaged grains | |
US10902575B2 (en) | Automated grains inspection | |
Syazwan et al. | Categorization of watermelon maturity level based on rind features | |
JP3614980B2 (en) | Agricultural product appearance inspection method and apparatus | |
JP6805506B2 (en) | Granular appearance grade determination device | |
AU2021212087B2 (en) | Apparatus and System for Assessing Paddy Rice Grains | |
Puchalski et al. | Image analysis for apple defect detection | |
JP2003251282A (en) | System for measuring and deciding grade and class of strawberry | |
Fu et al. | Distinguishing overripe berries of Japanese blue honeysuckle using hyperspectral imaging analysis | |
Ola et al. | Software application in machine vision investigation of agricultural seeds quality | |
Visen | Machine vision based grain handling system | |
JP6948032B2 (en) | Image analyzer and inspection system | |
JP2022129666A (en) | Legume selection system and legume selection device | |
JP2022129668A (en) | Legume selection system and legume selection device | |
JP2022129667A (en) | Legume selection system and legume selection device | |
JP2024102773A (en) | Pod and fruit sorting system and pod and fruit sorting device using the same | |
Moltó et al. | Machine vision for non destructive evaluation of fruit quality | |
Throop et al. | Multispectral inspection station detects defects on apples | |
WO2017145824A1 (en) | Granular material appearance quality determining device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20170821 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20171024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190917 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6590907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |