WO2016133175A1 - 莢果選別システム、莢果選別装置及び莢果選別方法 - Google Patents
莢果選別システム、莢果選別装置及び莢果選別方法 Download PDFInfo
- Publication number
- WO2016133175A1 WO2016133175A1 PCT/JP2016/054762 JP2016054762W WO2016133175A1 WO 2016133175 A1 WO2016133175 A1 WO 2016133175A1 JP 2016054762 W JP2016054762 W JP 2016054762W WO 2016133175 A1 WO2016133175 A1 WO 2016133175A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- fruit
- width
- inspection
- sorting
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
- B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/85—Investigating moving fluids or granular solids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Definitions
- the present invention relates to a system and a system for selecting fruits and pods for selecting fruits such as edamame, in particular, fruits with sticks, and a system for selecting fruits according to appearance and / or vegetation index.
- the present invention relates to a fruit sorting apparatus.
- the fruit is a fruit found in many legumes, and includes green beans, peas, leeks, soybeans, Japanese apricots, lupines, clover, oats and others. These fruits are often harvested in a mulled state, and in the case of edamame from which immature soybeans are harvested, they are often provided to a table in a mulled state.
- patent document 1 Japanese Patent Application Laid-Open No. 2008-62116
- the apparatus in order to use the transmitted light to sort the fruit based on the grade of the fruit, the apparatus is provided with transmitted light imaging means for imaging the fruit by the transmitted light transmitted through the fruit.
- transmitted light imaging means for imaging the fruit by the transmitted light transmitted through the fruit.
- patent document 2 Unexamined-Japanese-Patent No. 2005-279524
- the planar view V-shaped two surfaces were joined at an angle of 120 degrees.
- We propose a method of fine-sorting green soybean meal by dropping green soybean meal vertically with its longitudinal direction on the center plane of the mirror connection to obtain an entire image of green soybean meal.
- Patent Document 3 Japanese Patent Laid-Open No. 2006-250827 proposes a growth condition analysis method of a crop in which the protein content of rice is estimated by spectral images using remote sensing to diagnose taste.
- patent document 4 Unexamined-Japanese-Patent No. 2013-231645
- An evaluation method for plucking aptitude of tea leaves has been proposed which calculates an index and evaluates the plucking aptitude of tea leaves using this.
- JP 2008-62116 A JP 2005-279524 A JP, 2006-250827, A JP, 2013-231645, A
- the first object of the present invention is to provide a fruit sorting system and a fruit sorting apparatus capable of inspecting
- the second object of the present invention is to provide a fruit sorting system and a fruit sorting apparatus with reduced and improved inspection processing speed.
- cameras used for screening and inspection of fruit are for photographing visible light, and only the appearance of the fruit and the like are inspected only by visible light images. Since the inspection of the surface image obtained by photographing such visible light is judged solely by the change of the spectrum and color in the planar image, there is still room for improvement in accuracy. In particular, in the case of inspecting a flaw of an effect, in a simple visible light image, the difference between the color of the flaw and the surrounding color is hard to appear clearly, so that it is difficult to perform accurate inspection and sorting.
- a third object is to provide an apparatus and a method for selecting an effect.
- the degree of growth of the fruit which is a plant, changes depending on the growth conditions, harvest time, and the like.
- the degree of dryness (water content) of the fruit also varies depending on the passage of time and storage conditions after harvest.
- the present invention relates to a grape sorting system and a grape sorting system capable of examining or sorting at least any of the activity, moisture content, nitrogen content, fiber content, and protein content of the fruit using the vegetation index.
- the fourth problem is to provide an apparatus and a method for selecting an effect.
- the present invention by analyzing the acquired photographed image, the number of seeds in the pot can also be determined, and furthermore, based on the photographed image, the presence or absence of a chip or a beard can be judged.
- the present invention provides a fruit sorting system and a fruit sorting apparatus.
- an effect sorting system for inspecting or sorting the effect by analyzing an image obtained by capturing an image with a blemish, and an image acquisition unit for acquiring an image captured by the imaging unit;
- Image analysis means for analyzing the image acquired by the image acquisition means, the image analysis means measuring the length of each individual fruit and the width of each individual fruit based on the photographed image, and measuring
- a grain sorting system is provided which performs a grain number check to calculate the number of seeds contained in the pod based on the length of the pod.
- the present invention is a fruit sorting system for examining or sorting out the fruit by analyzing an image obtained by photographing the fruit with a wrinkle
- the image acquisition means for acquiring the reflected image of the taken effect and the image analysis means for analyzing the image acquired by the image acquisition means are provided, and the image acquisition means is a red image composed of reflected light in a red wavelength region And a near-infrared image consisting of reflected light in the near-infrared wavelength range
- the image analysis means calculates a vegetation index according to the following equation 1, and inspects or sorts fruits according to the value of the vegetation index
- an effect sorting system characterized by: [In the formula, R: reflectance of red wavelength region in red image IR: reflectance of near infrared wavelength region in near infrared image]
- Such an effect sorting system can be formed using a computer.
- computer software can be embodied as a computer whose processing content and procedure are controlled.
- the image analysis means can be configured by a CPU or a memory that performs processing by executing computer software.
- the image analysis means executes a "size check" for obtaining information on the length and width of each individual effect from the obtained photographed image.
- the information on the length and the width can be acquired as the number of dots (or the number of pixels) based on the pixels in the acquired captured image, or can be acquired as the actual length and width of the inspection object.
- the length specified on the captured image is multiplied by a constant enlargement or scale constant.
- the number of seeds contained in the pod is calculated.
- the setting of the number of seeds can be set based on information that defines the number of seeds in association with the length of the fruit. For example, a length / number table in which the length of the fruit and the number of seeds are associated is prepared in advance, and the length of the fruit read by image analysis is searched as a search value, and the number of seeds corresponding to the length Can be calculated and extracted.
- the program can also be designed to output a constant value (the number of seeds) according to the length of the obtained fruit. That is, in the present invention, by measuring the length of the bale and using this value, it is possible to calculate the approximate number of seeds contained in the brow without photographing the transmitted light.
- the width of the pods that changes depending on the presence of the seeds. That is, in the grain number inspection in the image analysis means, the image of each fruit is divided in the length direction by the number of the grain number. Then, in each of the divided regions, the position where the width is maximum is set as a convex portion, and the position where the width is narrower than the concave portion between the convex portions is set as a concave portion. And it can comprise so that the width
- the image analysis means is housed in the eyelid based on the length of each fruit from the photographed image, the size inspection for measuring the width of each fruit, and the length of the fruit measured.
- the number of seeds being set is set, and the number of protrusions in the width direction is set based on the length of the fruit and / or the number of seeds, and the width of each set protrusion and the protrusions
- the grain sorting system performs grain size inspection to obtain the width of the recess which is the minimum width between them.
- the length and / or number of seeds of the fruit are calculated, and thereafter, the number of protrusions in the width direction according to the length and / or number of seeds of the fruit is set .
- the value set based on the length of the bale and / or the number of seeds is the number of protrusions, and the position of the protrusions is not specified.
- the position of the said convex part scans the width
- the number of convex portions in the width direction is set to two, and two places in the order of wide width are set as convex portions, and the widths thereof are set.
- the number of seeds in the weir is set to three
- the number of convex portions in the width direction is set to three, and three places in the order of wide width are set as convex portions, and each convex is set. Get the width in the department.
- the position where the width of the ridge is the minimum value is extracted between the convex portions, the position of the minimum width is set as a recess, and the width is acquired. That is, in the area where seeds are present in the pot, the convex portion can be set because the outline is expanded. And since a crevice exists between seeds, it can confirm that a seed exists in a convex part by confirming existence of a crevice.
- the number of convex portions is calculated as two or more in the grain number inspection, it is desirable to confirm the amount of change in width between the convex portions.
- the number of grains is specified only by the length of the brow, even if the same brow length is one or two depending on the size of the seeds present in it, it may be considered. is there. Therefore, it is desirable to confirm that the change in width between the convex portions has changed so that one valley portion (concave portion) appears.
- the effect of one such seed can first be identified by the total length of the bale. That is, an effect shorter than the reference length can be assumed to be only one seed.
- the effect of one such seed can first be identified by the total length of the bale. That is, an effect shorter than the reference length can be assumed to be only one seed.
- the width is read from the photographed image, and the convex portions and the concave portions are extracted and confirmed to calculate the actual number of grains. That is, when the length is equal to or greater than the reference value and the number of grains is set to two, the effect is divided into two regions in the length direction, and the widest protrusion is extracted in each region.
- the projections should be present in two places, and there should be recesses between the projections.
- the seed in the weir is one grain, even if convex portions are set in two places, there is no narrower width between the convex portions than in both convex portions, and therefore There will be no recess. Therefore, it is possible to determine whether it is one grain or not by checking whether or not there is a recess between the convexes with regard to the fruit of a length that allows one seed in the cocoon to become one grain.
- the treatment in which the seeds in the pods identify the fruit of one grain is particularly effective in selecting green soybeans.
- the selection of edamame it is possible to increase the commercial value by identifying the seeds of one seed and selecting the seeds from the fact that the number of seeds in the straw also affects the commercial value.
- the number of seeds contained in the crucible can be accurately grasped only by analyzing the photographed image obtained from the photographing means without the need to photograph the transmitted light. I can do things.
- the image analysis unit When analyzing a captured image as described above, it is desirable that the effects included in a plurality of captured images are extracted for each of the effects. Therefore, it is desirable that the image analysis unit perform a labeling process on the photographed image acquired from the photographing unit and create an image for each result. Furthermore, it is desirable to perform angle correction on each image and measure the length in the major axis direction and the width in the minor axis direction for the corrected image after the angle correction.
- the labeling process it is possible to specify the contour shape of the fruit, and by performing the angle correction, the length and width of the fruit can be measured more accurately.
- the image analysis means check whether or not the result which is the inspection object is missing. That is, the image analysis means sets, as an examination area, an area in which the amount of change in width is within a predetermined range for the photographed image acquired from the photographing means, and the width of an arbitrary reference position in the examination area is used as a reference width. It is desirable to obtain a width at a position moved in a fixed direction from the reference position as a comparison width, and perform a chipping inspection to compare a value obtained by calculating the difference between the reference width and the comparison width with an allowable value.
- an area in which the amount of change in width is within the predetermined range is an inspection area, it is possible to remove an area where noise is likely to occur (that is, an area that is easily recognized) such as an end in the length direction. Analysis speed can be improved. Then, within this inspection area, the width of the reference position arbitrarily determined is acquired as the reference width, the width at the position moved in the fixed direction from the reference position is acquired as the comparison width, and the difference between the reference width and the comparison width
- the amount of change in width can be calculated by calculating And the presence or absence of a chip can be inspected by comparing this variation of the width with a preset allowable value. That is, in the part where the chipping occurs, the width of the effect changes rapidly, so that it is possible to judge that the chipping occurs as to the effect having a large amount of change.
- the reference position for acquiring the reference width in the inspection area may be any position, but, for example, any one of the convex portion and the concave portion may be used as the reference value.
- the width at the position moved in the fixed direction from the reference position is such that the width gradually decreases until reaching the concave portion.
- the concave portion is used as the reference position, the width at the position moved in the fixed direction from the reference position is such that the width gradually increases until the convex portion is reached. Therefore, it is possible to inspect the presence or absence of the occurrence of chipping more quickly and accurately by judging the increase or decrease of the change amount of the comparison width by utilizing the feature in the shape of such a herb.
- the image analysis means conduct a beard portion inspection to check the presence or absence of a beard portion elongated from a weir. That is, the image analysis unit further performs binarization processing on the photographed image acquired from the photographing unit, and the number of edge portions whose color changes in the width direction is set at a plurality of arbitrary points set in the length direction of the eyelid. It is desirable to detect and specify a point where the number of the edge parts is three or more as the beard part existence point, and further, the length of the beard part is calculated from the start point and the end point of the beard part existence point. It is desirable to do.
- the outline of the effect in the captured image becomes clear, and it becomes easy to distinguish between the background portion and the effect portion.
- it since it becomes easy to recognize the area of the fruit portion, it is possible to improve the processing speed, and it is also possible to accurately recognize the image, and it is possible to enhance the inspection accuracy.
- the object to be inspected in this beard inspection is a streak or the like jumping out from the edge of the eyelid in a line, which is read out by image recognition and sorted according to the length. Specifically, in the image created for each effect, the determination is made based on the number of edges that are outline portions in the width direction. That is, the intersection point of the line extending in the width direction and the contour portion is taken as an edge over the length direction of the fruit, and if this number of edges is two, it is acquired by the contour of the eyebrow and exceeds 2 If it is present, it can be determined that there is a portion (i.e., a beard portion) protruding from the outline of the eyebrow. Then, by performing this process over the entire length direction of the ridge, the length of the region from the portion where the number of edges exceeds 2 to the portion where the number of edges is two is It can be calculated as the length of the beard.
- the beard portion may not be photographed depending on the light intensity, and the reflected light can be used to inspect the presence or absence of the beard portion from the photographed image. It was realized because I was shooting.
- the vegetation index (in particular, the normalized difference vegetation index) is an index for determining the vegetation status and activity of a plant by reflected light on the plant surface. That is, chlorophyll contained in many plants has a reflectance of less than 20% in the red visible light region of 0.5 to 0.7 ⁇ m, whereas it has a reflectance of 60% in the near infrared region of 0.7 to 1.3 ⁇ m Over. Therefore, the light absorption and reflection in this specific wavelength range is used to calculate the numerical value normalized between -1 and +1 in order to determine the vegetation state and activity of the plant.
- chlorophyll is unstable to heat and acidic environment, and photodegradability by light is observed, and in particular, resolution by ultraviolet light is remarkable. Therefore, the amount of chlorophyll present can be estimated by calculating the above-mentioned vegetation index. In this way, it is possible to determine the degree of activity and the elapsed time after harvest (that is, the freshness).
- the vegetation index there is a correlation between the vegetation index and the nitrogen content, fiber content, and protein content of plants. For example, there is a correlation between plant activity and protein content in two wavelength ranges, red wavelength and near infrared wavelength. More specifically, there is a high positive correlation between the content of chlorophyll contained in plants and the protein content. Therefore, by calculating the vegetation index to estimate the chlorophyll content, the protein content can be estimated, and the taste of the target fruit can be estimated and sorted.
- the vegetation index is calculated from the optical data of the red light region and the near infrared light region, and the nitrogen content and fiber amount are estimated by the vegetation index, and the growing condition or nutritional condition of the target fruit It can be estimated, and it is possible to sort out.
- the reflectance of the red wavelength region in the red image and the reflectance of the near infrared wavelength region in the near infrared image are obtained as the intensity or digital value of the reflection luminance and reflection spectrum measured by an image sensor in a digital camera or the like. It is possible to determine vegetation parameters such as vegetation activity, vegetation cover rate, leaf area index (LAI) by using the vegetation index calculated using these.
- vegetation parameters such as vegetation activity, vegetation cover rate, leaf area index (LAI) by using the vegetation index calculated using these.
- the red image consisting of the reflected light in the red wavelength region and the near infrared image consisting of the reflected light in the near infrared wavelength region extract the spectrum of each wavelength region from the reflection image of the effect taken by the photographing means Can be obtained.
- a color filter may be installed in the photographing means, and a reflected image in the above-mentioned wavelength range may be photographed and used. Therefore, for example, two types of lens filters for blocking visible light and blocking infrared light can be installed in a normal commercial digital camera to capture images of visible red and near infrared light.
- the image analysis means performs a binarization process on each of the red image and the near infrared image acquired by the image acquisition means, and uses the binarized red image and the near infrared image to perform the vegetation. It is desirable to calculate the index.
- binarizing the image it is possible to convert an image with gradation according to a predetermined threshold value into two gradations of white and black, and to facilitate extraction of a detection target from the image. That is, since the detection target can be easily extracted by performing the binarization processing, the processing becomes easy even when the vegetation index is calculated thereafter, and the processing (or execution) can be performed at high speed. Become.
- the red image and the near-infrared image are respectively divided into a plurality of areas, and the image analysis means calculates a vegetation index for each of the divided areas, and the whole area obtained by photographing the effect It is desirable to calculate the average value of the Vegetation Index calculated in It is desirable that the area to be divided is in the area where the effect is shown in the image taken by the photographing means, and therefore the area where the effect is shown is extracted.
- the image analysis means calculates a vegetation index for each of the divided areas, and the whole area obtained by photographing the effect It is desirable to calculate the average value of the Vegetation Index calculated in It is desirable that the area to be divided is in the area where the effect is shown in the image taken by the photographing means, and therefore the area where the effect is shown is extracted.
- labeling processing is performed on the acquired captured image to specify the contour shape of the effect, and It is desirable to create an image for each effect.
- the vegetation index for each of the divided areas it is possible to inspect and judge defects such as black spots, discoloration, or cracks for each of the captured effects. That is, since the divided area is calculated as a normalized value between -1 and +1, the degree of the defect can be recognized. For example, the size of black spots, the range of discoloration, or the presence or absence of cracks can be recognized. Therefore, it is not necessary to discard all effects recognized as defects by calculating the vegetation index for each of the divided areas, and use the produced effects without waste, for example, by changing the shipping destination according to the degree of defects. It will be possible to
- the average value of the vegetation index calculated for each region it is possible to determine the degree of activity of the fruit to be inspected and determined, the elapsed time after harvest (that is, the freshness), and the like. That is, by taking the average value of the vegetation index for each of the divided areas, one or more effects are recognized as one group in the entire photographed area, and the vegetation index of that one group is calculated. Calculate the average value of the vegetation index calculated for each area.
- the average value of the Vegetation Index calculated for each region it can be recognized as the Vegetation Index of the group concerned, and the activity, moisture content, nitrogen content, fiber content, and protein content of the fruit within the group At least one of the evaluation items can be inspected and judged. Therefore, it becomes possible to select the target fruit according to freshness, taste, nutritional condition, etc.
- a visible light image (hereinafter, also referred to as an "RGB image") composed of reflected light in the visible light region in order to further facilitate inspection and judgment of the presence or absence of cracks in the effect. That is, a visible light image consisting of reflected light in the visible light region is also acquired by the image acquisition means.
- the image analysis means uses a value obtained by subtracting the reflectance of the red wavelength region in the red image from the reflectance of the visible light region in the visible light image and adding the value to the value of the vegetation index.
- an image is constituted by only two colors of green and white, and a portion where the crack occurs can be displayed in white, which makes it easy to judge visually as well.
- the amount of red reflection in the green part of the green soybean is small, and the amount of red reflection in the non-green part is large. That is, since the location of the crack of edamame and the portion other than edamame are shown in red, it is difficult to judge the crack.
- the red reflection amount is reduced by subtracting the reflectance of the red wavelength region in the red image from the reflectance of the visible light region in the visible light image, and the vegetation index value (especially binarized processing) is reduced to that value.
- the vegetation index value especially binarized processing
- judgment of a crack after dividing into an area
- the present invention can be set as the fruit-sorting apparatus which can classify
- the present invention is equipped with a fruit sorting means for analyzing the image, and a fruit sorting apparatus using the fruit sorting system according to the present invention is provided as the fruit sorting means.
- the effect to be inspected is continuously transported by the transport means, photographed by the imaging means, and analyzed by the effect sorting system according to the present invention. Can be found out and eliminated if necessary.
- air is further blown to the inspection target designated by the fruit sorting unit among the inspection targets transported by the transport unit, and the inspection target is blown away with the air.
- discharge means the image analysis means in the fruit selecting means can specify the center of the length and the width from the length of the individual fruit and the result of the size inspection for measuring the width of the individual fruit from the photographed image. Therefore, it is desirable that the discharge means be configured to blow air toward the center of the length and width of the inspection object designated by the fruit sorting means.
- the discharge means By providing the discharge means, it is possible to discharge the effect judged as out of specification by the result sorting system from the transfer line, and it is possible to sort out only the effect according to the specification.
- the image analysis means constituting this fruit sorting system can identify the center of the length and the width from the length of each fruit from the photographed image and the result of the size inspection for measuring the width of each fruit, Therefore, the discharge means can blow air toward the center of the length and width of the inspection object designated by the fruit sorting means. In this way, air can be blown to the center of the off-specification effect, whereby the off-specification effect can be reliably extracted. In this way, even when a large amount of sorting is required, it is possible to inspect and sort the harvested fruits accurately and reliably.
- the edamame sorting system of the present invention it is possible to inspect the accommodation state (especially the number and size of grains) of the seeds in the crucible based on the image obtained by photographing the reflected light of the light irradiated to the canal. It eliminates the need for light photography. Further, even in the case of storing a captured image for quality control, the storage area of the image can be significantly reduced because it is sufficient to save the image obtained by capturing the reflected light. And in the inspection, because it is sufficient to analyze one kind of image which photographed reflected light, the harvest time is limited to a fixed period, and a large amount of effects must be inspected and sorted within a short period. Even if there are any, post-harvest inspection and sorting can be done quickly and in large quantities.
- the vegetation index is calculated based on the reflection image of the effect taken by the photographing means, that is, the red image consisting of the reflected light in the red wavelength region and the near infrared image consisting of the reflected light in the near infrared wavelength region
- the inspection and selection of the appearance can be carried out more accurately, and in particular, scratches and the like can be inspected and selected similarly to visual inspection.
- the Vegetation Index not only the appearance (in particular, cracking) of the cane, but also the activity, moisture content, nitrogen content, fiber content, and / or protein content of the fruit can be examined or selected. You can do it. Therefore, since it is possible to finely recognize the passage of time after harvest, the degree of dryness (moisture content) of the fruit, etc., it is possible to make quality control more thorough.
- the fruit sorting apparatus using the fruit picking system according to the present invention, it becomes possible to carry out inspection and sorting of harvested fruits quickly and in large quantities. That is, in the present invention, by using the reflected light image and calculating the vegetation index, the accommodation state (especially the number and size of grains) of the seeds in the weir, the presence or absence of weirs and baldness, the activity of the fruit and so on Water content, nitrogen content, fiber content, and protein content can be examined. This eliminates the need for post-harvest inspection and sorting in several stages.
- the harvest time is limited to a certain period, and even if it is necessary to inspect and sort a large amount of fruit within a short period, the post-harvest It will be possible to carry out inspection and sorting quickly and in large quantities.
- FIG. 1 The whole block diagram which shows the soybeans sorting apparatus comprised using the soybeans sorting system concerning this Embodiment.
- Block diagram showing hardware configuration Flow chart showing contents of basic processing Processing content chart showing the contents of basic processing Flow chart showing the contents of processing to carry out grain number inspection Processing content chart for grain number inspection Flow chart showing contents of processing of single grain inspection Flow chart showing processing contents in chipping inspection Processing content chart for chipping inspection Flow chart showing processing contents in beard inspection Processing contents figure to do beard inspection Flow chart showing contents of vegetation index calculation processing Processing content chart showing contents of vegetation index calculation processing Flow chart showing the processing contents to perform the black point, color change, crack inspection Front view showing an aspect of specifying a sheath area / black point area in a black point / discoloring / breaking test Flow chart showing contents of processing of activity level inspection Flow chart showing contents of processing of crack inspection according to the second embodiment Graph showing transmittance of IR filter used in Example 1 The perspective view which shows three types of test samples used in Example 1 IR image and RGB image of
- FIG. 1 shows the entire configuration of a fruit sorting apparatus (hereinafter referred to as “green bean sorting apparatus”) configured using a fruit sorting system according to the present embodiment (hereinafter referred to as “green bean sorting system 40”) FIG.
- the green soybean sorting apparatus contains a hopper unit 10 for continuously feeding green soybeans W to be sorted, and continuously feeding the green soybeans W to the sorting line, and a first conveying means 20 for carrying the green soybeans W fed from the hopper unit 10;
- the second transport means 30 which reverses and transports the green soybeans W transported by the first transport means 20, the imaging means 21 and 31 provided in each of the transport means, and the images taken by the imaging means 21 and 31 are analyzed Edamame sorting system 40, transport detection means 22 and 32 provided in each transport means to detect the transport speed or transport amount, and discharge means 23 and 33 provided in the falling portion of the ground soybean W at the end side of each transport means And consists of.
- the hopper unit 10 is provided with a space for accommodating green soybeans W (carp) to be sorted.
- a discharge structure is provided for supplying the green soybeans W accommodated inside the hopper unit 10 to the conveying means consisting of the first conveying means 20 and the second conveying means 30.
- This discharge structure is a belt conveyor or the like provided on the bottom surface of the hopper unit 10, and moves the green soybeans W accommodated in the hopper unit 10 forward.
- the hopper unit 10 may have another configuration as long as it can feed the green soybeans W accommodated therein to the transport means for performing the inspection.
- the green soybeans W discharged from the hopper unit 10 are supplied to the conveying means consisting of the first conveying means 20 and the second conveying means 30. At that time, it is also possible to provide a vibrating means (not shown) for transporting the green soybeans W discharged from the hopper while vibrating the green soybeans W discharged from the hopper so that the green soybeans W dropped from the hopper unit 10 do not overlap with each other. desirable.
- the first conveying means 20 and the second conveying means 30 can be formed respectively by a belt conveyor or the like.
- the green soybeans W supplied from the hopper unit 10 are first conveyed by the first conveying means 20.
- the first transport means 20 can desirably include an alignment unit for aligning the direction of the green soybeans W to be transported in a fixed direction.
- the alignment portion can be formed, for example, by arranging an alignment plate or a wire (not shown) long in the transport direction of the green soybeans W at a predetermined interval. By hitting the alignment plate, the green soybeans W being conveyed are corrected in direction so as to be vertically oriented in the conveyance direction.
- a photographing means 21 for photographing the green soybeans W conveyed by the first conveying means 20 is provided above the first conveying means 20, a photographing means 21 for photographing the green soybeans W conveyed by the first conveying means 20 is provided.
- a camera or a video camera can be used as the photographing means 21. It is desirable that the imaging unit 21 capture the captured image as electronic data so that the transported green soybean W can be captured as a still image or a moving image, and the captured image can be directly taken into the green soybean sorting system 40 and analyzed. And it is also desirable to provide illumination which illuminates the green soybeans W present in the photographing range of the photographing means 21 in a stable manner. This is to stabilize the brightness of the photographed image by making the brightness of the light illuminating the green soybeans W constant.
- the image photographed by the photographing means 21 is sent to an soybean sorting system 40 constituted by a computer or the like.
- the green soybean sorting system 40 examines the green soybeans W to be sorted based on the acquired photographed image, and at least the size and number of granules of the green soybeans W, or the presence or absence of a chip or a beard, the presence or absence of a black point, or the color change And at least one of the degree of activity is checked to identify the green soybeans W which are out of specification.
- the configuration and processing of the green soybean sorting system 40 will be described later.
- the first conveyance means 20 is provided with a conveyance detection means 22 for acquiring the conveyance speed and the conveyance distance.
- a conveyance detection means 22 for acquiring the conveyance speed and the conveyance distance.
- the non-standard green soybeans W are eliminated when they fall from the end of the first transfer means 20. That is, at the end of the first conveying means 20, there is provided a dropping section for dropping the transported green soybeans W to the second transporting means 30, and when dropping from the dropping section, it is specified by the green soybean sorting system 40.
- the green soybeans W (non-standard green soybeans W) are discharged from the transfer line by the discharging means 23.
- the discharging means 23 can be formed to blow out air to the identified green soybeans W to blow them out of the transport line, or to be configured to be able to take out the identified green soybeans W.
- the green soybeans W transported by the first transportation unit 20 and judged to be out of specification by the green soybean sorting system 40 are discharged by the discharging unit 23, and the remaining green soybeans W are transported by the second transportation unit 30.
- the second transport means 30 it is desirable to transport the ground soybeans W in a state of being inverted from the transport state in the first transport means 20. Therefore, it is desirable to provide a reversing means for reversing the ground soybeans W to be transported after the first transporting means 20 or on the starting end side (the first transporting means 20 side) of the second transporting means 30.
- the reversing means can reverse by utilizing a drop when dropping the ground soybeans W to be transported, or by applying a rotational force by a belt or a roller to any surface of the conveyed fruit.
- the green soybeans W transferred by the second transfer means 30 are also sorted in the same manner as the transfer by the first transfer means 20. That is, the green soybeans W conveyed by the second conveying unit 30 are photographed by the photographing unit 31, and the photographed image is analyzed by the soybean soybean sorting system 40 to identify the soybeans W outside the standard. At that time, the transport speed and distance of the soybeans are obtained from the transport detection means 32 composed of a rotary encoder. And the non-standard green soybeans W blow and discharge air by the discharge means 33 at the terminal end of a conveyance means. Since the processing in the second transport means 30 is the same as the processing in the first transport means 20, the same configuration as the first transport line in the drawing is shown by adding a value of "10" to the code, and details thereof Description is omitted.
- FIG. 2 shows an example of the hardware configuration of a computer that constitutes the result sorting system according to the present embodiment.
- the computer 500 in FIG. 2 merely exemplifies a typical configuration of the fruit sorting system, and the green bean sorting system is dedicated as long as it executes an arithmetic device, a memory and a program for image analysis. It may be configured as an apparatus.
- the computer 500 shown in FIG. 2 includes a CPU 501, a memory 502, an audio output device 503, a network interface 504, a display controller 505, a display 506, an input device interface 507, a keyboard 508, a mouse 509, an external storage device 510, and an external recording medium drive.
- Device 511 is configured including bus 512 connecting these components to one another.
- the CPU 501 controls the operation of each component of the computer 500, controls the execution of each process of the soybean sorting system under the control of the OS, and controls the operation.
- the memory 502 generally includes a ROM (Read Only Memory) which is a non-volatile memory, and a RAM (Random Access Memory) which is a volatile memory, and corresponds to a storage unit.
- the ROM stores programs and the like that are executed by the bean sorting system that is executed when the computer 500 starts up.
- the RAM is executed by the CPU 501 to analyze the image acquired from the photographing means, to calculate the size and number of grains of green soybeans, and to determine the presence or absence of chipping, whiskers, black spots, discoloration, or cracks, or the degree of activity. Programs and data used by those programs during execution are temporarily stored.
- the voice output device 503 is a device such as a speaker that outputs voice
- the network interface 504 is an interface for connecting to a network 520 for exchanging information with various devices.
- the display controller 505 is a dedicated controller for processing a drawing command issued by the CPU 501, and outputs drawing data to the display 506 as a display unit.
- the display 506 is a display device configured of an LCD or the like.
- the input device interface 507 receives a signal input from an input / output device such as the keyboard 508, the mouse 509, or the touch pad, and provides a predetermined command to the CPU 501 according to the signal pattern.
- an input / output device such as the keyboard 508, the mouse 509, or the touch pad
- a keyboard 508 and a mouse 509 are required when performing operations such as program execution and settings.
- the external storage device 510 is also included in the category of storage means in the present specification.
- the external storage device 510 can be configured of, for example, a storage device such as a hard disk drive (HDD).
- HDD hard disk drive
- the external recording medium drive device 511 accesses the recording surface of a portable external recording medium 530 such as a CD (Compact Disc), an MO (Magnet-Optical Disc), a DVD (Digital Versatile Disc), etc. Is a device that reads out
- a portable external recording medium 530 such as a CD (Compact Disc), an MO (Magnet-Optical Disc), a DVD (Digital Versatile Disc), etc. Is a device that reads out
- the ground soybean sorting system according to the present embodiment is formed using a computer configured as described above, and executes the processing shown in FIGS. 3 to 23 below.
- FIG. 3 is a flowchart showing the contents of the basic processing to be executed on the photographed image acquired from the photographing means
- FIG. 4 is a processing contents diagram showing the contents of the basic processing.
- the soybean sorting system first acquires a photographed image in which a plurality of soybeans are shown from the photographing means and records it in the memory (S11).
- the labeling process is performed on each of the green beans (S12), and an image of each green bean is extracted.
- angle correction processing is performed on the extracted image of each bean (S13).
- image processing is performed so that the long direction (longitudinal direction) of the images of the green beans is oriented horizontally.
- binarization processing is performed on the image subjected to angle correction (S15), and identification and acquisition of necessary numerical values and places can be performed quickly in each inspection thereafter. I have to.
- FIG. 5 is a flowchart showing the contents of processing for performing the grain number inspection
- FIG. 6 is a processing contents diagram for performing the grain number inspection.
- this grain number inspection an image (an image after binarization processing) which has first been subjected to the basic processing is acquired as an inspection image. Since this inspection image is created for each of the soybeans transported by the transport means, this grain number inspection is performed for all the soybeans.
- the CPU of the soybean sorting system configured by the computer reads the number of pixels in the length direction in the region where the soybean is extracted in the inspection image, as shown in FIG. Based on this, the length of the soybean is calculated (S52). This calculation can be calculated by multiplying a factor for making the photographed image an actual measurement value. And if the length of green soybean calculated by this calculation is acquired, the number of grains will be calculated based on this length (S54). The number of grains is calculated by searching for and extracting the file 41 which defines the number of grains in relation to the length as shown in FIG. 6, and without searching the file system, the number of grains according to the value of the length You can create a program to return a value that specifies
- FIG. 6 shows an example in which two grains are particularly judged. For this reason, the inspection image is divided into two regions (A1 and A2) in the longitudinal direction, as shown in FIG. 6 (B). Next, in each of the regions, a point having the largest width value is set as a convex portion.
- the widest point in the first area A1 is set as the first convex portion C1
- the widest point in the second area A2 is set as the second convex portion C2.
- the value (width) in each convex part is calculated (S59).
- the width of SA between the respective convex portions (C1 and C2) is calculated, and as shown in FIG. 6 (E), a value smaller than the width of each convex portion Then, a point where the width is the minimum value is set as a recess, and the width is calculated (S60). Then, the presence or absence of a recess is judged (S61), and when the recess can be calculated, two or more seeds are contained in the crucible, and it is judged that it is within the standard in this grain number inspection as an edamame conforming to the standard S62).
- the green soybean sorting system executes a process of specifying the convex portion and the concave portion as described above. Specifically, the image of the green soybeans is divided into two regions (A1 and A2) (FIG. 7 (B)), and the widest region in each region is divided into the respective convex portions (C1 and C2). It sets (FIG. 7 (C)).
- positions between the convex portions which are narrower and narrower than the respective convex portions are set as the concave portions (FIG. 7 (D)).
- the width of the recess is the same as that of any of the protrusions, so that the recess can not be set (FIG. 7 (E)). Therefore, in this case, the seed in the straw is judged to be one grain, and it is specified as a non-standard green soybean.
- the processing speed can be increased by performing the grain number inspection by the above processing. That is, since the seed in the straw primarily excludes one edamame according to the length of the straw, it is possible to reduce the inspection object, thereby speeding up the processing. Furthermore, regarding the length of edamame within the standard, by further examining the convex portion and the concave portion, it is possible to actually extract one edamame seed in the straw while satisfying the length standard. The sorting accuracy can be greatly improved. Therefore, by performing the number-of-grains check by the above-mentioned processing, it is possible to sort the green soybeans (the green soybeans with one seed in the straw) at high speed and accurately.
- the green soybean sorting system can further execute a chipping inspection by acquiring an inspection image created by performing basic processing.
- this chipping inspection it is inspected whether or not there is a chipping in the green beans, and in the present embodiment, the presence or absence of the chipping is judged from the variation of the width of the soybeans in the inspection image.
- FIG. 8 is a flow chart showing the processing content in this chip inspection
- FIG. 9 is a processing content diagram for performing this chip inspection.
- the inspection image created in the basic process is read by executing this chipping inspection (S81).
- an area where a change in width in the inspection image is large that is, a range excluding predetermined areas on both end sides in the length direction is designated as an inspection area (S 82).
- this inspection area in addition to reading the width of the brow, it can also be specified as a percentage of the total length. For example, a range excluding the left and right 5% of the entire length in the image of soybeans It can also be specified.
- an arbitrary position as an inspection reference is specified in the inspection range (S83), the width of the reference position is calculated, and this is set as the reference width (S84). Then, from this reference position, the width at a point moved by a predetermined amount in an arbitrarily determined direction is set as a comparison width, and the value of this comparison width is sequentially acquired.
- the width at a position moved by a predetermined amount for example, 2 pixels
- the difference between the acquired reference width and each comparison width is calculated (S86), and this is compared with a preset allowance (S87).
- the difference between the reference width and each comparison width can be simply calculated, or the amount of change in the difference calculated using each comparison value can also be calculated. . In this case, it is possible to set in advance an allowable value for the amount of change of the difference, and to perform non-standard determination when the amount of change exceeds the allowable value.
- the difference between the comparison widths calculated based on any reference position in the inspection area is equal to or less than the allowable value, the next reference position is set in the inspection area (S90). That is, the reference position is newly set in the range which has not been inspected yet.
- the reference position to be newly set is a position moved in the length direction by an amount obtained by adding an arbitrary number to the reference position set before that, and the position is used as a new reference position and the difference from the comparison width again Is calculated, and the value is compared with an allowable value to determine whether it is within the standard or not.
- the fruits in particular edamame, the breadth varies greatly depending on the presence or absence of seeds in the koji. Therefore, if any one point is used as the reference position, the difference from the comparison value also changes significantly. As a result, it becomes difficult to determine whether the shape change is normal or the chip is present in the convex portion and the concave portion.
- a plurality of reference positions are set in the inspection area set when inspecting the presence or absence of a chip in the inspection of one bean, and the difference between the width for each reference position and the comparison width Calculated and checked for the presence of chipping.
- the difference from the comparison width is compared with the allowable value. Then, when the comparison is completed for all the inspection areas, if the difference from the comparison width is less than the allowable value at all the reference positions, it is judged as within the standard, and the chipping inspection of the soybeans being inspected is ended. .
- the green soybean sorting system can obtain an inspection image created by performing basic processing, and can further execute a beard inspection.
- this beard test it is checked whether or not there is a beard portion that jumps out linearly from the green soybean meal.
- the presence or absence of the beard portion is determined by the number of edges in the width direction of the bean in the inspection image.
- this edge is a boundary point of the outline in the width direction, and can be specified as a point where the color value changes between the green soybean image and the background in the inspection image.
- FIG. 10 is a flowchart showing the contents of processing in this beard inspection
- FIG. 11 is a processing contents diagram for performing this beard inspection.
- an inspection image created in the basic process is read in accordance with the execution instruction of this beard inspection (S101).
- inspection image as shown to FIG. 11 (B)
- the number of edges is detected in the length direction (S102).
- the number of points hereinafter referred to as “edges” present in the contour in the width direction is detected in the image of the soybean in the inspection image.
- the number of detected edges is determined (S103). In the determination of the number of edges, as indicated by a symbol E2 in FIG.
- the length of the beard is calculated (S106). As shown in FIG. 11C, this calculation of the length of the bearded part is calculated as the length from the point where the number of edges is calculated to the point where the number of edges converges to two or three. Do. Then, the calculated length of the beard portion is compared with a preset allowable value (S108), and if the length of the beard portion is equal to or less than the allowable value, it is determined to be within the standard. On the other hand, when the length of the bearded part exceeds the allowable value, it is judged as out of specification, and is recorded as the discharge object in the discharge means.
- the effect sorting system and the effect sorting apparatus according to the present invention can be variously modified without being limited to the aspect described in the above embodiment. For example, it may be configured to select and execute at least one of grain number inspection, chipping inspection, and beard inspection, or a program for executing each processing may be configured and manufactured with another logic.
- FIG. 12 is a flow chart showing the contents of the vegetation index calculation process executed on the photographed image acquired from the photographing means
- FIG. 13 is a processing contents diagram showing the contents of the vegetation index calculation process.
- the green soybean sorting system first displays a photographed image including a plurality of green soybeans, specifically, a red image consisting of reflected light in a red wavelength region (indicated as "R image” in FIG. 13). And a near-infrared image (represented as “IR image” in FIG. 13) composed of reflected light in the near-infrared wavelength region are obtained from the photographing means and recorded in the memory (S111, S121). And as shown to FIG.
- the vegetation index can be calculated without necessarily performing the process.
- FIG. 14 is a flow chart showing the processing contents of the black spot / color change / crack inspection
- FIG. 15 is a front view showing an aspect of specifying a sheath area / black point region in the black spot / color change / crack inspection.
- a photographing means such as a camera (S151)
- a chewing area and a defect area in the acquired image are designated (S152).
- FIG. 15 shows a mode in which the coffee bean region 61 of the green soybean and the region 62 of the black dot are specified, and shows the processing content in the case of performing the black dot inspection.
- the vegetation index for each area is calculated (S153).
- S153 the vegetation index for each area is calculated.
- the activity calculated as described above that is, the average value of the vegetation indexes for each area is within the range of the preset allowable value (S175).
- the activity of the target soybean is within the allowable value, it is transported to the subsequent process as a product within the specification (S177).
- the activity of the target soybeans exceeds the allowable value, it is judged as a nonstandard product and specified as a discharge target by the discharge means (S176).
- the crack inspection is performed using a visible light image formed of reflected light in the visible light region.
- a photographed image in which a plurality of green beans are photographed from the photographing means specifically a visible light image obtained by photographing reflected light in the visible light wavelength region (hereinafter, also referred to as "RGB image")
- RGB image a visible light image obtained by photographing reflected light in the visible light wavelength region
- IR image A near infrared image obtained by photographing the reflected light is acquired (S181, S191).
- a color filter is installed in an imaging means, You can also take a reflection image and use it
- a target examination region is designated (S182, S192). After designating the examination region, it is desirable to carry out an image combining process (or pixel matching) on the acquired RGB image and IR image in order to correct the pixel shift due to camera parallax (S183).
- the vegetation index is calculated (S184), and binarization processing is performed (S185).
- a step of subtracting the reflectance of the red region from the reflectance of the visible light region is simultaneously performed (S193).
- the value obtained by subtracting the reflectance of the red region from the reflectance of the visible light region is added with the value obtained by binarizing the vegetation index (S186), which makes it possible to extract a crack that can be recognized with the naked eye.
- Example 1 it was verified whether the above-mentioned crack inspection of edamame is an effective method that can be recognized with the naked eye.
- IR cut filter an infrared cut filter
- CANON PowerShot G10 CANON PowerShot G10
- a filter hereinafter simply referred to as "IR filter”
- IR infrared image
- the IR filters used were IR-76, 78, 80, 82, 84, 86, 88, 90, 92 and 94 manufactured by FUJIFILM, and the transmittance of each is shown in the graph of FIG.
- the IR filter is a film that absorbs visible light on the short wavelength side of 700 nm or less and passes infrared light.
- RGB 3-band image (hereinafter, also simply referred to as an "RGB” image) was acquired with a non-modified digital camera (CANON PowerShot G10). The two images were taken under conditions fixed from a sample at a height of 30 cm so that the optical axis did not shift.
- Edamame (cultivar "Konden") was used as a test sample, and three types were prepared: good quality rice cake, rice cake with a crack that can be recognized with the naked eye, and rice cake that has a crack that is difficult to recognize with the naked eye .
- Edamame (cultivar "Konden") was used as a test sample, and three types were prepared: good quality rice cake, rice cake with a crack that can be recognized with the naked eye, and rice cake that has a crack that is difficult to recognize with the naked eye .
- the digital camera with an IR filter attached was fixed with a tripod while taking pictures. The height from the green soybean meal to the digital camera, the shutter speed, and the aperture (F value) were the same.
- FIG. 20 shows an IR image and an RGB image of green soybean meal obtained by photographing in this experiment
- FIG. 21 shows an NDVI (vegetation index) image obtained by image processing software
- FIG. 22 shows a binarized image based on NDVI (vegetation index)
- FIG. 23 shows an image in which the binarized NDVI image is covered with the RGB image reduced in red value. ing.
- binarization processing was applied to the NDVI image to examine the possibility of recognizing a crack that can not be recognized with the naked eye. The results are shown in FIG. In the binarization process, it became easier to recognize a crack that can be recognized with the naked eye than a simple NDVI image. In addition, in order to reduce the influence of the light intensity of the light, it is desirable to use a filter of IR-86 or less, and it is confirmed that the recognition of cracking of wrinkles becomes easy by using a filter of IR-86 or less did it.
- the NDVI image there is a property that the red reflection amount in the green part is small and the red reflection amount in the non-green part is large.
- the binarized NDVI image is covered on the RGB image to which the red value is greatly reduced, and FIG. ing.
- the crack which can be recognized with the naked eye did not have a black spot, and could be confirmed more easily than the binarized NDVI image.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Geometry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Sorting Of Articles (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
莢内の種子を観察するに際して、透過光による撮影の必要性を無くし、反射光を撮影する事により、莢内における種子の収容状態(特に粒数や大きさ)を検査でき、望ましくは撮影画像から算出した植生指数の値により莢果を検査又は選別するようにした莢果選別システム及び莢果選別装置を提供する。この莢果選別システムは、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別するものであり、撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像解析手段は、撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査とを実行するか、又はこれに代えて当該植生指数の値により莢果を検査又は選別する莢果選別システムとする。
Description
本発明は、枝豆を始めとする莢果、特に莢が付いている莢果を選別する為の莢果選別システム及び莢果選別装置に関し、外観及び/又は植生指数に基づいて莢果を選別する為の莢果選別システム及び莢果選別装置に関する。
莢果は、マメ科植物の多くに見られる果実であり、インゲン、エンドウ、ネムノキ、ダイズ、ハナズオウ、ルピナス、クローバー、カラスノエンドウなどが含まれる。これら莢果は莢が付いた状態で収穫されることも多く、未成熟な大豆を収穫した枝豆においては、莢が付いた状態で食卓に提供されることも多い。
このような莢果であっても、市場に流通させる際には、その品質や等級を管理する為に選別が必要である。ところが、莢果は、それぞれの莢に入っている豆の数が異なっており、また当該豆の大きさも様々である。そこで従前においては、莢付き莢果の選別を自動化するべく、カメラを利用して、枝豆を始めとする莢付きの莢果を選別する技術も幾つか提案されている。
例えば特許文献1(特開2008-62116号公報)では、透過光を利用して、莢果の等級に基づき莢果を選別するべく、莢果を透過した透過光によって莢果を撮像する透過光撮像手段を備え、この透過光撮像手段が撮像した莢果の画像に基づいて莢果の等級を判別して、選別する莢果選別システムを提案している。また特許文献2(特開2005-279524号公報)では、エダマメ莢の精選別作業の省力化、高能率化を達成するべく、平面視V字状に二面を120°の角度で連結した合わせ鏡の連結部の中心面上に、エダマメ莢をその長手方向を垂直状態で落下させてエダマメ莢の全面画像を取得するエダマメ莢の精選別方法を提案している。
また、莢果類の選別に際しては、更に莢果の活性度、水分含有量などの生育状況においても選別するのが望ましい。そして従前においては、作物を撮影した画像についてスペクトル分析を行い、生育状況等を判断する技術も提案されている。
例えば特許文献3(特開2006-250827号公報)では、リモートセンシングを利用したスペクトル画像により稲の蛋白含有率を推定して食味を診断する作物の生育状況分析方法が提案されている。また特許文献4(特開2013-231645号公報)では、茶樹の新芽の摘採の適否を短時間且つ高い精度で簡易に判断可能とするべく、茶葉の画像情報に含まれる光学データを用いて植生指数を算出し、これを用いて茶葉の摘採適性を評価する茶葉の摘採適性評価方法が提案されている。
前述の通り、従前においてもカメラを利用して、莢付きの莢果を選別する技術は、種々提案されている。しかしながら、莢内における豆の収容状態を検査する為には、当該莢果の透過光を撮影しなければならなかった。そして莢果における透過光を撮影するためには、網目状のベルトで搬送するか、落下している莢果を撮影する等、透過光を撮影する為の構成が必要であった。
そこで本発明は、このような透過光の撮影の必要性を無くし、莢付きの莢果に照射した光の反射光を撮影する事により、莢内における種子の収容状態(特に粒数や大きさ)を検査できるようにした莢果選別システム及び莢果選別装置を提供する事を第1の課題とする。
更に、莢内における豆の収容状態と共に、莢果の大きさや形状、又は莢の裂けや欠けなどを検査する場合であっても反射光を撮影した画像を使用し、品質管理用画像の保存領域を減じ、また検査処理速度を向上させた莢果選別システム及び莢果選別装置を提供する事を第2の課題とする。
また従来、莢果の選別や検査に使用されているカメラは可視光を撮影するものであり、専ら可視光画像によってのみ莢果の外観などを検査するだけであった。このような可視光を撮影した面像の検査は、専ら平面画像におけるスペクトルや色彩の変化等によって判断されることから、正確性において未だ改善の余地を有していた。特に莢果のキズなどを検査する場合には、単なる可視光画像では、当該キズ部分の色と周囲の色との差異が明確に出現しにくい事から、正確な検査や選別が困難であった。
そこで本発明は、可視光画像にこだわることなく、より正確に外観の検査・選別を実施する事ができるようにし、特にキズなどを目視同様に検査・選別できるようにした莢果選別システム及び莢果選別装置、並びに莢果選別方法を提供する事を第3の課題とする。
また、植物である莢果は、生育状況や収穫時期等によって、生育度合いが変わってくる。また収穫後における時間の経過や保管状況によっても、莢果の乾燥度(水分含有量)が異なってくる。しかしながら莢果を商品として出荷する際には、一定の品質基準を満たしている事が必要になる。よって品質管理を徹底させる上でも、莢果の活性度を検査し且つ選別する事が必要になる。
そこで本発明は、植生指数を利用して、更に莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかを検査又は選別する事のできる莢果選別システム及び莢果選別装置、並びに莢果選別方法を提供する事を第4の課題とする。
上記課題を解決する為、本発明では取得した撮影画像を解析する事で、莢内の種子の数をも判定する事ができ、更に撮影画像に基づいて、欠けやヒゲの有無なども判断できるようにした莢果選別システム及び莢果選別装置を提供する。
即ち、本発明では、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別システムであって、撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像解析手段は、撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査とを実行する莢果選別システムを提供する。
また前記課題の少なくとも何れかを解決するために、本発明では、莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選別システムであって、撮影手段が撮影した莢果の反射画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、前記画像取得手段は、赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像とを抽出又は取得し、前記画像解析手段は、以下の数式1によって植生指数を算出し、当該植生指数の値により莢果を検査又は選別することを特徴とする、莢果選別システムを提供する。
[式中、
R:赤色画像における赤色波長領域の反射率
IR:近赤外画像における近赤外波長領域の反射率]
R:赤色画像における赤色波長領域の反射率
IR:近赤外画像における近赤外波長領域の反射率]
かかる莢果選別システムは、コンピュータを用いて形成する事ができる。具体的にはコンピュータソフトウエアによって、処理内容と処理手順が制御されたコンピュータとして具体化する事ができる。そして、前記画像解析手段は、コンピュータソフトウエアが実行されることによって処理を行うCPUやメモリーによって構成する事ができる。
<粒数検査>
上記本発明にかかる莢果選別システムにおいて、画像解析手段は取得した撮影画像から、個々の莢果の長さと幅に関する情報を取得する「サイズ検査」を実行する。この長さと幅に関する情報は、取得した撮影画像における画素に基づいたドット数(又はピクセル数)として取得する他、検査対象物の実際の長さ及び幅として取得することができる。撮影画像から検査対象物の実際の長さ及び幅を算出する場合には、撮影画像上で特定される長さに一定の拡大または縮尺定数を乗算する。
上記本発明にかかる莢果選別システムにおいて、画像解析手段は取得した撮影画像から、個々の莢果の長さと幅に関する情報を取得する「サイズ検査」を実行する。この長さと幅に関する情報は、取得した撮影画像における画素に基づいたドット数(又はピクセル数)として取得する他、検査対象物の実際の長さ及び幅として取得することができる。撮影画像から検査対象物の実際の長さ及び幅を算出する場合には、撮影画像上で特定される長さに一定の拡大または縮尺定数を乗算する。
そして計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する。この種子の数の設定は、莢果の長さに関連付けて種子の個数を規定した情報に基づいて設定する事ができる。例えば、予め莢果の長さと種子の個数を関連付けた長さ/個数テーブルを準備し、画像の解析によって読み取った莢果の長さを検索値として検索する事で、当該長さに対応する種の個数を演算・抽出する事ができる。また、取得した莢果の長さに応じて、一定の値(種子の個数)を出力する様にプログラムを設計することもできる。即ち、本発明では、莢の長さを計測して、この値を使用することで、透過光を撮影することなく、莢内に収容されている種子の大凡の数を算出する事ができる。
そして、上記の粒数検査に際しては、莢内の種子の数を算出すると共に、種子の存在によって変化する莢の幅を算出する事ができる。即ち、前記画像解析手段における粒数検査は、当該粒数の数の分だけ、個々の莢果の画像を長さ方向に分割する。そして当該分割した夫々の領域において幅が最大となる位置を凸部として設定すると共に、当該凸部間において幅が凹部より狭く且つ最小となる位置を凹部として設定する。そして当該凸部と凹部の幅を算出するように構成できる。このように莢の長さと、凸部及び凹部の幅を取得し、これを予め設定されている許容値と比較する事により、検査対象となる莢果のサイズを、より詳細に検査する事ができる。
また、凸部及び凹部を設定し、その幅を算出する際には、個々の莢果の画像を長さ方向に分割することなく、凸部及び凹部を特定して、その幅を算出する事もできる。即ち、前記莢果選別システムにおいて、画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、計測した莢果の長さに基づいて、莢の中に収容されている種子の数を設定すると共に、莢果の長さ及び/又は種子の数に基づいて、幅方向における凸部の数を設定して、設定した凸部における夫々の幅と、凸部同士の間における最小幅である凹部の幅とを取得する粒数検査とを実行する莢果選別システムとすることができる。
前記サイズ検査を実行する事により、莢果の長さ及び/又は種子の数を算出し、その後において、当該莢果の長さ及び/又は種子の数に応じた幅方向における凸部の数を設定する。ここで、莢の長さ及び/又は種子の数に基づいて設定する値は、凸部の数であって、当該凸部の位置までも特定するものではない。当該凸部の位置は、当該莢果の全長における幅を走査し、幅の値が大きい方から順に設定した凸部の数だけ抽出し、当該抽出した幅の位置を凸部として設定し、当該凸部における夫々の幅を算出することができる。例えば、莢内の種子の数が2粒と設定された場合には、当該幅方向における凸部の数を2つに設定し、幅が広い順に2か所を凸部として設定し、その幅を算出する。また莢内の種子の数が3粒と設定された場合には、当該幅方向における凸部の数を3つに設定し、幅が広い順に3か所を凸部として設定し、それぞれの凸部における幅を取得する。
次に凸部同士の間において、莢の幅が最小値となる位置を抽出し、当該最小幅の位置を凹部として設定し、その幅を取得する。即ち、莢内において種子が存在する場所は、輪郭が膨らんでいることから凸部を設定する事ができる。そして種子間には、凹部が存在することから、凹部の存在を確認する事により、凸部に種子が存在する事を確認できる。
また、前記の粒数検査において、凸部が2つ以上として算出された場合には、当該凸部間における幅の変化量を確認する事が望ましい。莢の長さだけを以って粒数を特定した場合、同じ莢長でも、中に存在する種子の大きさ次第では、1粒であったり、2粒であったりする場合も考えられる為である。したがって、凸部間における幅の変化は谷部(凹部)が1つ出現するように変化している事を確認する事が望ましい。
粒数検査においては、莢内に収容されている種子が1粒のみの莢果を特定する事も望ましい。かかる種子が1粒の莢果は、先ず莢の全長によって特定する事ができる。即ち、基準の長さよりも短い莢果は、種子が1粒だけであると想定する事ができる。莢果の長さにより粒数を予想する事で、粒数検査における処理速度を向上させることができる。そして、基準値以上の長さを有する莢果については、莢内の種子が2粒以上であると判断する。しかしながら2粒以上と判断しても、種子の粒が大きい場合には、実際には1粒しか収容されていない場合もある。そこで、撮影画像から幅を読み出し、凸部と凹部を抽出・確認して、実際の粒数を算出する。即ち、基準値以上の長さであり、粒数を2つと設定した場合には、当該莢果を長さ方向に2つの領域に分けて、それぞれの領域において最も幅広の凸部を抽出する。その結果、莢内に収容されている種子が2粒以上であれば、当該凸部は2か所に存在し、当該凸部間には凹部が存在するはずである。しかしながら、莢内の種子が1粒の場合には、仮に凸部を2か所に設定したとしても、当該凸部同士の間には、両方の凸部よりも狭い幅は存在せず、よって凹部が存在しないことになる。したがって、莢内の種子が1粒となり得る長さの莢果については、凸部間に凹部が存在するか否かを確認する事で、1粒か否かを判断する事ができる。
このように、莢内の種子が1粒の莢果を特定する処理は、特に枝豆を選別する際に有効である。枝豆の選別では、莢内の種子の数も商品価値に影響を与えている実情から、種子が1粒の莢果を特定し、これを選別する事で商品価値を高める事ができる為である。
よって、上記本発明にかかる莢果選別システムによれば、透過光を撮影する必要なく、撮影手段から取得した撮影画像を解析するだけで、莢内に収容されている種子の数を正確に把握する事ができる。
上記のように撮影画像を解析する際、撮影画像に複数含まれる莢果は、各莢果ごとに抽出されている事が望ましい。よって、前記画像解析手段は、撮影手段から取得した撮影画像についてラベリング処理を行い、それぞれの莢果ごとの画像を作成するのが望ましい。更に、各画像について角度補正を行い、角度補正を行った補正画像について、長軸方向となる長さと、短軸方向となる幅とを計測するのが望ましい。ラベリング処理を施すことにより、莢果の輪郭形状を特定する事ができ、また角度補正を行う事により、莢果の長さ及び幅の測定を、より正確に行う事ができる為である。
即ち、莢果の選別を自動化する場合には、ベルトコンベアーなどの搬送手段で搬送する必要があり、搬送している莢果を撮影して、これを検査する必要がある。しかしながら搬送手段で搬送する莢果の向きを正確に揃えるのは事実上困難である。そこで無造作に搬送される莢果を撮影し、その向きを修正する事で、検査の実情に合致しながらも、莢果の長さ及び幅の測定を正確に行う事ができる莢果選別システムを実現するものである。
<莢の欠け検査>
また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、検査対象物である莢果について欠けが有るか否かを検査する事が望ましい。
即ち、前記画像解析手段は、前記撮影手段から取得した撮影画像について、幅の変化量が所定の範囲である領域を検査領域として設定し、当該検査領域における任意の基準位置の幅を基準幅として取得すると共に、当該基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出した値を許容値と比較する欠け検査を行う事が望ましい。
また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、検査対象物である莢果について欠けが有るか否かを検査する事が望ましい。
即ち、前記画像解析手段は、前記撮影手段から取得した撮影画像について、幅の変化量が所定の範囲である領域を検査領域として設定し、当該検査領域における任意の基準位置の幅を基準幅として取得すると共に、当該基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出した値を許容値と比較する欠け検査を行う事が望ましい。
幅の変化量が所定の範囲である領域を検査領域として設定する事により、長さ方向の端部等、ノイズが発生しやすい領域(即ち、御認識しやすい領域)を除くことができ、これにより解析速度を向上させることができる。そして、この検査領域内において、任意に定めた基準位置の幅を基準幅として取得し、この基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出する事により、幅の変化量を算出する事ができる。そして、この幅の変化量を、あらかじめ設定した許容値と比較することにより、欠けの有無を検査する事ができる。即ち、欠けが発生している部分では、莢果の幅が急激に変化することから、この変化量の大きい莢果については、欠けが発生していると判断する事ができる。
また検査領域において基準幅を取得する基準位置は任意の位置であって良いが、例えば前記凸部や凹部の何れかを基準値とする事もできる。凸部を基準位置とした場合には、当該基準位置から一定方向に移動した位置における幅は、凹部に至る迄、徐々に狭くなっていく筈である。一方、凹部を基準位置とした場合には、当該基準位置から一定方向に移動した位置における幅は、凸部に至る迄、徐々に広くなっていく筈である。よって、このような莢果類の形状における特徴を利用して、比較幅の変化量の増減を判断する事により、より高速かつ正確に欠けの発生の有無を検査する事ができる。
<莢のヒゲ検査>
また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、更に莢から細長く伸びたヒゲ部の有無を調べるヒゲ部検査を行う事が望ましい。
即ち、前記画像解析手段は、更に前記撮影手段から取得した撮影画像について二値化処理を行い、莢の長さ方向に設定した任意の複数地点において、幅方向において色が変わるエッジ部分の数を検出し、当該エッジ部分の数が3個以上の地点をヒゲ部存在箇所として特定する事が望ましく、更に当該ヒゲ部存在箇所の始点と終点から、当該ヒゲ部の長さを算出するように構成するのが望ましい。
また、上記本発明にかかる莢果選別システムにおいて、前記画像解析手段は、更に莢から細長く伸びたヒゲ部の有無を調べるヒゲ部検査を行う事が望ましい。
即ち、前記画像解析手段は、更に前記撮影手段から取得した撮影画像について二値化処理を行い、莢の長さ方向に設定した任意の複数地点において、幅方向において色が変わるエッジ部分の数を検出し、当該エッジ部分の数が3個以上の地点をヒゲ部存在箇所として特定する事が望ましく、更に当該ヒゲ部存在箇所の始点と終点から、当該ヒゲ部の長さを算出するように構成するのが望ましい。
撮影画像について二値化処理を実施する事により、撮影画像中における莢果の輪郭が明瞭になり、背景部分と莢果部分とを区別しやすくなる。その結果、莢果部分の領域を認識しやすくなることから、処理速度の向上を図れる他、画像を正確に認識する事ができ、検査精度を高める事ができる。
このヒゲ部検査の検査対象としているのは、莢の縁部分から筋状に飛び出たスジ等であり、これを画像認識によって判読し、その長さに応じて選別するものである。具体的には、各莢果ごとに作成した画像において、幅方向における輪郭部分であるエッジの数によって判断する。即ち莢果の長さ方向にわたって、幅方向に延伸する線と輪郭部分との交点をエッジとし、このエッジの数が2つであれば、それは莢の輪郭によって取得されたものであり、2を超えて存在する場合には、莢の輪郭から飛び出ている部分(即ち、ヒゲ部分)が存在すると判断することができる。そしてこの処理を莢の長さ方向全体にわたって実行することにより、エッジの数が2つを超えて存在する部分から、当該エッジの数が2つになっている部分までの領域の長さを、ヒゲ部の長さとして算出することができる。
その結果、反射光を撮影した2次元の画像を判読し、解析するだけで、ヒゲ部の存在を検査する事ができる。この点、仮に透過光を撮影した画像であれば、光の強さによって、このヒゲ部は撮影されない可能性もあり、撮影画像から当該ヒゲ部の有無の検査を行い得るには、反射光を撮影しているが故に実現できたものである。
<莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量検査>
この検査では植生指数を利用するものである。即ち、植生指数(特に、正規化差植生指数)は、植物表面における反射光によって、植物の植生状況や活性度を判断する為の指標である。即ち、多くの植物に含まれるクロロフィルは、0.5~0.7μmの赤色可視光領域での反射率は20%未満であるのに対して、0.7~1.3μmの近赤外域での反射率は60%を越える。そこで、この特定の波長域における光の吸収及び反射を利用して、植物の植生状況や活性度を判断するべく、-1~+1の間に正規化した数値として算出するものである。
この検査では植生指数を利用するものである。即ち、植生指数(特に、正規化差植生指数)は、植物表面における反射光によって、植物の植生状況や活性度を判断する為の指標である。即ち、多くの植物に含まれるクロロフィルは、0.5~0.7μmの赤色可視光領域での反射率は20%未満であるのに対して、0.7~1.3μmの近赤外域での反射率は60%を越える。そこで、この特定の波長域における光の吸収及び反射を利用して、植物の植生状況や活性度を判断するべく、-1~+1の間に正規化した数値として算出するものである。
また、クロロフィルは熱や酸性環境に対しては不安定であり、光による光分解性がみられ、とくに紫外線による分解能が著しい。そこで、上記植生指数を算出することにより、このクロロフィルの存在量を推定する事ができる。これにより活性度や収穫後の経過時間(即ち、鮮度)などを判断する事ができる。
さらに、上記植生指数と植物の窒素量、繊維量、及び蛋白含有量との間には相関性がある。例えば、赤色域波長と近赤外域波長の2つの波長域における植物の活性度と蛋白含有量との間に相関関係がある。より具体的には、植物に含まれるクロロフィルの含量と蛋白含有量との間の高い正の相関性がある。よって、植生指数を算出してクロロフィルの含量を推定する事で、蛋白含有量を推定する事ができ、対象となる莢果の食味を推定して選別する事ができる。
また、窒素量、繊維量と前記植生指数との間に相関性がある。即ち、赤色光域、近赤外光域の光学データによって植生指数を算出し、該植生指数によって窒素量、繊維量を推定する事で、対象となる莢果の育成状況、又は栄養状態、等を推定でき、それによって選別する事が可能となる。
そして、上記赤色画像における赤色波長領域の反射率や近赤外画像における近赤外波長領域の反射率は、デジタルカメラなどにおけるイメージセンサーで計測された反射輝度、反射スペクトルの強度ないしデジタル値として取得する事ができ、これらを用いて算出した植生指数により、植生の活性、植被率、葉面積指数(LAI)といった植生パラメーターを判断する事ができる。
なお、上記赤色波長領域の反射光からなる赤色画像や、近赤外波長領域の反射光からなる近赤外画像は、撮影手段が撮影した莢果の反射画像から、それぞれの波長領域のスペクトルを抽出して取得することができる。その他にも、撮影手段にカラーフィルターを設置して、前記の波長領域内の反射画像を撮影して使用する事もできる。よって、例えば通常の商用デジタルカメラに対して、可視光遮断、赤外光遮断の2種類のレンズフィルタを設置して、可視光赤色と近赤外の画像を撮影する事もできる。
更に、前記画像解析手段は、画像取得手段が取得した赤色画像及び近赤外画像の夫々について二値化処理を行い、二値化処理した赤色画像及び近赤外画像を使用して、前記植生指数を算出するのが望ましい。画像を二値化処理する事により、定めた閾値によって濃淡のある画像を白と黒の2階調に変換する事ができ、当該画像からの検出対象の抽出を容易にする事ができる。即ち、二値化処理を行う事で、検出対象の抽出を容易にできる為、その後に前記植生指数を算出する場合等にも処理が容易となり、高速に処理(又は実行)する事が可能となる。
また、前記赤色画像及び近赤外画像は、それぞれを複数の領域に区画し、前記画像解析手段は、当該区画した領域ごとに植生指数を算出し、前記莢果を撮影した領域全体について、領域ごとに算出した植生指数の平均値を算出するのが望ましい。区画する領域は、撮影手段が撮影した画像において、莢果が写っている領域内であり、よって、当該莢果が映し出されている領域は抽出されている事が望ましい。撮影画像を解析する際、撮影画像に複数含まれる莢果は、各莢果ごとに抽出されている事が望ましいことから、取得した撮影画像についてラベリング処理を行って莢果の輪郭形状を特定し、それぞれの莢果ごとの画像を作成するのが望ましい。
当該区画した領域ごとに植生指数を算出する事で、撮影したそれぞれの莢果ごとに、黒点や変色、或いは割れ等の不良を検査・判断する事ができる。即ち、区画した領域ごとに-1~+1の間に正規化した数値として算出される為、前記不良の程度を認識する事ができる。例えば、黒点の大きさや変色の範囲、或いは割れの有無、等を認識する事ができる。よって、当該区画した領域ごとに植生指数を算出する事で、不良と認識された莢果の全てを廃棄する必要が無く、例えば不良の程度によって出荷先を変える等により、育成した莢果を無駄なく利用する事が可能になる。
そして、領域ごとに算出した植生指数の平均値を算出する事で、検査・判断の対象となる莢果の活性度や収穫後の経過時間(即ち、鮮度)などを判断する事ができる。即ち、区画された領域ごとの植生指数の平均値をとる事で、1又は複数個の莢果を、撮影した領域全体における1つのグループとして認識し、その1つのグループの植生指数を算出する為に、領域ごとに算出した植生指数の平均値を算出する。領域ごとに算出した植生指数の平均値を算出する事で、当該グループの植生指数として認識でき、当該グループ内の莢果の活性度や、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかの評価項目を検査・判断する事ができる。よって対象となる莢果を鮮度、食味、栄養状態、等によって選別する事が可能になる。
<莢果の割れ検査>
また、莢果の割れの有無の検査・判断を更に容易なものとする為に、可視光領域の反射光からなる可視光画像(以下、『RGB画像』とも言う)を利用するのが望ましい。即ち、前記画像取得手段によって可視光領域の反射光からなる可視光画像も取得する。前記画像解析手段では、当該可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算し、その値を前記植生指数の値に加算した値を利用する。例えば枝豆の割れの検査・判断をする場合にも、緑色と白色の2色のみで画像が構成され、割れが生じている部位は白色で表示できる為、視覚的にも判断しやすいものとなる。単なる前記植生指数で示された画像では、枝豆の緑色部の赤色反射量が少なく、非緑色部での赤色反射量が多い。即ち、枝豆の割れの箇所、及び枝豆以外の部分が赤色で示される為、割れの判断がし難いものとなる。そこで、可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算する事で赤色反射量を減らし、その値に植生指数の値(特に二値化処理したものが望ましい)を加算する事によって、非緑色部である割れの箇所を白色で示すことができる。これにより肉眼での認識を容易なものとする事ができる。なお、割れの判断に関しては、前記のように領域に分けず、撮影した領域全体について植生指数を算出してから、上記方法によって色の違いを確認する事でも検査・判断は可能となる。
また、莢果の割れの有無の検査・判断を更に容易なものとする為に、可視光領域の反射光からなる可視光画像(以下、『RGB画像』とも言う)を利用するのが望ましい。即ち、前記画像取得手段によって可視光領域の反射光からなる可視光画像も取得する。前記画像解析手段では、当該可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算し、その値を前記植生指数の値に加算した値を利用する。例えば枝豆の割れの検査・判断をする場合にも、緑色と白色の2色のみで画像が構成され、割れが生じている部位は白色で表示できる為、視覚的にも判断しやすいものとなる。単なる前記植生指数で示された画像では、枝豆の緑色部の赤色反射量が少なく、非緑色部での赤色反射量が多い。即ち、枝豆の割れの箇所、及び枝豆以外の部分が赤色で示される為、割れの判断がし難いものとなる。そこで、可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算する事で赤色反射量を減らし、その値に植生指数の値(特に二値化処理したものが望ましい)を加算する事によって、非緑色部である割れの箇所を白色で示すことができる。これにより肉眼での認識を容易なものとする事ができる。なお、割れの判断に関しては、前記のように領域に分けず、撮影した領域全体について植生指数を算出してから、上記方法によって色の違いを確認する事でも検査・判断は可能となる。
<莢果選別装置>
そして本発明では、上記のように構成した莢果選別システムを、莢果の搬送手段などと組み合わせる事で、連続的に莢果を選別することのできる莢果選別装置とすることができる。即ち、前記課題の少なくとも何れかを解決する為に、検査対象物を搬送する搬送手段と、当該搬送手段で搬送される検査対象物を撮影する撮影手段と、当該撮影手段が撮影した画像を取得すると共に、当該画像を解析する莢果選別手段とを具備しており、当該莢果選別手段として、上記本発明にかかる莢果選別システムを使用した莢果選別装置を提供する。
そして本発明では、上記のように構成した莢果選別システムを、莢果の搬送手段などと組み合わせる事で、連続的に莢果を選別することのできる莢果選別装置とすることができる。即ち、前記課題の少なくとも何れかを解決する為に、検査対象物を搬送する搬送手段と、当該搬送手段で搬送される検査対象物を撮影する撮影手段と、当該撮影手段が撮影した画像を取得すると共に、当該画像を解析する莢果選別手段とを具備しており、当該莢果選別手段として、上記本発明にかかる莢果選別システムを使用した莢果選別装置を提供する。
かかる莢果選別装置によれば、検査対象である莢果を、搬送手段によって連続的に搬送し、これを撮影手段で撮影して、本発明にかかる莢果選別システムによって解析する事で、規格外の莢果を見つけ出し、必要に応じて排除する事ができる。
また、上記本発明にかかる莢果選別装置では、更に、搬送手段で搬送される検査対象物の内、莢果選別手段において指定された検査対象物に対してエアーを吹き付け、当該検査対象をエアーで吹き飛ばす排出手段を具備する事が望ましい。その際、前記莢果選別手段における画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定する事ができる。そこで当該排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付けるように構成するのが望ましい。
排出手段を設ける事により、莢果選別システムによって規格外と判断された莢果を、搬送ラインから排出する事ができ、規格に合った莢果だけを選別することができる。また、この莢果選別システムを構成する画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定することができ、よって前記排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付けることができる。これにより規格外の莢果の中心に対してエアーを吹き付ける事ができ、これにより、規格外の莢果を確実に抜き出すことができる。これにおり、大量の選別が必要な場合であっても、精確且つ確実に、収穫した莢果の検査・選別を行う事ができる。
上記本発明の枝豆選別システムによれば、莢果に照射した光の反射光を撮影した画像に基づいて、莢内における種子の収容状態(特に粒数や大きさ)を検査することができ、透過光の撮影の必要性を無くすことができる。また、品質管理の為に撮影した画像を保存する場合であっても、反射光を撮影した画像を保存すれば良い事から、画像の保存領域を大幅に減じる事ができる。そして検査では、反射光を撮影した1種類の画像を解析すれば済む事から、収穫時期が一定の期間に制限されており、短い期間内に大量の莢果を検査・選別しなければならない莢果であっても、収穫後の検査・選別を、迅速且つ大量に行う事ができる。
また、撮影手段が撮影した莢果の反射画像、即ち赤色波長領域の反射光からなる赤色画像と、近赤外波長領域の反射光からなる近赤外画像の画像に基づいて植生指数を算出すれば、この指数により莢果のキズや活性度等を検査・選別できる。即ち、より正確に外観の検査・選別を実施でき、特にキズなどを目視同様に検査・選別できる。
また、当該植生指数を利用することにより、莢果の外観(特に割れ)のみならず、更に莢果の活性度、水分含有量、窒素量、繊維量、及び蛋白含有量の少なくとも何れかを検査又は選別する事ができる。よって、収穫後の時間の経過や、莢果の乾燥度(水分含有量)等を細かく認識出来る為、品質管理をより徹底させる事ができる。
さらに、上記本発明にかかる莢果選別システムを使用した莢果選別装置を利用する事で、収穫した莢果の検査・選別を、迅速且つ大量に行う事ができるようになる。即ち、本発明では、反射光画像を使用し、植生指数を算出する事により、莢内における種子の収容状態(特に粒数や大きさ)、莢の欠けやヒゲの有無、莢果の活性度や、水分含有量、窒素量、繊維量、及び蛋白含有量を検査する事ができる。これにより、収穫後の検査・選別を、何段階にも分けて行う必要が無くなる。よって本発明にかかる莢果選別装置を利用する事で、収穫時期が一定の期間に制限されており、短い期間内に大量の莢果を検査・選別しなければならない莢果であっても、収穫後の検査・選別を、迅速且つ大量に行う事ができるようになる。
以下、図面を参照しながら本発明にかかる莢果選別システムの1つの実施の形態を具体的に説明する。特に本実施の形態では、枝豆を選別する莢果選別システムについて、具体的に説明する。
図1は、本実施の形態にかかる莢果選別システム(以下では、「枝豆選別システム40」とする)を用いて構成した莢果選別装置(以下では、「枝豆選別装置」とする)を示す全体構成図である。この枝豆選別装置は、選別対象となる枝豆Wを収容すると共に、選別ラインに連続的に供給するホッパー部10と、ホッパー部10から供給された枝豆Wを搬送する第一搬送手段20と、この第一搬送手段20で搬送された枝豆Wを反転させて搬送する第二搬送手段30と、それぞれの搬送手段に設けられた撮影手段21,31と、撮影手段21,31が撮影した画像を解析する枝豆選別システム40と、各搬送手段に設けられて搬送速度又は搬送量を検知する搬送検出手段22,32と、各搬送手段の終端側における枝豆Wの落下部に設けた排出手段23,33とで構成している。
前記ホッパー部10は、選別対象となる枝豆W(莢果)を収容する空間部を備えている。またホッパー部10の内部に収容されている枝豆Wを、第一搬送手段20と第二搬送手段30とからなる搬送手段に供給する為の排出構造を伴っている。かかる排出構造は、当該ホッパー部10の底面に設けられたベルトコンベアー等であり、ホッパー部10内に収容している枝豆Wを前方に移動させる。但し、このホッパー部10は、内部に収容している枝豆Wを、検査を実施する搬送手段に送り出す事ができれば他の構成であって良い。
ホッパー部10から排出された枝豆Wは、第一搬送手段20と第二搬送手段30とからなる搬送手段に供給される。その際、ホッパー部10から落下した枝豆Wが相互に重なる事が無いように、落下部分には、ホッパーから排出された枝豆Wを振動させながら搬送する振動手段(図示せず)を設けるのも望ましい。
前記第一搬送手段20及び第二搬送手段30は、それぞれベルトコンベアー等によって形成する事ができる。ホッパー部10から供給された枝豆Wは、最初に第一搬送手段20によって搬送される。この第一搬送手段20には、望ましくは搬送する枝豆Wの向きを一定方向に揃える為の整列部を伴う事ができる。かかる整列部は、例えば枝豆Wの搬送方向に長尺な整列板や線材(図示せず)を所定の間隔で配置して形成できる。搬送される枝豆Wは、この整列板に当たることにより、搬送方向に向かって縦向きになるように向きが修正される。
上記第一搬送手段20の上方には、第一搬送手段20によって搬送されている枝豆Wを撮影する為の撮影手段21が設けられている。この撮影手段21としては、カメラやビデオカメラを使用する事ができる。この撮影手段21は、搬送される枝豆Wを静止画又は動画で撮影し、その撮影画像を枝豆選別システム40に直接取り込んで解析できるように、撮影画像を電子データで取得することが望ましい。そして、この撮影手段21の撮影範囲に存在する枝豆Wを、安定的に照らす照明を設ける事も望ましい。枝豆Wを照らす光の明るさを一定にすることにより、撮影画像の輝度を安定させるためである。
上記撮影手段21で撮影された画像は、コンピュータなどで構成されている枝豆選別システム40に送られる。枝豆選別システム40では、取得した撮影画像に基づいて、選別対象である枝豆Wを検査し、少なくとも枝豆Wの大きさや粒数、或いは欠けやヒゲの有無、黒点の有無や変色、及びわれの有無や活性度の少なくとも何れかを検査し、規格から外れる枝豆Wを特定する。この枝豆選別システム40の構成や処理については、後述する。
第一搬送手段20には、その搬送速度や搬送距離を取得する為の搬送検出手段22を設けている。枝豆Wの搬送情報と撮影画像とを関連付けることにより、上記の枝豆選別システム40で選定した枝豆W(規格外の枝豆W)が、どこを搬送されているのかを特定する為である。搬送過程において、枝豆選別システム40で選定した規格外の枝豆Wを特定することで、当該規格外の枝豆Wを搬送ラインの外に排出する事もできる。かかる搬送検出手段22としては、ロータリーエンコーダやリニアエンコーダなどを使用する事ができる。
本実施の形態において、前記規格外の枝豆Wは、第一搬送手段20の終端から落下する際に排除される。即ち、第一搬送手段20の終端には、搬送している枝豆Wを第二搬送手段30に落下させる落下部が設けられており、当該落下部から落下する際、前記枝豆選別システム40で特定した枝豆W(規格外の枝豆W)を、排出手段23によって搬送ラインから排出する。かかる排出手段23は、特定した枝豆Wに対してエアーを吹き付けて、搬送ラインの外に吹き飛ばすように構成する他、特定した枝豆Wを取り出すことのできる構成で形成する事ができる。
以上により、第一搬送手段20によって搬送され、且つ枝豆選別システム40によって規格外と判断された枝豆Wは、排出手段23によって排出され、残った枝豆Wが第二搬送手段30によって搬送される。この第二搬送手段30で搬送する際、枝豆Wは、第一搬送手段20における搬送状態から反転させた状態で搬送するのが望ましい。したがって、第一搬送手段20の後、又は第二搬送手段30の始端側(第一搬送手段20側)には、搬送する枝豆Wを反転させる反転手段を設けるのが望ましい。かかる反転手段は、例えば搬送する枝豆Wを落下させる時の落差を利用して反転させる他、搬送される莢果の何れかの面にベルトやローラーによる回転力を作用させて反転することもできる。
この第二搬送手段30で搬送する枝豆Wも、前記第一搬送手段20における搬送と同じように選別される。即ち、第二搬送手段30で搬送する枝豆Wを撮影手段31で撮影し、その撮影画像を枝豆選別システム40で解析して、規格外の枝豆Wを特定する。その際、枝豆の搬送速度や距離は、ロータリーエンコーダからなる搬送検出手段32から取得する。そして当該規格外の枝豆Wは、搬送手段の終端において排出手段33によりエアーを吹き付けて排出する。かかる第二搬送手段30における処理は、前記第一搬送手段20における処理と同じであるから、図面では第一搬送ラインと同じ構成については符号に「10」の値を加算して示し、その詳細な説明は省略する。
次に、図2~23を参照しながら、この枝豆選別装置において搬送される枝豆を検査する枝豆選別システムの構成と、その処理内容を具体的に説明する。
図2は、本実施の形態に係る莢果選別システムを構成するコンピュータのハードウエア構成の例を示している。ただし、図2のコンピュータ500は、当該莢果選別システムの代表的な構成を例示したに過ぎず、当該枝豆選別システムは、画像解析のための演算装置やメモリ及びプログラムを実行する限りにおいて、専用の装置として構成しても良い。
この図2に示すコンピュータ500は、CPU501、メモリ502、音声出力装置503、ネットワークインタフェース504、ディスプレイコントローラ505、ディスプレイ506、入力機器インタフェース507、キーボード508、マウス509、外部記憶装置510、外部記録媒体駆動装置511、およびこれらの構成要素を互いに接続するバス512を含んで構成されている。
CPU501は、コンピュータ500の各構成要素の動作を制御し、OSの制御下で、上記枝豆選別システムの各処理の実行をコントロールし、その動作を制御する。メモリ502は通常、不揮発性メモリであるROM(Read Only Memory)、および揮発性メモリであるRAM(Random Access Memory)から構成され、記憶部に相当する。ROMには、コンピュータ500の起動時に実行される枝豆選別システムで実行されるプログラム等が格納される。RAMには、CPU501で実行され、撮影手段から取得した画像を解析し、枝豆の大きさや粒数を算出し、また欠けやヒゲ・黒点・変色・割れの有無、又は活性度等を判断するためのプログラムや、それらのプログラムが実行中に使用するデータが一時的に格納される。
音声出力装置503は、スピーカ等の、音声を出力する機器であり、ネットワークインタフェース504は、各種の機器と情報交換する為のネットワーク520に接続するためのインタフェースである。ディスプレイコントローラ505は、CPU501が発する描画命令を処理するための専用コントローラであり、表示部としてのディスプレイ506に描画データを出力する。かかるディスプレイ506は、LCD等で構成される表示装置である。
入力機器インタフェース507は、キーボード508やマウス509、或いはタッチパッドなどの入出力デバイスから入力された信号を受信して、その信号パターンに応じて所定の指令をCPU501に提供する。キーボード508やマウス509は、プログラムの実行や設定などの操作を行う場合に必要となる。
外部記憶装置510も本明細書における記憶手段の範疇に含まれる。かかる外部記憶装置510は、たとえばハードディスクドライブ(HDD)のような記憶装置で構成することができる。この装置内には上述したプログラムやデータが記録され、実行時に、必要に応じてそこからメモリ502のRAMにロードされる。
外部記録媒体駆動装置511は、CD(Compact Disc)、MO(Magnet-Optical Disc)、DVD(Digital Versatile Disc)などの可搬型の外部記録媒体530の記録面にアクセスして、そこに記録されているデータを読み取る装置である。
本実施の形態にかかる枝豆選別システムは、上記のように構成されるコンピュータを用いて形成され、以下の図3~23に示す処理を実行する。
≪基本処理≫
図3は撮影手段から取得した撮影画像について実行する基本処理の内容を示すフローチャートであり、図4はこの基本処理の内容を示す処理内容図である。基本処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像を撮影手段から取得して、メモリに記録する(S11)。そして、図4(B)に示す様に、複数の枝豆が写っている画像に対し、枝豆ごとにラベリング処理を行い(S12)、枝豆ごとの画像を抽出する。そして抽出した枝豆ごとの画像について角度補正処理を行う(S13)。この角度補正処理では、各枝豆の画像において、長尺な向き(長さ方向)が横を向くように、画像処理を行う。そして図4(C)に示す様に、角度補正を行った画像に対して二値化処理を行い(S15)、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。
図3は撮影手段から取得した撮影画像について実行する基本処理の内容を示すフローチャートであり、図4はこの基本処理の内容を示す処理内容図である。基本処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像を撮影手段から取得して、メモリに記録する(S11)。そして、図4(B)に示す様に、複数の枝豆が写っている画像に対し、枝豆ごとにラベリング処理を行い(S12)、枝豆ごとの画像を抽出する。そして抽出した枝豆ごとの画像について角度補正処理を行う(S13)。この角度補正処理では、各枝豆の画像において、長尺な向き(長さ方向)が横を向くように、画像処理を行う。そして図4(C)に示す様に、角度補正を行った画像に対して二値化処理を行い(S15)、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。
≪粒数検査≫
図5は、粒数検査を行う処理内容を示すフローチャートであり、図6はこの粒数検査を行う処理内容図である。この粒数検査では、最初に前記基本処理を行った画像(二値化処理後の画像)を検査画像として取得する。この検査画像は、搬送手段を搬送される枝豆ごとに作成されることから、この粒数検査はすべての枝豆について実行される。
図5は、粒数検査を行う処理内容を示すフローチャートであり、図6はこの粒数検査を行う処理内容図である。この粒数検査では、最初に前記基本処理を行った画像(二値化処理後の画像)を検査画像として取得する。この検査画像は、搬送手段を搬送される枝豆ごとに作成されることから、この粒数検査はすべての枝豆について実行される。
検査画像を取得すると、コンピュータで構成されている枝豆選別システムのCPUは、図6(A)に示す様に、検査画像において枝豆が写し出されている領域における長さ方向のピクセル数を判読し、これに基づいて当該枝豆の長さを演算する(S52)。この演算は、撮影画像を実測値にする為の係数を乗算することによって算出する事ができる。そして、この演算により算出した枝豆の長さを取得すると、この長さに基づいて粒数を算出する(S54)。この粒数の算出は、図6に示す様に、長さとの関係で粒数を規定したファイル41を検索して抽出する他、ファイルシステムを検索するまでもなく、長さの値によって粒数を特定する値を返すようにプログラムを作成しておくこともできる。
この演算の結果として得られる粒数に対しては、1粒か否かが判断される(S56)。これは枝豆の場合、1粒のものは商品価値が低い事もあることから、商品価値を高める為に種子が1粒の枝豆を選別して取り除くためである。この莢に収容される種子が1粒か否かの判断では、先ず前記粒数判断において、1粒と判断されたものが除かれる。よって、当該莢内の種子が1粒と判断された枝豆は、規格外品と判断され、排出手段により排出対象として特定される。
そして、前記粒数判断において、莢内に収容された種子が2粒以上と判断された枝豆は、その粒数に応じて、領域が分割される(S58)。図6では、特に2粒と判断された例を示している。この為、検査画像は、図6(B)に示す様に、長さ方向に2つの領域(A1及びA2)に分割されている。次にそれぞれの領域において、最も幅の値が大きい地点を凸部として設定する。図6(C)では、第一の領域A1において最も幅が広い地点を第一の凸部C1として設定し、第二の領域A2において最も幅が広い地点を第二の凸部C2として設定している。そして夫々の凸部における値(幅)を算出する(S59)。
次に、図6(D)に示す様に、夫々の凸部(C1及びC2)の間SAの幅を演算し、図6(E)に示す様に、各凸部の幅よりも小さい値で、且つ幅が最小値となる地点を凹部として設定し、その幅を算出する(S60)。そして凹部の有無を判断し(S61)、凹部を算出できる場合には、莢内に2粒以上の種子が入っており、規格に合った枝豆として、この粒数検査では規格内と判断する(S62)。一方、凹部が算出できない場合には、莢内の種子が1粒の枝豆と判断し、規格外であると判断して、排出手段により排出対象として特定する。即ち枝豆選別システムは、莢の長さから、莢内の種子の数を2粒と判断した結果(図7(A))、前記同様に凸部及び凹部を特定する処理を実行する。具体的には、当該枝豆の画像を2つの領域(A1及びA2)に分割し(図7(B))、それぞれの領域において最も幅が広い領域を、それぞれの凸部(C1及びC2)に設定する(図7(C))。そして、この凸部同士の間であって、それぞれの凸部よりも狭く、且つ最も狭い幅の位置を凹部に設定する(図7(D))。しかし莢内の種子が1粒の場合には、この凹部の幅は、何れかの凸部と同じ幅になってしまうことから、当該凹部を設定する事ができない(図7(E))。よって、この場合には、莢内の種子が1粒と判断し、規格外の枝豆として特定する。
以上の様な処理によって粒数検査を実行することにより、処理の高速化を達成する事ができる。即ち、莢の長さによって、莢内の種子が1粒の枝豆を一次的に排除していることから、検査対象を減じる事ができ、これによって処理の高速化を図る事ができる。更に、長さでは規格内の枝豆について、更に凸部及び凹部を検査する事により、長さの規格は充たしながらも、実際には莢内の種子が1粒の枝豆を抽出する事ができ、選別の精度を大幅に向上させることができる。よって、上記の処理によって粒数検査を実行する事により、高速かつ正確に枝豆(莢内の種子が1粒の枝豆)を選別する事ができる。
≪欠け検査≫
また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得する事により、更に欠け検査を実行する事ができる。この欠け検査では、枝豆における莢に欠けが有るか否かを検査するものであり、本実施の形態では、検査画像における枝豆の幅の変化量からこの欠けの有無を判断している。
また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得する事により、更に欠け検査を実行する事ができる。この欠け検査では、枝豆における莢に欠けが有るか否かを検査するものであり、本実施の形態では、検査画像における枝豆の幅の変化量からこの欠けの有無を判断している。
図8は、この欠け検査における処理内容を示すフローチャートであり、図9はこの欠け検査を行う処理内容図である。図8に示す様に、この欠け検査の実行により、基本処理で作成した検査画像を読み込む(S81)。そしてこの検査画像における幅の変化が大きい領域、即ち、長さ方向における両端側の所定の領域を除いた範囲を検査領域に指定する(S82)。但し、この検査領域の指定に際しては、莢の幅を読み取るほか、全体の長さにおける割合で指定する事もでき、例えば枝豆の画像における全体長さの左右5%を除いた範囲を検査領域に指定する事もできる。
検査領域を指定した後は、その検査範囲内において検査の基準となる任意の位置を指定し(S83)、当該基準位置の幅を演算して、これを基準幅に設定する(S84)。そして、この基準位置から、任意に定めた方向に所定量移動した地点における幅を比較幅として設定し、この比較幅の値を順次取得する。本実施の形態では、基準位置から左側に向かって所定量(例えば2ピクセル)ずつ移動した位置における幅を比較幅として順次取得している(S85)。そして、取得した基準幅と夫々の比較幅との差分を算出し(S86)、これを予め設定した許容値と比較する(S87)。この基準幅と夫々の比較幅との差分を算出に際しては、単純に、基準幅と夫々の比較幅の差分を算出する他、それぞれの比較値で算出した差分の変化量を算出する事もできる。この場合、差分の変化量についての許容値を予め設定し、変化量が許容値を超える場合に規格外の判定を行う事もできる。
上記の差分と許容値の比較の結果、当該差分が許容値を超える場合には、基準値に比べて急激に幅が狭くなっていることを示している為、当該比較値の箇所に欠けが存在すると判断している。よって、この差分が許容値(あらかじめ設定している許容値)を超える場合には、規格外の判定を行う(S89)。一方、当該検査領域における任意の基準位置に基づいて算出した比較幅の差分が許容値以下である場合には、当該検査領域において次の基準位置を設定する(S90)。即ち、まだ検査していない範囲に新たに基準位置を設定する。新たに設定する基準位置は、その前に設定した基準位置に、任意の数を加算した分だけ長さ方向に移動した位置であり、当該位置を新たな基準位置として、再び比較幅との差分を算出し、その値を許容値と対比して、規格内か規格外かを判断する。莢果の内、特に枝豆は、莢内に種子が存在するか否かによって幅が大きく変化する。よって、何れか一つの地点を基準位置としたのでは、比較値との差分も大幅に変化する事になる。その結果、前記凸部と凹部における正常な形状変化なのか、或いは欠けが存在するのかを判断するのが困難になる。そこで、本実施の形態では、1つの枝豆の検査に際して、欠けの有無を検査する際に設定する検査領域内に複数の基準位置を設定し、それぞれの基準位置ごとの幅と比較幅との差分を算出し、欠けの存在を検査するように構成している。
そして、上記のように長さ方向に位置をずらしながら設定した基準位置ごとに、比較幅との差分を許容値と対比する。そして検査領域のすべてについて当該対比が完了した時点で、全ての基準位置において、比較幅との差分が許容値以下であれば規格内と判断して、検査している枝豆の欠け検査を終了する。
以上の処理内容によって枝豆における欠けの有無を判断することにより、幅の変化量が大きい枝豆であっても、正確に欠けを検出する事ができる。また、基準位置を定めて、比較幅との差分を算出するだけである事から、その処理速度を高速化する事ができ、単位時間当たりの枝豆の選別量を多くする事ができる。
≪ヒゲ検査≫
また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得し、更にヒゲ検査を実行する事ができる。このヒゲ検査では、枝豆の莢から線状に飛び出たヒゲ部が有るか否かを検査するものである。本実施の形態では、検査画像における枝豆の幅方向のエッジの数によって、このヒゲ部の有無を判断している。なお、このエッジとは、幅方向における輪郭の境界点のことであり、検査画像においては枝豆画像と背景とで色値が変化している地点として特定する事ができる。
また、前記枝豆選別システムは、基本処理を行って作成した検査画像を取得し、更にヒゲ検査を実行する事ができる。このヒゲ検査では、枝豆の莢から線状に飛び出たヒゲ部が有るか否かを検査するものである。本実施の形態では、検査画像における枝豆の幅方向のエッジの数によって、このヒゲ部の有無を判断している。なお、このエッジとは、幅方向における輪郭の境界点のことであり、検査画像においては枝豆画像と背景とで色値が変化している地点として特定する事ができる。
図10は、このヒゲ検査における処理内容を示すフローチャートであり、図11はこのヒゲ検査を行う処理内容図である。図10に示す様に、このヒゲ検査の実行指令により、基本処理で作成した検査画像を読み込む(S101)。そして取得した検査画像について、図11(B)に示す様に、長さ方向にエッジの数を検出する(S102)。具体的には、検査画像における枝豆の画像において、幅方向の輪郭に存在するポイント(以下「エッジ」とする)の数を検出する。そして、検出したエッジの数を判断する(S103)。このエッジの数の判断に際して、図11(C)の符号E2で示す様に、エッジが2個であれば、枝豆における正常な莢の輪郭を示している事になる。そこで、このヒゲ部が存在しない枝豆については規格内の判断をする(S105)。一方で、符号E1で示す様に、エッジの数が3個以上、具体的には4個である場合には、莢の輪郭の他に飛び出ている部分が存在する事になる。この飛び出ている部分が枝豆におけるヒゲ部に相当する事から、エッジの数が4個になっている地点をヒゲ部が存在する地点として特定し、当該ヒゲ部の有無を判断する(S104)。
そしてヒゲ部が存在すると判断した枝豆については、次に当該ヒゲ部の長さを算出する(S106)。このヒゲ部の長さの算出は、図11(C)に示す様に、エッジの数が4個算出された地点からエッジの数が2個又は3個に収束する地点までの長さとして算出する。そして、この算出したヒゲ部の長さを、あらかじめ設定している許容値と比較し(S108)、ヒゲ部の長さが許容値以下である場合には、規格内と判断する。一方で、ヒゲ部の長さが許容値を超える場合には、規格外と判断して、前記排出手段における排出対象として記録する。
以上の処理によって、単純にヒゲ部が有るか否かだけでなく、当該ヒゲ部の長さまでも検査する事ができることから、より正確な選別を実現する事ができる。なお、本発明にかかる莢果選別システム及び莢果選別装置は、上記実施の形態に示した態様に制限されることなく、種々変更を加える事ができる。例えば、粒数検査、欠け検査、及びヒゲ検査の少なくとも何れかを選択して実行するように構成したり、或いは各処理を実行するプログラムを別のロジックで構成して製造する事もできる。
≪植生指数算出処理≫
図12は撮影手段から取得した撮影画像について実行する植生指数算出処理の内容を示すフローチャートであり、図13はこの植生指数算出処理の内容を示す処理内容図である。かかる植生指数算出処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像、具体的には赤色波長領域の反射光からなる赤色画像(図13では『R画像』と表示)と、近赤外波長領域の反射光からなる近赤外画像(図13では『IR画像』と表示)とを撮影手段から取得して、メモリに記録する(S111,S121)。そして、図13(B)に示す様に、この複数の枝豆が写っている画像に対し、各枝豆ごとにラベリング処理を行い(S112,S122)、枝豆ごとの画像を抽出し、この抽出した枝豆ごとの画像について角度補正処理を行う(S113,S123)。この角度補正処理では、各枝豆の画像において、長尺な向き(長さ方向)が縦に向くように画像処理を行う。そして図13(C)に示す様に、角度補正を行った画像に対して二値化処理を行い(S114,S124)、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。即ち、上記二値化処理した赤色画像及び近赤外画像を使用して、図13(D)に示す様に植生指数を算出して(S115)、検査画像として出力する(S116)。なお、本実施の形態では、上記ラベリング処理、角度補正処理、2値化処理を実施しているが、上記処理は必ずしも実施しなくとも植生指数を算出できる。
図12は撮影手段から取得した撮影画像について実行する植生指数算出処理の内容を示すフローチャートであり、図13はこの植生指数算出処理の内容を示す処理内容図である。かかる植生指数算出処理を実行すると、最初に枝豆選別システムは、複数の枝豆が写っている撮影画像、具体的には赤色波長領域の反射光からなる赤色画像(図13では『R画像』と表示)と、近赤外波長領域の反射光からなる近赤外画像(図13では『IR画像』と表示)とを撮影手段から取得して、メモリに記録する(S111,S121)。そして、図13(B)に示す様に、この複数の枝豆が写っている画像に対し、各枝豆ごとにラベリング処理を行い(S112,S122)、枝豆ごとの画像を抽出し、この抽出した枝豆ごとの画像について角度補正処理を行う(S113,S123)。この角度補正処理では、各枝豆の画像において、長尺な向き(長さ方向)が縦に向くように画像処理を行う。そして図13(C)に示す様に、角度補正を行った画像に対して二値化処理を行い(S114,S124)、その後における各検査で、必要な数値や場所の特定や取得を迅速に行えるようにしている。即ち、上記二値化処理した赤色画像及び近赤外画像を使用して、図13(D)に示す様に植生指数を算出して(S115)、検査画像として出力する(S116)。なお、本実施の形態では、上記ラベリング処理、角度補正処理、2値化処理を実施しているが、上記処理は必ずしも実施しなくとも植生指数を算出できる。
≪黒点・変色・割れ検査≫
図14は、黒点・変色・割れ検査を行う処理内容を示すフローチャートであり、図15は黒点・変色・割れ検査におけるさや領域/黒点領域を指定する様態を示す正面図である。かかる黒点・変色・割れ検査では、まずカメラ等の撮影手段によって、対象となる枝豆の検査画像を取得し(S151)、取得した画像における莢領域、及び不良領域を指定する(S152)。なお図15では、枝豆の莢領域61と、黒点の領域62を指定する様態を示しており、黒点検査を実施する場合の処理内容を示している。
図14は、黒点・変色・割れ検査を行う処理内容を示すフローチャートであり、図15は黒点・変色・割れ検査におけるさや領域/黒点領域を指定する様態を示す正面図である。かかる黒点・変色・割れ検査では、まずカメラ等の撮影手段によって、対象となる枝豆の検査画像を取得し(S151)、取得した画像における莢領域、及び不良領域を指定する(S152)。なお図15では、枝豆の莢領域61と、黒点の領域62を指定する様態を示しており、黒点検査を実施する場合の処理内容を示している。
上記のように、莢領域および不良領域を指定した後、領域ごとの植生指数を算出する (S153)。なお、黒点・変色・割れ検査を実施する場合、必ずしも植生指数を算出せずとも黒点・変色・割れを検出する事は可能であるが、植生指数を利用する事によって肉眼で認識し易くなり、その後の処理を容易にすることができる。
そして、莢全体に占める不良領域の比率を算出し(S154)、不良領域の比率を判断(S155)する事で、対象となる枝豆が規格内か否かを判断する事ができる。即ち、上記による不良領域の比率を算出する事によって、不良領域の比率が設定した許容値の範囲内か否かを判断する(S156)。対象となる枝豆の不良領域の比率が許容値内の場合には、規格内品としてその後の工程に搬送される(S158)。一方で、対象となる枝豆の不良領域の比率が許容値を超える場合には、規格外品として判断され、排出手段により排出対象として特定される(S157)。
≪活性度検査≫
次に、対象となる枝豆の活性度検査を実施する場合について、図16で示すフローチャートに基づいて説明する。かかる活性度検査では、まずカメラ等の撮影手段によって対象となる枝豆の検査画像を取得し(S171)、取得した画像における検査領域を指定する(S172)。そして、指定した領域ごとの植生指数を算出し(S173)、その領域ごとの植生指数の平均値を算出する(S174)。ここでは、領域ごとの植生指数の平均値をとる事で、1又は複数個の枝豆を、撮影した領域全体における1つのグループとして認識している。領域ごとの植生指数の平均値を算出する事で、当該グループの植生指数を認識でき、当該グループ内の枝豆の活性度を認識する事ができる。よって、対象となる枝豆の活性度を認識出来る為、活性度による選別が可能となる。
次に、対象となる枝豆の活性度検査を実施する場合について、図16で示すフローチャートに基づいて説明する。かかる活性度検査では、まずカメラ等の撮影手段によって対象となる枝豆の検査画像を取得し(S171)、取得した画像における検査領域を指定する(S172)。そして、指定した領域ごとの植生指数を算出し(S173)、その領域ごとの植生指数の平均値を算出する(S174)。ここでは、領域ごとの植生指数の平均値をとる事で、1又は複数個の枝豆を、撮影した領域全体における1つのグループとして認識している。領域ごとの植生指数の平均値を算出する事で、当該グループの植生指数を認識でき、当該グループ内の枝豆の活性度を認識する事ができる。よって、対象となる枝豆の活性度を認識出来る為、活性度による選別が可能となる。
そして、上記によって算出された活性度、即ち領域ごとの植生指数の平均値が、予め設定した許容値の範囲内か否かを判断する(S175)。その結果、対象となる枝豆の活性度が許容値内の場合には、規格内品としてその後の工程に搬送される(S177)。一方で、対象となる枝豆の活性度が許容値を超える場合には、規格外品として判断され、排出手段により排出対象として特定される(S176)。
≪可視光画像を利用した割れ検査≫
次に、第2の実施の形態にかかる割れ検査の処理内容について、図17で示すフローチャートに基づいて説明する。かかる第2の実施形態の割れ検査では、可視光領域の反射光からなる可視光画像を利用して、割れ検査を実施する。まず、撮影手段から複数の枝豆が写っている撮影画像、具体的には可視光波長領域の反射光を撮影した可視光画像(以下、『RGB画像』とも言う)と、近赤外波長領域の反射光を撮影した近赤外画像(以下、『IR画像』とも言う)とを取得する(S181,S191)。なお、上記画像を取得する際、撮影手段が撮影した枝豆の反射画像から、それぞれの波長領域のスペクトルを抽出して取得する他、撮影手段にカラーフィルターを設置して、前記の波長領域内の反射画像を撮影して使用する事もできる
次に、第2の実施の形態にかかる割れ検査の処理内容について、図17で示すフローチャートに基づいて説明する。かかる第2の実施形態の割れ検査では、可視光領域の反射光からなる可視光画像を利用して、割れ検査を実施する。まず、撮影手段から複数の枝豆が写っている撮影画像、具体的には可視光波長領域の反射光を撮影した可視光画像(以下、『RGB画像』とも言う)と、近赤外波長領域の反射光を撮影した近赤外画像(以下、『IR画像』とも言う)とを取得する(S181,S191)。なお、上記画像を取得する際、撮影手段が撮影した枝豆の反射画像から、それぞれの波長領域のスペクトルを抽出して取得する他、撮影手段にカラーフィルターを設置して、前記の波長領域内の反射画像を撮影して使用する事もできる
そして各々の画像において、対象となる検査領域を指定する(S182,S192)。検査領域を指定した後、カメラ視差によるピクセルのズレを修正する為に、取得したRGB画像及びIR画像について、画像合成処理(又はピクセルマッチング)を実施するのが望ましい(S183)。
上記によって合成した画像において、植生指数を算出(S184)し、2値化処理を行う(S185)。一方で、合成した画像において可視光領域の反射率から赤色領域の反射率を減算する工程も同時に行う(S193)。そして、可視光領域の反射率から赤色領域の反射率を減算した値に、植生指数を2値化した値を加算(S186)する事によって、肉眼で認識できる割れの抽出が可能となる。
そして、上記によって抽出された枝豆の割れの有無を判断する(S187)。その結果、対象となる枝豆に割れが無い場合には、規格内品としてその後の工程に搬送される(S189)。一方で、対象となる枝豆に割れが有る場合には、規格外品として判断され、排出手段により排出対象として特定される(S188)。
実施例1では、上記枝豆の割れ検査が、肉眼で認識できる有効手法であるか否かを検証した。
<使用機械>
本実施例では、枝豆のさやの4バンド画像を得る為、約1,470万画素のデジタルカメラ(CANON PowerShot G10)に、赤外線カットフィルタ(以下、『IRカットフィルタ』とも言う)を除去し、赤外線透過フィルター(以下、単に『IRフィルター』とも言う)を取り付けて赤外線画像(以下、単に『IR』画像とも言う)を取得した。なお、使用したIRフィルターはFUJIFILM製のIR-76,78,80,82,84,86,88,90,92,94であり、各々の透過率を図18のグラフに示す。なお、このIRフィルターは700nm以下の短波長側の可視光を吸収し、赤外を通過するフィルムである。
<使用機械>
本実施例では、枝豆のさやの4バンド画像を得る為、約1,470万画素のデジタルカメラ(CANON PowerShot G10)に、赤外線カットフィルタ(以下、『IRカットフィルタ』とも言う)を除去し、赤外線透過フィルター(以下、単に『IRフィルター』とも言う)を取り付けて赤外線画像(以下、単に『IR』画像とも言う)を取得した。なお、使用したIRフィルターはFUJIFILM製のIR-76,78,80,82,84,86,88,90,92,94であり、各々の透過率を図18のグラフに示す。なお、このIRフィルターは700nm以下の短波長側の可視光を吸収し、赤外を通過するフィルムである。
次に、無改造のデジタルカメラ(CANON PowerShot G10)でRGBの3バンド画像(以下、単に『RGB』画像とも言う)を取得した。この両画像は光軸がずれないように試料から高さ30cmの箇所に固定した条件で撮影した。
なお、撮影したIR画像とRGB画像の4バンド画像処理では、両カメラのレンズ光軸が3次元空間で厳密に平行となることが困難であるため、画面上で異なった形で結像し、カメラ視差によるピクセルのずれも生じる。その為、処理を行うには画像の変形補正とRGB画像とIR画像の合成処理(ピクセルマッチング)が必要不可欠になる。そこで、取得画像のピクセルマッチングを行い、NDVI(植生指数)の算出と可視化を行った。このNDVI(植生指数)の算出と可視化の処理は次の手順で行った。即ち、まず1)処理・合成するRGB・IR画像を読み込み、2)RGB・IR画像から測定区画を指定する。次に、3)画像を合成し、4)合成した画像の歪みを補正する。そして、5)植生指数を算出・可視化・グラフ化を行った。
<検証方法>
供試試料としては、枝豆(品種『秘伝』)を使用し、良品莢、肉眼で認識することのできる割れが有る莢、肉眼で認識することの難しい割れが有る莢、の3種類を用意した。本実験では、まず1)10cm四方の正方形を書いた白色画用紙の枠内に収まるように上記3種類の供試試料を置き(図10参照)、次に、2)ライトを設置し十分な光量を確保しつつ、IRフィルターを取り付けたデジタルカメラを三脚で固定し、撮影を行った。なお、枝豆莢からデジタルカメラまでの高さ、シャッタースピード、絞り(F値)は同条件で行った。そして、3)上記撮影をIRフィルター76~94にてそれぞれ行い、4)得られた画像について、NDVI(植生指数)の算出と可視化の処理を行い、枝豆の割れ判別の可否を検証した。
供試試料としては、枝豆(品種『秘伝』)を使用し、良品莢、肉眼で認識することのできる割れが有る莢、肉眼で認識することの難しい割れが有る莢、の3種類を用意した。本実験では、まず1)10cm四方の正方形を書いた白色画用紙の枠内に収まるように上記3種類の供試試料を置き(図10参照)、次に、2)ライトを設置し十分な光量を確保しつつ、IRフィルターを取り付けたデジタルカメラを三脚で固定し、撮影を行った。なお、枝豆莢からデジタルカメラまでの高さ、シャッタースピード、絞り(F値)は同条件で行った。そして、3)上記撮影をIRフィルター76~94にてそれぞれ行い、4)得られた画像について、NDVI(植生指数)の算出と可視化の処理を行い、枝豆の割れ判別の可否を検証した。
<結果と考察>
図20は本実験における撮影で得られた枝豆莢のIR画像及びRGB画像であり、図21は画像処理ソフトで得られたNDVI(植生指数)画像である。また、図22はNDVI(植生指数)を基にした2値化処理画像であり、図23ではRGB画像から赤色の値を減らしたものに、2値化処理したNDVI画像を被せた画像を示している。
図20は本実験における撮影で得られた枝豆莢のIR画像及びRGB画像であり、図21は画像処理ソフトで得られたNDVI(植生指数)画像である。また、図22はNDVI(植生指数)を基にした2値化処理画像であり、図23ではRGB画像から赤色の値を減らしたものに、2値化処理したNDVI画像を被せた画像を示している。
図21に示すように、撮影した画像を画像処理ソフトにかけたNDVI画像では、肉眼で認識することのできる割れは全ての画像で認識することができた。
また、NDVI画像に対し2値化処理を施して肉眼で認識することのできない割れの認識の可否を検討した。その結果を図22に示す。2値化処理では、単なるNDVI画像よりも肉眼で認識することのできる割れの認識が容易になった。なお、ライトの光量による影響を軽減する為にも、IR-86以下のフィルターを使用するのが望ましく、IR-86以下のフィルターを使用する事で莢の割れの認識が容易になることが確認できた。
また、NDVI画像では、緑色部の赤色反射量が少なく、非緑色部での赤色反射量が多いという性質がある。この性質を利用して、RGB画像から赤色の値を大きく減らしたものに、2値化処理したNDVI画像を被せることで、非緑色である割れの認識の可否を検討したものを図23に示している。結果、肉眼で認識することのできる割れは黒点の発生が無く、NDVI画像を2値化処理したものよりも容易に確認することができた。
以上のことより、上記検証ではRGB画像から赤色の値を大きく減らしたものに、2値化処理したNDVI画像を被せる処理は、単なるNDVI画像、及びそれを2値化処理したものよりも、肉眼で認識できる割れの確認が容易であることが確認できた。即ち、上記処理によって枝豆を選別する事で、正確に且つ迅速に検査・選別する事が可能になる。
10 ホッパー部
20 第一搬送手段
21,31 撮影手段
22,32 搬送検出手段
23,33 排出手段
30 第二搬送手段
31 撮影手段
32 搬送検出手段
33 排出手段
40 枝豆選別システム
W 枝豆
20 第一搬送手段
21,31 撮影手段
22,32 搬送検出手段
23,33 排出手段
30 第二搬送手段
31 撮影手段
32 搬送検出手段
33 排出手段
40 枝豆選別システム
W 枝豆
Claims (12)
- 莢付きの莢果を撮影した画像を解析する事で、当該莢果を検査又は選別する為の莢果選
別システムであって、
撮影手段が撮影した画像を取得する画像取得手段と、画像取得手段が取得した画像を解析する画像解析手段とを備えており、
前記画像解析手段は、
撮影画像に基づいて個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査と、
計測した莢果の長さに基づいて、莢の中に収容されている種子の数を算出する粒数検査と
を実行することを特徴とする莢果選別システム。
- 前記画像解析手段における粒数検査は、
当該粒数の数だけ個々の莢果の画像を長さ方向に分割して、当該分割した夫々の領域において幅が最大となる位置を凸部として設定すると共に、当該凸部間において幅が凹部より狭く且つ最小となる位置を凹部として設定し、当該凸部と凹部の幅を算出する、請求項1に記載の莢果選別システム。
- 前記画像解析手段は、撮影手段から取得した撮影画像についてラベリング処理を行い、それぞれの莢果ごとの画像を作成すると共に、各画像について角度補正を行い、角度補正を行った補正画像について、長軸方向となる長さと、短軸方向となる幅とを計測する、請求項1又は2に記載の莢果選別システム。
- 更に、前記画像解析手段は、
前記撮影手段から取得した撮影画像について、幅の変化量が所定の範囲である領域を検査領域として設定し、当該検査領域における任意の基準位置の幅を基準幅として取得すると共に、当該基準位置から一定方向に移動した位置における幅を比較幅として取得し、基準幅と比較幅との差分を算出した値を許容値と比較する欠け検査を行う、請求項1又は2に記載の莢果選別システム。
- 更に、前記画像解析手段は、
前記撮影手段から取得した撮影画像について二値化処理を行い、
莢の長さ方向に設定した任意の複数地点において、幅方向において色が変わるエッジ部分の数を検出し、当該エッジ部分の数が3個以上の地点をヒゲ部存在箇所として特定すると共に、且つ当該ヒゲ部存在箇所の始点と終点から、当該ヒゲ部の長さを算出する、請求項1又は2に記載の莢果選別システム。
- 更に、前記画像解析手段は、画像取得手段が取得した赤色画像及び近赤外画像の夫々について二値化処理を行い、二値化処理した赤色画像及び近赤外画像を使用して、前記植生指数を算出する請求項6に記載の莢果選別システム。
- 前記赤色画像及び近赤外画像は、それぞれが複数の領域に区画されており、
前記画像解析手段は、当該区画した領域ごとに植生指数を算出し、前記莢果を撮影した領域全体について、領域ごとに算出した植生指数の平均値を算出し、莢果を検査又は選別する、請求項6に記載の莢果選別システム。
- 前記画像取得手段は、更に可視光領域の反射光からなる可視光画像を取得し、
前記画像解析手段は、当該可視光画像における可視光領域の反射率から、赤色画像における赤色波長領域の反射率を減算し、その値を前記植生指数の値に加算した値によって、当該莢果における割れの有無を検査・判断する、請求項6に記載の莢果選別システム。
- 検査対象物を搬送する搬送手段と、
当該搬送手段で搬送される検査対象物を撮影する撮影手段と、
当該撮影手段が撮影した画像を取得すると共に、当該画像を解析する莢果選別手段とを具備しており、
当該莢果選別手段として、請求項1、2、又は6に記載の莢果選別システムが使用されている、莢果選別装置。
- 更に、搬送手段で搬送される検査対象物の内、莢果選別手段において指定された検査対
象物に対してエアーを吹き付け、当該検査対象をエアーで吹き飛ばす排出手段を具備しており、
前記莢果選別手段における画像解析手段は、撮影画像から個々の莢果の長さと、個々の莢果の幅を計測するサイズ検査の結果から、長さと幅の中心を特定しており、
前記排出手段は、莢果選別手段において指定された検査対象物の長さと幅の中心に向かってエアーを吹き付ける、請求項6に記載の莢果選別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017500739A JP6590907B2 (ja) | 2015-02-19 | 2016-02-18 | 莢果選別システム、莢果選別装置及び莢果選別方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015031088 | 2015-02-19 | ||
JP2015-031088 | 2015-02-19 | ||
JP2015-066102 | 2015-03-27 | ||
JP2015066102 | 2015-03-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016133175A1 true WO2016133175A1 (ja) | 2016-08-25 |
Family
ID=56692534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/054762 WO2016133175A1 (ja) | 2015-02-19 | 2016-02-18 | 莢果選別システム、莢果選別装置及び莢果選別方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6590907B2 (ja) |
TW (1) | TWI632360B (ja) |
WO (1) | WO2016133175A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107350176A (zh) * | 2017-07-18 | 2017-11-17 | 商洛学院 | 一种玉米种子质量检测装置 |
WO2018175555A1 (en) * | 2017-03-21 | 2018-09-27 | Monsanto Technology Llc | Seed sorting |
JP2019107611A (ja) * | 2017-12-19 | 2019-07-04 | 株式会社茶野電機工業 | 枝豆選別機 |
JP2020151613A (ja) * | 2019-03-18 | 2020-09-24 | ヤンマーパワーテクノロジー株式会社 | 農作物選別装置 |
JP2021043149A (ja) * | 2019-09-13 | 2021-03-18 | 日世株式会社 | 検出システム、および検出方法 |
JP2021128123A (ja) * | 2020-02-17 | 2021-09-02 | 東芝ライテック株式会社 | 莢果の検査装置、および莢果の検査方法 |
IT202000015469A1 (it) * | 2020-06-26 | 2021-12-26 | Metacortex Srl | Sistema e metodo per la misurazione di caratteristiche fisiche di pellet e dispositivo previsto nel sistema |
US11673166B2 (en) * | 2018-03-14 | 2023-06-13 | Monsanto Technology Llc | Seed imaging |
CN117607143A (zh) * | 2023-10-16 | 2024-02-27 | 江苏跃畅新能源科技有限公司 | 一种固体破碎混合物料分选效率检测装置和方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI646325B (zh) * | 2018-03-12 | 2019-01-01 | 朝陽科技大學 | 藥丸自動光學檢測裝置及檢測方法 |
EP3801933A4 (en) | 2018-06-11 | 2022-09-07 | Monsanto Technology LLC | SEED CLASSIFICATION |
TWI662481B (zh) * | 2018-06-15 | 2019-06-11 | China University Of Science And Technology | 稻穀含水量光學影像處理自動量測系統 |
KR102598333B1 (ko) * | 2021-03-25 | 2023-11-06 | 재단법인대구경북과학기술원 | 복수의 컨베이어를 이용한 검사 대상물에 대한 양면 검사 시스템 및 그 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06347239A (ja) * | 1993-06-04 | 1994-12-20 | Fuji Facom Corp | 外観検査方法 |
JP2000185263A (ja) * | 1998-12-21 | 2000-07-04 | Satake Eng Co Ltd | 粒状物色彩選別方法およびその選別機 |
JP2002062113A (ja) * | 2000-08-17 | 2002-02-28 | Ishii Ind Co Ltd | 被検出物の計測方法及びその装置 |
JP2005083775A (ja) * | 2003-09-05 | 2005-03-31 | Seirei Ind Co Ltd | 穀粒選別装置 |
JP2008020347A (ja) * | 2006-07-13 | 2008-01-31 | Akita Prefecture | 莢果判別構造 |
JP2009189936A (ja) * | 2008-02-13 | 2009-08-27 | Akita Prefecture | 莢果判別構造 |
JP2012103092A (ja) * | 2010-11-10 | 2012-05-31 | Seiko Epson Corp | 読取装置 |
JP2013094764A (ja) * | 2011-11-04 | 2013-05-20 | Yamamoto Co Ltd | 莢果選別装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0647239A (ja) * | 1992-07-31 | 1994-02-22 | Matsushita Electric Ind Co Ltd | 加除湿機 |
JP6024949B2 (ja) * | 2012-06-27 | 2016-11-16 | 株式会社サタケ | 穀粒外観測定装置 |
CN103344575B (zh) * | 2013-07-01 | 2015-11-25 | 江南大学 | 基于高光谱图像技术的干燥毛豆多品质无损检测方法 |
-
2016
- 2016-02-18 JP JP2017500739A patent/JP6590907B2/ja active Active
- 2016-02-18 WO PCT/JP2016/054762 patent/WO2016133175A1/ja active Application Filing
- 2016-02-18 TW TW105104823A patent/TWI632360B/zh active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06347239A (ja) * | 1993-06-04 | 1994-12-20 | Fuji Facom Corp | 外観検査方法 |
JP2000185263A (ja) * | 1998-12-21 | 2000-07-04 | Satake Eng Co Ltd | 粒状物色彩選別方法およびその選別機 |
JP2002062113A (ja) * | 2000-08-17 | 2002-02-28 | Ishii Ind Co Ltd | 被検出物の計測方法及びその装置 |
JP2005083775A (ja) * | 2003-09-05 | 2005-03-31 | Seirei Ind Co Ltd | 穀粒選別装置 |
JP2008020347A (ja) * | 2006-07-13 | 2008-01-31 | Akita Prefecture | 莢果判別構造 |
JP2009189936A (ja) * | 2008-02-13 | 2009-08-27 | Akita Prefecture | 莢果判別構造 |
JP2012103092A (ja) * | 2010-11-10 | 2012-05-31 | Seiko Epson Corp | 読取装置 |
JP2013094764A (ja) * | 2011-11-04 | 2013-05-20 | Yamamoto Co Ltd | 莢果選別装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018175555A1 (en) * | 2017-03-21 | 2018-09-27 | Monsanto Technology Llc | Seed sorting |
CN107350176A (zh) * | 2017-07-18 | 2017-11-17 | 商洛学院 | 一种玉米种子质量检测装置 |
JP2019107611A (ja) * | 2017-12-19 | 2019-07-04 | 株式会社茶野電機工業 | 枝豆選別機 |
US11673166B2 (en) * | 2018-03-14 | 2023-06-13 | Monsanto Technology Llc | Seed imaging |
JP2020151613A (ja) * | 2019-03-18 | 2020-09-24 | ヤンマーパワーテクノロジー株式会社 | 農作物選別装置 |
JP2021043149A (ja) * | 2019-09-13 | 2021-03-18 | 日世株式会社 | 検出システム、および検出方法 |
JP2021128123A (ja) * | 2020-02-17 | 2021-09-02 | 東芝ライテック株式会社 | 莢果の検査装置、および莢果の検査方法 |
JP7354869B2 (ja) | 2020-02-17 | 2023-10-03 | 東芝ライテック株式会社 | 莢果の検査装置、および莢果の検査方法 |
IT202000015469A1 (it) * | 2020-06-26 | 2021-12-26 | Metacortex Srl | Sistema e metodo per la misurazione di caratteristiche fisiche di pellet e dispositivo previsto nel sistema |
EP3929530A1 (en) * | 2020-06-26 | 2021-12-29 | Metacortex S.r.l. | System and method for measuring physical characteristics of pellets and device provided in the system |
CN117607143A (zh) * | 2023-10-16 | 2024-02-27 | 江苏跃畅新能源科技有限公司 | 一种固体破碎混合物料分选效率检测装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201636596A (zh) | 2016-10-16 |
JP6590907B2 (ja) | 2019-10-16 |
TWI632360B (zh) | 2018-08-11 |
JPWO2016133175A1 (ja) | 2018-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016133175A1 (ja) | 莢果選別システム、莢果選別装置及び莢果選別方法 | |
Huang et al. | Development of a multispectral imaging system for online detection of bruises on apples | |
Sahu et al. | Defect identification and maturity detection of mango fruits using image analysis | |
Mahendran et al. | Application of computer vision technique on sorting and grading of fruits and vegetables | |
Blasco et al. | Machine vision system for automatic quality grading of fruit | |
JP5898388B2 (ja) | 食品の品質をスコア付け及び制御するための方法及び装置 | |
US7218775B2 (en) | Method and apparatus for identifying and quantifying characteristics of seeds and other small objects | |
EP3801934B1 (en) | Process and system for in-line inspection of product stream for detection of foreign objects | |
JP5455409B2 (ja) | 異物選別方法および異物選別設備 | |
Syazwan et al. | Categorization of watermelon maturity level based on rind features | |
JP3178017B2 (ja) | メロンの外観評価装置 | |
Esehaghbeygi et al. | Digital image processing for quality ranking of saffron peach | |
Markovic et al. | Application of statistical indicators for digital image analysis and segmentation in sorting of agriculture products | |
Fu et al. | Distinguishing overripe berries of Japanese blue honeysuckle using hyperspectral imaging analysis | |
JP2003251282A (ja) | 苺用等階級計測判定装置 | |
KR102198917B1 (ko) | 곡립 등급 판정시스템 및 그 방법 | |
EP2107361A1 (en) | Process and Apparatus for Analysing Plant Material | |
Ola et al. | Software application in machine vision investigation of agricultural seeds quality | |
Minz et al. | Machine vision technology in food processing industry: principles and applications—a review | |
KR100400861B1 (ko) | 과실 외관품질 인자의 온라인 검출 및 정량화를 위한시스템 및 방법 | |
Kondo et al. | Application of NIR-color CCD camera to eggplant grading machine | |
Nagata et al. | Quality Evaluation of | |
Huang et al. | Development of a multi-spectral imaging system for the detection of bruises on apples | |
Eaton et al. | Colour analysis of strawberries on a real time production line | |
Blasco et al. | Computer vision developments for the automatic inspection of fresh and processed fruits |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16752561 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017500739 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16752561 Country of ref document: EP Kind code of ref document: A1 |