WO2018038123A1 - 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 - Google Patents
食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 Download PDFInfo
- Publication number
- WO2018038123A1 WO2018038123A1 PCT/JP2017/029996 JP2017029996W WO2018038123A1 WO 2018038123 A1 WO2018038123 A1 WO 2018038123A1 JP 2017029996 W JP2017029996 W JP 2017029996W WO 2018038123 A1 WO2018038123 A1 WO 2018038123A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- food
- wavelength
- specific wavelength
- foreign matter
- learning
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/94—Investigating contamination, e.g. dust
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/845—Objects on a conveyor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Definitions
- the present invention relates to a food inspection apparatus, a food inspection method, and a learning method for identifying means of the food inspection apparatus.
- Patent Documents 1 and 2 ⁇ Description of background technology> Conventionally, various techniques such as metal detection and X-ray inspection have been proposed for food inspection apparatuses that detect foreign matters mixed in inspection objects such as food. In recent years, it has been proposed to detect a foreign object by performing image processing on a captured image (Patent Documents 1 and 2).
- Patent Document 1 discloses absorption spectra of visible light and near-infrared light of reflected light obtained by irradiating light to food and at least one of foreign substances and foreign substances contained in food.
- the absorption spectrum is subjected to a second derivative process, a wavelength band showing a second derivative spectrum different between the food and at least one of foreign substances and foreign substances is selected.
- the obtained spectral image is acquired by the imaging means, and a secondary differential processing is performed on the absorption spectrum in the wavelength band to create a secondary differential spectral image, thereby at least one of foreign matters and foreign matters contained in the food. It is described to detect.
- Patent Document 2 a spectral image is obtained for each of a spoiled part sample and a healthy part sample of a food spoilage substance, and a statistical method is used by utilizing the difference in the absorption spectrum of each sample. It is described that a calibration formula for determining whether or not a rot portion is present is created, and a spectral image of the unknown sample is applied to the calibration formula to determine whether or not the unknown sample is a rot portion.
- the processing means should have a very high processing capacity or the conveyance speed of the inspection object should be increased. There was no choice but to slow it down.
- JP 2004-301690 A Japanese Patent Laying-Open No. 2005-201636
- the present invention has been made in view of such circumstances, and the object thereof is a food inspection apparatus, a food inspection method, and a learning method for an identification means of a food inspection apparatus that can detect foreign matter at high speed. Is to provide.
- the present invention captures an image of the inspection object, a conveying means for conveying a food for confirming the absence of foreign matter as an inspection object, a light irradiation means for irradiating the inspection object with light, and an image of the inspection object.
- the means is a first optical filter attached to the light irradiating means or the imaging means and / or a second optical filter attached to an auxiliary light device, or a wavelength-specific light source. And highlighting at least a foreign substance specific wavelength characteristic of the foreign substance or a characteristic non-defective product specific wavelength reflected by the food non-defective product from the light of
- the imaged image is normalized with a gradation of 256 levels or less according to the light intensity, and the weight reduction means for making the weight reduction data, and the process of identifying the foreign substance specific wavelength from the weight reduction data, Identification means that has been deep-learned in advance using the weight reduction data, and the identification means, from the weight reduction data obtained by imaging during transportation of the food by the transportation means, the foreign matter or The non-defective product is identified in-line.
- the wavelength emphasis unit emphasizes at least one of the foreign substance specific wavelength and at least one non-defective product specific wavelength
- the identification unit includes the carrier
- the non-defective product is identified in-line from the weight-reduction data obtained by imaging during transportation of the food by the means.
- the wavelength emphasizing unit emphasizes two wavelengths of the first foreign substance specific wavelength and the second foreign substance specific wavelength as the foreign substance specific wavelength.
- the identification means processes the video imaged by the imaging means as a pseudo RGB video image.
- the present invention is a learning method for identifying means of a food inspection apparatus, wherein a characteristic wavelength reflected by the foreign matter is determined from a learning image obtained by imaging food for confirming that no foreign matter is mixed. And extracting the characteristic wavelength reflected by the non-defective food product as a non-defective product specific wavelength, and preparing a plurality of pseudo RGB learning images including at least the foreign substance specific wavelength and the non-defective product specific wavelength; Normalizing the pseudo RGB learning image with a gradation of 256 steps or less according to the light intensity, and reducing the weight to the lightening learning data; from the lightening learning data, the foreign substance specific wavelength or the non-defective product specific wavelength And a step of deep learning the identifying means.
- This invention is a food inspection apparatus provided with the identification means learned by the structure of said (4).
- the present invention it is possible to provide a food inspection apparatus, a food inspection method, and a learning method for identifying means of a food inspection apparatus that can detect foreign matters at high speed.
- FIG. 1 is a schematic view showing a food inspection apparatus according to an embodiment of the present invention.
- FIG. 2 is a schematic view showing an identification state of the inspection object.
- a food inspection apparatus 1 shown in FIG. 1 includes a transport unit 2, a light irradiation unit 3, an imaging unit 4, a wavelength enhancement unit 5, and an identification processing device 6.
- the inspection object A to be inspected by the food inspection apparatus 1 is food B such as vegetables and fruits before processing, processed products and cooked products after processing.
- food B such as vegetables and fruits before processing, processed products and cooked products after processing.
- foreign matter Fn that can be mixed in these foods B, for example, if only the fruit of the fruit is a non-defective product S, branches and leaves, hair, insects, metals, stones, etc.
- a defective product having a scratched part, a chipped part, a spoiled part, a burnt part, or the like becomes a foreign substance Fn, and another food also becomes a foreign substance Fn.
- these may be combined into a non-defective product S and a foreign matter Fn.
- the conveying means 2 conveys the inspection object A from the upstream process to the downstream process through the inspection process in the inspection unit C, and is composed of a belt conveyor or the like.
- the conveyance means 2 conveys the inspection object A at a conveyance speed of about 2 m / min to 20 m / min.
- the inspection unit C is composed of the light irradiation unit 3, the imaging unit 4, the wavelength enhancement unit 5, and the identification processing device 6 disposed above the transport unit 2, and confirms that no foreign matter Fn is mixed.
- the foreign substance Fn is identified in-line from the food B being conveyed.
- the light irradiation means 3 irradiates the inspection object A with light, for example, light having a wavelength of 300 nm to 1100 nm, and a halogen lamp or the like is used. In the case of a halogen lamp, light from the near ultraviolet region to the visible light region and the near infrared region can be irradiated.
- the light irradiating means 3 also includes an auxiliary light device 32 to which a second optical filter 52 described later is attached.
- the image pickup means 4 picks up an image of the inspection object A being conveyed, and is constituted by a CCD camera, a hyperspectral camera, or the like.
- a first optical filter 51 to be described later is attached to the imaging means 4.
- the resolution is preferably a resolution at which the average pixel length of the food B can be imaged at 10 to 100 pixels, and most preferably at 20 to 40 pixels. If the average pixel length of the food B is smaller than 10 pixels, sufficient feature detection cannot be performed later, and if it exceeds 100 pixels, sufficient processing capability for food inspection cannot be obtained.
- the average pixel length of the food B is an average value when the maximum number of pixels in the vertical or horizontal direction when the target food B is imaged and 10 images are captured.
- the wavelength enhancement means 5 emphasizes the characteristic wavelength Wn reflected by at least one of the non-defective product S of the food B or the foreign matter Fn in the inspection object A.
- the wavelength enhancing means 5 uses, for example, the first optical filter 51 attached to the light irradiation means 3 or the imaging means 4 to set at least one foreign substance specific wavelength (first foreign substance specific wavelength) Wf1 characteristic of the foreign substance F1. Or at least one characteristic good product specific wavelength Ws reflected by the good product S of the food B is emphasized.
- the second foreign substance specific wavelength Wf2 characteristic of the foreign substance F2 other than the foreign substance F1 is also simultaneously enhanced using the second optical filter 52.
- the first optical filter 51 and the second optical filter 52 a long wavelength cut, a short wavelength cut filter, a band pass filter, or the like is used.
- the imaging means 4 is a CCD camera
- the first optical filter 51 and the second optical filter 52 are externally connected to the CCD cell voltage for controlling the well voltage and / or substrate voltage of the CCD cell of the CCD camera from the outside. It may be a control device.
- a CCD cell voltage external control device it is possible to control the well voltage and / or the substrate voltage without changing the surface processing of the dichroic prism while using a generally available 3CCD type CCD camera.
- the wavelength enhancing means 5 can emphasize the characteristic good product specific wavelength Ws reflected by the good product S of the food B in addition to the first foreign matter specific wavelength Wf1 and the second foreign matter specific wavelength Wf2.
- the first optical filter 51 and the second optical filter 52 may be configured to emphasize opposite specific wavelengths, respectively.
- the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws need to be extracted from the image D0 obtained by imaging the inspection object A in advance.
- the identification processing device 6 identifies the non-defective product S or the foreign matters F1 and F2 of the food B in the inspection object A.
- the identification processing device 6 includes a weight reduction unit 61 that uses the video D1 captured by the imaging unit 4 as the weight reduction data D3, and the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, or the non-defective product from the weight reduction data D3.
- the weight reduction means 61 first sets the image D1 obtained by imaging the inspection object A being conveyed by the imaging means 4 as a pseudo RGB image D2. At this time, the first foreign matter specific wavelength Wf1, the second foreign matter specific wavelength Wf2 and the non-defective product specific wavelength Ws of the video D1 are made to correspond to any one of the RGB signals on a one-to-one basis, thereby obtaining the pseudo RGB video D2. Can do.
- the pseudo RGB image D2 may be displayed on a display unit such as a monitor as necessary.
- the pseudo RGB image D2 is normalized with 256 gradations or less according to the light intensity, and is set as light weight data D3. It should be noted that the lightest data D3 is binary data.
- the video data capacity will be described.
- the video D1 and the pseudo RGB image D2 captured in full color (16,770,000 colors) are 1
- the data capacity is about 3.6 MB per sheet, but by normalizing to a gradation of 256 levels or less, the weight reduction data D becomes a data capacity of about 0.3 MB or less per sheet, and further 16 levels or less. Therefore, the data amount can be further reduced to 0.15 MB or less.
- the identification unit 62 identifies the foreign matters F1 and F2 in-line from the inspection object A being conveyed by the conveyance unit 2 based on the weight reduction data D3. At this time, the identification unit 62 may identify the non-defective product S inline. This identification means 62 has previously learned the process of identifying the foreign matter F1, foreign matter F2 or non-defective product S from the inspection object A by deep learning.
- FIG. 3 is a learning flowchart of the identification means.
- the characteristic wavelength at which the foreign matter F1 and the foreign matter F2 reflect from the learning image d1 obtained by imaging the food B that is desired to be confirmed to be free of the presence of the foreign matters F1 and F2 in advance by the imaging unit 4 is selected.
- the characteristic wavelength reflected by the non-defective product S of the food B is extracted as the non-defective product specific wavelength Ws, respectively, as the first foreign material specific wavelength Wf1 and the second foreign material specific wavelength Wf2.
- the imaging unit 4 uses the wavelength enhancement unit 5 that enhances the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws extracted in the specific wavelength extraction step S1.
- the inspection object A is imaged.
- a pseudo RGB learning image d2 including the first foreign material specific wavelength Wf1, the second foreign material specific wavelength Wf2, and the non-defective product specific wavelength Ws is created from the captured learning video d1, and a plurality of, for example, 1000 or more are prepared.
- the pseudo RGB learning video d2 Is obtained.
- the plurality of pseudo RGB learning images d2 are normalized with a gradation of 256 levels or less according to the light intensity, and reduced to the weight reduction learning data d3.
- the identifying means 62 is caused to deep learn the process of identifying the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws from the weight reduction learning data d3.
- Deep learning includes so-called convolutional neural networks, recursive neural networks, and the like. However, after learning, a convolutional neural network is desirable because of the necessity of processing the pseudo RGB video D2 input at that moment.
- ⁇ Description of Learning Step-2 Convolutional Neural Network> Furthermore, in the convolutional neural network, if reconstruction using a self-encoder or color reconstruction using luminance is performed, learning using only the non-defective product S becomes possible, and the learning step can be efficiently advanced. This is desirable.
- the reconstructed image is “an image that is predicted when all of the foods B that have been captured are all non-defective products S”, and calculates a difference for each pixel from the weight reduction learning data d3. It is possible to detect pixels exceeding a predetermined threshold as “non-defective objects”.
- the weight reduction learning data d3 is obtained by extracting a kernel image in a reconstructed convolutional neural network using a self-encoder, and then extracting a feature in a neural network layer having a plurality of nodes, and then decoding a decoding layer. Reconstructed with. Furthermore, it is possible to extract more conceptual features by repeating the extraction from the kernel to the decoding multiple times.
- This self-encoder learning is performed so that the output from the final decoding layer matches the light-weight learning data d3 input as much as possible, that is, the loss function representing the difference is as low as possible.
- a loss function such as BCE (Binary Cross-entropy) can be used.
- ⁇ Description of Learning Step-4 Color Reconstruction Using Luminance> Details of color reconstruction using luminance will be described.
- the weight reduction learning data d3 is converted from the RGB space to the Lab space and applied to a convolutional neural network for color reconstruction using the L value (luminance).
- the a value and the b value converted into the Lab space are classified into categories obtained by dividing the ab space into a specific number of categories to obtain a categorical expression.
- a convolutional neural network for color reconstruction using L values (luminance) a kernel image is extracted in a first convolution layer, and then feature extraction is performed in a neural network layer having a plurality of nodes. Next, the number of pixels of the original image size is reproduced using a deconvolution layer.
- the kernel size is the number of pixels of the original image size, and the number of nodes is the feature extraction as the specific category number.
- the convolution application interval (stride) is larger than 2 in the first convolution layer, and features are extracted from a plurality of pixels and aggregated.
- the array size (pixel size) is the same as that of the first convolution layer, and the convolution application interval is the same as that of the first convolution layer. Reconstruct features into pixels.
- the L-value of the weight reduction learning data d3 or the image processing data thereof is input, and the color reconstructed color reconstruction a obtained from the (n-1) th convolutional layer is obtained.
- Value and color reconstruction b value are obtained, and the loss function (BCE) between the color reconstruction a value and color reconstruction b value and the a value and b value of the small learning data that is the original image is as low as possible.
- BCE loss function
- the nth convolution layer inputs the weight reduction learning data d3 that is the original image or the a value and the b value of the image processing data, and sets the specific number of categories. Learn to classify into separate categories.
- the number of nodes is set to the specific category number, and the number of nodes is preferably 100 or more and less than 1600. If the number of nodes (and the number of categories) is 100 or less, the change in weight in the ab space cannot be sufficiently grasped, and if it exceeds 1600, the effect of classifying into categories and improving the calculation efficiency is diminished.
- the categorical expression obtained from the nth layer by inputting the L value of the small learning data to the first convolution layer, and the a value and b of the small learning data. A value is input to the (n ⁇ 1) th convolution layer to obtain a difference from the categorical expression obtained from the nth layer, and a pixel exceeding a predetermined threshold is detected as a “non-defective object”. .
- the identifying means 62 that has learned the relationship between the foreign matter F1, the foreign matter F2, and the non-defective product S and the first foreign matter specific wavelength Wf1, the second foreign matter specific wavelength Wf2, and the non-defective product specific wavelength Ws is the weight reduction data D3.
- the foreign object F1, the foreign object F2, or the non-defective product S is identified from the inspection object A as shown in FIG. In FIG. 2, the foreign matter F1 is hair or stone, and the foreign matter F2 is a rot portion.
- the identification unit 62 may additionally learn the actual light weight data D3 obtained from the inspection object A and update the learning result.
- the food inspection apparatus 1 includes a conveyance unit 2 that conveys a food B that is confirmed to be free of foreign matter Fn as an inspection object A, a light irradiation unit 3 that irradiates the inspection object A with light, and an inspection. Identification for identifying at least one of the imaging means 4 for imaging the image of the object A, the wavelength enhancement means 5 for enhancing the characteristic wavelength W reflected by at least one of the food B or the foreign matter Fn, and the food B or the foreign matter Fn.
- the wavelength enhancement means 5 includes a first optical filter 51 attached to the light irradiation means 3 or the imaging means 4 and / or a second optical filter 52 attached to the light compensator 32, Or, using a wavelength-specific light source, emphasizes at least the foreign substance specific wavelength Wf characteristic of the foreign substance Fn or the characteristic non-defective product specific wavelength Ws reflected by the non-defective product S of the food B from light of 300 nm to 1100 nm or less.
- the identification processing device 6 normalizes the video D1 picked up by the image pickup means 4 with a gradation of 256 steps or less according to the light intensity to obtain the weight reduction data D3, and the weight reduction data D3.
- a process for identifying the foreign substance specific wavelength Wf includes an identification unit 62 that has been deep-learned in advance using a plurality of weight reduction learning data d3, and the identification unit 62 is conveying the food B by the conveyance unit 2
- the foreign matter Fn or the non-defective product S is identified in-line from the weight-reduction data D3 obtained by imaging.
- the identification speed can be increased without degrading the identification accuracy without using high-speed processing means.
- the wavelength enhancing unit 5 emphasizes the non-defective product specific wavelength Ws reflected by the non-defective product S.
- the foreign object Fn can be identified from the inspection object A, and the non-defective product S can be identified. Since the non-defective product S and the foreign matter Fn can be identified from the inspection object A (food B), the processing content of the branching / separating means can be set according to the frequency of the non-defective product S and the foreign matter Fn.
- the wavelength enhancement unit 5 emphasizes two wavelengths, the first foreign substance specific wavelength Wf1 and the second foreign substance specific wavelength Wf2, as the foreign substance specific wavelength Wf. Accordingly, the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws can be made to correspond to any one of the RGB signals on a one-to-one basis, and the video D1 captured by the imaging unit 4 can be obtained. It can be processed as a pseudo RGB image D2.
- the characteristic wavelength reflected by the foreign matter Fn is determined from the learning image d1 obtained by imaging the food B for confirming that no foreign matter Fn is mixed.
- a plurality of pseudo RGB learning images d2 including a step of exploring the characteristic wavelength reflected by the non-defective product S of the food B as the non-defective product specific wavelength Ws and at least the foreign material specific wavelength Wf and the non-defective product specific wavelength Ws are prepared.
- the process of identifying the non-defective product specific wavelength Ws includes the step of deep learning the identifying means 62. Thereby, the relationship between the foreign matter Fn and the non-defective product S, and the foreign matter specific wavelength Wf and the non-defective product specific wavelength Ws can be efficiently learned by the identifying unit 62.
- the wavelength enhancing means 5 emphasizes a total of three wavelengths of the first foreign material specific wavelength Wf1, the second foreign material specific wavelength Wf2, and the non-defective product specific wavelength Ws.
- at least one first foreign material specific wavelength is used.
- Wf1 (Wf2) and at least one non-defective product specific wavelength Ws may be emphasized, or only the first foreign substance specific wavelength Wf1 may be emphasized.
- At least the foreign matter Fn can be identified from the food B by emphasizing the first foreign matter specific wavelength Wf1.
- only the non-defective product specific wavelength Ws may be emphasized.
- Note that a total of four or more foreign substance specific wavelengths Wf and non-defective product specific wavelengths Ws may be emphasized.
- the wavelength enhancement means 5 is not the second optical filter 52 attached to the light supplement device, but a wavelength-specific light source that emits only light in a predetermined wavelength range, such as an LED element or a semiconductor laser. Also good. If it is an LED element, it can comprise so that the light of a desired wavelength range may be discharge
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
異物の検出を高速に行うことができる食品検査装置を提供する。 本発明の食品検査装置(1)は、搬送手段(2)と、光照射手段(3)と、検査対象物(A)の映像を撮像する撮像手段(4)と、第1の光学フィルター(51)及び/又は第2の光学フィルター(52)、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から異物(F)に特徴的な異物特定波長を強調する波長強調手段(5)と、異物(F)を識別する識別処理装置(6)と、を備え、識別処理装置(6)は、撮像された映像を、光強度に応じた256段階以下の階調で正規化し、軽量化データとする軽量化手段(61)と、軽量化データから異物特定波長を識別する処理を、あらかじめディープラーニングさせた識別手段(62)と、を有し、識別手段(62)は、検査対象物(A)の搬送中に撮像して得られた軽量化データから、異物(F)又は良品(S)をインラインで識別するものである。
Description
本発明は、食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法に関する。
<背景技術の説明>
従来、食品などの検査対象物に混在する異物を検出する食品検査装置に関し、金属検知やX線検査など各種の技術が提案されている。近年は、撮影画像を画像処理して、異物を検出するものも提案されている(特許文献1及び2)。
従来、食品などの検査対象物に混在する異物を検出する食品検査装置に関し、金属検知やX線検査など各種の技術が提案されている。近年は、撮影画像を画像処理して、異物を検出するものも提案されている(特許文献1及び2)。
<特許文献1の説明>
特許文献1(請求項1参照)には、食品と、食品に含まれる異物及び夾雑物の少なくとも何れかと、に光を照射することによって得られる反射光の可視光及び近赤外光の吸収スペクトルを測定し、吸収スペクトルに対して2次微分処理を行い、食品と異物及び夾雑物の少なくとも何れかとの間で異なる2次微分スペクトルを示す波長帯を選定し、食品について、波長帯の光によって得られる分光画像を撮像手段によって取得し、波長帯の吸収スペクトルに対して2次微分処理を行って2次微分分光画像を作成することによって、食品に含まれる異物及び夾雑物の少なくとも何れかを検出することが記載されている。
特許文献1(請求項1参照)には、食品と、食品に含まれる異物及び夾雑物の少なくとも何れかと、に光を照射することによって得られる反射光の可視光及び近赤外光の吸収スペクトルを測定し、吸収スペクトルに対して2次微分処理を行い、食品と異物及び夾雑物の少なくとも何れかとの間で異なる2次微分スペクトルを示す波長帯を選定し、食品について、波長帯の光によって得られる分光画像を撮像手段によって取得し、波長帯の吸収スペクトルに対して2次微分処理を行って2次微分分光画像を作成することによって、食品に含まれる異物及び夾雑物の少なくとも何れかを検出することが記載されている。
<特許文献2の説明>
特許文献2(請求項1参照)には、食物の腐敗する物質の腐敗部サンプルと健全部サンプルについてそれぞれの分光画像を取得し、各サンプルについての吸光スペクトルの違いを利用して統計的手法により腐敗部か否かを判定する検量式を作成し、検量式に未知サンプルの分光画像を当てはめて未知サンプルが腐敗部か否かを判断することが記載されている。
特許文献2(請求項1参照)には、食物の腐敗する物質の腐敗部サンプルと健全部サンプルについてそれぞれの分光画像を取得し、各サンプルについての吸光スペクトルの違いを利用して統計的手法により腐敗部か否かを判定する検量式を作成し、検量式に未知サンプルの分光画像を当てはめて未知サンプルが腐敗部か否かを判断することが記載されている。
<要望される技術-1>
しかしながら、特許文献1の検出方法では、特定の波長帯の光によって得られる分光画像を得るのに時間がかかり、また分光画像から2次微分分光画像を作成するために検出装置の処理手段は処理能力を必要とする。また、特許文献2の判定方法では、検査対象物を複数の分割領域にして、複数の分光画像を平均化し、未知サンプルの分光画像とし、検量式に当てはめるため、判定装置の処理手段の検出精度が落ちる。
しかしながら、特許文献1の検出方法では、特定の波長帯の光によって得られる分光画像を得るのに時間がかかり、また分光画像から2次微分分光画像を作成するために検出装置の処理手段は処理能力を必要とする。また、特許文献2の判定方法では、検査対象物を複数の分割領域にして、複数の分光画像を平均化し、未知サンプルの分光画像とし、検量式に当てはめるため、判定装置の処理手段の検出精度が落ちる。
<要望される技術-2>
そのため、これらの検出又は判定方法を、検出精度を維持しながら検査対象物の搬送中にインラインで行うには、処理手段を非常に高い処理能力のものとするか、検査対象物の搬送速度をかなり遅くするしかなく、実質的に不可能な状況であった。
そのため、これらの検出又は判定方法を、検出精度を維持しながら検査対象物の搬送中にインラインで行うには、処理手段を非常に高い処理能力のものとするか、検査対象物の搬送速度をかなり遅くするしかなく、実質的に不可能な状況であった。
<背景技術の課題>
そこで、本発明は、このような事情に鑑みてなされたものであり、その目的は、異物の検出を高速に行うことができる食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法を提供することにある。
そこで、本発明は、このような事情に鑑みてなされたものであり、その目的は、異物の検出を高速に行うことができる食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法を提供することにある。
<請求項1の内容>
このような目的を達成するため、本発明は、以下の構成によって把握される。
(1)本発明は、異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、前記検査対象物に光を照射する光照射手段と、前記検査対象物の映像を撮像する撮像手段と、前記食品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、前記波長強調手段は、前記光照射手段又は前記撮像手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を強調し、前記識別処理装置は、前記撮像手段により撮像された映像を、光強度に応じた256段階以下の階調で正規化し、軽量化データとする軽量化手段と、前記軽量化データから前記異物特定波長を識別する処理を、複数枚の前記軽量化データを用いて、あらかじめディープラーニングさせた識別手段と、を有し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記異物又は前記良品をインラインで識別するものである。
このような目的を達成するため、本発明は、以下の構成によって把握される。
(1)本発明は、異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、前記検査対象物に光を照射する光照射手段と、前記検査対象物の映像を撮像する撮像手段と、前記食品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、前記波長強調手段は、前記光照射手段又は前記撮像手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を強調し、前記識別処理装置は、前記撮像手段により撮像された映像を、光強度に応じた256段階以下の階調で正規化し、軽量化データとする軽量化手段と、前記軽量化データから前記異物特定波長を識別する処理を、複数枚の前記軽量化データを用いて、あらかじめディープラーニングさせた識別手段と、を有し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記異物又は前記良品をインラインで識別するものである。
<請求項2の内容>
(2)本発明は、上記(1)の構成において、前記波長強調手段は、前記異物特定波長を少なくとも1つ、及び前記良品特定波長を少なくとも1つ、強調し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記良品をインラインで識別するものである。
(2)本発明は、上記(1)の構成において、前記波長強調手段は、前記異物特定波長を少なくとも1つ、及び前記良品特定波長を少なくとも1つ、強調し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記良品をインラインで識別するものである。
<請求項3の内容>
(3)本発明は、上記(1)又は(2)の構成において、前記波長強調手段は、前記異物特定波長として第1の異物特定波長及び第2の異物特定波長の2つの波長を強調し、前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理するものである。
(3)本発明は、上記(1)又は(2)の構成において、前記波長強調手段は、前記異物特定波長として第1の異物特定波長及び第2の異物特定波長の2つの波長を強調し、前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理するものである。
<請求項4の内容>
(4)本発明は、食品検査装置の識別手段の学習方法であって、異物の混在がないことを確認する食品を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記食品の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、前記異物特定波長と前記良品特定波長とを少なくとも含む疑似RGB学習映像を複数枚準備するステップと、前記疑似RGB学習映像を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データに軽量化するステップと、前記軽量化学習データから、前記異物特定波長又は前記良品特定波長を識別する処理を、前記識別手段にディープラーニングさせるステップと、を含むものである。
(4)本発明は、食品検査装置の識別手段の学習方法であって、異物の混在がないことを確認する食品を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記食品の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、前記異物特定波長と前記良品特定波長とを少なくとも含む疑似RGB学習映像を複数枚準備するステップと、前記疑似RGB学習映像を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データに軽量化するステップと、前記軽量化学習データから、前記異物特定波長又は前記良品特定波長を識別する処理を、前記識別手段にディープラーニングさせるステップと、を含むものである。
<請求項5の内容>
本発明は、上記(4)の構成によって学習させた識別手段を備える食品検査装置である。
本発明は、上記(4)の構成によって学習させた識別手段を備える食品検査装置である。
<請求項6の内容>
上記(1)から(3)及び(5)までのいずれか1つの構成の食品検査装置によって、検査対象物の食品に異物の混在がないことを確認する食品の検査方法である。
上記(1)から(3)及び(5)までのいずれか1つの構成の食品検査装置によって、検査対象物の食品に異物の混在がないことを確認する食品の検査方法である。
本発明によれば、異物の検出を高速に行うことができる食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法を提供することができる。
<実施形態の説明-1>
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」と称する)について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」と称する)について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。
<実施形態の説明-2>
まず、異物Fnの混在がないことを確認したい食品B(検査対象物A)から、異物Fnをインラインで識別する食品検査装置1について、図1に基づいて説明する。図1は本発明の実施形態に係る食品検査装置を示す概略図である。図2は、検査対象物の識別状態を示す概略図である。
まず、異物Fnの混在がないことを確認したい食品B(検査対象物A)から、異物Fnをインラインで識別する食品検査装置1について、図1に基づいて説明する。図1は本発明の実施形態に係る食品検査装置を示す概略図である。図2は、検査対象物の識別状態を示す概略図である。
<食品検査装置の全体構成-1>
図1に示される食品検査装置1は、搬送手段2と、光照射手段3と、撮像手段4と、波長強調手段5と、識別処理装置6と、を備える。この食品検査装置1で検査される検査対象物Aは、加工前の野菜や果実や、加工後の加工品や調理品などの食品Bである。これらの食品B中に混在し得る異物Fnとしては、例えば、果実の実のみを良品Sとすると、枝葉・萼、毛髪、虫、金属、石などが異物Fnであり、また、正常な状態の食品Bを良品Sとすると、傷部、欠け部、腐敗部、焦げ部などを有する不良品も異物Fnとなり、さらに、ある食品Bに対して、別の食品も異物Fnとなる。また、これらが複合して、良品S及び異物Fnとされることもある。
図1に示される食品検査装置1は、搬送手段2と、光照射手段3と、撮像手段4と、波長強調手段5と、識別処理装置6と、を備える。この食品検査装置1で検査される検査対象物Aは、加工前の野菜や果実や、加工後の加工品や調理品などの食品Bである。これらの食品B中に混在し得る異物Fnとしては、例えば、果実の実のみを良品Sとすると、枝葉・萼、毛髪、虫、金属、石などが異物Fnであり、また、正常な状態の食品Bを良品Sとすると、傷部、欠け部、腐敗部、焦げ部などを有する不良品も異物Fnとなり、さらに、ある食品Bに対して、別の食品も異物Fnとなる。また、これらが複合して、良品S及び異物Fnとされることもある。
<搬送手段の構成-1>
搬送手段2は、検査対象物Aを上流工程から検査部Cでの検査工程を経て下流工程を搬送するもので、ベルトコンベアなどから構成されている。搬送手段2は、2m/分から20m/分程度の搬送速度で検査対象物Aを搬送する。
搬送手段2は、検査対象物Aを上流工程から検査部Cでの検査工程を経て下流工程を搬送するもので、ベルトコンベアなどから構成されている。搬送手段2は、2m/分から20m/分程度の搬送速度で検査対象物Aを搬送する。
<検査部の構成-1>
検査部Cは、搬送手段2の上方に配置された、光照射手段3と、撮像手段4と、波長強調手段5と、識別処理装置6と、から構成され、異物Fnの混在ないことを確認したい搬送中の食品Bから、異物Fnをインラインで識別する。
検査部Cは、搬送手段2の上方に配置された、光照射手段3と、撮像手段4と、波長強調手段5と、識別処理装置6と、から構成され、異物Fnの混在ないことを確認したい搬送中の食品Bから、異物Fnをインラインで識別する。
<光照射手段の構成-1>
光照射手段3は、検査対象物Aに光、例えば300nm以上1100nmの波長を含む光を照射するもので、ハロゲンランプなどが用いられる。ハロゲンランプであれば、近紫外線領域から可視光領域及び近赤外線領域までの光を照射することができる。なお、本実施形態では、光照射手段3には、後述する第2の光学フィルター52が取付けられた補光器32も含まれる。
光照射手段3は、検査対象物Aに光、例えば300nm以上1100nmの波長を含む光を照射するもので、ハロゲンランプなどが用いられる。ハロゲンランプであれば、近紫外線領域から可視光領域及び近赤外線領域までの光を照射することができる。なお、本実施形態では、光照射手段3には、後述する第2の光学フィルター52が取付けられた補光器32も含まれる。
<撮像手段の構成-1>
撮像手段4は、搬送中の検査対象物Aを撮像するもので、CCDカメラや、ハイパースペクトルカメラなどで構成される。この撮像手段4には、後述する第1の光学フィルター51が取付けられている。なお、第1の光学フィルター51は、撮像手段4でなく、上述の光照射手段3に取付けてもよい。また、解像度は、食品Bの平均ピクセル長が10~100ピクセルで撮像できる解像度が好ましく、20~40ピクセルでの撮像が最も好ましい。食品Bの平均ピクセル長が10ピクセルよりも小さいと後に十分な特徴検出が行えず、100ピクセルを超えると食品検査としての十分な処理能力を得られない。なおここで、食品Bの平均ピクセル長とは、対象となる食品Bを撮像したときの縦・横いずれかの最大ピクセル数を計測し、10個撮像したときの平均値である。
撮像手段4は、搬送中の検査対象物Aを撮像するもので、CCDカメラや、ハイパースペクトルカメラなどで構成される。この撮像手段4には、後述する第1の光学フィルター51が取付けられている。なお、第1の光学フィルター51は、撮像手段4でなく、上述の光照射手段3に取付けてもよい。また、解像度は、食品Bの平均ピクセル長が10~100ピクセルで撮像できる解像度が好ましく、20~40ピクセルでの撮像が最も好ましい。食品Bの平均ピクセル長が10ピクセルよりも小さいと後に十分な特徴検出が行えず、100ピクセルを超えると食品検査としての十分な処理能力を得られない。なおここで、食品Bの平均ピクセル長とは、対象となる食品Bを撮像したときの縦・横いずれかの最大ピクセル数を計測し、10個撮像したときの平均値である。
<波長強調手段の構成-1>
波長強調手段5は、検査対象物A中の食品Bの良品S又は異物Fnの少なくとも一方が反射する特徴的な波長Wnを強調する。波長強調手段5は、例えば、光照射手段3又は撮像手段4に取付けた第1の光学フィルター51を用いて、異物F1に特徴的な異物特定波長(第1の異物特定波長)Wf1を少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調する。本実施形態では、異物F1以外の異物F2に特徴的な第2の異物特定波長Wf2も、第2の光学フィルター52を用いて同時に強調する。
波長強調手段5は、検査対象物A中の食品Bの良品S又は異物Fnの少なくとも一方が反射する特徴的な波長Wnを強調する。波長強調手段5は、例えば、光照射手段3又は撮像手段4に取付けた第1の光学フィルター51を用いて、異物F1に特徴的な異物特定波長(第1の異物特定波長)Wf1を少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調する。本実施形態では、異物F1以外の異物F2に特徴的な第2の異物特定波長Wf2も、第2の光学フィルター52を用いて同時に強調する。
<波長強調手段の構成-2>
第1の光学フィルター51及び第2の光学フィルター52には、長波長カットや短波長カットフィルタ、又は、バンドパスフィルタなどが用いられる。また、撮像手段4がCCDカメラである場合、第1の光学フィルター51及び第2の光学フィルター52として、CCDカメラのCCDセルのウェル電圧及び/又はサブストレート電圧を外部から制御するCCDセル電圧外部制御装置であってもよい。CCDセル電圧外部制御装置を用いれば、一般的に入手できる3CCDタイプのCCDカメラを用いながらも、ダイクロイックプリズムの表面加工を変化させることなく、ウェル電圧及び/又はサブストレート電圧を制御することで、撮像素子に入り込む光子(波長によりエネルギー量が異なる)が電荷パケットに入る応答特性を変化させることが可能となり、異物Fに特徴的な異物特定波長Wfを少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調することができる。
第1の光学フィルター51及び第2の光学フィルター52には、長波長カットや短波長カットフィルタ、又は、バンドパスフィルタなどが用いられる。また、撮像手段4がCCDカメラである場合、第1の光学フィルター51及び第2の光学フィルター52として、CCDカメラのCCDセルのウェル電圧及び/又はサブストレート電圧を外部から制御するCCDセル電圧外部制御装置であってもよい。CCDセル電圧外部制御装置を用いれば、一般的に入手できる3CCDタイプのCCDカメラを用いながらも、ダイクロイックプリズムの表面加工を変化させることなく、ウェル電圧及び/又はサブストレート電圧を制御することで、撮像素子に入り込む光子(波長によりエネルギー量が異なる)が電荷パケットに入る応答特性を変化させることが可能となり、異物Fに特徴的な異物特定波長Wfを少なくとも1つ、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを少なくとも1つ、強調することができる。
<波長強調手段の構成-3>
さらに、波長強調手段5は、第1の異物特定波長Wf1及び第2の異物特定波長Wf2に加えて、食品Bの良品Sが反射する特徴的な良品特定波長Wsも強調可能になっている。なお、第1の光学フィルター51及び第2の光学フィルター52は、それぞれ逆の特定波長を強調するように構成されてもよい。
さらに、波長強調手段5は、第1の異物特定波長Wf1及び第2の異物特定波長Wf2に加えて、食品Bの良品Sが反射する特徴的な良品特定波長Wsも強調可能になっている。なお、第1の光学フィルター51及び第2の光学フィルター52は、それぞれ逆の特定波長を強調するように構成されてもよい。
<波長強調手段の構成-4>
これらの第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsは、前もって検査対象物Aを撮像し、得られた映像D0から抽出しておく必要がある。
これらの第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsは、前もって検査対象物Aを撮像し、得られた映像D0から抽出しておく必要がある。
<識別処理装置の構成-1>
識別処理装置6は、検査対象物A中の食品Bの良品S又は異物F1,F2を識別するものである。識別処理装置6は、撮像手段4により撮像された映像D1を軽量化データD3とする軽量化手段61と、軽量化データD3から第1の異物特定波長Wf1、第2の異物特定波長Wf2又は良品特定波長Wsを識別する識別手段62と、を有する。
識別処理装置6は、検査対象物A中の食品Bの良品S又は異物F1,F2を識別するものである。識別処理装置6は、撮像手段4により撮像された映像D1を軽量化データD3とする軽量化手段61と、軽量化データD3から第1の異物特定波長Wf1、第2の異物特定波長Wf2又は良品特定波長Wsを識別する識別手段62と、を有する。
<軽量化手段の構成-1>
軽量化手段61は、まず、撮像手段4により搬送中の検査対象物Aを撮像した映像D1を、疑似RGB映像D2とする。このとき、映像D1の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB映像D2とすることができる。この疑似RGB映像D2は、必要に応じてモニタなどの表示手段に表示してもよい。
軽量化手段61は、まず、撮像手段4により搬送中の検査対象物Aを撮像した映像D1を、疑似RGB映像D2とする。このとき、映像D1の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB映像D2とすることができる。この疑似RGB映像D2は、必要に応じてモニタなどの表示手段に表示してもよい。
<軽量化手段の構成-2>
そして、この疑似RGB映像D2を、光強度に応じた256段階以下の階調で正規化し、軽量化データD3とする。なお、軽量化データD3で最も軽いものは、2値化データである。
そして、この疑似RGB映像D2を、光強度に応じた256段階以下の階調で正規化し、軽量化データD3とする。なお、軽量化データD3で最も軽いものは、2値化データである。
<軽量化手段の構成-3>
ここで、映像のデータ容量について説明すると、撮像手段4に30万画素(640×480)のCCDカメラを用いる場合、フルカラー(1677万色)で撮像された映像D1及び疑似RGB画像D2は、1枚当たり約3.6MBのデータ容量となるが、256段階以下の階調に正規化することで、軽量化データDは、1枚当たり約0.3MB以下のデータ容量となり、またさらに16段階以下にすることで、さらにデータ量を0.15MB以下にできる。
ここで、映像のデータ容量について説明すると、撮像手段4に30万画素(640×480)のCCDカメラを用いる場合、フルカラー(1677万色)で撮像された映像D1及び疑似RGB画像D2は、1枚当たり約3.6MBのデータ容量となるが、256段階以下の階調に正規化することで、軽量化データDは、1枚当たり約0.3MB以下のデータ容量となり、またさらに16段階以下にすることで、さらにデータ量を0.15MB以下にできる。
<識別手段の構成-1>
識別手段62は、軽量化データD3に基づいて、搬送手段2によって搬送中の検査対象物Aから異物F1,F2をインラインで識別する。このとき、識別手段62は、逆に良品Sをインラインで識別してもよい。この識別手段62は、検査対象物Aから異物F1、異物F2又は良品Sを識別する処理を、あらかじめディープラーニングにより学習している。
識別手段62は、軽量化データD3に基づいて、搬送手段2によって搬送中の検査対象物Aから異物F1,F2をインラインで識別する。このとき、識別手段62は、逆に良品Sをインラインで識別してもよい。この識別手段62は、検査対象物Aから異物F1、異物F2又は良品Sを識別する処理を、あらかじめディープラーニングにより学習している。
<識別手段の学習方法の説明-1>
識別処理装置6の識別手段62の学習方法について説明する。図3は、識別手段の学習フロー図である。
識別処理装置6の識別手段62の学習方法について説明する。図3は、識別手段の学習フロー図である。
<特定波長抽出ステップの説明-1>
まず、特定波長抽出ステップS1では、異物F1,F2の混在がないことを確認したい食品Bを撮像手段4で、前もって撮像した学習映像d1から、異物F1及び異物F2が反射する特徴的な波長をそれぞれ第1の異物特定波長Wf1及び第2の異物特定波長Wf2として、また、食品Bの良品Sが反射する特徴的な波長を良品特定波長Wsとして、抽出する。なお、異物F1のみを識別する場合は、第1の異物特定波長Wf1のみを抽出すればよい。
まず、特定波長抽出ステップS1では、異物F1,F2の混在がないことを確認したい食品Bを撮像手段4で、前もって撮像した学習映像d1から、異物F1及び異物F2が反射する特徴的な波長をそれぞれ第1の異物特定波長Wf1及び第2の異物特定波長Wf2として、また、食品Bの良品Sが反射する特徴的な波長を良品特定波長Wsとして、抽出する。なお、異物F1のみを識別する場合は、第1の異物特定波長Wf1のみを抽出すればよい。
<学習映像準備ステップの説明-1>
学習映像準備ステップS2では、特定波長抽出ステップS1で抽出された第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを強調する波長強調手段5を用い、撮像手段4で検査対象物Aを撮像する。そして、撮像した学習映像d1から、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを含む疑似RGB学習映像d2を作成し、複数枚、例えば1000枚以上準備する。このとき、学習映像d1中の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB学習映像d2が得られる。
学習映像準備ステップS2では、特定波長抽出ステップS1で抽出された第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを強調する波長強調手段5を用い、撮像手段4で検査対象物Aを撮像する。そして、撮像した学習映像d1から、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを含む疑似RGB学習映像d2を作成し、複数枚、例えば1000枚以上準備する。このとき、学習映像d1中の第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることで、疑似RGB学習映像d2が得られる。
<映像軽量化ステップの説明-1>
映像軽量化ステップS3では、複数枚の疑似RGB学習映像d2を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データd3に軽量化する。
映像軽量化ステップS3では、複数枚の疑似RGB学習映像d2を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データd3に軽量化する。
<学習ステップの説明-1:ディープラーニング>
学習ステップS4では、軽量化学習データd3から、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを識別する処理を、識別手段62にディープラーニングさせる。ディープラーニングとしては、いわゆる畳み込みニューラルネットワーク、再帰型ニューラルネットワークなどがあるが、学習後は、その瞬間に入力され疑似RGB映像D2を処理する必要性から、畳み込みニューラルネットワークが望ましい。
学習ステップS4では、軽量化学習データd3から、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを識別する処理を、識別手段62にディープラーニングさせる。ディープラーニングとしては、いわゆる畳み込みニューラルネットワーク、再帰型ニューラルネットワークなどがあるが、学習後は、その瞬間に入力され疑似RGB映像D2を処理する必要性から、畳み込みニューラルネットワークが望ましい。
<学習ステップの説明-2:畳み込みニューラルネットワーク>
またさらに、畳み込みニューラルネットワークの中でも、自己符号化器を用いた再構成や、輝度を用いた色再構成をいると、良品Sのみを用いた学習が可能となり、学習ステップを効率的に進められるため望ましい。この場合、再構成された画像は、「もし仮に撮像された食品Bが全て良品Sであった場合を予測した画像」であり、軽量化学習データd3とのピクセルごとの差分を計算し、予め定めた閾値を超えるピクセルを「良品でない物体」として検出することが可能となる。
またさらに、畳み込みニューラルネットワークの中でも、自己符号化器を用いた再構成や、輝度を用いた色再構成をいると、良品Sのみを用いた学習が可能となり、学習ステップを効率的に進められるため望ましい。この場合、再構成された画像は、「もし仮に撮像された食品Bが全て良品Sであった場合を予測した画像」であり、軽量化学習データd3とのピクセルごとの差分を計算し、予め定めた閾値を超えるピクセルを「良品でない物体」として検出することが可能となる。
<学習ステップの説明-3:自己符号化器を用いた再構成>
自己符号化器を用いた再構成の詳細を説明する。
軽量化学習データd3は、自己符号化器を用いた再構成の畳み込みニューラルネットワークの中で、カーネル画像が取り出され、次に複数のノードをもつニューラルネットワーク層で特徴抽出され、次に復号化層で再構成される。さらに、カーネルへの取り出しから復号化までを複数回入れ子状に繰り返すことで、より概念的な特徴抽出が可能となる。
この自己符号化器の学習は、最終復号化層からの出力が元に入力された軽量化学習データd3と極力一致するように、つまり差分を表す損失関数が極力低くなるように学習される。この時の損失関数は、BCE(Binary Cross-entropy)といった損失関数が利用できる。
自己符号化器を用いた再構成の詳細を説明する。
軽量化学習データd3は、自己符号化器を用いた再構成の畳み込みニューラルネットワークの中で、カーネル画像が取り出され、次に複数のノードをもつニューラルネットワーク層で特徴抽出され、次に復号化層で再構成される。さらに、カーネルへの取り出しから復号化までを複数回入れ子状に繰り返すことで、より概念的な特徴抽出が可能となる。
この自己符号化器の学習は、最終復号化層からの出力が元に入力された軽量化学習データd3と極力一致するように、つまり差分を表す損失関数が極力低くなるように学習される。この時の損失関数は、BCE(Binary Cross-entropy)といった損失関数が利用できる。
<学習ステップの説明-4:輝度を用いた色再構成>
輝度を用いた色再構成の詳細を説明する。
軽量化学習データd3は、RGB空間からLab空間に換算され、L値(輝度)を用いた色再構成の畳み込みニューラルネットワークにかけられる。また同じく、Lab空間に換算されたa値とb値は、a-b空間上を特定のカテゴリ数に区分したカテゴリに分類され、カテゴリカル表現を得る。
L値(輝度)を用いた色再構成の畳み込みニューラルネットワークにおいて、第1の畳み込み層で、カーネル画像が取り出され、次に複数のノードを持つニューラルネットワーク層で特徴抽出される。次に逆畳み込み層を用いて、元の画像サイズのピクセル数を再現する。これらを複数回入れ子状(第2、3、…、第n層)に繰り返すことで、より概念的な特徴抽出が可能となる。最後の層である第n層では、カーネルサイズは元の画像サイズのピクセル数とし、かつ、ノード数は上記特定のカテゴリ数として特徴抽出する。
畳み込み適用間隔(ストライド)は、第1の畳み込み層では2より大きく、複数のピクセルから特徴抽出して集約する。逆に、第n-1の逆畳み層では、配列サイズ(ピクセルサイズ)は第1の畳み込み層と同じにしながら、畳み込み適用間隔を第1の畳み込み層と同じにしつつ、1つの配列変数から複数のピクセルへ特徴を再構成する。
この輝度を用いた色再構成の学習では、まず軽量化学習データd3またはその画像処理データのL値を入力し、第n-1の畳み込み層から得られた色再構成された色再構成a値および色再構成b値が得られるので、この色再構成a値および色再構成b値と、元画像である小型学習用データのa値およびb値との損失関数(BCE)が極力低くなるように学習される。
また、この輝度を用いた色再構成の学習で、第nの畳み込み層は、元画像である軽量化学習データd3またはその画像処理データのa値およびb値を入力し、特定のカテゴリ数に区分したカテゴリに分類するよう学習する。また第nの畳み込み層は、ノード数を上記特定のカテゴリ数とし、そのノード数は100以上1600未満が好ましい。ノード数(およびカテゴリ数)が100以下であると、a-b空間上の重み変化を十分にとらえきれず、1600を超えるとカテゴリに分類して演算効率を高めようとした効果が薄くなる。
この輝度を用いた色再構成の検査では、小型学習用データのL値を第1の畳み込み層に入力して第n層から得られたカテゴリカル表現と、小型学習用データのa値およびb値を第n-1の畳み込み層に入力して第n層から得られたカテゴリカル表現との差分を求め、その差分に対して予め定めた閾値を超えるピクセルを「良品でない物体」として検出する。
輝度を用いた色再構成の詳細を説明する。
軽量化学習データd3は、RGB空間からLab空間に換算され、L値(輝度)を用いた色再構成の畳み込みニューラルネットワークにかけられる。また同じく、Lab空間に換算されたa値とb値は、a-b空間上を特定のカテゴリ数に区分したカテゴリに分類され、カテゴリカル表現を得る。
L値(輝度)を用いた色再構成の畳み込みニューラルネットワークにおいて、第1の畳み込み層で、カーネル画像が取り出され、次に複数のノードを持つニューラルネットワーク層で特徴抽出される。次に逆畳み込み層を用いて、元の画像サイズのピクセル数を再現する。これらを複数回入れ子状(第2、3、…、第n層)に繰り返すことで、より概念的な特徴抽出が可能となる。最後の層である第n層では、カーネルサイズは元の画像サイズのピクセル数とし、かつ、ノード数は上記特定のカテゴリ数として特徴抽出する。
畳み込み適用間隔(ストライド)は、第1の畳み込み層では2より大きく、複数のピクセルから特徴抽出して集約する。逆に、第n-1の逆畳み層では、配列サイズ(ピクセルサイズ)は第1の畳み込み層と同じにしながら、畳み込み適用間隔を第1の畳み込み層と同じにしつつ、1つの配列変数から複数のピクセルへ特徴を再構成する。
この輝度を用いた色再構成の学習では、まず軽量化学習データd3またはその画像処理データのL値を入力し、第n-1の畳み込み層から得られた色再構成された色再構成a値および色再構成b値が得られるので、この色再構成a値および色再構成b値と、元画像である小型学習用データのa値およびb値との損失関数(BCE)が極力低くなるように学習される。
また、この輝度を用いた色再構成の学習で、第nの畳み込み層は、元画像である軽量化学習データd3またはその画像処理データのa値およびb値を入力し、特定のカテゴリ数に区分したカテゴリに分類するよう学習する。また第nの畳み込み層は、ノード数を上記特定のカテゴリ数とし、そのノード数は100以上1600未満が好ましい。ノード数(およびカテゴリ数)が100以下であると、a-b空間上の重み変化を十分にとらえきれず、1600を超えるとカテゴリに分類して演算効率を高めようとした効果が薄くなる。
この輝度を用いた色再構成の検査では、小型学習用データのL値を第1の畳み込み層に入力して第n層から得られたカテゴリカル表現と、小型学習用データのa値およびb値を第n-1の畳み込み層に入力して第n層から得られたカテゴリカル表現との差分を求め、その差分に対して予め定めた閾値を超えるピクセルを「良品でない物体」として検出する。
<識別手段の構成-2>
このようにして、異物F1、異物F2及び良品Sと、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsとの関係を学習した識別手段62は、軽量化データD3に基づいて、図2に示すように、検査対象物Aから異物F1、異物F2又は良品Sを識別する。なお、図2において、異物F1は、毛髪や石などであり、異物F2は、腐敗部である。
このようにして、異物F1、異物F2及び良品Sと、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsとの関係を学習した識別手段62は、軽量化データD3に基づいて、図2に示すように、検査対象物Aから異物F1、異物F2又は良品Sを識別する。なお、図2において、異物F1は、毛髪や石などであり、異物F2は、腐敗部である。
<識別手段の構成-3>
このとき、識別手段62は、検査対象物Aから得られた実際の軽量化データD3を追加で学習し、学習結果を更新してもよい。
このとき、識別手段62は、検査対象物Aから得られた実際の軽量化データD3を追加で学習し、学習結果を更新してもよい。
<食品検査装置の全体構成-2>
そして、検査部Cで、異物F1、異物F2又は良品Sと識別されたものは、食品検査装置1の下流に設けられた分岐・分離手段(図示なし)などにより、分岐又は分離され、別の経路に排出される。分岐・分離手段には、分岐コンベアやロボットなどが用いられる。あるいは、食品検査装置1が異物F1及び異物F2を識別した場合に、作業員に報知し、作業員が取除くように構成してもよい。
そして、検査部Cで、異物F1、異物F2又は良品Sと識別されたものは、食品検査装置1の下流に設けられた分岐・分離手段(図示なし)などにより、分岐又は分離され、別の経路に排出される。分岐・分離手段には、分岐コンベアやロボットなどが用いられる。あるいは、食品検査装置1が異物F1及び異物F2を識別した場合に、作業員に報知し、作業員が取除くように構成してもよい。
<実施形態の効果-1>
以上、説明した実施形態の効果について述べる。
実施形態の食品検査装置1は、異物Fnの混在がないことを確認する食品Bを検査対象物Aとして搬送する搬送手段2と、検査対象物Aに光を照射する光照射手段3と、検査対象物Aの映像を撮像する撮像手段4と、食品B又は異物Fnの少なくとも一方が反射する特徴的な波長Wを強調する波長強調手段5と、食品B又は異物Fnの少なくとも一方を識別する識別処理装置6と、を備え、波長強調手段5は、光照射手段3又は撮像手段4に取付けた第1の光学フィルター51、及び/又は、補光器32に取付けた第2の光学フィルター52、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、異物Fnに特徴的な異物特定波長Wf、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを強調し、識別処理装置6は、撮像手段4により撮像された映像D1を、光強度に応じた256段階以下の階調で正規化し、軽量化データD3とする軽量化手段61と、軽量化データD3から異物特定波長Wfを識別する処理を、複数枚の軽量化学習データd3を用いて、あらかじめディープラーニングさせた識別手段62と、を有し、識別手段62は、搬送手段2による食品Bの搬送中に撮像して得られた軽量化データD3から、異物Fn又は良品Sをインラインで識別するものである。これにより、高速な処理手段を用いなくても、識別精度を落とすことなく、識別速度を高速化することができる。
以上、説明した実施形態の効果について述べる。
実施形態の食品検査装置1は、異物Fnの混在がないことを確認する食品Bを検査対象物Aとして搬送する搬送手段2と、検査対象物Aに光を照射する光照射手段3と、検査対象物Aの映像を撮像する撮像手段4と、食品B又は異物Fnの少なくとも一方が反射する特徴的な波長Wを強調する波長強調手段5と、食品B又は異物Fnの少なくとも一方を識別する識別処理装置6と、を備え、波長強調手段5は、光照射手段3又は撮像手段4に取付けた第1の光学フィルター51、及び/又は、補光器32に取付けた第2の光学フィルター52、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、異物Fnに特徴的な異物特定波長Wf、又は、食品Bの良品Sが反射する特徴的な良品特定波長Wsを強調し、識別処理装置6は、撮像手段4により撮像された映像D1を、光強度に応じた256段階以下の階調で正規化し、軽量化データD3とする軽量化手段61と、軽量化データD3から異物特定波長Wfを識別する処理を、複数枚の軽量化学習データd3を用いて、あらかじめディープラーニングさせた識別手段62と、を有し、識別手段62は、搬送手段2による食品Bの搬送中に撮像して得られた軽量化データD3から、異物Fn又は良品Sをインラインで識別するものである。これにより、高速な処理手段を用いなくても、識別精度を落とすことなく、識別速度を高速化することができる。
<実施形態の効果-2>
実施形態の食品検査装置1では、波長強調手段5は、良品Sが反射する良品特定波長Wsを強調する。これにより、検査対象物Aから異物Fnを識別できるとともに、良品Sを識別することができる。検査対象物A(食品B)から良品S及び異物Fnを識別できるため、良品S及び異物Fnの頻出度に応じて、分岐・分離手段の処理内容を設定することができる。
実施形態の食品検査装置1では、波長強調手段5は、良品Sが反射する良品特定波長Wsを強調する。これにより、検査対象物Aから異物Fnを識別できるとともに、良品Sを識別することができる。検査対象物A(食品B)から良品S及び異物Fnを識別できるため、良品S及び異物Fnの頻出度に応じて、分岐・分離手段の処理内容を設定することができる。
<実施形態の効果-3>
実施形態の食品検査装置1では、波長強調手段5は、異物特定波長Wfとして第1の異物特定波長Wf1及び第2の異物特定波長Wf2の2つの波長を強調する。これにより、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることができ、撮像手段4で撮像した映像D1を疑似RGB映像D2として処理することができる。
実施形態の食品検査装置1では、波長強調手段5は、異物特定波長Wfとして第1の異物特定波長Wf1及び第2の異物特定波長Wf2の2つの波長を強調する。これにより、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsを、RGB信号のいずれかに1対1で対応させることができ、撮像手段4で撮像した映像D1を疑似RGB映像D2として処理することができる。
<実施形態の効果-4>
実施形態の食品検査装置1の識別手段62の学習方法は、異物Fnの混在がないことを確認する食品Bを撮像した学習映像d1から、異物Fnが反射する特徴的な波長を異物特定波長Wfとして、また、食品Bの良品Sが反射する特徴的な波長を良品特定波長Wsとして、探査するステップと、異物特定波長Wfと良品特定波長Wsとを少なくとも含む疑似RGB学習映像d2を複数枚準備するステップと、疑似RGB学習映像d2を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データd3に軽量化するステップと、軽量化学習データd3から、異物特定波長Wf又は良品特定波長Wsを識別する処理を、識別手段62にディープラーニングさせるステップと、を含むものである。これにより、異物Fn及び良品Sと、異物特定波長Wf及び良品特定波長Wsとの関係を、効率よく識別手段62に学習させることができる。
実施形態の食品検査装置1の識別手段62の学習方法は、異物Fnの混在がないことを確認する食品Bを撮像した学習映像d1から、異物Fnが反射する特徴的な波長を異物特定波長Wfとして、また、食品Bの良品Sが反射する特徴的な波長を良品特定波長Wsとして、探査するステップと、異物特定波長Wfと良品特定波長Wsとを少なくとも含む疑似RGB学習映像d2を複数枚準備するステップと、疑似RGB学習映像d2を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データd3に軽量化するステップと、軽量化学習データd3から、異物特定波長Wf又は良品特定波長Wsを識別する処理を、識別手段62にディープラーニングさせるステップと、を含むものである。これにより、異物Fn及び良品Sと、異物特定波長Wf及び良品特定波長Wsとの関係を、効率よく識別手段62に学習させることができる。
<変形例の説明-1>
食品検査装置1の変形例を説明する。
上記実施形態では、波長強調手段5は、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsの合計3つの波長を強調したが、少なくとも1つの第1の異物特定波長Wf1(Wf2)と、少なくとも1つの良品特定波長Wsとを強調してもよく、第1の異物特定波長Wf1のみを強調してもよい。少なくとも、第1の異物特定波長Wf1を強調することで、食品Bの中から異物Fnを識別することができる。あるいは、良品特定波長Wsのみを強調してもよい。なお、異物特定波長Wf及び良品特定波長Wsを合計4つ以上強調するように構成してもよい。
食品検査装置1の変形例を説明する。
上記実施形態では、波長強調手段5は、第1の異物特定波長Wf1、第2の異物特定波長Wf2及び良品特定波長Wsの合計3つの波長を強調したが、少なくとも1つの第1の異物特定波長Wf1(Wf2)と、少なくとも1つの良品特定波長Wsとを強調してもよく、第1の異物特定波長Wf1のみを強調してもよい。少なくとも、第1の異物特定波長Wf1を強調することで、食品Bの中から異物Fnを識別することができる。あるいは、良品特定波長Wsのみを強調してもよい。なお、異物特定波長Wf及び良品特定波長Wsを合計4つ以上強調するように構成してもよい。
<変形例の説明-2>
上記実施形態では、波長強調手段5は、補光器に取付けた第2の光学フィルター52でなく、所定波長範囲の光のみを放出する波長特異的な光源、例えばLED素子や半導体レーザーであってもよい。LED素子であれば、LEDチップに含まれる材料の種類を変更することで、200nmから1000nm程度の領域内で、所望の波長範囲の光を放出するように構成することができる。
上記実施形態では、波長強調手段5は、補光器に取付けた第2の光学フィルター52でなく、所定波長範囲の光のみを放出する波長特異的な光源、例えばLED素子や半導体レーザーであってもよい。LED素子であれば、LEDチップに含まれる材料の種類を変更することで、200nmから1000nm程度の領域内で、所望の波長範囲の光を放出するように構成することができる。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
1 食品検査装置
2 搬送手段
3 光照射手段
32 補光器
4 撮像手段
5 波長強調手段
51 第1の光学フィルター
52 第2の光学フィルター
6 識別処理装置
61 軽量化手段
62 識別手段
A 検査対象物
B 食品、S 良品、Fn 異物
Wn 特定波長
2 搬送手段
3 光照射手段
32 補光器
4 撮像手段
5 波長強調手段
51 第1の光学フィルター
52 第2の光学フィルター
6 識別処理装置
61 軽量化手段
62 識別手段
A 検査対象物
B 食品、S 良品、Fn 異物
Wn 特定波長
Claims (6)
- 異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、
前記検査対象物に光を照射する光照射手段と、
前記検査対象物の映像を撮像する撮像手段と、
前記食品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
前記波長強調手段は、
前記光照射手段又は前記撮像手段に取付けた第1の光学フィルター、及び/又は、補光器に取付けた第2の光学フィルター、ないし波長特異的な光源を用いて、300nm以上1100nm以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を強調し、
前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた256段階以下の階調で正規化し、軽量化データとする軽量化手段と、
前記軽量化データから前記異物特定波長を識別する処理を、複数枚の前記軽量化データを用いて、あらかじめディープラーニングさせた識別手段と、を有し、
前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記異物又は前記良品をインラインで識別する、食品検査装置。 - 請求項1に記載の食品検査装置であって、
前記波長強調手段は、前記異物特定波長を少なくとも1つ、及び前記良品特定波長を少なくとも1つ、強調し、
前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記良品をインラインで識別する、食品検査装置。 - 請求項2に記載の食品検査装置であって、
前記波長強調手段は、前記異物特定波長として第1の異物特定波長及び第2の異物特定波長の2つの波長を強調し、
前記識別手段は、前記撮像手段により撮像された前記映像を疑似RGB映像として処理する、食品検査装置。 - 食品検査装置の識別手段の学習方法であって、
異物の混在がないことを確認する食品を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記食品の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、
前記異物特定波長と前記良品特定波長とを少なくとも含む疑似RGB学習映像を複数枚準備するステップと、
前記疑似RGB学習映像を、光強度に応じた256段階以下の階調で正規化し、軽量化学習データに軽量化するステップと、
前記軽量化学習データから、前記異物特定波長又は前記良品特定波長を識別する処理を、前記識別手段にディープラーニングさせるステップと、を含む、識別手段の学習方法。 - 請求項4に記載の識別手段の学習方法によって学習させた識別手段を備える食品検査装置。
- 請求項1から3及び5までのいずれか1項に記載の食品検査装置によって、
検査対象物の食品に異物の混在がないことを確認する食品の検査方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018529319A JP6542477B2 (ja) | 2016-08-22 | 2017-08-22 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
US16/325,365 US11079334B2 (en) | 2016-08-22 | 2017-08-22 | Food inspection apparatus, method of inspecting food, and method of learning in identification unit of food inspection apparatus |
CN201780051728.9A CN109791111B (zh) | 2016-08-22 | 2017-08-22 | 食品检查装置、食品检查方法以及食品检查装置的识别机构的学习方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-162112 | 2016-08-22 | ||
JP2016162112 | 2016-08-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018038123A1 true WO2018038123A1 (ja) | 2018-03-01 |
Family
ID=61245016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/029996 WO2018038123A1 (ja) | 2016-08-22 | 2017-08-22 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11079334B2 (ja) |
JP (2) | JP6542477B2 (ja) |
CN (1) | CN109791111B (ja) |
WO (1) | WO2018038123A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019174481A (ja) * | 2016-08-22 | 2019-10-10 | キユーピー株式会社 | 検査装置及び検査装置の識別手段の学習方法 |
JP2020051982A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 画像検査装置及び検査モデル構築システム |
JP2020051783A (ja) * | 2018-09-25 | 2020-04-02 | 株式会社明治 | 食品の検査方法及び検査装置 |
JP2020051981A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 検査装置 |
JP6731603B1 (ja) * | 2019-03-01 | 2020-07-29 | 株式会社安川電機 | 検査システム |
JP2020125974A (ja) * | 2019-02-05 | 2020-08-20 | アヲハタ株式会社 | 食品検査装置 |
KR20210010541A (ko) * | 2018-08-27 | 2021-01-27 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 배터리 검출 방법 및 장치(battery detection method and device) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210170452A1 (en) * | 2018-06-11 | 2021-06-10 | Cryovac, Llc | Process and system for in-line inspection of product stream for detection of foreign objects |
JP2020183876A (ja) * | 2019-04-26 | 2020-11-12 | 株式会社前川製作所 | 特徴点認識システムおよびワーク処理システム |
NL2023271B1 (en) * | 2019-06-06 | 2020-12-22 | Aweta G&P B V | Apparatus and method for determining a property of products |
KR102110192B1 (ko) * | 2019-07-11 | 2020-05-14 | 농심엔지니어링 주식회사 | 이물질 검출을 위한 복합검사장치 |
KR102116137B1 (ko) * | 2019-11-07 | 2020-05-28 | 주식회사 대양식품 | 이물질 선별기의 제어 방법 및 장치 |
EP4078141A4 (en) * | 2019-12-16 | 2023-10-25 | Mekitec Oy | FOOD PRODUCT INSPECTION SOLUTION |
JP2021099261A (ja) * | 2019-12-23 | 2021-07-01 | セイコーエプソン株式会社 | 付着物判定方法、付着物判定装置、及び付着物判定プログラム |
JP7450917B2 (ja) | 2020-03-10 | 2024-03-18 | 株式会社エヌテック | マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法 |
JP7248317B2 (ja) * | 2020-04-30 | 2023-03-29 | 株式会社高井製作所 | 豆腐類製造システム |
CN115335855A (zh) * | 2020-04-30 | 2022-11-11 | 株式会社高井制作所 | 豆腐制品的检查设备、豆腐制品的制造***、豆腐制品的检查方法及程序 |
KR20230004507A (ko) * | 2020-04-30 | 2023-01-06 | 가부시키가이샤 타카이세이사쿠쇼 | 두부류 제조 시스템 |
JP7248316B2 (ja) * | 2020-04-30 | 2023-03-29 | 株式会社高井製作所 | 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム |
JP7487069B2 (ja) | 2020-10-29 | 2024-05-20 | 株式会社Ryoden | 混入金属識別方法および装置 |
CN112508930A (zh) * | 2020-12-17 | 2021-03-16 | 无锡日联科技股份有限公司 | 基于深度学习的食品异物检测方法和装置 |
KR102576213B1 (ko) * | 2022-12-27 | 2023-09-08 | 농심엔지니어링 주식회사 | 학습 모듈을 이용한 품질관리 시스템 및 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001099783A (ja) * | 1999-09-30 | 2001-04-13 | Japan Tobacco Inc | 光学式異物検出装置 |
JP2009115613A (ja) * | 2007-11-06 | 2009-05-28 | Hitachi High-Tech Control Systems Corp | 異物検査装置 |
JP2012189390A (ja) * | 2011-03-09 | 2012-10-04 | Sumitomo Electric Ind Ltd | 毛髪検出装置 |
WO2012153695A1 (ja) * | 2011-05-10 | 2012-11-15 | 国立大学法人豊橋技術科学大学 | 機能性光源を用いた検査装置と検査方法及び機能性光源とその設計方法 |
JP2015197361A (ja) * | 2014-04-01 | 2015-11-09 | セイコーエプソン株式会社 | 表面検査装置および表面検査方法 |
JP2016142601A (ja) * | 2015-01-30 | 2016-08-08 | 前田建設工業株式会社 | 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03242773A (ja) | 1990-02-21 | 1991-10-29 | Hitachi Ltd | 画像検査装置 |
US5086479A (en) * | 1989-06-30 | 1992-02-04 | Hitachi, Ltd. | Information processing system using neural network learning function |
JPH06281592A (ja) * | 1993-03-29 | 1994-10-07 | Sumitomo Metal Ind Ltd | 表面検査方法 |
JPH08136466A (ja) * | 1994-11-10 | 1996-05-31 | Dainippon Screen Mfg Co Ltd | 画像パターン検査装置 |
JPH10300689A (ja) | 1997-04-21 | 1998-11-13 | Techno Ishii:Kk | 容器内の異物検出方法とその装置 |
JP4220285B2 (ja) | 2003-03-31 | 2009-02-04 | 日世株式会社 | 食品中の異物・夾雑物の検出方法 |
JP2005181244A (ja) * | 2003-12-24 | 2005-07-07 | Yokogawa Electric Corp | 光量分布補正方法およびバイオチップ読取装置 |
JP2005201636A (ja) | 2004-01-13 | 2005-07-28 | Shizuoka Prefecture | 腐敗部判定方法及び判定装置 |
JP2006275895A (ja) * | 2005-03-30 | 2006-10-12 | Olympus Corp | 生体関連物質の測定情報の表示方法 |
US8351672B2 (en) * | 2007-09-26 | 2013-01-08 | Industry Vision Automation Corp. | Machine imaging apparatus and method for detecting foreign materials |
US8159525B2 (en) * | 2008-06-13 | 2012-04-17 | The United States Of America, As Represented By The Secretary Of Agriculture | Portable multispectral imaging systems |
JP6082321B2 (ja) * | 2013-06-10 | 2017-02-15 | 住友電気工業株式会社 | 手術用顕微鏡システム |
CN104155312B (zh) * | 2014-08-11 | 2017-06-16 | 华北水利水电大学 | 基于近红外计算机视觉的粮粒内部害虫检测方法和装置 |
JP6402541B2 (ja) * | 2014-08-26 | 2018-10-10 | 株式会社豊田中央研究所 | 異常診断装置及びプログラム |
JP2016091359A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
US10650508B2 (en) * | 2014-12-03 | 2020-05-12 | Kla-Tencor Corporation | Automatic defect classification without sampling and feature selection |
JP6476802B2 (ja) | 2014-12-03 | 2019-03-06 | 株式会社リコー | 情報処理装置及び情報処理方法 |
CN104677920B (zh) * | 2015-02-09 | 2017-04-05 | 浙江大学 | 一种基于果面局部灰度突变的水果表面虫眼检测标记方法 |
WO2018038123A1 (ja) * | 2016-08-22 | 2018-03-01 | キユーピー株式会社 | 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 |
-
2017
- 2017-08-22 WO PCT/JP2017/029996 patent/WO2018038123A1/ja active Application Filing
- 2017-08-22 CN CN201780051728.9A patent/CN109791111B/zh active Active
- 2017-08-22 US US16/325,365 patent/US11079334B2/en active Active
- 2017-08-22 JP JP2018529319A patent/JP6542477B2/ja active Active
-
2019
- 2019-06-12 JP JP2019109491A patent/JP6940215B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001099783A (ja) * | 1999-09-30 | 2001-04-13 | Japan Tobacco Inc | 光学式異物検出装置 |
JP2009115613A (ja) * | 2007-11-06 | 2009-05-28 | Hitachi High-Tech Control Systems Corp | 異物検査装置 |
JP2012189390A (ja) * | 2011-03-09 | 2012-10-04 | Sumitomo Electric Ind Ltd | 毛髪検出装置 |
WO2012153695A1 (ja) * | 2011-05-10 | 2012-11-15 | 国立大学法人豊橋技術科学大学 | 機能性光源を用いた検査装置と検査方法及び機能性光源とその設計方法 |
JP2015197361A (ja) * | 2014-04-01 | 2015-11-09 | セイコーエプソン株式会社 | 表面検査装置および表面検査方法 |
JP2016142601A (ja) * | 2015-01-30 | 2016-08-08 | 前田建設工業株式会社 | 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置 |
Non-Patent Citations (2)
Title |
---|
SA ET AL.: "DeepFruits: A Fruit Detection System Using Deep Neural Networks", SENSORS, vol. 16, 3 August 2016 (2016-08-03), pages 1 - 23, XP055469740 * |
SAKAI ET AL.: "Deep Learning-based Image Recognition Applications", NTT DOCOMO TECHNICAL JOURNAL, vol. 18, no. 1, July 2016 (2016-07-01), pages 36 - 43 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019174481A (ja) * | 2016-08-22 | 2019-10-10 | キユーピー株式会社 | 検査装置及び検査装置の識別手段の学習方法 |
KR20210010541A (ko) * | 2018-08-27 | 2021-01-27 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 배터리 검출 방법 및 장치(battery detection method and device) |
KR102494946B1 (ko) * | 2018-08-27 | 2023-02-06 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 배터리 검출 방법 및 장치(battery detection method and device) |
JP2020051783A (ja) * | 2018-09-25 | 2020-04-02 | 株式会社明治 | 食品の検査方法及び検査装置 |
JP7228981B2 (ja) | 2018-09-25 | 2023-02-27 | 株式会社明治 | 食品の検査方法及び検査装置 |
JP2020051982A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 画像検査装置及び検査モデル構築システム |
JP2020051981A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 検査装置 |
JP2020125974A (ja) * | 2019-02-05 | 2020-08-20 | アヲハタ株式会社 | 食品検査装置 |
JP7250545B2 (ja) | 2019-02-05 | 2023-04-03 | アヲハタ株式会社 | 食品検査装置 |
JP6731603B1 (ja) * | 2019-03-01 | 2020-07-29 | 株式会社安川電機 | 検査システム |
WO2020178913A1 (ja) * | 2019-03-01 | 2020-09-10 | 株式会社安川電機 | 検査システム |
Also Published As
Publication number | Publication date |
---|---|
CN109791111A (zh) | 2019-05-21 |
JP2019174481A (ja) | 2019-10-10 |
JP6542477B2 (ja) | 2019-07-10 |
US20200386690A1 (en) | 2020-12-10 |
JPWO2018038123A1 (ja) | 2018-08-30 |
JP6940215B2 (ja) | 2021-09-22 |
CN109791111B (zh) | 2022-01-11 |
US11079334B2 (en) | 2021-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6940215B2 (ja) | 検査装置及び検査装置の識別手段の学習方法 | |
US10527558B2 (en) | Method and system of detecting foreign materials within an agricultural product stream | |
US7787111B2 (en) | Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device for multitask inspection | |
Yuan et al. | Classification of Lingwu long jujube internal bruise over time based on visible near-infrared hyperspectral imaging combined with partial least squares-discriminant analysis | |
Mahendran et al. | Application of computer vision technique on sorting and grading of fruits and vegetables | |
Shahin et al. | Detection of fusarium damage in Canadian wheat using visible/near-infrared hyperspectral imaging | |
Eissa et al. | Understanding color image processing by machine vision for biological materials | |
Pearson | Hardware-based image processing for high-speed inspection of grains | |
Mo et al. | On-line fresh-cut lettuce quality measurement system using hyperspectral imaging | |
Zhang et al. | Identification of common skin defects and classification of early decayed citrus using hyperspectral imaging technique | |
KR101750858B1 (ko) | 결함 검출 시스템 및 결함 검출 방법 | |
Lunadei et al. | Image-based screening for the identification of bright greenish yellow fluorescence on pistachio nuts and cashews | |
Kim et al. | Visible to SWIR hyperspectral imaging for produce safety and quality evaluation | |
Mo et al. | Fluorescence hyperspectral imaging technique for foreign substance detection on fresh‐cut lettuce | |
US20090185164A1 (en) | Method of inspecting food and inspection apparatus implementing the same | |
Mo et al. | Discrimination methods for biological contaminants in fresh-cut lettuce based on VNIR and NIR hyperspectral imaging | |
Vetrekar et al. | Collaborative representation of convolutional neural network features to detect artificial ripening of banana using multispectral imaging | |
Chun et al. | Deep learning algorithm development for early detection of Botrytis cinerea infected strawberry fruit using hyperspectral fluorescence imaging | |
Huang et al. | Early detection of bruises on apples using near-infrared hyperspectral image | |
Shahin et al. | Assessment of mildew levels in wheat samples based on spectral characteristics of bulk grains | |
Singh et al. | Near-infrared hyperspectral imaging for quality analysis of agricultural and food products | |
KR101203990B1 (ko) | 형광영상을 이용한 방울토마토 열과 검출 방법 | |
Toyofuku et al. | Advances in automated nut sorting | |
Li et al. | Multispectral imaging for early decay detection in citrus fruit | |
Huang et al. | Quality of Vegetable Products: Assessment of Physical, Chemical, and Microbiological Changes in Vegetable Products by Nondestructive Methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2018529319 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17843601 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17843601 Country of ref document: EP Kind code of ref document: A1 |