WO2018038123A1 - 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 - Google Patents

食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 Download PDF

Info

Publication number
WO2018038123A1
WO2018038123A1 PCT/JP2017/029996 JP2017029996W WO2018038123A1 WO 2018038123 A1 WO2018038123 A1 WO 2018038123A1 JP 2017029996 W JP2017029996 W JP 2017029996W WO 2018038123 A1 WO2018038123 A1 WO 2018038123A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
wavelength
specific wavelength
foreign matter
learning
Prior art date
Application number
PCT/JP2017/029996
Other languages
English (en)
French (fr)
Inventor
幸太郎 降旗
武 荻野
研治 鈴木
大夢 鈴木
武世 山本
満久 太田
義充 今津
ティネオ アレハンドロ ハビエル ゴンザレス
勇太 吉田
洋平 菅原
Original Assignee
キユーピー株式会社
株式会社ブレインパッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=61245016&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2018038123(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by キユーピー株式会社, 株式会社ブレインパッド filed Critical キユーピー株式会社
Priority to JP2018529319A priority Critical patent/JP6542477B2/ja
Priority to US16/325,365 priority patent/US11079334B2/en
Priority to CN201780051728.9A priority patent/CN109791111B/zh
Publication of WO2018038123A1 publication Critical patent/WO2018038123A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Definitions

  • the present invention relates to a food inspection apparatus, a food inspection method, and a learning method for identifying means of the food inspection apparatus.
  • Patent Documents 1 and 2 ⁇ Description of background technology> Conventionally, various techniques such as metal detection and X-ray inspection have been proposed for food inspection apparatuses that detect foreign matters mixed in inspection objects such as food. In recent years, it has been proposed to detect a foreign object by performing image processing on a captured image (Patent Documents 1 and 2).
  • Patent Document 1 discloses absorption spectra of visible light and near-infrared light of reflected light obtained by irradiating light to food and at least one of foreign substances and foreign substances contained in food.
  • the absorption spectrum is subjected to a second derivative process, a wavelength band showing a second derivative spectrum different between the food and at least one of foreign substances and foreign substances is selected.
  • the obtained spectral image is acquired by the imaging means, and a secondary differential processing is performed on the absorption spectrum in the wavelength band to create a secondary differential spectral image, thereby at least one of foreign matters and foreign matters contained in the food. It is described to detect.
  • Patent Document 2 a spectral image is obtained for each of a spoiled part sample and a healthy part sample of a food spoilage substance, and a statistical method is used by utilizing the difference in the absorption spectrum of each sample. It is described that a calibration formula for determining whether or not a rot portion is present is created, and a spectral image of the unknown sample is applied to the calibration formula to determine whether or not the unknown sample is a rot portion.
  • the processing means should have a very high processing capacity or the conveyance speed of the inspection object should be increased. There was no choice but to slow it down.
  • JP 2004-301690 A Japanese Patent Laying-Open No. 2005-201636
  • the present invention has been made in view of such circumstances, and the object thereof is a food inspection apparatus, a food inspection method, and a learning method for an identification means of a food inspection apparatus that can detect foreign matter at high speed. Is to provide.
  • the present invention captures an image of the inspection object, a conveying means for conveying a food for confirming the absence of foreign matter as an inspection object, a light irradiation means for irradiating the inspection object with light, and an image of the inspection object.
  • the means is a first optical filter attached to the light irradiating means or the imaging means and / or a second optical filter attached to an auxiliary light device, or a wavelength-specific light source. And highlighting at least a foreign substance specific wavelength characteristic of the foreign substance or a characteristic non-defective product specific wavelength reflected by the food non-defective product from the light of
  • the imaged image is normalized with a gradation of 256 levels or less according to the light intensity, and the weight reduction means for making the weight reduction data, and the process of identifying the foreign substance specific wavelength from the weight reduction data, Identification means that has been deep-learned in advance using the weight reduction data, and the identification means, from the weight reduction data obtained by imaging during transportation of the food by the transportation means, the foreign matter or The non-defective product is identified in-line.
  • the wavelength emphasis unit emphasizes at least one of the foreign substance specific wavelength and at least one non-defective product specific wavelength
  • the identification unit includes the carrier
  • the non-defective product is identified in-line from the weight-reduction data obtained by imaging during transportation of the food by the means.
  • the wavelength emphasizing unit emphasizes two wavelengths of the first foreign substance specific wavelength and the second foreign substance specific wavelength as the foreign substance specific wavelength.
  • the identification means processes the video imaged by the imaging means as a pseudo RGB video image.
  • the present invention is a learning method for identifying means of a food inspection apparatus, wherein a characteristic wavelength reflected by the foreign matter is determined from a learning image obtained by imaging food for confirming that no foreign matter is mixed. And extracting the characteristic wavelength reflected by the non-defective food product as a non-defective product specific wavelength, and preparing a plurality of pseudo RGB learning images including at least the foreign substance specific wavelength and the non-defective product specific wavelength; Normalizing the pseudo RGB learning image with a gradation of 256 steps or less according to the light intensity, and reducing the weight to the lightening learning data; from the lightening learning data, the foreign substance specific wavelength or the non-defective product specific wavelength And a step of deep learning the identifying means.
  • This invention is a food inspection apparatus provided with the identification means learned by the structure of said (4).
  • the present invention it is possible to provide a food inspection apparatus, a food inspection method, and a learning method for identifying means of a food inspection apparatus that can detect foreign matters at high speed.
  • FIG. 1 is a schematic view showing a food inspection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic view showing an identification state of the inspection object.
  • a food inspection apparatus 1 shown in FIG. 1 includes a transport unit 2, a light irradiation unit 3, an imaging unit 4, a wavelength enhancement unit 5, and an identification processing device 6.
  • the inspection object A to be inspected by the food inspection apparatus 1 is food B such as vegetables and fruits before processing, processed products and cooked products after processing.
  • food B such as vegetables and fruits before processing, processed products and cooked products after processing.
  • foreign matter Fn that can be mixed in these foods B, for example, if only the fruit of the fruit is a non-defective product S, branches and leaves, hair, insects, metals, stones, etc.
  • a defective product having a scratched part, a chipped part, a spoiled part, a burnt part, or the like becomes a foreign substance Fn, and another food also becomes a foreign substance Fn.
  • these may be combined into a non-defective product S and a foreign matter Fn.
  • the conveying means 2 conveys the inspection object A from the upstream process to the downstream process through the inspection process in the inspection unit C, and is composed of a belt conveyor or the like.
  • the conveyance means 2 conveys the inspection object A at a conveyance speed of about 2 m / min to 20 m / min.
  • the inspection unit C is composed of the light irradiation unit 3, the imaging unit 4, the wavelength enhancement unit 5, and the identification processing device 6 disposed above the transport unit 2, and confirms that no foreign matter Fn is mixed.
  • the foreign substance Fn is identified in-line from the food B being conveyed.
  • the light irradiation means 3 irradiates the inspection object A with light, for example, light having a wavelength of 300 nm to 1100 nm, and a halogen lamp or the like is used. In the case of a halogen lamp, light from the near ultraviolet region to the visible light region and the near infrared region can be irradiated.
  • the light irradiating means 3 also includes an auxiliary light device 32 to which a second optical filter 52 described later is attached.
  • the image pickup means 4 picks up an image of the inspection object A being conveyed, and is constituted by a CCD camera, a hyperspectral camera, or the like.
  • a first optical filter 51 to be described later is attached to the imaging means 4.
  • the resolution is preferably a resolution at which the average pixel length of the food B can be imaged at 10 to 100 pixels, and most preferably at 20 to 40 pixels. If the average pixel length of the food B is smaller than 10 pixels, sufficient feature detection cannot be performed later, and if it exceeds 100 pixels, sufficient processing capability for food inspection cannot be obtained.
  • the average pixel length of the food B is an average value when the maximum number of pixels in the vertical or horizontal direction when the target food B is imaged and 10 images are captured.
  • the wavelength enhancement means 5 emphasizes the characteristic wavelength Wn reflected by at least one of the non-defective product S of the food B or the foreign matter Fn in the inspection object A.
  • the wavelength enhancing means 5 uses, for example, the first optical filter 51 attached to the light irradiation means 3 or the imaging means 4 to set at least one foreign substance specific wavelength (first foreign substance specific wavelength) Wf1 characteristic of the foreign substance F1. Or at least one characteristic good product specific wavelength Ws reflected by the good product S of the food B is emphasized.
  • the second foreign substance specific wavelength Wf2 characteristic of the foreign substance F2 other than the foreign substance F1 is also simultaneously enhanced using the second optical filter 52.
  • the first optical filter 51 and the second optical filter 52 a long wavelength cut, a short wavelength cut filter, a band pass filter, or the like is used.
  • the imaging means 4 is a CCD camera
  • the first optical filter 51 and the second optical filter 52 are externally connected to the CCD cell voltage for controlling the well voltage and / or substrate voltage of the CCD cell of the CCD camera from the outside. It may be a control device.
  • a CCD cell voltage external control device it is possible to control the well voltage and / or the substrate voltage without changing the surface processing of the dichroic prism while using a generally available 3CCD type CCD camera.
  • the wavelength enhancing means 5 can emphasize the characteristic good product specific wavelength Ws reflected by the good product S of the food B in addition to the first foreign matter specific wavelength Wf1 and the second foreign matter specific wavelength Wf2.
  • the first optical filter 51 and the second optical filter 52 may be configured to emphasize opposite specific wavelengths, respectively.
  • the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws need to be extracted from the image D0 obtained by imaging the inspection object A in advance.
  • the identification processing device 6 identifies the non-defective product S or the foreign matters F1 and F2 of the food B in the inspection object A.
  • the identification processing device 6 includes a weight reduction unit 61 that uses the video D1 captured by the imaging unit 4 as the weight reduction data D3, and the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, or the non-defective product from the weight reduction data D3.
  • the weight reduction means 61 first sets the image D1 obtained by imaging the inspection object A being conveyed by the imaging means 4 as a pseudo RGB image D2. At this time, the first foreign matter specific wavelength Wf1, the second foreign matter specific wavelength Wf2 and the non-defective product specific wavelength Ws of the video D1 are made to correspond to any one of the RGB signals on a one-to-one basis, thereby obtaining the pseudo RGB video D2. Can do.
  • the pseudo RGB image D2 may be displayed on a display unit such as a monitor as necessary.
  • the pseudo RGB image D2 is normalized with 256 gradations or less according to the light intensity, and is set as light weight data D3. It should be noted that the lightest data D3 is binary data.
  • the video data capacity will be described.
  • the video D1 and the pseudo RGB image D2 captured in full color (16,770,000 colors) are 1
  • the data capacity is about 3.6 MB per sheet, but by normalizing to a gradation of 256 levels or less, the weight reduction data D becomes a data capacity of about 0.3 MB or less per sheet, and further 16 levels or less. Therefore, the data amount can be further reduced to 0.15 MB or less.
  • the identification unit 62 identifies the foreign matters F1 and F2 in-line from the inspection object A being conveyed by the conveyance unit 2 based on the weight reduction data D3. At this time, the identification unit 62 may identify the non-defective product S inline. This identification means 62 has previously learned the process of identifying the foreign matter F1, foreign matter F2 or non-defective product S from the inspection object A by deep learning.
  • FIG. 3 is a learning flowchart of the identification means.
  • the characteristic wavelength at which the foreign matter F1 and the foreign matter F2 reflect from the learning image d1 obtained by imaging the food B that is desired to be confirmed to be free of the presence of the foreign matters F1 and F2 in advance by the imaging unit 4 is selected.
  • the characteristic wavelength reflected by the non-defective product S of the food B is extracted as the non-defective product specific wavelength Ws, respectively, as the first foreign material specific wavelength Wf1 and the second foreign material specific wavelength Wf2.
  • the imaging unit 4 uses the wavelength enhancement unit 5 that enhances the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws extracted in the specific wavelength extraction step S1.
  • the inspection object A is imaged.
  • a pseudo RGB learning image d2 including the first foreign material specific wavelength Wf1, the second foreign material specific wavelength Wf2, and the non-defective product specific wavelength Ws is created from the captured learning video d1, and a plurality of, for example, 1000 or more are prepared.
  • the pseudo RGB learning video d2 Is obtained.
  • the plurality of pseudo RGB learning images d2 are normalized with a gradation of 256 levels or less according to the light intensity, and reduced to the weight reduction learning data d3.
  • the identifying means 62 is caused to deep learn the process of identifying the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws from the weight reduction learning data d3.
  • Deep learning includes so-called convolutional neural networks, recursive neural networks, and the like. However, after learning, a convolutional neural network is desirable because of the necessity of processing the pseudo RGB video D2 input at that moment.
  • ⁇ Description of Learning Step-2 Convolutional Neural Network> Furthermore, in the convolutional neural network, if reconstruction using a self-encoder or color reconstruction using luminance is performed, learning using only the non-defective product S becomes possible, and the learning step can be efficiently advanced. This is desirable.
  • the reconstructed image is “an image that is predicted when all of the foods B that have been captured are all non-defective products S”, and calculates a difference for each pixel from the weight reduction learning data d3. It is possible to detect pixels exceeding a predetermined threshold as “non-defective objects”.
  • the weight reduction learning data d3 is obtained by extracting a kernel image in a reconstructed convolutional neural network using a self-encoder, and then extracting a feature in a neural network layer having a plurality of nodes, and then decoding a decoding layer. Reconstructed with. Furthermore, it is possible to extract more conceptual features by repeating the extraction from the kernel to the decoding multiple times.
  • This self-encoder learning is performed so that the output from the final decoding layer matches the light-weight learning data d3 input as much as possible, that is, the loss function representing the difference is as low as possible.
  • a loss function such as BCE (Binary Cross-entropy) can be used.
  • ⁇ Description of Learning Step-4 Color Reconstruction Using Luminance> Details of color reconstruction using luminance will be described.
  • the weight reduction learning data d3 is converted from the RGB space to the Lab space and applied to a convolutional neural network for color reconstruction using the L value (luminance).
  • the a value and the b value converted into the Lab space are classified into categories obtained by dividing the ab space into a specific number of categories to obtain a categorical expression.
  • a convolutional neural network for color reconstruction using L values (luminance) a kernel image is extracted in a first convolution layer, and then feature extraction is performed in a neural network layer having a plurality of nodes. Next, the number of pixels of the original image size is reproduced using a deconvolution layer.
  • the kernel size is the number of pixels of the original image size, and the number of nodes is the feature extraction as the specific category number.
  • the convolution application interval (stride) is larger than 2 in the first convolution layer, and features are extracted from a plurality of pixels and aggregated.
  • the array size (pixel size) is the same as that of the first convolution layer, and the convolution application interval is the same as that of the first convolution layer. Reconstruct features into pixels.
  • the L-value of the weight reduction learning data d3 or the image processing data thereof is input, and the color reconstructed color reconstruction a obtained from the (n-1) th convolutional layer is obtained.
  • Value and color reconstruction b value are obtained, and the loss function (BCE) between the color reconstruction a value and color reconstruction b value and the a value and b value of the small learning data that is the original image is as low as possible.
  • BCE loss function
  • the nth convolution layer inputs the weight reduction learning data d3 that is the original image or the a value and the b value of the image processing data, and sets the specific number of categories. Learn to classify into separate categories.
  • the number of nodes is set to the specific category number, and the number of nodes is preferably 100 or more and less than 1600. If the number of nodes (and the number of categories) is 100 or less, the change in weight in the ab space cannot be sufficiently grasped, and if it exceeds 1600, the effect of classifying into categories and improving the calculation efficiency is diminished.
  • the categorical expression obtained from the nth layer by inputting the L value of the small learning data to the first convolution layer, and the a value and b of the small learning data. A value is input to the (n ⁇ 1) th convolution layer to obtain a difference from the categorical expression obtained from the nth layer, and a pixel exceeding a predetermined threshold is detected as a “non-defective object”. .
  • the identifying means 62 that has learned the relationship between the foreign matter F1, the foreign matter F2, and the non-defective product S and the first foreign matter specific wavelength Wf1, the second foreign matter specific wavelength Wf2, and the non-defective product specific wavelength Ws is the weight reduction data D3.
  • the foreign object F1, the foreign object F2, or the non-defective product S is identified from the inspection object A as shown in FIG. In FIG. 2, the foreign matter F1 is hair or stone, and the foreign matter F2 is a rot portion.
  • the identification unit 62 may additionally learn the actual light weight data D3 obtained from the inspection object A and update the learning result.
  • the food inspection apparatus 1 includes a conveyance unit 2 that conveys a food B that is confirmed to be free of foreign matter Fn as an inspection object A, a light irradiation unit 3 that irradiates the inspection object A with light, and an inspection. Identification for identifying at least one of the imaging means 4 for imaging the image of the object A, the wavelength enhancement means 5 for enhancing the characteristic wavelength W reflected by at least one of the food B or the foreign matter Fn, and the food B or the foreign matter Fn.
  • the wavelength enhancement means 5 includes a first optical filter 51 attached to the light irradiation means 3 or the imaging means 4 and / or a second optical filter 52 attached to the light compensator 32, Or, using a wavelength-specific light source, emphasizes at least the foreign substance specific wavelength Wf characteristic of the foreign substance Fn or the characteristic non-defective product specific wavelength Ws reflected by the non-defective product S of the food B from light of 300 nm to 1100 nm or less.
  • the identification processing device 6 normalizes the video D1 picked up by the image pickup means 4 with a gradation of 256 steps or less according to the light intensity to obtain the weight reduction data D3, and the weight reduction data D3.
  • a process for identifying the foreign substance specific wavelength Wf includes an identification unit 62 that has been deep-learned in advance using a plurality of weight reduction learning data d3, and the identification unit 62 is conveying the food B by the conveyance unit 2
  • the foreign matter Fn or the non-defective product S is identified in-line from the weight-reduction data D3 obtained by imaging.
  • the identification speed can be increased without degrading the identification accuracy without using high-speed processing means.
  • the wavelength enhancing unit 5 emphasizes the non-defective product specific wavelength Ws reflected by the non-defective product S.
  • the foreign object Fn can be identified from the inspection object A, and the non-defective product S can be identified. Since the non-defective product S and the foreign matter Fn can be identified from the inspection object A (food B), the processing content of the branching / separating means can be set according to the frequency of the non-defective product S and the foreign matter Fn.
  • the wavelength enhancement unit 5 emphasizes two wavelengths, the first foreign substance specific wavelength Wf1 and the second foreign substance specific wavelength Wf2, as the foreign substance specific wavelength Wf. Accordingly, the first foreign substance specific wavelength Wf1, the second foreign substance specific wavelength Wf2, and the non-defective product specific wavelength Ws can be made to correspond to any one of the RGB signals on a one-to-one basis, and the video D1 captured by the imaging unit 4 can be obtained. It can be processed as a pseudo RGB image D2.
  • the characteristic wavelength reflected by the foreign matter Fn is determined from the learning image d1 obtained by imaging the food B for confirming that no foreign matter Fn is mixed.
  • a plurality of pseudo RGB learning images d2 including a step of exploring the characteristic wavelength reflected by the non-defective product S of the food B as the non-defective product specific wavelength Ws and at least the foreign material specific wavelength Wf and the non-defective product specific wavelength Ws are prepared.
  • the process of identifying the non-defective product specific wavelength Ws includes the step of deep learning the identifying means 62. Thereby, the relationship between the foreign matter Fn and the non-defective product S, and the foreign matter specific wavelength Wf and the non-defective product specific wavelength Ws can be efficiently learned by the identifying unit 62.
  • the wavelength enhancing means 5 emphasizes a total of three wavelengths of the first foreign material specific wavelength Wf1, the second foreign material specific wavelength Wf2, and the non-defective product specific wavelength Ws.
  • at least one first foreign material specific wavelength is used.
  • Wf1 (Wf2) and at least one non-defective product specific wavelength Ws may be emphasized, or only the first foreign substance specific wavelength Wf1 may be emphasized.
  • At least the foreign matter Fn can be identified from the food B by emphasizing the first foreign matter specific wavelength Wf1.
  • only the non-defective product specific wavelength Ws may be emphasized.
  • Note that a total of four or more foreign substance specific wavelengths Wf and non-defective product specific wavelengths Ws may be emphasized.
  • the wavelength enhancement means 5 is not the second optical filter 52 attached to the light supplement device, but a wavelength-specific light source that emits only light in a predetermined wavelength range, such as an LED element or a semiconductor laser. Also good. If it is an LED element, it can comprise so that the light of a desired wavelength range may be discharge

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

異物の検出を高速に行うことができる食品検査装置を提供する。 本発明の食品検査装置（１）は、搬送手段（２）と、光照射手段（３）と、検査対象物（Ａ）の映像を撮像する撮像手段（４）と、第１の光学フィルター（５１）及び／又は第２の光学フィルター（５２）、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から異物（Ｆ）に特徴的な異物特定波長を強調する波長強調手段（５）と、異物（Ｆ）を識別する識別処理装置（６）と、を備え、識別処理装置（６）は、撮像された映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データとする軽量化手段（６１）と、軽量化データから異物特定波長を識別する処理を、あらかじめディープラーニングさせた識別手段（６２）と、を有し、識別手段（６２）は、検査対象物（Ａ）の搬送中に撮像して得られた軽量化データから、異物（Ｆ）又は良品（Ｓ）をインラインで識別するものである。

Description

食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法
　本発明は、食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法に関する。
＜背景技術の説明＞
　従来、食品などの検査対象物に混在する異物を検出する食品検査装置に関し、金属検知やＸ線検査など各種の技術が提案されている。近年は、撮影画像を画像処理して、異物を検出するものも提案されている（特許文献１及び２）。
＜特許文献１の説明＞
　特許文献１（請求項１参照）には、食品と、食品に含まれる異物及び夾雑物の少なくとも何れかと、に光を照射することによって得られる反射光の可視光及び近赤外光の吸収スペクトルを測定し、吸収スペクトルに対して２次微分処理を行い、食品と異物及び夾雑物の少なくとも何れかとの間で異なる２次微分スペクトルを示す波長帯を選定し、食品について、波長帯の光によって得られる分光画像を撮像手段によって取得し、波長帯の吸収スペクトルに対して２次微分処理を行って２次微分分光画像を作成することによって、食品に含まれる異物及び夾雑物の少なくとも何れかを検出することが記載されている。
＜特許文献２の説明＞
　特許文献２（請求項１参照）には、食物の腐敗する物質の腐敗部サンプルと健全部サンプルについてそれぞれの分光画像を取得し、各サンプルについての吸光スペクトルの違いを利用して統計的手法により腐敗部か否かを判定する検量式を作成し、検量式に未知サンプルの分光画像を当てはめて未知サンプルが腐敗部か否かを判断することが記載されている。
＜要望される技術－１＞
　しかしながら、特許文献１の検出方法では、特定の波長帯の光によって得られる分光画像を得るのに時間がかかり、また分光画像から２次微分分光画像を作成するために検出装置の処理手段は処理能力を必要とする。また、特許文献２の判定方法では、検査対象物を複数の分割領域にして、複数の分光画像を平均化し、未知サンプルの分光画像とし、検量式に当てはめるため、判定装置の処理手段の検出精度が落ちる。
＜要望される技術－２＞
　そのため、これらの検出又は判定方法を、検出精度を維持しながら検査対象物の搬送中にインラインで行うには、処理手段を非常に高い処理能力のものとするか、検査対象物の搬送速度をかなり遅くするしかなく、実質的に不可能な状況であった。
特開２００４－３０１６９０号公報 特開２００５－２０１６３６号公報
＜背景技術の課題＞
　そこで、本発明は、このような事情に鑑みてなされたものであり、その目的は、異物の検出を高速に行うことができる食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法を提供することにある。
＜請求項１の内容＞
　このような目的を達成するため、本発明は、以下の構成によって把握される。
（１）本発明は、異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、前記検査対象物に光を照射する光照射手段と、前記検査対象物の映像を撮像する撮像手段と、前記食品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、前記波長強調手段は、前記光照射手段又は前記撮像手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を強調し、前記識別処理装置は、前記撮像手段により撮像された映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データとする軽量化手段と、前記軽量化データから前記異物特定波長を識別する処理を、複数枚の前記軽量化データを用いて、あらかじめディープラーニングさせた識別手段と、を有し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記異物又は前記良品をインラインで識別するものである。
＜請求項２の内容＞
（２）本発明は、上記（１）の構成において、前記波長強調手段は、前記異物特定波長を少なくとも１つ、及び前記良品特定波長を少なくとも１つ、強調し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記良品をインラインで識別するものである。
＜請求項３の内容＞
（３）本発明は、上記（１）又は（２）の構成において、前記波長強調手段は、前記異物特定波長として第１の異物特定波長及び第２の異物特定波長の２つの波長を強調し、前記識別手段は、前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理するものである。
＜請求項４の内容＞
（４）本発明は、食品検査装置の識別手段の学習方法であって、異物の混在がないことを確認する食品を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記食品の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、前記異物特定波長と前記良品特定波長とを少なくとも含む疑似ＲＧＢ学習映像を複数枚準備するステップと、前記疑似ＲＧＢ学習映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データに軽量化するステップと、前記軽量化学習データから、前記異物特定波長又は前記良品特定波長を識別する処理を、前記識別手段にディープラーニングさせるステップと、を含むものである。
＜請求項５の内容＞
　本発明は、上記（４）の構成によって学習させた識別手段を備える食品検査装置である。
＜請求項６の内容＞
　上記（１）から（３）及び（５）までのいずれか１つの構成の食品検査装置によって、検査対象物の食品に異物の混在がないことを確認する食品の検査方法である。
　本発明によれば、異物の検出を高速に行うことができる食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法を提供することができる。
本発明の実施形態に係る食品検査装置を示す概略図である。 検査対象物の識別状態を示す概略図である。 識別手段の学習フロー図である。
＜実施形態の説明－１＞
　以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。
＜実施形態の説明－２＞
　まず、異物Ｆｎの混在がないことを確認したい食品Ｂ（検査対象物Ａ）から、異物Ｆｎをインラインで識別する食品検査装置１について、図１に基づいて説明する。図１は本発明の実施形態に係る食品検査装置を示す概略図である。図２は、検査対象物の識別状態を示す概略図である。
＜食品検査装置の全体構成－１＞
　図１に示される食品検査装置１は、搬送手段２と、光照射手段３と、撮像手段４と、波長強調手段５と、識別処理装置６と、を備える。この食品検査装置１で検査される検査対象物Ａは、加工前の野菜や果実や、加工後の加工品や調理品などの食品Ｂである。これらの食品Ｂ中に混在し得る異物Ｆnとしては、例えば、果実の実のみを良品Ｓとすると、枝葉・萼、毛髪、虫、金属、石などが異物Ｆｎであり、また、正常な状態の食品Ｂを良品Ｓとすると、傷部、欠け部、腐敗部、焦げ部などを有する不良品も異物Ｆｎとなり、さらに、ある食品Ｂに対して、別の食品も異物Ｆｎとなる。また、これらが複合して、良品Ｓ及び異物Ｆｎとされることもある。
＜搬送手段の構成－１＞
　搬送手段２は、検査対象物Ａを上流工程から検査部Ｃでの検査工程を経て下流工程を搬送するもので、ベルトコンベアなどから構成されている。搬送手段２は、２ｍ／分から２０ｍ／分程度の搬送速度で検査対象物Ａを搬送する。
＜検査部の構成－１＞
　検査部Ｃは、搬送手段２の上方に配置された、光照射手段３と、撮像手段４と、波長強調手段５と、識別処理装置６と、から構成され、異物Ｆｎの混在ないことを確認したい搬送中の食品Ｂから、異物Ｆｎをインラインで識別する。
＜光照射手段の構成－１＞
　光照射手段３は、検査対象物Ａに光、例えば３００ｎｍ以上１１００ｎｍの波長を含む光を照射するもので、ハロゲンランプなどが用いられる。ハロゲンランプであれば、近紫外線領域から可視光領域及び近赤外線領域までの光を照射することができる。なお、本実施形態では、光照射手段３には、後述する第２の光学フィルター５２が取付けられた補光器３２も含まれる。
＜撮像手段の構成－１＞
　撮像手段４は、搬送中の検査対象物Ａを撮像するもので、ＣＣＤカメラや、ハイパースペクトルカメラなどで構成される。この撮像手段４には、後述する第１の光学フィルター５１が取付けられている。なお、第１の光学フィルター５１は、撮像手段４でなく、上述の光照射手段３に取付けてもよい。また、解像度は、食品Ｂの平均ピクセル長が１０～１００ピクセルで撮像できる解像度が好ましく、２０～４０ピクセルでの撮像が最も好ましい。食品Ｂの平均ピクセル長が１０ピクセルよりも小さいと後に十分な特徴検出が行えず、１００ピクセルを超えると食品検査としての十分な処理能力を得られない。なおここで、食品Ｂの平均ピクセル長とは、対象となる食品Ｂを撮像したときの縦・横いずれかの最大ピクセル数を計測し、１０個撮像したときの平均値である。
＜波長強調手段の構成－１＞
　波長強調手段５は、検査対象物Ａ中の食品Ｂの良品Ｓ又は異物Ｆｎの少なくとも一方が反射する特徴的な波長Ｗｎを強調する。波長強調手段５は、例えば、光照射手段３又は撮像手段４に取付けた第１の光学フィルター５１を用いて、異物Ｆ１に特徴的な異物特定波長（第１の異物特定波長）Ｗｆ１を少なくとも１つ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを少なくとも１つ、強調する。本実施形態では、異物Ｆ１以外の異物Ｆ２に特徴的な第２の異物特定波長Ｗｆ２も、第２の光学フィルター５２を用いて同時に強調する。
＜波長強調手段の構成－２＞
　第１の光学フィルター５１及び第２の光学フィルター５２には、長波長カットや短波長カットフィルタ、又は、バンドパスフィルタなどが用いられる。また、撮像手段４がＣＣＤカメラである場合、第１の光学フィルター５１及び第２の光学フィルター５２として、ＣＣＤカメラのＣＣＤセルのウェル電圧及び／又はサブストレート電圧を外部から制御するＣＣＤセル電圧外部制御装置であってもよい。ＣＣＤセル電圧外部制御装置を用いれば、一般的に入手できる３ＣＣＤタイプのＣＣＤカメラを用いながらも、ダイクロイックプリズムの表面加工を変化させることなく、ウェル電圧及び／又はサブストレート電圧を制御することで、撮像素子に入り込む光子（波長によりエネルギー量が異なる）が電荷パケットに入る応答特性を変化させることが可能となり、異物Ｆに特徴的な異物特定波長Ｗｆを少なくとも１つ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを少なくとも１つ、強調することができる。
＜波長強調手段の構成－３＞
　さらに、波長強調手段５は、第１の異物特定波長Ｗｆ１及び第２の異物特定波長Ｗｆ２に加えて、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓも強調可能になっている。なお、第１の光学フィルター５１及び第２の光学フィルター５２は、それぞれ逆の特定波長を強調するように構成されてもよい。
＜波長強調手段の構成－４＞
　これらの第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓは、前もって検査対象物Ａを撮像し、得られた映像Ｄ０から抽出しておく必要がある。
＜識別処理装置の構成－１＞
　識別処理装置６は、検査対象物Ａ中の食品Ｂの良品Ｓ又は異物Ｆ１，Ｆ２を識別するものである。識別処理装置６は、撮像手段４により撮像された映像Ｄ１を軽量化データＤ３とする軽量化手段６１と、軽量化データＤ３から第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２又は良品特定波長Ｗｓを識別する識別手段６２と、を有する。
＜軽量化手段の構成－１＞
　軽量化手段６１は、まず、撮像手段４により搬送中の検査対象物Ａを撮像した映像Ｄ１を、疑似ＲＧＢ映像Ｄ２とする。このとき、映像Ｄ１の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることで、疑似ＲＧＢ映像Ｄ２とすることができる。この疑似ＲＧＢ映像Ｄ２は、必要に応じてモニタなどの表示手段に表示してもよい。
＜軽量化手段の構成－２＞
　そして、この疑似ＲＧＢ映像Ｄ２を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データＤ３とする。なお、軽量化データＤ３で最も軽いものは、２値化データである。
＜軽量化手段の構成－３＞
　ここで、映像のデータ容量について説明すると、撮像手段４に３０万画素（６４０×４８０）のＣＣＤカメラを用いる場合、フルカラー（１６７７万色）で撮像された映像Ｄ１及び疑似ＲＧＢ画像Ｄ２は、１枚当たり約３．６ＭＢのデータ容量となるが、２５６段階以下の階調に正規化することで、軽量化データＤは、１枚当たり約０．３ＭＢ以下のデータ容量となり、またさらに１６段階以下にすることで、さらにデータ量を０．１５ＭＢ以下にできる。
＜識別手段の構成－１＞
　識別手段６２は、軽量化データＤ３に基づいて、搬送手段２によって搬送中の検査対象物Ａから異物Ｆ１，Ｆ２をインラインで識別する。このとき、識別手段６２は、逆に良品Ｓをインラインで識別してもよい。この識別手段６２は、検査対象物Ａから異物Ｆ１、異物Ｆ２又は良品Ｓを識別する処理を、あらかじめディープラーニングにより学習している。
＜識別手段の学習方法の説明－１＞
　識別処理装置６の識別手段６２の学習方法について説明する。図３は、識別手段の学習フロー図である。
＜特定波長抽出ステップの説明－１＞
　まず、特定波長抽出ステップＳ１では、異物Ｆ１，Ｆ２の混在がないことを確認したい食品Ｂを撮像手段４で、前もって撮像した学習映像ｄ１から、異物Ｆ１及び異物Ｆ２が反射する特徴的な波長をそれぞれ第１の異物特定波長Ｗｆ１及び第２の異物特定波長Ｗｆ２として、また、食品Ｂの良品Ｓが反射する特徴的な波長を良品特定波長Ｗｓとして、抽出する。なお、異物Ｆ１のみを識別する場合は、第１の異物特定波長Ｗｆ１のみを抽出すればよい。
＜学習映像準備ステップの説明－１＞
　学習映像準備ステップＳ２では、特定波長抽出ステップＳ１で抽出された第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを強調する波長強調手段５を用い、撮像手段４で検査対象物Ａを撮像する。そして、撮像した学習映像ｄ１から、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを含む疑似ＲＧＢ学習映像ｄ２を作成し、複数枚、例えば１０００枚以上準備する。このとき、学習映像ｄ１中の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることで、疑似ＲＧＢ学習映像ｄ２が得られる。
＜映像軽量化ステップの説明－１＞
　映像軽量化ステップＳ３では、複数枚の疑似ＲＧＢ学習映像ｄ２を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データｄ３に軽量化する。
＜学習ステップの説明－１：ディープラーニング＞
　学習ステップＳ４では、軽量化学習データｄ３から、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを識別する処理を、識別手段６２にディープラーニングさせる。ディープラーニングとしては、いわゆる畳み込みニューラルネットワーク、再帰型ニューラルネットワークなどがあるが、学習後は、その瞬間に入力され疑似ＲＧＢ映像Ｄ２を処理する必要性から、畳み込みニューラルネットワークが望ましい。
＜学習ステップの説明－２：畳み込みニューラルネットワーク＞
　またさらに、畳み込みニューラルネットワークの中でも、自己符号化器を用いた再構成や、輝度を用いた色再構成をいると、良品Ｓのみを用いた学習が可能となり、学習ステップを効率的に進められるため望ましい。この場合、再構成された画像は、「もし仮に撮像された食品Ｂが全て良品Ｓであった場合を予測した画像」であり、軽量化学習データｄ３とのピクセルごとの差分を計算し、予め定めた閾値を超えるピクセルを「良品でない物体」として検出することが可能となる。
＜学習ステップの説明－３：自己符号化器を用いた再構成＞
　自己符号化器を用いた再構成の詳細を説明する。
　軽量化学習データｄ３は、自己符号化器を用いた再構成の畳み込みニューラルネットワークの中で、カーネル画像が取り出され、次に複数のノードをもつニューラルネットワーク層で特徴抽出され、次に復号化層で再構成される。さらに、カーネルへの取り出しから復号化までを複数回入れ子状に繰り返すことで、より概念的な特徴抽出が可能となる。
　この自己符号化器の学習は、最終復号化層からの出力が元に入力された軽量化学習データｄ３と極力一致するように、つまり差分を表す損失関数が極力低くなるように学習される。この時の損失関数は、ＢＣＥ（Ｂｉｎａｒｙ　Ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）といった損失関数が利用できる。
＜学習ステップの説明－４：輝度を用いた色再構成＞
　輝度を用いた色再構成の詳細を説明する。
　軽量化学習データｄ３は、ＲＧＢ空間からＬａｂ空間に換算され、Ｌ値（輝度）を用いた色再構成の畳み込みニューラルネットワークにかけられる。また同じく、Ｌａｂ空間に換算されたａ値とｂ値は、ａ－ｂ空間上を特定のカテゴリ数に区分したカテゴリに分類され、カテゴリカル表現を得る。
　Ｌ値（輝度）を用いた色再構成の畳み込みニューラルネットワークにおいて、第１の畳み込み層で、カーネル画像が取り出され、次に複数のノードを持つニューラルネットワーク層で特徴抽出される。次に逆畳み込み層を用いて、元の画像サイズのピクセル数を再現する。これらを複数回入れ子状（第２、３、…、第ｎ層）に繰り返すことで、より概念的な特徴抽出が可能となる。最後の層である第ｎ層では、カーネルサイズは元の画像サイズのピクセル数とし、かつ、ノード数は上記特定のカテゴリ数として特徴抽出する。
　畳み込み適用間隔（ストライド）は、第１の畳み込み層では２より大きく、複数のピクセルから特徴抽出して集約する。逆に、第ｎ－１の逆畳み層では、配列サイズ（ピクセルサイズ）は第１の畳み込み層と同じにしながら、畳み込み適用間隔を第１の畳み込み層と同じにしつつ、１つの配列変数から複数のピクセルへ特徴を再構成する。
　この輝度を用いた色再構成の学習では、まず軽量化学習データｄ３またはその画像処理データのＬ値を入力し、第ｎ－１の畳み込み層から得られた色再構成された色再構成ａ値および色再構成ｂ値が得られるので、この色再構成ａ値および色再構成ｂ値と、元画像である小型学習用データのａ値およびｂ値との損失関数（ＢＣＥ）が極力低くなるように学習される。
　また、この輝度を用いた色再構成の学習で、第ｎの畳み込み層は、元画像である軽量化学習データｄ３またはその画像処理データのａ値およびｂ値を入力し、特定のカテゴリ数に区分したカテゴリに分類するよう学習する。また第ｎの畳み込み層は、ノード数を上記特定のカテゴリ数とし、そのノード数は１００以上１６００未満が好ましい。ノード数（およびカテゴリ数）が１００以下であると、ａ－ｂ空間上の重み変化を十分にとらえきれず、１６００を超えるとカテゴリに分類して演算効率を高めようとした効果が薄くなる。
　この輝度を用いた色再構成の検査では、小型学習用データのＬ値を第１の畳み込み層に入力して第ｎ層から得られたカテゴリカル表現と、小型学習用データのａ値およびｂ値を第ｎ－１の畳み込み層に入力して第ｎ層から得られたカテゴリカル表現との差分を求め、その差分に対して予め定めた閾値を超えるピクセルを「良品でない物体」として検出する。
＜識別手段の構成－２＞
　このようにして、異物Ｆ１、異物Ｆ２及び良品Ｓと、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓとの関係を学習した識別手段６２は、軽量化データＤ３に基づいて、図２に示すように、検査対象物Ａから異物Ｆ１、異物Ｆ２又は良品Ｓを識別する。なお、図２において、異物Ｆ１は、毛髪や石などであり、異物Ｆ２は、腐敗部である。
＜識別手段の構成－３＞
　このとき、識別手段６２は、検査対象物Ａから得られた実際の軽量化データＤ３を追加で学習し、学習結果を更新してもよい。
＜食品検査装置の全体構成－２＞
　そして、検査部Ｃで、異物Ｆ１、異物Ｆ２又は良品Ｓと識別されたものは、食品検査装置１の下流に設けられた分岐・分離手段（図示なし）などにより、分岐又は分離され、別の経路に排出される。分岐・分離手段には、分岐コンベアやロボットなどが用いられる。あるいは、食品検査装置１が異物Ｆ１及び異物Ｆ２を識別した場合に、作業員に報知し、作業員が取除くように構成してもよい。
＜実施形態の効果－１＞
　以上、説明した実施形態の効果について述べる。
　実施形態の食品検査装置１は、異物Ｆｎの混在がないことを確認する食品Ｂを検査対象物Ａとして搬送する搬送手段２と、検査対象物Ａに光を照射する光照射手段３と、検査対象物Ａの映像を撮像する撮像手段４と、食品Ｂ又は異物Ｆｎの少なくとも一方が反射する特徴的な波長Ｗを強調する波長強調手段５と、食品Ｂ又は異物Ｆｎの少なくとも一方を識別する識別処理装置６と、を備え、波長強調手段５は、光照射手段３又は撮像手段４に取付けた第１の光学フィルター５１、及び／又は、補光器３２に取付けた第２の光学フィルター５２、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、異物Ｆｎに特徴的な異物特定波長Ｗｆ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを強調し、識別処理装置６は、撮像手段４により撮像された映像Ｄ１を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データＤ３とする軽量化手段６１と、軽量化データＤ３から異物特定波長Ｗｆを識別する処理を、複数枚の軽量化学習データｄ３を用いて、あらかじめディープラーニングさせた識別手段６２と、を有し、識別手段６２は、搬送手段２による食品Ｂの搬送中に撮像して得られた軽量化データＤ３から、異物Ｆｎ又は良品Ｓをインラインで識別するものである。これにより、高速な処理手段を用いなくても、識別精度を落とすことなく、識別速度を高速化することができる。
＜実施形態の効果－２＞
　実施形態の食品検査装置１では、波長強調手段５は、良品Ｓが反射する良品特定波長Ｗｓを強調する。これにより、検査対象物Ａから異物Ｆｎを識別できるとともに、良品Ｓを識別することができる。検査対象物Ａ（食品Ｂ）から良品Ｓ及び異物Ｆｎを識別できるため、良品Ｓ及び異物Ｆｎの頻出度に応じて、分岐・分離手段の処理内容を設定することができる。
＜実施形態の効果－３＞
　実施形態の食品検査装置１では、波長強調手段５は、異物特定波長Ｗｆとして第１の異物特定波長Ｗｆ１及び第２の異物特定波長Ｗｆ２の２つの波長を強調する。これにより、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることができ、撮像手段４で撮像した映像Ｄ１を疑似ＲＧＢ映像Ｄ２として処理することができる。
＜実施形態の効果－４＞
　実施形態の食品検査装置１の識別手段６２の学習方法は、異物Ｆｎの混在がないことを確認する食品Ｂを撮像した学習映像ｄ１から、異物Ｆｎが反射する特徴的な波長を異物特定波長Ｗｆとして、また、食品Ｂの良品Ｓが反射する特徴的な波長を良品特定波長Ｗｓとして、探査するステップと、異物特定波長Ｗｆと良品特定波長Ｗｓとを少なくとも含む疑似ＲＧＢ学習映像ｄ２を複数枚準備するステップと、疑似ＲＧＢ学習映像ｄ２を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データｄ３に軽量化するステップと、軽量化学習データｄ３から、異物特定波長Ｗｆ又は良品特定波長Ｗｓを識別する処理を、識別手段６２にディープラーニングさせるステップと、を含むものである。これにより、異物Ｆｎ及び良品Ｓと、異物特定波長Ｗｆ及び良品特定波長Ｗｓとの関係を、効率よく識別手段６２に学習させることができる。
＜変形例の説明－１＞
　食品検査装置１の変形例を説明する。
　上記実施形態では、波長強調手段５は、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓの合計３つの波長を強調したが、少なくとも１つの第１の異物特定波長Ｗｆ１（Ｗｆ２）と、少なくとも１つの良品特定波長Ｗｓとを強調してもよく、第１の異物特定波長Ｗｆ１のみを強調してもよい。少なくとも、第１の異物特定波長Ｗｆ１を強調することで、食品Ｂの中から異物Ｆｎを識別することができる。あるいは、良品特定波長Ｗｓのみを強調してもよい。なお、異物特定波長Ｗｆ及び良品特定波長Ｗｓを合計４つ以上強調するように構成してもよい。
＜変形例の説明－２＞
　上記実施形態では、波長強調手段５は、補光器に取付けた第２の光学フィルター５２でなく、所定波長範囲の光のみを放出する波長特異的な光源、例えばＬＥＤ素子や半導体レーザーであってもよい。ＬＥＤ素子であれば、ＬＥＤチップに含まれる材料の種類を変更することで、２００ｎｍから１０００ｎｍ程度の領域内で、所望の波長範囲の光を放出するように構成することができる。
　以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
１　　食品検査装置
２　　搬送手段
３　　光照射手段
　３２　補光器
４　　撮像手段
５　　波長強調手段
　５１　第１の光学フィルター
　５２　第２の光学フィルター
６　　識別処理装置
　６１　軽量化手段
　６２　識別手段
Ａ　　検査対象物
　Ｂ　食品、Ｓ　良品、Ｆｎ　異物
Ｗｎ　　特定波長

Claims (6)

  1. 　異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、
    　前記検査対象物に光を照射する光照射手段と、
    　前記検査対象物の映像を撮像する撮像手段と、
    　前記食品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
    　前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
    　前記波長強調手段は、
    　前記光照射手段又は前記撮像手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を強調し、
    　前記識別処理装置は、
    　前記撮像手段により撮像された映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データとする軽量化手段と、
    　前記軽量化データから前記異物特定波長を識別する処理を、複数枚の前記軽量化データを用いて、あらかじめディープラーニングさせた識別手段と、を有し、
    　前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記異物又は前記良品をインラインで識別する、食品検査装置。
  2. 　請求項１に記載の食品検査装置であって、
    　前記波長強調手段は、前記異物特定波長を少なくとも１つ、及び前記良品特定波長を少なくとも１つ、強調し、
    　前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記良品をインラインで識別する、食品検査装置。
  3. 　請求項２に記載の食品検査装置であって、
    　前記波長強調手段は、前記異物特定波長として第１の異物特定波長及び第２の異物特定波長の２つの波長を強調し、
    　前記識別手段は、前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理する、食品検査装置。
  4. 　食品検査装置の識別手段の学習方法であって、
    　異物の混在がないことを確認する食品を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記食品の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、
    　前記異物特定波長と前記良品特定波長とを少なくとも含む疑似ＲＧＢ学習映像を複数枚準備するステップと、
    　前記疑似ＲＧＢ学習映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データに軽量化するステップと、
    　前記軽量化学習データから、前記異物特定波長又は前記良品特定波長を識別する処理を、前記識別手段にディープラーニングさせるステップと、を含む、識別手段の学習方法。
  5. 　請求項４に記載の識別手段の学習方法によって学習させた識別手段を備える食品検査装置。
  6. 　請求項１から３及び５までのいずれか１項に記載の食品検査装置によって、
    　検査対象物の食品に異物の混在がないことを確認する食品の検査方法。
PCT/JP2017/029996 2016-08-22 2017-08-22 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法 WO2018038123A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018529319A JP6542477B2 (ja) 2016-08-22 2017-08-22 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法
US16/325,365 US11079334B2 (en) 2016-08-22 2017-08-22 Food inspection apparatus, method of inspecting food, and method of learning in identification unit of food inspection apparatus
CN201780051728.9A CN109791111B (zh) 2016-08-22 2017-08-22 食品检查装置、食品检查方法以及食品检查装置的识别机构的学习方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-162112 2016-08-22
JP2016162112 2016-08-22

Publications (1)

Publication Number Publication Date
WO2018038123A1 true WO2018038123A1 (ja) 2018-03-01

Family

ID=61245016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029996 WO2018038123A1 (ja) 2016-08-22 2017-08-22 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法

Country Status (4)

Country Link
US (1) US11079334B2 (ja)
JP (2) JP6542477B2 (ja)
CN (1) CN109791111B (ja)
WO (1) WO2018038123A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019174481A (ja) * 2016-08-22 2019-10-10 キユーピー株式会社 検査装置及び検査装置の識別手段の学習方法
JP2020051982A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム
JP2020051783A (ja) * 2018-09-25 2020-04-02 株式会社明治 食品の検査方法及び検査装置
JP2020051981A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 検査装置
JP6731603B1 (ja) * 2019-03-01 2020-07-29 株式会社安川電機 検査システム
JP2020125974A (ja) * 2019-02-05 2020-08-20 アヲハタ株式会社 食品検査装置
KR20210010541A (ko) * 2018-08-27 2021-01-27 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 배터리 검출 방법 및 장치(battery detection method and device)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210170452A1 (en) * 2018-06-11 2021-06-10 Cryovac, Llc Process and system for in-line inspection of product stream for detection of foreign objects
JP2020183876A (ja) * 2019-04-26 2020-11-12 株式会社前川製作所 特徴点認識システムおよびワーク処理システム
NL2023271B1 (en) * 2019-06-06 2020-12-22 Aweta G&P B V Apparatus and method for determining a property of products
KR102110192B1 (ko) * 2019-07-11 2020-05-14 농심엔지니어링 주식회사 이물질 검출을 위한 복합검사장치
KR102116137B1 (ko) * 2019-11-07 2020-05-28 주식회사 대양식품 이물질 선별기의 제어 방법 및 장치
EP4078141A4 (en) * 2019-12-16 2023-10-25 Mekitec Oy FOOD PRODUCT INSPECTION SOLUTION
JP2021099261A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 付着物判定方法、付着物判定装置、及び付着物判定プログラム
JP7450917B2 (ja) 2020-03-10 2024-03-18 株式会社エヌテック マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法
JP7248317B2 (ja) * 2020-04-30 2023-03-29 株式会社高井製作所 豆腐類製造システム
CN115335855A (zh) * 2020-04-30 2022-11-11 株式会社高井制作所 豆腐制品的检查设备、豆腐制品的制造***、豆腐制品的检查方法及程序
KR20230004507A (ko) * 2020-04-30 2023-01-06 가부시키가이샤 타카이세이사쿠쇼 두부류 제조 시스템
JP7248316B2 (ja) * 2020-04-30 2023-03-29 株式会社高井製作所 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム
JP7487069B2 (ja) 2020-10-29 2024-05-20 株式会社Ryoden 混入金属識別方法および装置
CN112508930A (zh) * 2020-12-17 2021-03-16 无锡日联科技股份有限公司 基于深度学习的食品异物检测方法和装置
KR102576213B1 (ko) * 2022-12-27 2023-09-08 농심엔지니어링 주식회사 학습 모듈을 이용한 품질관리 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099783A (ja) * 1999-09-30 2001-04-13 Japan Tobacco Inc 光学式異物検出装置
JP2009115613A (ja) * 2007-11-06 2009-05-28 Hitachi High-Tech Control Systems Corp 異物検査装置
JP2012189390A (ja) * 2011-03-09 2012-10-04 Sumitomo Electric Ind Ltd 毛髪検出装置
WO2012153695A1 (ja) * 2011-05-10 2012-11-15 国立大学法人豊橋技術科学大学 機能性光源を用いた検査装置と検査方法及び機能性光源とその設計方法
JP2015197361A (ja) * 2014-04-01 2015-11-09 セイコーエプソン株式会社 表面検査装置および表面検査方法
JP2016142601A (ja) * 2015-01-30 2016-08-08 前田建設工業株式会社 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03242773A (ja) 1990-02-21 1991-10-29 Hitachi Ltd 画像検査装置
US5086479A (en) * 1989-06-30 1992-02-04 Hitachi, Ltd. Information processing system using neural network learning function
JPH06281592A (ja) * 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
JPH10300689A (ja) 1997-04-21 1998-11-13 Techno Ishii:Kk 容器内の異物検出方法とその装置
JP4220285B2 (ja) 2003-03-31 2009-02-04 日世株式会社 食品中の異物・夾雑物の検出方法
JP2005181244A (ja) * 2003-12-24 2005-07-07 Yokogawa Electric Corp 光量分布補正方法およびバイオチップ読取装置
JP2005201636A (ja) 2004-01-13 2005-07-28 Shizuoka Prefecture 腐敗部判定方法及び判定装置
JP2006275895A (ja) * 2005-03-30 2006-10-12 Olympus Corp 生体関連物質の測定情報の表示方法
US8351672B2 (en) * 2007-09-26 2013-01-08 Industry Vision Automation Corp. Machine imaging apparatus and method for detecting foreign materials
US8159525B2 (en) * 2008-06-13 2012-04-17 The United States Of America, As Represented By The Secretary Of Agriculture Portable multispectral imaging systems
JP6082321B2 (ja) * 2013-06-10 2017-02-15 住友電気工業株式会社 手術用顕微鏡システム
CN104155312B (zh) * 2014-08-11 2017-06-16 华北水利水电大学 基于近红外计算机视觉的粮粒内部害虫检测方法和装置
JP6402541B2 (ja) * 2014-08-26 2018-10-10 株式会社豊田中央研究所 異常診断装置及びプログラム
JP2016091359A (ja) * 2014-11-06 2016-05-23 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
JP6476802B2 (ja) 2014-12-03 2019-03-06 株式会社リコー 情報処理装置及び情報処理方法
CN104677920B (zh) * 2015-02-09 2017-04-05 浙江大学 一种基于果面局部灰度突变的水果表面虫眼检测标记方法
WO2018038123A1 (ja) * 2016-08-22 2018-03-01 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099783A (ja) * 1999-09-30 2001-04-13 Japan Tobacco Inc 光学式異物検出装置
JP2009115613A (ja) * 2007-11-06 2009-05-28 Hitachi High-Tech Control Systems Corp 異物検査装置
JP2012189390A (ja) * 2011-03-09 2012-10-04 Sumitomo Electric Ind Ltd 毛髪検出装置
WO2012153695A1 (ja) * 2011-05-10 2012-11-15 国立大学法人豊橋技術科学大学 機能性光源を用いた検査装置と検査方法及び機能性光源とその設計方法
JP2015197361A (ja) * 2014-04-01 2015-11-09 セイコーエプソン株式会社 表面検査装置および表面検査方法
JP2016142601A (ja) * 2015-01-30 2016-08-08 前田建設工業株式会社 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SA ET AL.: "DeepFruits: A Fruit Detection System Using Deep Neural Networks", SENSORS, vol. 16, 3 August 2016 (2016-08-03), pages 1 - 23, XP055469740 *
SAKAI ET AL.: "Deep Learning-based Image Recognition Applications", NTT DOCOMO TECHNICAL JOURNAL, vol. 18, no. 1, July 2016 (2016-07-01), pages 36 - 43 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019174481A (ja) * 2016-08-22 2019-10-10 キユーピー株式会社 検査装置及び検査装置の識別手段の学習方法
KR20210010541A (ko) * 2018-08-27 2021-01-27 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 배터리 검출 방법 및 장치(battery detection method and device)
KR102494946B1 (ko) * 2018-08-27 2023-02-06 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 배터리 검출 방법 및 장치(battery detection method and device)
JP2020051783A (ja) * 2018-09-25 2020-04-02 株式会社明治 食品の検査方法及び検査装置
JP7228981B2 (ja) 2018-09-25 2023-02-27 株式会社明治 食品の検査方法及び検査装置
JP2020051982A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム
JP2020051981A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 検査装置
JP2020125974A (ja) * 2019-02-05 2020-08-20 アヲハタ株式会社 食品検査装置
JP7250545B2 (ja) 2019-02-05 2023-04-03 アヲハタ株式会社 食品検査装置
JP6731603B1 (ja) * 2019-03-01 2020-07-29 株式会社安川電機 検査システム
WO2020178913A1 (ja) * 2019-03-01 2020-09-10 株式会社安川電機 検査システム

Also Published As

Publication number Publication date
CN109791111A (zh) 2019-05-21
JP2019174481A (ja) 2019-10-10
JP6542477B2 (ja) 2019-07-10
US20200386690A1 (en) 2020-12-10
JPWO2018038123A1 (ja) 2018-08-30
JP6940215B2 (ja) 2021-09-22
CN109791111B (zh) 2022-01-11
US11079334B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
JP6940215B2 (ja) 検査装置及び検査装置の識別手段の学習方法
US10527558B2 (en) Method and system of detecting foreign materials within an agricultural product stream
US7787111B2 (en) Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device for multitask inspection
Yuan et al. Classification of Lingwu long jujube internal bruise over time based on visible near-infrared hyperspectral imaging combined with partial least squares-discriminant analysis
Mahendran et al. Application of computer vision technique on sorting and grading of fruits and vegetables
Shahin et al. Detection of fusarium damage in Canadian wheat using visible/near-infrared hyperspectral imaging
Eissa et al. Understanding color image processing by machine vision for biological materials
Pearson Hardware-based image processing for high-speed inspection of grains
Mo et al. On-line fresh-cut lettuce quality measurement system using hyperspectral imaging
Zhang et al. Identification of common skin defects and classification of early decayed citrus using hyperspectral imaging technique
KR101750858B1 (ko) 결함 검출 시스템 및 결함 검출 방법
Lunadei et al. Image-based screening for the identification of bright greenish yellow fluorescence on pistachio nuts and cashews
Kim et al. Visible to SWIR hyperspectral imaging for produce safety and quality evaluation
Mo et al. Fluorescence hyperspectral imaging technique for foreign substance detection on fresh‐cut lettuce
US20090185164A1 (en) Method of inspecting food and inspection apparatus implementing the same
Mo et al. Discrimination methods for biological contaminants in fresh-cut lettuce based on VNIR and NIR hyperspectral imaging
Vetrekar et al. Collaborative representation of convolutional neural network features to detect artificial ripening of banana using multispectral imaging
Chun et al. Deep learning algorithm development for early detection of Botrytis cinerea infected strawberry fruit using hyperspectral fluorescence imaging
Huang et al. Early detection of bruises on apples using near-infrared hyperspectral image
Shahin et al. Assessment of mildew levels in wheat samples based on spectral characteristics of bulk grains
Singh et al. Near-infrared hyperspectral imaging for quality analysis of agricultural and food products
KR101203990B1 (ko) 형광영상을 이용한 방울토마토 열과 검출 방법
Toyofuku et al. Advances in automated nut sorting
Li et al. Multispectral imaging for early decay detection in citrus fruit
Huang et al. Quality of Vegetable Products: Assessment of Physical, Chemical, and Microbiological Changes in Vegetable Products by Nondestructive Methods

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018529319

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843601

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843601

Country of ref document: EP

Kind code of ref document: A1