JP6997495B1 - ピスタチオ選別装置 - Google Patents

ピスタチオ選別装置 Download PDF

Info

Publication number
JP6997495B1
JP6997495B1 JP2021549243A JP2021549243A JP6997495B1 JP 6997495 B1 JP6997495 B1 JP 6997495B1 JP 2021549243 A JP2021549243 A JP 2021549243A JP 2021549243 A JP2021549243 A JP 2021549243A JP 6997495 B1 JP6997495 B1 JP 6997495B1
Authority
JP
Japan
Prior art keywords
sorted
fluorescence
pistachio
image data
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021549243A
Other languages
English (en)
Other versions
JPWO2022259533A1 (ja
Inventor
数也 石原
洋人 中島
Original Assignee
東洋ナッツ食品株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東洋ナッツ食品株式会社 filed Critical 東洋ナッツ食品株式会社
Application granted granted Critical
Publication of JP6997495B1 publication Critical patent/JP6997495B1/ja
Publication of JPWO2022259533A1 publication Critical patent/JPWO2022259533A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/85Investigating moving fluids or granular solids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/845Objects on a conveyor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/85Investigating moving fluids or granular solids
    • G01N2021/8592Grain or other flowing solid samples
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/064Stray light conditioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Textile Engineering (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

殻付きピスタチオの殻に付着した蛍光物質から発光されるBGY蛍光を精度良く検知して良否判定を行い、不良品を高速で選別可能なピスタチオ選別装置を提供する。ピスタチオ選別装置は、検査領域内の被選別物である殻付きピスタチオに対して、最大ピーク波長が345nm~390nmの範囲内にある紫外線を照射する照明装置11と、500nm~600nmの波長範囲の光を選択的に透過させる光学フィルタ12と、被選別物から発光され光学フィルタ12を透過した蛍光の2次元的な強度分布を検知して、検査領域内の蛍光の2次元強度分布を示す2次元画像データを生成するセンサ13と、2次元画像データに基づいて被選別物の良否を各別に判定する判定装置14と、を備える。

Description

本発明は、殻付きピスタチオを撮像した画像に基づいて、ピスタチオの種実の虫害、カビ、物理的な損傷、腐敗、及び、ピスタチオの殻の汚れ等の有無を判定して選別するピスタチオ選別装置に関する。
食用木の実のピスタチオは、生育過程等において様々な品質の低下が発生する。例えば、生育過程では、木の実由来の香気成分等にネーブルオレンジワーム(学名:Amyelois transitella)が誘引され、成熟したピスタチオの果実に卵を産み付ける。果実がダメージを受けると、果実の中のフェノール類の増加により、ピスタチオの殻に褐変等の色素が付着する。また、卵から孵化した幼虫は、ピスタチオの種実を捕食し成長する。虫に捕食された種実の細胞壁が破壊されているため、外部から細胞膜に容易に細菌が侵入することにより、腐敗やカビが発生することもある。
ピスタチオは外的ダメージだけでなく、種実が未成熟の状態で割れ(アーリースプリット)、果実内部が裂開し果実にダメージを与えることもある。このダメージにより果実の中のフェノール類が増加し、ピスタチオの殻に褐変等の色素が沈着し、或いは、このダメージにより果実が腐敗し、カビが発生することもある。
生育過程で虫害やカビ等に羅漢した木の実は、保管中に正常な木の実にまで蔓延したり、カビが繁殖したりする。変質が発生したピスタチオが製品に混入すると、消費者に不快な思いをさせるだけでなく、製造者も消費者からの信頼を失うことになる。このため、生育過程で虫害や病気になったピスタチオは原料の段階で色彩選別や目視選別により除去されている。
生育過程でのダメージにより形成されたフェノール類は紫外線照射により緑から黄色の蛍光(bright greenish yellow fluorescence 、以下「BGY蛍光」と称す。)を示すことが報告されている。また、下記の非特許文献1では、このBGY蛍光とカビ毒のアフラトキシンの含有量に強い相関があり、特に生育初期で殻の裂開が発生するとアフラトキシンが検出される確率が高くなることが報告されている。
一般に、植物は、虫による接食や物理的な損傷を受けると、外部からの菌の侵入を阻止するために、2次代謝物としてフェノール類やフラボノイド等の抗菌物質(ファイトケミカル)を合成する。この物理的な損傷が大きい場合は、抗菌物質では欣菌の侵入は阻止できず、腐敗が進行し、カビ菌類が繁殖することもある。BGY蛍光物質は、生育過程でピスタチオが形成したファイトケミカルである2次代謝物質のフェノール類が殻に付着したものであり、BGY蛍光物質が多量に殻に付着すると外観の色が変色し、商品価値が損なわれるため、原料選別段階で除去することが望まれている。
Ebrahim Hadavi,"Several physical properties of aflatoxin-contaminated pistachio nuts:Application of BGY fluorescence for separation of aflatoxin-contaminated nuts",Food Additives and Contaminants, November 2005;22(11):1144-53 A.Farsaie,W.F.McClure,and R. J.Monroe,"Design and development of and electro-optical sorter for removing BGY fluorescent pistachio nuts",Transactions of the ASAE,24,1372-1375 (1981)
食用木の実の中でもピスタチオは殻付きの状態で消費者に提供されることが多いため、殻が付いた状態で精度良く選別する必要がある。しかしながら、ピスタチオの殻は薄黄色であり、殻の一部が裂開しているため、裂開した部分から薄緑色の種実と薄茶色の種皮が確認できる。このような殻付きピスタチオを色彩選別機で色判定をする場合、除去すべき褐変等による殻汚れとの色の違いを判定することが難しい。特に、外観からは殻が裂開した部分の実しか見えない為、内部の種実の虫害を見つけることは極めて困難である。
ピスタチオの殻を割ることで、実に生じた虫害の痕跡の有無を確認できる。しかしながら、ピスタチオは湿度に弱いため、殻無しでは風味や味が変化し易い。このことから、通常、殻付きピスタチオが広く受け入れられており、殻を除去することは難しい。
ピスタチオの選別技術の一つとして、BGY蛍光を利用した機械選別技術が、上記非特許文献2に報告されているが、BGY蛍光を精度良く検知するためには、1粒単位で選別をする必要があるため、現在、選別速度が商用に耐え得る技術は、未だ十分に確立されていない。
本発明は、上述の問題点に鑑みてなされたものであり、その目的は、ピスタチオの殻に付着したBGY蛍光物質を紫外線励起させ、そのBGY蛍光を検知することによって、種実に発生した虫害、カビ、物理的な損傷、腐敗や殻に付着した汚れ等の有無を判定して、高速で選別可能なピスタチオ選別装置を提供することにある。
本発明は、上記目的を達成するために、1または複数の被選別物である殻付きピスタチオの殻に付着した蛍光物質を検出して前記被選別物の良否を各別に判定して選別するピスタチオ選別装置であって、
検査領域内の前記被選別物に対して、最大ピーク波長が345nm~390nmの範囲内にある紫外線を照射する照明装置と、
500nm~600nmの波長範囲の光を選択的に透過させる光学フィルタと、
前記被選別物から発光され前記光学フィルタを透過した蛍光の2次元的な強度分布を検知して、前記検査領域内の前記蛍光の2次元強度分布を示す2次元画像データを生成するセンサと、
前記2次元画像データに基づいて前記被選別物の良否を各別に判定する判定装置と、を備えていることを第1の特徴とするピスタチオ選別装置を提供する。
上記第1の特徴のピスタチオ選別装置によれば、被選別物から発生する蛍光の励起光として、最大ピーク波長が345nm~390nmの範囲内にある紫外線を照射することで、被選別物が正常の場合と異常の場合の何れにおいても蛍光強度は、より長波長の励起光で得られる蛍光の最大強度より低いが、それぞれの蛍光を500nm~600nmの波長範囲で見ると、後述するように、正常の場合と異常の場合の蛍光強度比が高くなる。従って、被選別物の良否判定を、被選別物から発光される蛍光の検査領域内の2次元的な強度分布を示す2次元画像データに基づいて高精度に実施することができる。
更に、被選別物が正常及び異常の何れの場合であっても、2次元画像データ上の蛍光の2次元強度分布によって、検査領域内における被選別物の存在位置を特定できるため、検査領域内の各存在位置における被選別物が正常か異常かを高精度に判別することができる。
更に、上記第1の特徴のピスタチオ選別装置は、前記検査領域を内部に構成するとともに、前記検査領域内への外部からの環境光の進入を遮断する遮光部を備えていることが好ましい。
当該好ましい態様により、ピスタチオ選別装置を設置する空間内に、照明装置が照射する励起光としての紫外線と被選別物から発生する蛍光以外の環境光が存在する場合は、遮光部を設けることで、環境光がセンサに検出されず、環境光による被選別物の良否判定精度の低下を防止できる。
更に、上記第1の特徴のピスタチオ選別装置は、前記照明装置が、前記検査領域内の前記被選別物に対して、最大ピーク波長が350nm~375nmの範囲内にある紫外線を照射することが好ましい。
当該好ましい態様により、被選別物が正常の場合と異常の場合の500nm~600nmの波長範囲における蛍光強度比がより高くなり、2次元画像データ上の各存在位置における被選別物が正常か異常かをより高精度に判別することができる。
更に、本発明は、上記第1の特徴に加えて、前記判定装置が、前記2次元画像データに基づいて、前記被選別物の殻全体の面積と、前記被選別物の前記殻全体の存在範囲内における前記2次元画像データの各画素値で示される蛍光強度が所定の閾値以上の前記蛍光物質の付着面積との面積比に基づいて前記被選別物の良否を各別に判定するように構成されていることを第2の特徴とするピスタチオ選別装置を提供する。
尚、前記被選別物の殻全体の面積とは、2次元画像データの2次元画像上に表示される1粒の被選別物における殻全体の外縁に囲まれた範囲の面積であり、被選別物の殻全体の2次元画像上に表示された表側の面積であって、2次元画像上に表示されない裏側の面積は含まれない。また、殻の一部が裂開している場合には、当該殻全体の面積には当該裂開箇所も含まれる。更に、殻全体の存在範囲とは、2次元画像上に表示される殻全体の外縁に囲まれた範囲である。
上記第2の特徴のピスタチオ選別装置によれば、BGY蛍光物質の付着面積の大きい被選別物を不良品と判別することができ、BGY蛍光物質の付着面積が微小なものを良品または準良品として扱うことができる。
更に、本発明は、上記第1の特徴に加えて、前記判定装置が、前記2次元画像データに基づいて、前記検査領域内における前記被選別物の殻全体の存在範囲内における、前記被選別物の前記2次元画像データの各画素値で示される蛍光強度の最大値に基づいて前記被選別物の良否を各別に判定するように構成されていることを第3の特徴とするピスタチオ選別装置を提供する。
上記第3の特徴のピスタチオ選別装置によれば、BGY蛍光物質の蛍光強度の大きい被選別物を不良品と判別することができ、BGY蛍光物質の蛍光強度の最大値が被選別物が正常の場合の蛍光強度と比べて大きくない場合は、良品または準良品として扱うことができる。
更に、本発明は、上記第1の特徴に加えて、前記判定装置が、前記2次元画像データに基づいて、前記被選別物の殻全体の面積と、前記被選別物の前記殻全体の存在範囲内における前記2次元画像データの各画素値で示される蛍光強度が所定の閾値以上の前記蛍光物質の付着面積との面積比と、前記検査領域内における前記被選別物の前記殻全体の存在範囲内における、前記被選別物の前記2次元画像データの各画素値で示される蛍光強度の最大値と、に基づいて前記被選別物の良否を各別に判定するように構成されていることを第4の特徴とするピスタチオ選別装置を提供する。
上記第4の特徴のピスタチオ選別装置によれば、BGY蛍光物質の付着面積及び蛍光強度の大きい被選別物を不良品と判別することができ、BGY蛍光物質の付着面積が微小なもの、或いは、BGY蛍光物質の蛍光強度の最大値が、被選別物が正常の場合の蛍光強度と比べて大きくないものを良品または準良品として扱うことができる。
更に、本発明は、上記第2または第4の特徴に加えて、前記判定装置が、前記2次元画像データに基づいて、予め登録した幾何学形状とのパターンマッチングを実施して、前記被選別物の外縁を前記幾何学形状で近似し、前記被選別物の前記殻全体の面積を、前記被選別物別に算出するように構成されていることを第5の特徴とするピスタチオ選別装置を提供する。
上記第5の特徴のピスタチオ選別装置によれば、検査領域内に互いに接触した被選別物が複数存在する場合であっても、個々の被選別物の外縁を識別でき、個々の被選別物の殻全体の面積を近似的に算出することができる。
更に、本発明は、上記第3または第4の特徴に加えて、前記判定装置が、前記2次元画像データに基づいて、予め登録した幾何学形状とのパターンマッチングを実施して、前記被選別物の外縁を前記幾何学形状で近似し、前記検査領域内における前記被選別物の前記殻全体の存在範囲を、前記被選別物別に算出するように構成されていることを第6の特徴とするピスタチオ選別装置を提供する。
上記第6の特徴のピスタチオ選別装置によれば、検査領域内に互いに接触した被選別物が複数存在する場合であっても、個々の被選別物の外縁を識別でき、個々の被選別物の検査領域内における存在範囲を近似的に算出することができる。
更に、上記第5または第6の特徴のピスタチオ選別装置は、前記検査領域内に前記被選別物が複数存在する場合において、前記判定装置が、前記2次元画像データに基づいて、前記検査領域から不良品と判別され得る前記被選別物の存在し得ない範囲を除外した処理範囲を特定し、前記処理範囲において前記パターンマッチングを実施することが好ましい。
当該好ましい態様により、検査領域内に多数の被選別物が存在し、その不良品率が低い場合等において、判定装置のパターンマッチングに要する処理時間を大幅に低減させることができ、ピスタチオ選別装置の処理能力が向上する。
更に、上記第1乃至第4の何れかの特徴のピスタチオ選別装置は、前記判定装置が、不良品と判別された前記被選別物の前記検査領域内での位置を示す2次元座標の不良品座標として、当該被選別物の外縁を近似した幾何学形状の中心の2次元座標を算出するように構成されていることが好ましい。
当該好ましい態様により、検査領域内に互いに接触した被選別物が複数存在する場合であっても、不良品と判別された被選別物の検査領域内での個々の位置を示す不良品座標を、近似的に算出することができる。
更に、上記第1乃至第4の何れかの特徴のピスタチオ選別装置は、前記判定装置が、不良品と判別された前記被選別物の前記検査領域内での位置を示す2次元座標を不良品座標として算出するように構成されており、前記判定装置が算出した前記不良品座標に基づいて、前記不良品と判別された前記被選別物を除去する除去装置を備えることが好ましい。
当該好ましい態様により、検査領域内に存在する1または複数の被選別物である殻付きピスタチオの中から不良品と判別された被選別物を除去して、それ以外の良品の被選別物だけを自動的に選別して収集することができる。
上記特徴のピスタチオ選別装置によれば、検査領域内での被選別物から発光される蛍光の2次元的な強度分布を示す2次元画像データに基づいて、検査領域内の各存在位置における被選別物が正常か異常かを高精度且つ高速に判別することができる。
第1実施形態に係るピスタチオ選別装置の一構成例を示すブロック図。 図1に示す構成例における、被選別物、照明装置、光学フィルタ、及び、センサ間の位置関係を模式的に示す説明図。 虫害を被った殻付きピスタチオの殻外部と殻内部の可視光画像(白色照明)と殻外部の蛍光画像(365nm紫外線照明)。 アーリースプリットした殻付きピスタチオの可視光画像と蛍光画像。 (a)正常な被選別物の蛍光特性の分光蛍光光度計で測定した結果(蛍光指紋)を示す図、(b)異常のある被選別物の蛍光特性の分光蛍光光度計で測定した結果(蛍光指紋)を示す図。 図5(a)と図5(b)に示されている等高線の3種類の励起光の波長における断面形状(蛍光スペクトル)を重ねて示すスペクトル図。 励起光の波長が異なる3種類のBGY蛍光と正常殻蛍光の蛍光強度比(BGY蛍光/正常殻蛍光)の蛍光波長依存性を示す図。 蛍光波長の異なる3種類のBGY蛍光と正常殻蛍光の蛍光強度比の励起光波長依存性を示す図。 波長365nmの励起光を照射した場合の正常な被選別物10の正常殻蛍光、虫害を被った異常な被選別物10のBGY蛍光、及び、種実から発光される蛍光の各蛍光スペクトルを示すスペクトル図 判定装置による第1判定処理手順を示すフローチャート。 図10に示す判定処理のステップ#10において判定装置14に取り込まれた2次元画像データDAの2次元画像の一例を示す図。 図11に示す2次元画像データDAに対して図10に示す判定処理のステップ#13のパターンマッチング処理で被選別物別に割り当てられたマッチング図形(楕円形)とその中心(×印で図示)を示す図。 判定装置による第2判定処理手順を示すフローチャート。 判定装置による第3判定処理手順を示すフローチャート。 判定装置による第4判定処理手順を示すフローチャート。 第5実施形態に係るピスタチオ選別装置の一構成例を示すブロック図。 第6実施形態に係るピスタチオ選別装置の照明装置の一構成例を模式的に示す図。 第7実施形態に係るピスタチオ選別装置の一構成例を示す説明図。 第7実施形態に係るピスタチオ選別装置のシステム構成例を示す説明図。
本発明の実施形態に係るピスタチオ選別装置(以下適宜、単に「本選別装置」と略称する)は、殻付きピスタチオを撮像した画像に基づいて、ピスタチオの種実の虫害、カビ、物理的な損傷、腐敗、及び、ピスタチオの殻の汚れ等の有無を判定して選別する装置である。以下、本選別装置について、図面に基づいて詳細に説明する。尚、以下の説明で使用する本選別装置の構造的特徴を示す図面では、説明の理解の容易のために、要部を強調して発明内容を模式的に示しているため、各部の形状及び寸法比は必ずしも実際の装置と同じ形状及び寸法比とはなっていない。また、カラー写真を使用した図面(図3、図4、図11、及び、図12)は出願用に白黒2値化しているため、色彩情報が欠落している。
<第1実施形態>
図1に示すように、本選別装置1は、検査領域IA内に配置された1または複数の被選別物10である殻付きピスタチオに対して紫外線を照射する照明装置11、照明装置11から照射された紫外線によって励起され被選別物10から発光される蛍光の所定の波長範囲の光を選択的に透過させる光学フィルタ12、光学フィルタ12を透過した蛍光の2次元的な強度分布を検知して、検査領域IA内の蛍光の2次元強度分布を示す2次元画像データDAを生成するセンサ13、及び、2次元画像データDAに基づいて被選別物10の良否を各別に判定する判定装置14を備えて構成されている。
本実施形態では、被選別物10は、図2に示すように、被選別物10を検査領域IA外から検査領域IA内を通過して検査領域IA外へ搬送するコンベアベルトCB上に載置されている。コンベアベルトCBのベルト面は、照明装置11から照射された紫外線を受光しても蛍光を発しない素材で形成されている。一実施態様として、コンベアベルトCBの幅は600mmであり、コンベアベルトCBの移動速度は100~150mm/秒である。
照明装置11は、本実施形態では、紫外線LED(Light Emitting Diode)で構成されている。一実施態様として、4台の照明装置11が、コンベアベルトCBのベルト面に対して仰角45°で、ベルト面上の検査領域IA内を4方向から照射するように設置されている。尚、当該4方向のベルト面と平行な平面内での向きは、一例として、各2方向が対向しているのが好ましい。
各照明装置11は、一例として、12灯のハイパワー紫外線LEDを備え、合計48灯のハイパワー紫外線LEDで、検査領域IA内の被選別物10を4方向から照射するように構成されている。図2では、4台の照明装置11の内の2台が模式的に示されている。また、好ましい一実施態様として、検査領域IA内の紫外線照度が均一になるように、LEDには拡散レンズが取り付けられている。照明装置11から照射される紫外線の最大ピーク波長は、345nm~390nm、より好ましくは、350nm~375nmの範囲内にある。最大ピーク波長が365nmの場合、50cm×40cmの照射範囲内の紫外線照度は、0.5~4mW/cm、より好ましくは、1~2mW/cmである。また、検査領域IA内の紫外線照度のバラツキが±15%以内であれば、後述する良否判定が問題なく実施可能である。
更に、好ましい一実施態様として、4台の照明装置11は、各照射範囲内を複数に分割して各別に照度を調整可能な構成とすることで、4台の照明装置11の照射範囲の重なり状況に応じて、4台の照明装置11の各照射範囲内の照度を分割して調整し、検査領域IA内の紫外線照度のバラツキを容易に±15%以内に収めることができる。尚、紫外線照度のバラツキが±15%以内であることは、一指標であり、後述する良否判定が問題なく実施可能であれば、紫外線照度のバラツキが±15%以内より大きくても問題ない。
更に、本実施形態では、各照明装置11には、HOYA製のU360紫外線透過フィルタが取り付けられており、紫外線LEDから出射される紫外線の400nm以上の波長成分が遮断されている。
光学フィルタ12は、500nm~600nmの波長範囲の光を選択的に透過させるバンドパス・フィルタとして構成されている。バンドパス・フィルタである光学フィルタ12は、一実施態様として、500nm未満の波長を遮断するショートカット・フィルタ(或いは、500nm以上の波長を透過するロングパス・フィルタ)と、600nm超の波長を遮断するロングカット・フィルタ(或いは、600nm以下の波長を透過するショートパス・フィルタ)を組み合わせて構成されている。
バンドパス・フィルタである光学フィルタ12は、500nm未満の波長範囲内と600nm超の波長範囲内に、光学濃度(OD値)が2以上(透過率換算で1%以下)の透過阻止帯がそれぞれ存在し、500nm超の波長範囲内と600nm未満の波長範囲内に、透過率が80%以上、好ましくは85%以上、更に好ましくは90%以上の透過帯が存在している。
つまり、短波長側の透過阻止帯BB1の長波長端λ1は、λ1<500nmと規定され、長波長側の透過阻止帯BB2の短波長端λ4は、λ4>600nmと規定される。また、透過帯BTの短波長端λ2は、λ2>500nmと規定され、透過帯BTの長波長端λ3は、λ3<600nmと規定される。
短波長側の透過阻止帯BB1から透過帯BTへと遷移する(波長がλ1から500nmを通過してλ2へと増加する)際に、透過率が1%以下から、10%、50%、80%を経て透過帯BTの透過率へと遷移する。ここで、透過率が最大透過率の15%から85%まで増加するバンド幅は1~10nm、好ましくは、1~5nmである。更に好ましくは、当該バンド幅内に500nmが存在している。
透過帯BTから長波長側の透過阻止帯BB2へと遷移する(波長がλ3から600nmを通過してλ4へと増加する)際に、透過率が透過帯BTの透過率から、80%、50%、10%を経て1%以下へと遷移する。ここで、透過率が最大透過率の85%から15%まで増加するバンド幅は1~10nm、好ましくは、1~5nmである。更に好ましくは、当該バンド幅内に600nmが存在している。
上記各波長λ1、λ2、λ3、λ4は、バンドパス・フィルタを構成するロングパス・フィルタとショートパス・フィルタの各分光特性のバラツキ(例えば、カットオン/カットオフ波長の公差等)等に応じて変化するが、一例として、以下に示す範囲内に存在する。
480nm≦λ1<500nm、好ましくは、490nm≦λ1<500nm
500nm<λ2≦520nm、好ましくは、500nm<λ2≦510nm
580nm≦λ3<600nm、好ましくは、590nm≦λ3<600nm
600nm<λ4≦620nm、好ましくは、600nm<λ4≦610nm
以上より、光学フィルタ12のバンドパス帯域の半値全幅(FWHM:最大透過率の50%(半値)の値となる長波長側と短波長側間のバンド幅)は、必ずしも100nm(500nm~600nm)とならない場合もあり得るが、その近傍(各波長端で±7nm程度以内、好ましくは、±5nm程度以内)には存在する。
次に、上述の光学フィルタ12を構成するロングパス・フィルタとショートパス・フィルタとして本実施形態の実施例で使用した市販のフィルタの分光特性等を参考として下記の表1に示す。何れも上述の条件を満足している。尚、ロングパス・フィルタとショートパス・フィルタの分光特性等は、表1の記載に限定されるものではない。
Figure 0006997495000001
センサ13は、本実施形態では、エリアカメラで構成されている。センサ13のエリアカメラの一実施態様として、5MピクセルのモノクロCCDカメラ(水平方向2488画素×垂直方向2055画素)が好適に使用できる。更に、光学フィルタ12は、センサ13の受光用の開口部の前方に取り付けられており、これにより、センサ13は、被選別物10から発光される蛍光の500nm~600nmの波長範囲の光を選択的に受光できる。
上記一実施態様における5MピクセルのモノクロCCDカメラで構成されるセンサ13が生成する2次元画像データDAは、5Mピクセル(2488画素×2055画素)の各画素が8ビット階調(0~255階調)の受光強度を有するグレー・スケールの画像データである。2次元画像データDAのフレームの水平方向がコンベアベルトCBの幅方向と平行であり、垂直方向がコンベアベルトCBの進行方向と平行である。
本実施形態では、一例として、センサ13の受光感度及びレンズの絞り等が、検査領域IA内の紫外線照度及び光学フィルタ12の透過率特性に応じて、不良品の被選別物10から発光されるBGY蛍光の蛍光強度を示す2次元画像データDAの各画素値(階調値)が、125以上となり、正常な被選別物10の殻から発光される細胞壁由来の蛍光の蛍光強度を示す2次元画像データDAの各画素値(階調値)が、40以上となり、検査領域IAの2次元画像の背景となるコンベアベルトCBのベルト面の各画素値(階調値)が、概ね20前後となるように調整されている。コンベアベルトCBのベルト面の階調値が0でないのは、ベルト面での被選別物10から発光される蛍光の反射、または、後述する暗箱15内に進入した微弱な環境光の反射によるものである。尚、センサ13に使用するエリアカメラが8ビット階調でなく、例えば10ビット階調である場合は、上記各階調値は、使用するエリアカメラの感度特性に応じてそれぞれ約4倍に増加する。
本実施形態では、照明装置11、光学フィルタ12、及び、センサ13は暗箱15内に設置されており、検査領域IA内への環境光の進入が遮断されている。ここで、環境光とは、照明装置11から照射される紫外線、及び、当該紫外線によって励起される蛍光以外の本選別装置1の外部から到来する光である。
但し、コンベアベルトCB上に載置された被選別物10が、コンベアベルトCBの移動に応じて暗箱15外から暗箱15内に進入して、暗箱15外へと退出できるように、コンベアベルトCBの上流側と下流側に開口が設けられている。尚、当該開口から検査領域IA内への環境光の進入は完全に遮断されるのが好ましいが、微弱な環境光の進入による環境光自体及び環境光によって励起され発光する蛍光の合計ノイズレベルが、例えば8ビット階調において階調値10以下程度であれば、つまり、正常な被選別物10の殻から発光される細胞壁由来の蛍光の蛍光強度(階調値40前後)を十分に識別できる程度であれば、当該ノイズレベル程度の微弱な環境光の進入は許容可能である。
換言すれば、本選別装置1が設置されている室内の環境光が、500nm~600nmの波長成分、或いは、600nm以下の波長成分の光を含まないか殆ど含まずに、上記ノイズレベルが例えば階調値10以下程度となるように当該室内が照明されている場合は、照明装置11、光学フィルタ12、及び、センサ13は、必ずしも暗箱15内に設置されている必要はない。
次に、本実施形態における検査対象である被選別物10の異常について、簡単に説明する。図3は、虫害を被った殻付きピスタチオの殻外部と殻内部の可視光画像(白色照明)と殻外部の蛍光画像(365nm紫外線照明)である。殻内部の種実がオレンジワームの幼虫により食害を受け、殻の内側に種実から発生したBGY蛍光物質が付着し、殻の外側まで到達している。このBGY蛍光物質は、蛍光画像において殻の外部から容易に検知できる(矢印箇所参照)。
図4は、アーリースプリットした殻付きピスタチオの可視光画像と蛍光画像を示す。果実の成熟初期段階で、内部の殻が割れ果実に亀裂が発生することにより、果実からフェノール化合物が殻に付着したり、果実が虫による食害でダメージを受けて、果実からフェノール化合物が発生して殻に付着したり、虫によって果実に卵が産み付けられ、果実や種実にダメージが発生することで、果実からフェノール化合物が発生して殻に付着したり、内部の種実がオレンジワームの幼虫に食べられ、種実からフェノール化合物が発生し、殻の内側から殻の外側に拡散する。このフェノール化合物に紫外線を照射すると、可視光のBGY蛍光を発光する。このフェノール化合物は、蛍光画像において殻の外部から容易に検知できる(矢印箇所参照)。
次に、照明装置11から照射される紫外線の最大ピーク波長を、345nm~390nm、より好ましくは、350nm~375nmの範囲内に設定し、当該紫外線の400nm以上の波長成分を遮断し、センサ13が受光する波長範囲(光学フィルタ12の透過波長範囲)を500nm~600nmに設定した根拠について説明する。
殻付きピスタチオの選別に最適な蛍光を選定するために、正常な被選別物10と、殻の汚れや種実に発生した虫害、カビ、物理的な損傷、腐敗等の異常のある被選別物10に対して、分光蛍光光度計(日立製F-7000)を用いてそれぞれの蛍光特性を調査した。図5に上記分光蛍光光度計による測定結果を示す。図5(a)が正常な被選別物10の測定結果を示し、図5(b)が異常な被選別物10の測定結果を示している。
図5において、励起波長を縦軸に、蛍光波長を横軸に、蛍光強度を等高線で示している。尚、図5では、当初カラー表示されていた等高線を出願用に白黒2値化しているため蛍光強度情報の一部が欠落しているが、図5において同じ点を囲んで閉じた等高線が狭まっている箇所は頂上部分(上記同じ点)で蛍光強度が最大となっている。図5は、あたかも人の指の指紋状に見て取れることから、蛍光指紋と呼ばれている。
蛍光は励起波長よりも長波長側に観測される(ストークスの法則)ことから, 対角線の右下部分に蛍光指紋が現れている。また、蛍光物質が同一成分であれば励起波長を変えても蛍光波長が変わらないことから、蛍光強度は同じ点を囲む閉じた等高線状に描かれる。正常な被選別物10の殻からの蛍光(正常殻蛍光)は、約410nmの光で励起した場合に、蛍光波長約480nmで蛍光強度が最大となって青色の蛍光を示す。一方、異常な被選別物10の蛍光は、約440nmの光で励起した場合に、蛍光波長約540nmで蛍光強度が最大となってBGY蛍光を示す。BGY蛍光のスペクトルは、450nm~600nmの青~緑~黄色の範囲でブロードなスペクトルを示す。
図6(a)~(c)に、図5(a)と図5(b)に示されている等高線の3種類の励起光の波長における断面形状(蛍光スペクトル)を重ねて示す。図6において、異常な被選別物10のBGY蛍光のスペクトルを黒三角(▲)で、正常な被選別物10の正常殻蛍光のスペクトルを白丸(○)でそれぞれ示し、相対蛍光強度を縦軸に、蛍光波長を横軸に示す。図6(a)は、励起光の波長が360nmにおける蛍光スペクトルを示し、図6(b)は、励起光の波長が410nmにおける蛍光スペクトルを示し、図6(c)は、励起光の波長が440nmにおける蛍光スペクトルを示す。図6より、励起光の波長が増加しても、BGY蛍光の最大ピーク波長は530nm前後(520nm~540nm)でほぼ一定で、蛍光強度のみが増加することが分かり、一方、正常殻蛍光の最大ピーク波長は、励起光の波長が360nm、410nm、440nmと増加すると、460nm、480nm、520nmと増加し、BGY蛍光の最大ピーク波長に近づくことが分かる。尚、図6では、励起光の波長成分がBGY蛍光及び正常殻蛍光の一部として表示されている。
図6の測定結果より、BGY蛍光の最大ピーク波長(520nm~540nm)が光学フィルタ12の透過波長範囲内に含まれていることが好ましい。また、光学フィルタ12の透過波長範囲内に、正常殻蛍光の蛍光強度の最大ピーク波長が含まれている必要はないが、被選別物10の位置または存在範囲を特定する必要から、正常殻蛍光の蛍光強度が一定値以上となる波長範囲の一部は含まれている必要がある。
図7に、励起光の波長が360nm、410nm、及び、440nmにおけるBGY蛍光と正常殻蛍光の蛍光強度比(BGY蛍光/正常殻蛍光)の蛍光波長依存性を示す。蛍光強度比を縦軸に、蛍光波長を横軸に示す。当該蛍光強度比は、図6に示す相対蛍光強度から算出したものである。上記蛍光強度比は、励起光の波長が上記3波長の中では360nmの場合が最も大きく、特に、蛍光波長が570nm付近で最大となり、BGY蛍光と正常殻蛍光とのSN比が大きくなる。
また、BGY蛍光の最大ピーク波長が、励起光の波長の変化に対して530nm前後でほぼ一定であったのと同様に、上記蛍光強度比が最大となる蛍光波長も、励起光の波長の変化に対して570nm前後(570nm~580nm)でほぼ一定である。よって、光学フィルタ12の透過波長範囲内には、上記蛍光強度比が最大となる蛍光波長(570nm~580nm)も、BGY蛍光の最大ピーク波長(520nm~540nm)とともに含まれていることが好ましい。
図8に、蛍光波長が570nmにおけるBGY蛍光と正常殻蛍光の蛍光強度比(BGY蛍光/正常殻蛍光、以下「第1蛍光強度比(Rf1)」)と、蛍光波長が510nm~590nm(10nm間隔)における各9点の平均蛍光強度の蛍光強度比(平均BGY蛍光/平均正常殻蛍光、以下「第2蛍光強度比(Rf2)」)と、蛍光波長が500nm~600nm(10nm間隔)における各11点の平均蛍光強度の蛍光強度比(平均BGY蛍光/平均正常殻蛍光、以下「第3蛍光強度比(Rf3)」)の励起光波長依存性を示す。励起光の波長は300nm~440nmの範囲で変化させている。蛍光強度比を縦軸に、励起光の波長を横軸に示す。当該第1及び第2蛍光強度比は、図5に示す測定結果から算出したものである。
第1蛍光強度比は、励起光の波長が約325nm~約390nmの範囲で約5.0以上であり、励起光の波長が400nm~440nmの範囲の蛍光強度比より大きい。第2蛍光強度比は、励起光の波長が約325nm~約375nmの範囲で約4.4以上であり、励起光の波長が380nm~440nmの範囲の蛍光強度比より大きい。第3蛍光強度比は、励起光の波長が約325nm~約375nmの範囲で約4.1以上であり、励起光の波長が380nm~440nmの範囲の蛍光強度比より大きい。特に、第1乃至第3蛍光強度比の何れも、励起光の波長が340nm付近で最大となり、BGY蛍光と正常殻蛍光とのSN比が大きくなる。
図8より、第1乃至第3蛍光強度比の何れも、励起光の波長が340nm未満で急激に低下するため、励起光の光源として紫外線LEDの使用を想定した場合、発光スペクトルの半値全幅(FWHM)が10nm~20nm程度とすると、照明装置11が照射する紫外線の最大ピーク波長は345nm以上とするのが好ましい。これに対して、励起光の波長が390nmを5nm程度超えても第1乃至第3蛍光強度比の何れも大きくは低下しないため、照明装置11が照射する紫外線の最大ピーク波長を390nm以下としても大きな支障はない。よって、照明装置11が照射する紫外線の最大ピーク波長は、BGY蛍光と正常殻蛍光とのSN比の観点より、345nm~390nmの範囲内であるのが好ましく、更に、350nm~375nmの範囲内であるのがより好ましい。
更に、上述したように、励起光の波長が増加しても、BGY蛍光の最大ピーク波長は530nm前後でほぼ一定であるため、励起光の最大ピーク波長が400nmを超えて増加すると、蛍光強度比が低下してSN比の低下を招くだけでなく、励起光の波長とBGY蛍光の波長が近接することで、励起光及びその反射光とBGY蛍光の分離が困難になるため、照明装置11が照射する紫外線の最大ピーク波長は、345nm~390nmの範囲内であるのが好ましい。
ところで、図6より、BGY蛍光及び正常殻蛍光の何れの蛍光強度も、励起光の波長が短くなると低下する傾向にあるため、正常殻蛍光の蛍光強度が低下し過ぎると、センサ13として高感度のものを使用して対処する必要がある。しかし、現状の分析結果を踏まえると、励起光の最大ピーク波長が345nm以上であれば特に問題はない。
図9に、波長365nmの励起光を照射した場合の正常な被選別物10の正常殻蛍光、虫害を被った異常な被選別物10のBGY蛍光、及び、種実から発光される蛍光の各蛍光スペクトルを示す。相対蛍光強度を縦軸に、蛍光波長を横軸に示す。正常殻蛍光は細胞壁由来の蛍光であり、BGY蛍光は、果実や種実が物理的なダメージや虫による虫害ダメージを受けて、ピスタチオの果実や種実からフェノール化合物が生成されて殻に付着したことに由来する。
また、被選別物10の殻付きピスタチオは、殻の一部が裂開し、裂開した部分から薄緑色の種実と薄茶色の種皮が露出する。この種実に紫外線が照射されると、種実に含まれる葉緑素(クロロフィル)が励起され、最大ピーク波長685nmの赤色の蛍光を発する。このため、殻付きピスタチオの裂開部分内部の種実に紫外線が照射されると、BGY蛍光同様、強いクロロフィル蛍光が発現するため、当該クロロフィル蛍光の蛍光強度の大きい波長成分を異常な被選別物10のBGY蛍光と分離する必要がある。蛍光波長480nm~620nmの波長範囲におけるクロロフィル蛍光の蛍光強度は、正常殻蛍光の蛍光強度の約10%~約35%と低い値を示している。
以上より、本実施形態では、光学フィルタ12の透過波長範囲内に、BGY蛍光の最大ピーク波長(520nm~540nm)とBGY蛍光と正常殻蛍光の蛍光強度比(BGY蛍光/正常殻蛍光)が最大となる蛍光波長(570nm~580nm)が含まれるよう、且つ、上記クロロフィル蛍光をBGY蛍光と完全に分離できるように、光学フィルタ12の透過波長範囲を500nm~600nmに設定している。
ここで、光学フィルタ12の透過波長範囲の上限値については、当該上限値が600nmを超えて増加すると、図7より、BGY蛍光と正常殻蛍光の蛍光強度比が急激に低下するため、上記クロロフィル蛍光をBGY蛍光と完全に分離することと合わせて、BGY蛍光と正常殻蛍光とのSN比を確保するために、本実施形態では、600nmに設定している。
一方、正常殻蛍光の最大ピーク波長は、励起光の波長が増加すると増加するが、励起光の最大ピーク波長が390nm以下では、470nm以下である。従って、正常殻蛍光の蛍光強度は、蛍光波長が470nmを超えて増加すると、徐々に低下することになる。上述したように、被選別物10の位置または存在範囲を特定する必要から、光学フィルタ12の透過波長範囲内に正常殻蛍光の蛍光強度が一定以上となる波長範囲の一部は含まれている必要がある。従って、光学フィルタ12の透過波長範囲の下限値は、BGY蛍光の最大ピーク波長(520nm~540nm)より小さくするのが好ましく、500nm以下とするのが好ましい。しかし、BGY蛍光と正常殻蛍光の蛍光強度比は、励起光の波長範囲340nm~390nmでは、蛍光波長が500nmを下回ると、2以下に低下するため、BGY蛍光と正常殻蛍光とのSN比を確保するには、蛍光波長は500nm以上とするのが好ましい。従って、本実施形態では、光学フィルタ12の透過波長範囲の下限値を500nmとしている。
より具体的には、上述したように、光学フィルタ12の短波長側の透過阻止帯BB1の長波長端λ1、透過帯BTの短波長端λ2と長波長端λ3、長波長側の透過阻止帯BB2の短波長端λ4は、480nm≦λ1<500nm、500nm<λ2≦520nm、580nm≦λ3<600nm、600nm<λ4≦620nmと設定されており、透過帯BT内には、BGY蛍光の最大ピーク波長(520nm~540nm)とBGY蛍光と正常殻蛍光の蛍光強度比(BGY蛍光/正常殻蛍光)が最大となる蛍光波長(570nm~580nm)が確実に含まれるため、当該波長範囲の蛍光波長は、高い透過率で透過され、センサ13で受光される。また、上記クロロフィル蛍光も、蛍光強度が急峻に増加する640nm以上の波長成分が、長波長側の透過阻止帯BB2によって1%以下に減衰され遮断される。
更に、短波長側の透過阻止帯BB1の長波長端λ1が480nmまで低下すると、センサ13は、BGY蛍光と正常殻蛍光の蛍光強度比が2以下の低い波長成分の蛍光を受光することになるが、当該波長成分に対する透過率が透過帯BTより大幅に低く、特に、蛍光強度比のより低い短波長になるほど低いため、BGY蛍光と正常殻蛍光とのSN比に与える影響は限定的であり、後述する判定装置14による被選別物10の良否判定では問題とはならない。
以上より、上記各波長λ1、λ2、λ3、λ4の変動範囲内において、被選別物10の良否判定は実施可能である。
上述の如く、本実施形態では、各照明装置11に400nm以上の波長成分を遮断する紫外線透過フィルタが取り付けられている。これにより、照明装置11から照射される紫外線の最大ピーク波長が345nm~390nmの範囲内にあっても、400nm以上の波長成分が含まれている場合に、当該400nm以上の波長成分によって励起される蛍光の発生が抑制され、当該蛍光によるBGY蛍光と正常殻蛍光とのSN比の低下を防止することができる。
尚、照明装置11から出射される400nm以上の波長成分の発光強度が小さく、例えば、400nm以上の波長成分によって励起される蛍光の500nm~600nmの波長範囲の蛍光強度が、照明装置11から出射される400nm未満の波長成分によって励起される蛍光の500nm~600nmの波長範囲の蛍光強度より、十分に小さい(例えば、10%以下、好ましくは、5%以下)場合は、上述のU360紫外線透過フィルタは必ずしも設けなくても良い。
次に、センサ13が生成した2次元画像データDAに基づいて被選別物10の良否を各別に判定する判定装置14の判定処理手順について、図10に示すフローチャートを参照して説明する。
判定装置14は、プロセッサ(CPU等)及びコンピュータ命令及びデータ等を格納する記憶装置等を備えたコンピュータ・システムとして構成されており、記憶装置に格納されているコンピュータ命令がプロセッサ上で実行されることで、以下に説明する判定処理が実施される。つまり、判定装置14は、公知のコンピュータ・ハードウェアと以下に説明する判定処理を実施するためのコンピュータ命令を含むコンピュータ・ソフトウェアによって構成されている。判定装置14を構成するコンピュータ・ハードウェア及びコンピュータ・ソフトウェアの詳細は、本発明の本旨ではないため、説明は省略する。
判定処理は、ステップ#10から開始し、ステップ#10において、センサ13が生成した2次元画像データDA(2488画素×2055画素×8ビット)が判定装置14に取り込まれる。引き続き、ステップ#11において、2次元画像データDAに対して、閾値40で2値化処理を行う。これにより、正常か異常かに拘わらず全ての被選別物10に対してエッジ検出処理が可能となる。引き続き、ステップ#12において、2値化処理された2次元画像データDAの階調値40以上の画素に対して、エッジ検出処理を行う。
引き続き、ステップ#13において、エッジ検出処理された2次元画像データDAに対して、予め登録した幾何学形状のマッチング図形を用いてパターンマッチング処理を行う。これにより、検査領域IA内の全ての被選別物10に対して各別にマッチング図形が割り当てられる。そして、被選別物10の殻全体の存在範囲が、マッチング図形(楕円形)の存在範囲によって近似される。割り当てられたマッチング図形(楕円形)は、被選別物10別に所定の記憶領域に記憶される。本実施形態では、マッチング図形として楕円形を使用する。本実施形態のパターンマッチング処理は、公知のパターンマッチング・アルゴリズムを用いた処理であり、その詳細な処理内容は本発明の本旨ではないので、詳細な説明は省略する。しかし、概略を簡単に説明すると、本実施形態におけるパターンマッチング処理は、エッジ検出処理された2次元画像とマッチング図形との間の相関性(オーバーラップレベル、ピラミッドレベル、コントラスト等)を数値化してスコアを算出し、算出されたスコアが設定した許容範囲内であれば、そのマッチング図形をマッチングさせるという処理となっている。尚、ステップ#13において使用されるパターンマッチング・アルゴリズムは、上述のアルゴリズムに限定されるものではなく、種々の公知のアルゴリズムを1つまたは複数組み合わせて利用可能である。
引き続き、ステップ#14において、パターンマッチング処理により各被選別物10に割り当てられたマッチング図形(楕円形)の中心座標が算出され、被選別物10別に所定の記憶領域に記憶される。尚、被選別物10別に固有の識別番号が、算出された中心座標に応じて割り当てられ、上記中心座標は、当該識別番号と対応付けられて記憶される。
引き続き、ステップ#15において、ステップ#10で判定装置14に取り込まれた2次元画像データDAに対して、閾値125で2値化処理を行い、ステップ#13のパターンマッチング処理で各被選別物10に割り当てられたマッチング図形(楕円形)内に、閾値125以上の画素が1つ以上存在する場合、当該マッチング図形に対応する被選別物10を不良品候補として予備選別する。
引き続き、ステップ#16において、ステップ#15で予備選別された不良品候補の被選別物10に対して、各別に、当該被選別物10の殻全体の面積S0として、割り当てられたマッチング図形(楕円形)の面積が近似的に算出され、当該被選別物10の当該マッチング図形内の階調値125以上の画素の占める面積が、BGY蛍光物質の付着面積S1として近似的に算出され、これらの2つの面積S0,S1の面積比Ra(=S1/S0)が算出され、被選別物10別に所定の記憶領域に記憶される。ここで、面積比Raの算出において面積S0,S1は相対値として算出すれば十分であるので、本実施形態では、面積S0は、マッチング図形内に存在する画素数として算出でき、面積S1は、マッチング図形内に存在する階調値125以上の画素数として算出できる。
引き続き、ステップ#17において、ステップ#16で不良品候補別に算出した面積比Raが、所定の設定値Rx以上か否かを判定する。Ra≧Rxと判定された不良品候補の被選別物10を不良品と判別する。Ra<Rxと判定された不良品候補の被選別物10は不良品とは判別されない。ステップ#17の良否判定を全ての不良品候補に対して繰り返し実行した後、ステップ#18に移行する。
引き続き、ステップ#18において、不良品と判別された全ての不良品候補の被選別物10について、対応するマッチング図形の中心座標の座標データを不良品座標として、不良品と選別された被選別物10を除去する除去装置(第7実施形態を参照)に転送し、判定処理を終了する。
ステップ#17及び#18の別の実施態様として、不良品候補毎にステップ#17の良否判定を行い、不良品と判別された場合のみ、引き続きステップ#18の転送処理を行い、不良品と判別されなかった場合はステップ#18のスキップするようにしても良い。つまり、全ての不良品候補の被選別物10に対して、不良品候補毎に、ステップ#17及び#18の処理を繰り返し実行するようにしても良い。
本実施形態では、設定値Rxとして、例えば、0.01~0.2の範囲内で、被選別物10の原料の状態等に応じて任意に設定し得る。また、ステップ#15の2値化処理の閾値が125から増減した場合、ステップ#17の設定値Rxも、それに応じて、適宜変更し得る。
更に、ステップ#11及び#15の2値化処理の閾値は、必ずしも40と125に限定されるものではなく、上述したセンサ13の受光感度及びレンズの絞り等の調整、及び、検査領域IA内の紫外線照度に応じて、適宜変更し得る。
上記判定処理手順では、不良品の判別を、蛍光強度を示す画素値が40以上の被選別物10の殻全体の面積S0と、画素値が125以上のBGY蛍光物質の付着面積S1との面積比Ra(=S1/S0)が、所定の設定値Rx以上か否かによって行っている。つまり、BGY蛍光物質の付着面積の大きい被選別物を不良品と判別している。
図11は、上記判定処理のステップ#10において判定装置14に取り込まれた2次元画像データDAの2次元画像を示し、図12は、上記判定処理のステップ#13のパターンマッチング処理で被選別物10別に割り当てられたマッチング図形(楕円形)と中心(×印で図示)を示している。図12中の矢印は、上記判定処理のステップ#17において不良品と判別された被選別物10を指示している。図11及び図12より、図10のフローチャートに示す判定処理を実行することで、コンベアベルトCB上の検査領域IA内に載置された多数の被選別物10に対して、同時に良否判定が行えていることが分かる。つまり、多数の被選別物10に対して高速での選別処理が可能となる。
次に、図10に示すフローチャートを参照して説明した判定装置14による判定処理手順(第1判定処理手順)の3つの変形例(第2乃至第4判定処理手順)について、以下の第2乃至第4実施形態で説明する。第1判定処理手順と重複する説明は、必要に応じて適宜省略する。また、第2乃至第4実施形態では、判定装置14による判定処理手順を除き、本選別装置1の構成は、第1実施形態で説明したものと同じであり、重複する説明は省略する。
<第2実施形態>
判定装置14による判定処理手順の第1変形例(第2判定処理手順)について、図13に示すフローチャートを参照して説明する。尚、第2判定処理手順のステップの処理内容が、第1判定処理手順のステップの処理内容と同じ場合は、図13において、ステップ番号の右側の括弧内に第1判定処理手順におけるステップ番号を付記する。
判定処理は、ステップ#20から開始し、ステップ#20において、センサ13が生成した2次元画像データDA(2488画素×2055画素×8ビット)が判定装置14に取り込まれる。引き続き、ステップ#21において、2次元画像データDAに対して、閾値40で2値化処理を行う。引き続き、ステップ#22において、2値化処理された2次元画像データDAの階調値40以上の画素に対して、エッジ検出処理を行う。
引き続き、ステップ#23において、エッジ検出処理された2次元画像データDAに対して、予め登録した幾何学形状のマッチング図形を用いてパターンマッチング処理を行う。これにより、被選別物10の殻全体の存在範囲が、マッチング図形(楕円形)の存在範囲によって近似される。ステップ#20~#23は、第1判定処理手順のステップ#10~#13と同じである。
引き続き、ステップ#24において、パターンマッチング処理により各被選別物10に割り当てられたマッチング図形(楕円形)内に存在する画素の最大画素値(階調値)Pxが被選別物10別に導出され、所定の記憶領域に記憶される。
引き続き、ステップ#25において、パターンマッチング処理により各被選別物10に割り当てられたマッチング図形(楕円形)の中心座標が算出され、被選別物10別に所定の記憶領域に記憶される。尚、被選別物10別に固有の識別番号が、算出された中心座標に応じて割り当てられ、上記中心座標は、当該識別番号と対応付けられて記憶される。ステップ#25は、第1判定処理手順のステップ#14と同じである。また、ステップ#24は、ステップ#25の後、または、ステップ#25と並行して実施してもよい。
引き続き、ステップ#26において、ステップ#24で被選別物10別に導出した最大画素値Pxが、所定の閾値Pt以上か否かを判定する。Px≧Ptと判定された被選別物10を不良品と判別する。Px<Ptと判定された被選別物10は不良品とは判別されない。ステップ#26の良否判定を全ての不良品候補に対して繰り返し実行した後、ステップ#27に移行する。
引き続き、ステップ#27において、不良品と判別された全ての被選別物10について、対応するマッチング図形の中心座標の座標データを不良品座標として、不良品と判別された被選別物10を除去する除去装置(第7実施形態を参照)に転送し、判定処理を終了する。
ステップ#26及び#27の別の実施態様として、第1判定処理手順のステップ#17及び#18の別の実施態様と同様に、被選別物10毎にステップ#26の良否判定を行い、不良品と判別された場合のみ、引き続きステップ#27の転送処理を行い、不良品と判別されなかった場合はステップ#27をスキップするようにしても良い。つまり、全ての被選別物10に対して、被選別物10毎に、ステップ#26及び#27の処理を繰り返し実行するようにしても良い。
本実施形態では、閾値Ptとして、例えば、125~200の範囲内で、被選別物10の原料の状態等に応じて任意に設定し得る。
第1判定処理手順では、被選別物10の殻全体の面積S0とBGY蛍光物質の付着面積S1の面積比Ra(=S1/S0)が所定の設定値Rx以上か否かによって、BGY蛍光物質の付着面積の大きい被選別物を不良品と判別していたが、第2判定処理手順(第1変形例)では、被選別物10の殻全体の存在範囲内における各画素値で示される蛍光強度の最大値Pxが所定の閾値Pt以上か否かによって、BGY蛍光物質の蛍光強度の大きい被選別物を不良品と判別している点で、第1判定処理手順と第2判定処理手順は相違している。
ステップ#24及び#26の別の実施態様として、ステップ#24を省略して、ステップ#26において、パターンマッチング処理により各被選別物10に割り当てられたマッチング図形(楕円形)内に存在する複数の画素の中に、画素値(階調値)が所定の閾値Pt以上の画素が1以上存在しているか否かを判定するようにしても良い。所定の閾値Pt以上の画素が1以上存在している場合は、ステップ#24を実行した場合に導出される最大画素値(階調値)Pxは、必ず所定の閾値Pt以上となる。
<第3実施形態>
判定装置14による判定処理手順の第2変形例(第3判定処理手順)について、図14に示すフローチャートを参照して説明する。尚、第3判定処理手順のステップの処理内容が、第1または第2判定処理手順のステップの処理内容と同じ場合は、図14において、ステップ番号の右側の括弧内に第1または第2判定処理手順におけるステップ番号を付記する。
判定処理は、ステップ#30から開始し、ステップ#30において、センサ13が生成した2次元画像データDA(2488画素×2055画素×8ビット)が判定装置14に取り込まれる。引き続き、ステップ#31において、2次元画像データDAに対して、閾値40で2値化処理を行う。引き続き、ステップ#32において、2値化処理された2次元画像データDAの階調値40以上の画素に対して、エッジ検出処理を行う。
引き続き、ステップ#33において、エッジ検出処理された2次元画像データDAに対して、予め登録した幾何学形状のマッチング図形を用いてパターンマッチング処理を行う。これにより、被選別物10の殻全体の存在範囲が、マッチング図形(楕円形)の存在範囲によって近似される。ステップ#30~#33は、第1判定処理手順のステップ#10~#13と同じである。
引き続き、ステップ#34において、パターンマッチング処理により各被選別物10に割り当てられたマッチング図形(楕円形)内に存在する画素の最大画素値(階調値)Pxが被選別物10別に導出され、所定の記憶領域に記憶される。ステップ#34は、第2判定処理手順のステップ#24と同じである。
引き続き、ステップ#35において、パターンマッチング処理により各被選別物10に割り当てられたマッチング図形(楕円形)の中心座標が算出され、被選別物10別に所定の記憶領域に記憶される。尚、被選別物10別に固有の識別番号が、算出された中心座標に応じて割り当てられ、上記中心座標は、当該識別番号と対応付けられて記憶される。また、ステップ#34は、ステップ#35の後、または、ステップ#25と並行して実施してもよい。
引き続き、ステップ#36において、ステップ#30で判定装置14に取り込まれた2次元画像データDAに対して、閾値125で2値化処理を行い、ステップ#33のパターンマッチング処理で各被選別物10に割り当てられたマッチング図形(楕円形)内に、閾値125以上の画素が1つ以上存在する場合、当該マッチング図形に対応する被選別物10を不良品候補として予備選別する。
引き続き、ステップ#37において、ステップ#36で予備選別された不良品候補の被選別物10に対して、各別に、当該被選別物10の殻全体の面積S0として、割り当てられたマッチング図形(楕円形)の面積が近似的に算出され、当該被選別物10の当該マッチング図形内の階調値125以上の画素の占める面積が、BGY蛍光物質の付着面積S1として近似的に算出され、これらの2つの面積S0,S1の面積比Ra(=S1/S0)が算出され、所定の記憶領域に記憶される。ステップ#35~#37は、第1判定処理手順のステップ#14~#16と同じである。
引き続き、ステップ#38において、ステップ#34で被選別物10別に導出した最大画素値Pxが、所定の閾値Pt以上か否かを判定し、ステップ#37で不良品候補別に算出した面積比Raが、所定の設定値Rx以上か否かを判定する。Px≧Pt且つRa≧Rxと判定された全ての不良品候補の被選別物10を不良品と判別する。Px<PtまたはRa<Rxと判定された被選別物10は不良品とは判別されない。ステップ#38の2種類の良否判定を全ての被選別物10と不良品候補に対して繰り返し実行した後、ステップ#39に移行する。ステップ#38は、第1判定処理手順のステップ#17と第2判定処理手順のステップ#26を組み合わせた処理内容となっている。
引き続き、ステップ#39において、不良品と判別された全ての不良品候補の被選別物10について、対応するマッチング図形の中心座標の座標データを不良品座標として、不良品と判別された被選別物10を除去する除去装置(第7実施形態を参照)に転送し、判定処理を終了する。
ステップ#38及び#39の別の実施態様として、第1判定処理手順のステップ#17及び#18の別の実施態様と同様に、被選別物10毎及び不良品候補毎にステップ#38の2種類の良否判定を行い、不良品と判別された場合のみ、引き続きステップ#39の転送処理を行い、不良品と判別されなかった場合はステップ#39をスキップするようにしても良い。つまり、全ての被選別物10に対して、被選別物10毎及び不良品候補毎に、ステップ#38及び#39の処理を繰り返し実行するようにしても良い。
第3判定処理手順は、第1判定処理手順と第2判定処理手順を統合した処理手順となっている。
第3判定処理手順の変形例として、ステップ#38において、Px≧PtまたはRa≧Rxと判定された全ての不良品候補の被選別物10を不良品と判別し、Px<Pt且つRa<Rxと判定された全ての被選別物10を不良品と判別しないことも可能である。但し、本変形例では、不良品として判別され易くなるため、閾値Pt及び設定値Rxを、第3判定処理手順より高めに設定するようにしても良い。
ステップ#34及び#38の別の実施態様として、上述の第2判定処理手順のステップ#24及び#26の別の実施態様と同様に、ステップ#34を省略して、ステップ#38において、パターンマッチング処理により各被選別物10に割り当てられたマッチング図形(楕円形)内に存在する複数の画素の中に、画素値(階調値)が所定の閾値Pt以上の画素が1以上存在しているか否かを判定するようにしても良い。
<第4実施形態>
判定装置14による判定処理手順の第3変形例(第4判定処理手順)について、図15に示すフローチャートを参照して説明する。
第4判定処理手順は、上述の第1乃至第3判定処理手順に対する共通の変形例である。第1乃至第3判定処理手順では、ステップ#13、#23、及び#33において、エッジ検出処理された2次元画像データDAに対してパターンマッチング処理を行っていた。ここで、エッジ検出処理は、閾値40で2値化処理された2次元画像データDAを対象としているため、エッジ検出処理された2次元画像には、全ての被選別物10が含まれる。仮に、検査領域IA内に配置された被選別物10の総数が100の場合、当該100個の被選別物10に対してパターンマッチング処理が行われる。
これに対して、以下に説明する第4判定処理手順では、パターンマッチング処理の処理範囲を、不良品と判別され得る被選別物10が存在し得ない範囲を予め除外することで、第1乃至第3判定処理手順の処理範囲より大幅に縮小して、被選別物10が多数で、且つ、不良品率が低い場合において、パターンマッチング処理に掛かる時間及び負荷を大幅に低減させることを目的としている。
このため、第4判定処理手順では、第1乃至第3判定処理手順のパターンマッチング処理(ステップ#13、#23、#33)とその準備処理(閾値40での2値化処理及びエッジ検出処理(ステップ#11及び#12、#21及び#22、#31及び#32))に至るまでに、パターンマッチング処理及びその準備処理の処理範囲を決定する前処理を実行する。以下、その前処理について説明する。
第4判定処理手順の前処理は、第1乃至第3判定処理手順の各2次元画像データDAの取り込み処理(ステップ#10、#20、#30)と各パターンマッチング処理の準備処理(ステップ#11、#21、#31)の間に実施される。
第4判定処理手順の前処理は、ステップ#41から開始し、ステップ#41において、2次元画像データDAに対して、閾値90で2値化処理を行う。閾値90で2値化処理された範囲は、第1乃至第3判定処理手順の上記準備処理後のエッジ検出処理された範囲より狭い。従って、閾値90で2値化処理された階調値90以上の各被選別物10の一部を構成する画素群は、第1乃至第3判定処理手順のパターンマッチング処理(ステップ#13、#23、#33)を実施したとすれば、検査領域IA内の全ての被選別物10に対して各別に割り当てられるマッチング図形の内側に、分散して存在することになる。
引き続き、ステップ#42において、各被選別物10の一部を構成する画素群内の階調値が最大の画素を画素群毎に特定し、当該階調値最大の画素を中心に、例えば直径45mmの円形領域を画素群毎に設定し、当該画素群毎の円形領域を重ね合わせて、パターンマッチング処理及びその準備処理の処理範囲が決定される。
引き続き、第1乃至第3判定処理手順の何れかを実施するかに応じて、第1乃至第3判定処理手順のステップ#11、#21、#31の何れかに移行する。移行後の処理内容は、第1乃至第3判定処理手順で既に説明しているので重複する説明は割愛する。尚、第1乃至第3判定処理手順のステップ#11、#21、#31の閾値40での2値化処理に移行する理由は、上記処理範囲の各円形領域内に、閾値40未満の画素が含まれ得るためである。
殻付きピスタチオの大きさは、長軸の長さが20mm前後であり、不良品と判別される被選別物10のBGY蛍光物質が殻の周辺にあっても、BGY蛍光強度が最大の画素を中心とする直径45mmの円形領域内には、被選別物10が収まり得る。当該円形領域を規定する直径は45mmに限定されるものではなく、被選別物10の原料の状態等に応じて任意に設定し得る。
また、ステップ#41の2値化処理の閾値も90に限定されるものではなく、例えば、60~120の範囲内において任意に設定可能であり、被選別物10の原料の状態等に応じて変更可能である。
原料の状態にもよるが、ステップ#42において設定される円形領域の数は、2次元画像データDAの検査領域IA内に多くても10個程度であり、ステップ#42に決定される処理範囲は、検査領域IAに対して面積比で15%程度と小さい。この結果、第1乃至第3判定処理手順において実施されるパターンマッチング処理の対象となる被選別物10の数を10分の1程度まで減少することができ、パターンマッチング処理に要する演算時間についても10分の1程度まで減少することができる。

<第5実施形態>
第5実施形態の本選別装置2は、図16に示すように、検査領域IA内に配置された1または複数の被選別物10である殻付きピスタチオに対して紫外線を照射する照明装置21、照明装置21から照射された紫外線によって励起され被選別物10から発光される蛍光の所定の波長範囲の光を選択的に透過させる光学フィルタ22、光学フィルタ22を透過した蛍光の1次元的な強度分布を複数回繰り返して検知して、検査領域IA内の蛍光の2次元強度分布を示す2次元画像データDAを生成するセンサ23、及び、2次元画像データDAに基づいて被選別物10の良否を各別に判定する判定装置24を備えて構成されている。
第1実施形態では、本選別装置1を構成するセンサ13がエリアカメラで構成されていたが、第5実施形態では、センサ23はラインセンサで構成されている。
本実施形態では、第1実施形態において使用した5MピクセルのモノクロCCDカメラ(水平方向2488画素×垂直方向2055画素)に代えて、水平方向の画素数が3倍の7500ピクセルのラインセンサを使用する。この場合、ラインセンサの水平方向がコンベアベルトCBの幅方向(コンベアベルトCBの進行方向に対して直交)となるので、コンベアベルトCBの幅を第1実施形態で使用するコンベアベルトCBの幅(例えば、600mm)の3倍(例えば、1800mm)まで拡大でき、検査処理能力が3倍(例えば、1800kg/時間)に増加する。
センサ13としてエリアカメラを使用する第1実施形態では、エリアカメラが生成する2次元画像データDAのフレーム垂直方向がコンベアベルトCBの進行方向と平行となる。一方、センサ23としてラインセンサを使用する第5実施形態では、コンベアベルトCBの一定時間移動した距離が、センサ23が生成する2次元画像データDAのフレーム垂直方向に相当する。この場合、ベルトコンベヤに取り付けているエンコーダでコンベアベルトCBの移動速度を読み取り、フレーム垂直方向の長さが所定値となる最適な取り込み時間を設定する。
一例として、垂直方向の画素数を2055とするには、ラインセンサによるスキャンを2055回繰り返し、7500画素×2055画素の2次元画像データDAを生成する。例えば、コンベアベルトCBの移動400mmに対して画像取り込みを行う場合、約4秒間に2055回スキャンして2次元画像データDAを生成する。コンベアベルトCBの移動速度を常時モニタリングするためにエンコーダが必要であり、エンコーダから得られた移動速度に基づいてスキャン回数を最適化する必要がある。
本実施形態では、照明装置21は、第1実施形態と同様に、最大ピーク波長が345nm~390nm、より好ましくは、350nm~375nmの範囲内にある紫外線LEDで構成されている。また、各照明装置21には、紫外線LEDから出射される紫外線の400nm以上の波長成分を遮断する光学フィルタが取り付けられている。
本実施形態では、照明装置21は、検査領域IA内のラインセンサによってスキャンされる範囲(スキャン範囲)を照射すればよいので、垂直方向の照射範囲は狭くできるが、コンベアベルトCBの幅が3倍に拡大しているので、水平方向の照射範囲は拡大している。よって、12灯のハイパワー紫外線LEDを備えた照明装置21を3台使用し、合計36灯のハイパワー紫外線LEDで、ライン状のスキャン範囲を照明する。
本実施形態では、センサ23として画素数の多いラインセンサを使用することで、コンベアベルトCBの幅の拡大による検査処理能力の増加、コンベヤベルトCBの進行方向の照明装置21の紫外線照明範囲の削減等のメリットがある。
光学フィルタ22は、第1実施形態と同様に、500nm~600nmの波長範囲の光を選択的に透過させるように構成されている。但し、第1実施形態と同様に、光学フィルタ22はセンサ23の受光用の開口部の前方に取り付けられるため、光学フィルタ22の大きさは、ラインセンサの受光面の開口部の大きさに合わせて調整されている。
本実施形態では、第1実施形態と同様に、照明装置21、光学フィルタ22、及び、センサ23は暗箱(図示せず)内に設置されており、検査領域IA内への環境光の進入が遮断されている。また、第1実施形態で説明した条件下では、照明装置21、光学フィルタ22、及び、センサ23は、必ずしも暗箱内に設置されている必要はない。
判定装置24の判定処理手順は、処理対象の2次元画像データDAの画素数が異なるだけで、判定処理手順自体は、第1乃至第4実施形態で説明した第1乃至第4判定処理手順の何れかと同じであるので、重複する説明は省略する。
<第6実施形態>
第5実施形態では、本選別装置2を構成する照明装置21とセンサ23が、紫外線LEDとラインセンサで構成される場合を説明したが、第6実施形態では、本選別装置3を構成する照明装置31は、光源に紫外線半導体レーザを備えて構成されており、その発光波長は、第1及び第5実施形態で説明した照明装置11,21の最大ピーク波長と同じに設定されている。
第6実施形態では、照明装置31が紫外線半導体レーザで構成されている点で第5実施形態と相違しており、その他の構成要素(光学フィルタ22、センサ23、判定装置24等)は第5実施形態と同じであり、重複する説明は省略する。従って、図16に示す第5実施形態の本選別装置2の構成例は、照明装置21を以下に説明する照明装置31に置き換えれば、第6実施形態の本選別装置3の構成例となる。以下、図17を参照して、照明装置31について説明する。
図17に示すように、照明装置31は、光源の紫外線半導体レーザ32と、ポリゴンミラー33、Fθレンズ34,35、及び、反射ミラー36からなる光学システムを備えて構成されている。半導体レーザ32から発振されたビーム状のレーザ光LB0は、高速で回転するポリゴンミラー33に照射される。ポリコンミラー33で反射したレーザ光LB1は、Fθレンズ34,35で収束され、反射ミラー36に照射される。反射ミラー36で反射したレーザ光LB2は、コンベアベルトCB上を幅方向に高速でスキャンする。レーザ光LB0がポリゴンミラー33の1面を横断する間に、レーザ光LB2はコンベアベルトCB上で1ラインのスキャンが終了する。Fθレンズは、センサ23のラインセンサでコンベアベルトCB上に照射されたレーザ光LB2が画角内に収まるように配置される。ポリゴンミラー33の回転速度を調整して、コンベアベルトCB上をスキャンするレーザ光LB2の速度とラインセンサのスキャン速度を同期させる。
ポリゴンミラー33、Fθレンズ34,35、及び、反射ミラー36は、レーザ光を所定の焦点面上でスキャンさせるための光学システムで一般的に使用される周知の光学部品であるので、個々の光学部品についての説明は省略する。
<第7実施形態>
第7実施形態の本選別装置4は、図18に示すように、第1乃至第4実施形態で説明した本選別装置1に、判定装置14によって不良品と判別された被選別物10を物理的に除去する除去装置40を追加して構成されている。本選別装置1については、既に第1乃至第4実施形態で詳細に説明しているので、重複する説明は省略する。以下、除去装置40について説明する。
本実施形態では、除去装置40はパラレルリンクロボットを備えて構成されている。パラレルリンクロボットのピックアップ部にはシャッタ機構を備えた吸引ホースが取り付けられている。コンベアベルトCBは、本選別装置1と除去装置40を横断して設けられており、コンベアベルトCBのベルト面は、本選別装置1から除去装置40に向かって移動する。つまり、コンベアベルトCBの上流側に本選別装置1が、下流側に除去装置40が配置されている。ベルトコンベアには、コンベアベルトCBの移動速度を常時モニタリングするためのエンコーダが設けられている。
本選別装置1の判定装置14において不良品と判別された全ての被選別物10のマッチング図形(楕円形)の中心座標の座標データ(不良品座標)は、判定装置14からパラレルリンクロボットに転送される。判定装置14から転送された座標データは、エンコーダから得られるコンベアベルトCBの移動速度に基づいて、各座標データに対応する被選別物10がパラレルリンクロボットの可動範囲に到達した際の可動範囲内の位置座標に変換される。
ピックアップ部の中心が上記変換された座標位置の直上になるように移動し、ピックアップ部のシャッタがコンベアベルトCB上10mmの位置で停止し、同時にシャッタが開く。シャッタ内部は減圧状態になっており、不良品と判別された被選別物10の殻付きピスタチオの一粒を吸引し、シャッタが閉じることで、不良品と判別された被選別物10が選別されて除去される。本実施形態では、パラレルリンクロボットによる選別除去により、オーバーシュートや振動がなくなり、信頼性の高いピッキングが実現できる。
図19に、本実施形態の本選別装置4のシステム構成を示す。本選別装置4のシステム50は、プロセッサ51、記憶装置52、出力インタフェース53、LEDドライバ54、照明装置11(紫外線LED)、入力/出力インタフェース55、センサ13(エリアカメラ)、ロボットインタフェース56、除去装置40(パラレルリンクロボット)、外部記憶インタフェース57、及び、外部記憶装置58を備えて構成される。
記憶装置52は、システム50の全体を制御する制御プログラムP1、判定装置14の判定処理手順を規定する判定処理プログラムP2、判定処理手順で得られる種々のデータ(2次元画像データDA、不良品の検出イベント等)D1、判定処理手順で得られる不良品と判別された全ての被選別物10のマッチング図形(楕円形)の中心座標の座標データ(不良品座標)D2等が格納されている。
制御プログラムP1に基づいて、照明装置11が作動し、センサ13から検査領域IA内の被選別物10の2次元画像データDAが、記憶装置52内に取り込まれる。判定処理プログラムP2に基づいて、取り込まれた2次元画像データDAに対して、第1乃至第4実施形態で説明した第1乃至第4判定処理手順が実施され、不良品と判別された全ての被選別物10の中心座標の座標データD2が、除去装置40(パラレルリンクロボット)に転送される。エンコーダから得られるコンベアベルトCBの移動速度に基づいて、コンベアベルトCBの移動距離を算出し、中心座標の座標データD2に対して移動距離補正を行い、座標データD2の中心座標が、パラレルリンクロボットの可動範囲に到達した際の可動範囲内の位置座標に変換される。この結果、変換された座標位置に到達した被選別物10が、パラレルリンクロボットのピックアップ部により除去される。
図19に示す本選別装置4のシステム構成は、ロボットインタフェース56、除去装置40(パラレルリンクロボット)を除き、第1乃至第4実施形態の本選別装置1、第5実施形態の本選別装置2、第6実施形態の本選別装置3のシステム構成として利用できる。
<別実施形態>
(1)判定装置14による判定処理手順は、上記第1乃至第4実施形態で説明した第1及び第4判定処理手順に必ずしも限定されない。種々の処理手順の変更が可能である。
例えば、第1及び第3判定処理手順のステップ#15及び#36の不良品候補の予備選別を省略しても良い。この場合、不良品候補とならなかった被選別物10のBGY蛍光物質の付着面積S1は0であるので、殻全体の面積S0を算出するまでもなく、面積比Ra(=S1/S0)は0となる。従って、被選別物10毎に付着面積S1を先に算出して、S1=0の場合は、殻全体の面積S0は算出せずにRa=0とする。
また、第3実施形態で説明した第3判定処理手順では、ステップ#36で閾値125での2値化処理による不良品候補の予備選別が行われるので、ステップ#34の最大画素値(階調値)Pxの導出、及び/または、ステップ#35の中心座標の算出を、ステップ#36の後に、予備選別された不良品候補に対して行うようにしても良い。ステップ#34の最大画素値(階調値)Pxの導出を予備選別された不良品候補に対して行う場合は、ステップ#38の判定処理も、予備選別された不良品候補に対して行うことになる。
更に、第1判定処理手順においても、ステップ#15で閾値125での2値化処理による不良品候補の予備選別が行われるので、ステップ#14の中心座標の算出を、ステップ#15の後に、予備選別された不良品候補に対して行うようにしても良い。
更に、上述の第1乃至第4判定処理手順では、ステップ#13、#23、#33において、エッジ検出処理された2次元画像データDAに対してパターンマッチング処理を行っている。しかし、パターンマッチング処理によって各被選別物10にマッチング図形(楕円形)を割り当てなくても、各被選別物10の中心座標、各被選別物10の殻全体の面積S0、各被選別物10に付着したBGY蛍光物質の付着面積S1、及び、各被選別物10の殻全体の存在範囲を算出することは可能である。
例えば、複数の被選別物10をコンベアベルトCB上に載置する場合に、被選別物10が相互に接触しないように載置できれば、例えば、第1判定処理手順のステップ#12のエッジ検出処理において、被選別物10別にエッジ検出されるため、パターンマッチング処理を行わずに、エッジ検出され各領域に対して直接、各被選別物10の中心座標、各被選別物10の殻全体の面積S0、各被選別物10に付着したBGY蛍光物質の付着面積S1、及び、各被選別物10の殻全体の存在範囲を、容易に算出できる。
更に、複数の被選別物10が相互に接触していても、例えば、第1判定処理手順のステップ#12のエッジ検出処理されたエッジを、一旦数mm程度内側に後退させて、エッジで囲まれた領域を被選別物10別に分離させた後、後退させたエッジを外側に後退させた分だけ広げて、被選別物10別に区分された領域を各被選別物10の殻全体の存在範囲と規定することができる。これにより、パターンマッチング処理を行わずに、各被選別物10の殻全体の存在範囲に基づいて、各被選別物10の中心座標、各被選別物10の殻全体の面積S0、各被選別物10に付着したBGY蛍光物質の付着面積S1を算出することができる。
(2)上記各実施形態では、1または複数の被選別物10である殻付きピスタチオは、コンベアベルトCB上に載置され、被選別物10の上側の片面を撮影して得られた2次元画像データDAに基づき良否判定を行っている。つまり、上側の片面に対する良否判定で不良品と判別されなかった被選別物10の中に、下側の片面に対して同様の良否判定を行った場合に、不良品と判別され得る被選別物10が残っている可能性がある。
そこで、好ましい一実施態様として、上記各実施形態において、上側の片面に対する良否判定で不良品と判別された被選別物10を除去した残りの被選別物10に対して、被選別物10の上下を反転させた後、再度、上記各実施形態で説明した良否判定を実施する。
被選別物10の上下を反転させる方法として、2台のベルトコンベアを直列に配置し、2台のベルトコンベアの接続部分のベルト面の高低差(段差)を被選別物10の長軸長さより大きくする。これにより、被選別物10がベルト面の高い側から低い側へ移動する際に、当該段差部で被選別物10を上下反転させることができる。
更に、他の好ましい一実施態様として、1または複数の被選別物10である殻付きピスタチオを、コンベアベルトCB上に載置した状態で、良否判定及び除去を行うのではなく、1または複数の被選別物10が空中を落下している途中において、空中を落下している被選別物10の一方面側から紫外線を照射して当該一方面を撮影するとともに、他方面側からも紫外線を照射して当該他方面を撮影することで、被選別物10の左右両面に対して良否判定を行い、不良品と判別された被選別物10を落下途中で、エアガン等で圧縮空気を吹き付けて除去しても良い。
(3)上記第7実施形態では、除去装置40がパラレルリンクロボットを備えて構成されている実施態様について説明したが、ピックアップ部の移動は、パラレルリンクロボット以外に機構を使用しても良い。例えば、ピックアップ部のコンベアベルトCBの移動方向の位置を固定し、1または複数のピックアップ部の幅方向の位置を不良品座標に応じて調整し、不良品と判別された被選別物10のピックアップ部の下方に移動してきた時点で、ピックアップ部のシャッタを開いて当該被選別物10を吸引して除去するようにしても良い。
本発明は、殻付きピスタチオを、BGY蛍光を利用して選別するピスタチオ選別装置に利用可能である。
1~4: ピスタチオ選別装置
10: 被選別物(殻付きピスタチオ)
11,21: 照明装置(紫外線LED)
12,22: 光学フィルタ
13: センサ(エリアカメラ)
14,24: 判定装置
15: 暗箱(遮光部)
23: センサ(ラインセンサ)
31: 照明装置
32: 光源(紫外線半導体レーザ)
33: ポリゴンミラー
34,35: Fθレンズ
36: 反射ミラー
40: 除去装置
50: ピスタチオ選別装置のシステム
51: プロセッサ
52: 記憶装置
53: 出力インタフェース
54: LEDドライバ
55: 入力/出力インタフェース
56: ロボットインタフェース
57: 外部記憶インタフェース
58: 外部記憶装置
CB: コンベアベルト
D1: 判定処理手順で得られる種々のデータ
D2: 中心座標の座標データ(不良品座標)
DA: 2次元画像データ
IA: 検査領域
LB0~2: レーザ光
P1: 制御プログラム
P2: 判定処理プログラム

Claims (11)

  1. 1または複数の被選別物である殻付きピスタチオの殻に付着した蛍光物質を検出して前記被選別物の良否を各別に判定して選別するピスタチオ選別装置であって、
    検査領域内の前記被選別物に対して、最大ピーク波長が345nm~390nmの範囲内にある紫外線を照射する照明装置と、
    500nm~600nmの波長範囲の光を選択的に透過させる光学フィルタと、
    前記被選別物から発光され前記光学フィルタを透過した蛍光の2次元的な強度分布を検知して、前記検査領域内の前記蛍光の2次元強度分布を示す2次元画像データを生成するセンサと、
    前記2次元画像データに基づいて前記被選別物の良否を各別に判定する判定装置と、を備えていることを特徴とするピスタチオ選別装置。
  2. 前記検査領域を内部に構成するとともに、前記検査領域内への外部からの環境光の進入を遮断する遮光部を備えていることを特徴とする請求項1に記載のピスタチオ選別装置。
  3. 前記照明装置が、前記検査領域内の前記被選別物に対して、最大ピーク波長が350nm~375nmの範囲内にある紫外線を照射することを特徴とする請求項1または2に記載のピスタチオ選別装置。
  4. 前記判定装置が、前記2次元画像データに基づいて、前記被選別物の殻全体の面積と、前記被選別物の前記殻全体の存在範囲内における前記2次元画像データの各画素値で示される蛍光強度が所定の閾値以上の前記蛍光物質の付着面積との面積比に基づいて前記被選別物の良否を各別に判定するように構成されていることを特徴とする請求項1~3の何れか1項に記載のピスタチオ選別装置。
  5. 前記判定装置が、前記2次元画像データに基づいて、前記検査領域内における前記被選別物の殻全体の存在範囲内における、前記被選別物の前記2次元画像データの各画素値で示される蛍光強度の最大値に基づいて前記被選別物の良否を各別に判定するように構成されていることを特徴とする請求項1~3の何れか1項に記載のピスタチオ選別装置。
  6. 前記判定装置が、前記2次元画像データに基づいて、前記被選別物の殻全体の面積と、前記被選別物の前記殻全体の存在範囲内における前記2次元画像データの各画素値で示される蛍光強度が所定の閾値以上の前記蛍光物質の付着面積との面積比と、前記検査領域内における前記被選別物の前記殻全体の存在範囲内における、前記被選別物の前記2次元画像データの各画素値で示される蛍光強度の最大値とに基づいて前記被選別物の良否を各別に判定するように構成されていることを特徴とする請求項1~3の何れか1項に記載のピスタチオ選別装置。
  7. 前記判定装置が、前記2次元画像データに基づいて、予め登録した幾何学形状とのパターンマッチングを実施して、前記被選別物の外縁を前記幾何学形状で近似し、前記幾何学形状の面積を前記被選別物の前記殻全体の面積として算出するように構成されていることを特徴とする請求項4または6に記載のピスタチオ選別装置。
  8. 前記判定装置が、前記2次元画像データに基づいて、予め登録した幾何学形状とのパターンマッチングを実施して、前記被選別物の外縁を前記幾何学形状で近似し、前記検査領域内における前記幾何学形状の存在範囲を前記被選別物の前記殻全体の存在範囲として算出するように構成されていることを特徴とする請求項5または6に記載のピスタチオ選別装置。
  9. 前記検査領域内に前記被選別物が複数存在する場合において、前記判定装置が、前記2次元画像データに基づいて、前記検査領域から不良品と判別され得る前記被選別物の存在し得ない範囲を除外した処理範囲を特定し、前記処理範囲内において前記パターンマッチングを実施することを特徴とする請求項7または8に記載のピスタチオ選別装置。
  10. 前記判定装置が、不良品と判別された前記被選別物の前記検査領域内での位置を示す2次元座標の不良品座標として、当該被選別物の外縁を近似した幾何学形状の中心の2次元座標を算出するように構成されていることを特徴とする請求項1~9の何れか1項に記載のピスタチオ選別装置。
  11. 前記判定装置が、不良品と判別された前記被選別物の前記検査領域内での位置を示す2次元座標を不良品座標として算出するように構成されており、
    前記判定装置が算出した前記不良品座標に基づいて、前記不良品と判別された前記被選別物を除去する除去装置を備えることを特徴とする請求項1~10の何れか1項に記載のピスタチオ選別装置。
JP2021549243A 2021-06-11 2021-06-11 ピスタチオ選別装置 Active JP6997495B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022356 WO2022259533A1 (ja) 2021-06-11 2021-06-11 ピスタチオ選別装置

Publications (2)

Publication Number Publication Date
JP6997495B1 true JP6997495B1 (ja) 2022-01-17
JPWO2022259533A1 JPWO2022259533A1 (ja) 2022-12-15

Family

ID=80448120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021549243A Active JP6997495B1 (ja) 2021-06-11 2021-06-11 ピスタチオ選別装置

Country Status (4)

Country Link
US (1) US11769246B2 (ja)
JP (1) JP6997495B1 (ja)
CN (1) CN115769067B (ja)
WO (1) WO2022259533A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4535248A (en) * 1984-08-24 1985-08-13 The United States Of America As Represented By The Secretary Of Agriculture Method for detecting aflatoxin in almonds
WO2001079834A1 (en) 2000-04-14 2001-10-25 European Community Device for the detection of aflatoxins
JP2009095758A (ja) * 2007-10-17 2009-05-07 Satake Corp 殻付ピスタチオ粒の選別装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703784A (en) * 1995-10-30 1997-12-30 The United States Of America As Represented By The Secretary Of Agriculture Machine vision apparatus and method for sorting objects
US7858893B1 (en) * 2007-11-14 2010-12-28 The United States Of America As Represented By The Secretary Of Agriculture Sorting of agricultural process streams
US20100193412A1 (en) * 2009-02-02 2010-08-05 Satake Usa, Inc. Beam splitter
US8930015B2 (en) * 2012-11-20 2015-01-06 Bratney Companies Sorting system for damaged product
US8563934B2 (en) * 2010-09-10 2013-10-22 Mississippi State University Method and detection system for detection of aflatoxin in corn with fluorescence spectra
US8841570B2 (en) * 2010-10-13 2014-09-23 Paramount Farms International Llc System and method for aflatoxin detection
JP5856741B2 (ja) * 2011-02-25 2016-02-10 国立研究開発法人農業・食品産業技術総合研究機構 アフラトキシン定量方法、アフラトキシン定量装置、および、プログラム
CN103234945B (zh) * 2013-03-29 2016-05-25 合肥美亚光电技术股份有限公司 黄曲霉毒素检测及分选装置
US9221080B2 (en) * 2013-12-19 2015-12-29 Multiscan Technologies, S.L. Method for inspection and sorting of pistachios
CN204699963U (zh) * 2015-03-02 2015-10-14 青岛农业大学 一种具有黄曲霉素检测功能的农产品智能分选机
CN105334200A (zh) * 2015-11-19 2016-02-17 无锡百奥森科技有限公司 一种快速检测黄曲霉毒素浓度的检测仪及其检测方法
CN105334199A (zh) * 2015-11-19 2016-02-17 无锡百奥森科技有限公司 一种在线检测玉米中黄曲霉毒素b1的检测仪及其检测方法
CN107328745A (zh) * 2017-06-16 2017-11-07 合肥泰禾光电科技股份有限公司 一种黄曲霉毒素检测方法和装置
JP7072802B2 (ja) * 2018-06-29 2022-05-23 インダストリーネットワーク株式会社 種子の品質評価・選別システム
CN113102291A (zh) * 2021-04-01 2021-07-13 合肥泰禾智能科技集团股份有限公司 一种黄曲霉毒素检测分选装置及检测分选方法
CN113418896B (zh) * 2021-05-18 2023-01-10 中国农业大学 一种用于在线高通量检测玉米籽粒中黄曲霉毒素的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4535248A (en) * 1984-08-24 1985-08-13 The United States Of America As Represented By The Secretary Of Agriculture Method for detecting aflatoxin in almonds
WO2001079834A1 (en) 2000-04-14 2001-10-25 European Community Device for the detection of aflatoxins
JP2009095758A (ja) * 2007-10-17 2009-05-07 Satake Corp 殻付ピスタチオ粒の選別装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WU Q. et al.,Design and development of an on-line fluorescence spectroscopy system for detection of aflatoxin in pistachio nuts,Postharvest Biology and Technology,2019年09月18日,vol. 159,111016,DOI:10.1016/ j.postharvbio.2019.111016
WU Q. ET AL.: "Design and development of an on-line fluorescence spectroscopy system for detection of aflatoxin in", POSTHARVEST BIOLOGY AND TECHNOLOGY, vol. 159, JPN6021048284, 18 September 2019 (2019-09-18), pages 111016, ISSN: 0004659017 *

Also Published As

Publication number Publication date
US11769246B2 (en) 2023-09-26
CN115769067A (zh) 2023-03-07
CN115769067B (zh) 2024-03-12
JPWO2022259533A1 (ja) 2022-12-15
US20230196543A1 (en) 2023-06-22
WO2022259533A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
Cubero et al. Automated systems based on machine vision for inspecting citrus fruits from the field to postharvest—a review
Mahendran et al. Application of computer vision technique on sorting and grading of fruits and vegetables
CA2685158C (en) Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device
CA2884297C (en) Method and apparatus for handling harvested root crops
JP6590907B2 (ja) 莢果選別システム、莢果選別装置及び莢果選別方法
US10379035B2 (en) Appearance inspection apparatus and appearance inspection method
US6433293B1 (en) Method and device for detecting dirt as present on articles, for example eggs
US20120116572A1 (en) Methods and systems for sorting ear corn
US10596603B2 (en) Method of producing gluten free oats
JP2008020347A (ja) 莢果判別構造
JP2002205019A (ja) 自動選別装置
JP6997495B1 (ja) ピスタチオ選別装置
JP3614980B2 (ja) 農産物の外観検査方法及び装置
JP7010467B2 (ja) パック詰めされた卵の検査装置
US20240215488A1 (en) Method for fruit quality inspection and sorting during and before picking
JP2022180641A (ja) 異物判別方法、加工農作物の製造方法、食品検査装置、及び異物除去システム
JP4318292B2 (ja) 農産物の外観検査装置
KR20230139166A (ko) 목재 제품의 불량 검사 방법
Guyer et al. Tissue reflectance and machine vision for automated sweet cherry sorting
JP2642107B2 (ja) 青果物の自動等級判定方法と装置
García-Alegre et al. Color index analysis for automatic detection of eggshell defects
Nagata et al. Quality Evaluation of
JP7354869B2 (ja) 莢果の検査装置、および莢果の検査方法
Throop et al. Multispectral inspection station detects defects on apples
JP4699129B2 (ja) 農産物の検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210824

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R150 Certificate of patent or registration of utility model

Ref document number: 6997495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150