JP2022539281A - 検出対象物質のスペクトル情報を抽出する方法 - Google Patents

検出対象物質のスペクトル情報を抽出する方法 Download PDF

Info

Publication number
JP2022539281A
JP2022539281A JP2021553116A JP2021553116A JP2022539281A JP 2022539281 A JP2022539281 A JP 2022539281A JP 2021553116 A JP2021553116 A JP 2021553116A JP 2021553116 A JP2021553116 A JP 2021553116A JP 2022539281 A JP2022539281 A JP 2022539281A
Authority
JP
Japan
Prior art keywords
spectral
reflection area
spectrum
substance
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021553116A
Other languages
English (en)
Other versions
JP7533966B2 (ja
Inventor
敏 劉
哲 任
幸超 郁
錦標 黄
斌 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hypernano Optics Technology Co Ltd
Original Assignee
Shenzhen Hypernano Optics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hypernano Optics Technology Co Ltd filed Critical Shenzhen Hypernano Optics Technology Co Ltd
Publication of JP2022539281A publication Critical patent/JP2022539281A/ja
Application granted granted Critical
Publication of JP7533966B2 publication Critical patent/JP7533966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765Method using an image detector and processing of image signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N2021/555Measuring total reflection power, i.e. scattering and specular
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N2021/556Measuring separately scattering and specular
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N2021/557Detecting specular reflective parts on sample
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本願は検出対象物質のスペクトル情報を抽出する方法を開示し、取得されたハイパースペクトル画像から検出対象物体の占有する画素領域A(x,y)を選択し、画素領域A(x,y)から鏡面反射領域Aq及び乱反射領域Arを抽出して、それぞれ鏡面反射領域Aqの代表的なスペクトルIq(ω)及び乱反射領域Arの代表的なスペクトルIr(ω)を求め、鏡面反射領域Aqの代表的なスペクトルIq(ω)における各要素と乱反射領域Arの代表的なスペクトルIr(ω)における各要素を比較することにより、光源情報と物質スペクトル情報を分離して、第1スペクトル不変量C(ω)を取得する。本方法は追加の光源スペクトル情報を必要とせず、分析効率を向上させる。基準スペクトルを収集する必要がないため、関連製品のハードウェアをより簡単でコンパクトにする。且つ、光源のスペクトル変化、収集装置のベースラインドリフト等による誤差を回避し、分析精度を向上させることができる。【選択図】図1

Description

本発明はハイパースペクトル分析分野に関し、特に検出対象物質のスペクトル情報を抽出する方法に関する。
ハイパースペクトルイメージング技術は画像情報及びスペクトル情報を同時に取得し、マシンビジョン技術と組み合わせて物体を判別することができるとともに、更にスペクトルに依存するスペクトル分析を行うことができ、将来性のある新しい技術である。ハイパースペクトルイメージング技術のスペクトル分析機能はハイパースペクトルが異なる波長において物質の発するスペクトル情報を収集できるが、これらのスペクトル情報が物体の理化学成分等の情報を直接反映することに由来する。画像の識別、領域選択等の情報と組み合わせて、ハイパースペクトルイメージング技術は目標検出-成分判断-結果出力の完全自動化を実現することができる。
スペクトル分析は物質の成分情報を迅速でロスレスに取得することができ、プロセス制御、品質検出等に効率的で低価の解決案を提案し、工業自動化、モノのインターネット等向けシステムの重要な基盤である。物質の構成成分は光を吸収、反射、散乱し、それにより反射又は透過した光のスペクトル形状を変化させる。物質の異なる成分は光に対する作用が異なるため、構成成分の異なる物質はそのスペクトル形状も異なる。スペクトル分析は物質のスペクトル形状を分析することにより、物質の物理的性質及び化学成分を逆に導出する。
ハイパースペクトルのスペクトル分析は正確な物質スペクトル情報に依存するが、収集により取得された元のスペクトル又はスペクトル画像は物質スペクトル(物質反射率)、撮影シーンの幾何情報及び光源スペクトル(光源照度スペクトル)の3種類の情報を同時に含む。分析はその中の物質スペクトル部分のみを必要とするため、他の部分の影響を除去する必要がある。現在、公認の解決案は検出対象物質のスペクトル情報を抽出するアルゴリズムに光源スペクトル情報を追加して提供して、数学演算によって光源スペクトル及びシーン集合情報の影響を除去するということである。
ハイパースペクトルの応用では、よく使用される光源スペクトルの取得方式は記憶装置の光源のスペクトル又は基準光路を用いることである。前者とはデータ分析において、出荷前に測定した光源のスペクトル情報を直接導入することを意味する。光源のスペクトルは使用環境、使用時間等によって変化するため、このような方法の精度が比較的低い。後者とは追加の機械構造を追加して取り付け、光源のスペクトルをリアルタイムに測定することを意味する。しかしながら、このような方法は設計時に追加の光学・機械・電子構造を装置に取り付ける必要があり、装置が複雑でメンテナンスしにくい。どの方式を用いるかにかかわらず、データ分析プロセスはいずれも複雑で、分析効率が低下する。
現在、従来技術において、簡単なハードウェア設計、簡単な検出対象物質のスペクトル情報の抽出プロセス及び高精度の測定を同時に両立できるハイパースペクトルに基づくスペクトル分析方法はまだない。よく使用されるハイパースペクトル分析方法は主にサンプルスペクトルの収集、基準スペクトルの収集及び抽出された検出対象物質のスペクトル情報の分析の3つの部分を含み、物質のスペクトル情報を抽出するとき、いずれも撮影環境の光源スペクトル情報を予め把握する必要があり、このため、データ分析プロセスが複雑になり、撮影装置の光学・機械・電子構造が複雑になり、又は分析精度が低下することは不可避である。
これに鑑みて、物体の物質スペクトル情報を効果的で容易に抽出できる方法を設計することは重要なことである。
上記ハイパースペクトル分析方法で物質のスペクトル情報を抽出するデータ分析プロセスが複雑で、撮影装置の光学・機械・電子構造が複雑で、分析精度が低いという問題に対して、本願の実施例は検出対象物質のスペクトル情報を抽出する方法を提供し、上記の問題を解決する。
本願の第1態様では、検出対象物質のスペクトル情報を抽出する方法を提供し、
取得されたハイパースペクトル画像から検出対象物体の占有する画素領域A(x,y)を選択するステップS1と、
前記画素領域A(x,y)から前記鏡面反射領域A及び前記乱反射領域Aを抽出して、それぞれ鏡面反射領域Aの代表的なスペクトルI(ω)及び乱反射領域Aの代表的なスペクトルI(ω)を求めるステップS2と、
鏡面反射領域Aの代表的なスペクトルI(ω)における各要素と乱反射領域Aの代表的なスペクトルI(ω)における各要素を比較することにより、光源情報と物質スペクトル情報を分離して、第1スペクトル不変量C(ω)を取得するステップS3と、を含む。
該方法で取得された第1スペクトル不変量は光源スペクトルの影響を除去することができる。
いくつかの実施例では、該方法は更に、第1スペクトル不変量C(ω)に対して線形変換処理を行って、スペクトル分析のための第2スペクトル不変量R(ω)を取得するステップS4を含む。第1スペクトル不変量は光源の影響を除去し、追加の光源スペクトル情報を省き、それにより第1スペクトル不変量を正規化して取得した第2スペクトル不変量は光源スペクトル、撮影環境等の要素の影響を更に除去することができる。
いくつかの実施例では、ステップS1において、第1領域選択方法で検出対象物体を識別して前記画素領域A(x,y)を選択し、第1領域選択方法は手動注釈、マシンビジョン、スペクトル角度マッピング又は深層学習アルゴリズムを含む。これらの方法はハイパースペクトル画像における検出対象物体と背景エリアを効率的に分離し、検出対象物体を識別して、検出対象物体のハイパースペクトル画像での画素データを取得することができる。
いくつかの実施例では、ステップS2は、
第2領域選択方法で前記画素領域A(x,y)から前記鏡面反射領域A及び前記乱反射領域Aを抽出するS21と、
鏡面反射領域Aに基づいて代表的なスペクトルI(ω)を取得し、乱反射領域Aに基づいて代表的なスペクトルI(ω)を取得するS22と、を含む。
この2つの異なる領域の代表的なスペクトルはこの2つの領域の多くの画素のスペクトルを代表してもよい。
いくつかの実施例では、第2領域選択方法は主成分分析、K平均値、行列直交投影又は幾何形状に基づく領域選択を含む。第2領域選択方法に基づいて鏡面反射領域及び乱反射領域を取得することができ、後続にそれぞれこの2つの領域のスペクトルデータを計算することに役立つ。
いくつかの実施例では、鏡面反射領域Aの代表的なスペクトルI(ω)及び乱反射領域Aの代表的なスペクトルI(ω)の求め方法は平均スペクトル、輝度重み付け平均スペクトル又はグレーワールドアルゴリズムを含む。これらの方法に基づいてそれぞれ鏡面反射領域及び乱反射領域の多くの画素を代表するスペクトルデータを求めることができる。
いくつかの実施例では、鏡面反射領域A及び乱反射領域Aに基づいてそれぞれ鏡面反射領域A及び乱反射領域Aにおけるすべての画素の平均スペクトルを代表的なスペクトルI(ω)及び代表的なスペクトルI(ω)として求め、
Figure 2022539281000002
Figure 2022539281000003
ここで、NとNrがそれぞれ鏡面反射領域A及び乱反射領域A内の画素数を示し、i(x,y,ω)が(x,y)位置での画素のスペクトルを示す。2つの領域におけるすべての画素の平均スペクトルを計算することにより、この2つの領域を代表する代表的なスペクトルを取得することができる。
いくつかの実施例では、ステップS3において、第1スペクトル不変量C(ω)の求め方法は有限要素分解、スペクトル角度分離又は除算を含む。
いくつかの実施例では、鏡面反射領域Aの代表的なスペクトルI(ω)における各要素をそれぞれ乱反射領域Aの代表的なスペクトルI(ω)における各要素で割って、第1スペクトル不変量C(ω)を取得し、C(ω=I(ω)/I(ω)である。
いくつかの実施例では、ステップS4は、
第1スペクトル不変量C(ω)に対して標準正規変換を行って、第2スペクトル不変量R(ω)を取得し、
Figure 2022539281000004
ここで、〈C(ω)〉ωがC(ω)の波長次元での平均値を代表するS41と、
第2スペクトル不変量R(ω)を入力として化学計測学モデルに入力して、物質スペクトル分析を行うS42と、を含む。
標準正規変換によって第1スペクトル不変量を修正・正規化して第2スペクトル不変量を取得し、撮影環境等の要素の影響を更に除去する。
いくつかの実施例では、化学計測学モデルは部分的最小二乗分析、人工ニューラルネットワーク又はサポートベクターマシンを含む。これらの方法に基づいてスペクトル分析を行って、物質の成分を予測することができる。
いくつかの実施例では、ハイパースペクトル画像は撮影時に各波長域において検出対象物体の占有する画素領域A(x,y)が変化しないように維持し、検出対象物体はハイパースペクトル画像において一定の比率を占有する。
この要件において撮影したハイパースペクトル写真は本方法に基づいて同じハイパースペクトル写真を用いて分析することができ、光源のスペクトル変化、収集装置のベースラインドリフト等による誤差を回避する。
本願の第2態様では、本願の実施例はスペクトルカメラを提供し、レンズ、分光器、イメージング装置及びデータ記憶処理装置を備え、光源から発する光線は検出対象物体の表面に反射され、レンズ及び分光器を通過してイメージング装置に到達し、データ記憶処理装置により異なる波長における電気信号及びデジタル信号に変換され、デジタル信号はスペクトル画像データであり、スペクトル画像データは光源スペクトル情報及び検出対象物体の表面物質のスペクトル情報を含み、第1態様に言及した検出対象物質のスペクトル情報を抽出する方法に基づいてスペクトル画像データを処理して、検出対象物体の物質特性を取得する。
本願の実施例に係る検出対象物質のスペクトル情報を抽出する方法は、検出対象物体の位置する画素領域から鏡面反射領域及び乱反射領域を抽出して、それぞれこの2つの領域の代表的なスペクトルを計算することにより、光源に関連しない第1スペクトル不変量と、光源スペクトル、撮影環境等に関連しない第2スペクトル不変量とを計算する。追加の光源スペクトル情報を必要としないため、基準スペクトル収集部分を省き、プロセスを簡素化し、データ収集時間を短縮し、分析効率を向上させることができる。同時に、基準スペクトルを収集する必要がないため、対応のハードウェア設計を行うとき、この部分の光学・機械・電子装置を省くことができ、関連製品のハードウェアをより簡単でコンパクトにする。本方法は同じハイパースペクトル写真を用いて完成し、光源のスペクトル変化、収集装置のベースラインドリフト等による誤差を回避し、分析精度を向上させることができる。
図面を含んで実施例の更なる理解を提供し、図面は本明細書に取り込まれて本明細書の一部となる。図面は実施例を示し、且つ説明とともに本発明の原理を解釈することに用いられる。他の実施例及び実施例の多くの所期の利点は容易に理解され、その理由は以下の詳細な説明を援用することにより、それらがより良く理解されるためである。図面の素子は必ず比率に応じるものではない。同様の符号は対応の類似部材を指す。
本願の実施例の検出対象物質のスペクトル情報を抽出する方法のフローチャートである。 本願の実施例のスペクトル画像の模式図である。 本願の実施例の検出対象物質のスペクトル情報を抽出する方法におけるステップS2のフローチャートである。 本願の実施例の検出対象物質のスペクトル情報を抽出する方法におけるステップS4のフローチャートである。 本願の実施例のスペクトルカメラの模式的なブロック図である。
以下、図面を参照しながら実施例によって本願を更に詳しく説明する。理解されるように、ここで説明される具体的な実施例は関連発明を解釈するためのものであり、本発明を制限するためのものではない。また、更に説明されるように、説明の都合上、図面には関連発明に関わる部分のみを示す。
説明されるように、衝突しない限り、本願の実施例及び実施例の特徴は互いに組み合わせられてもよい。以下、図面を参照しながら実施例によって本願を詳しく説明する。
図1に示すように、本発明の実施例は検出対象物質のスペクトル情報を抽出する方法を提供し、
取得されたハイパースペクトル画像から検出対象物体の占有する画素領域A(x,y)を選択するステップS1と、
前記画素領域A(x,y)から前記鏡面反射領域A及び前記乱反射領域Aを抽出して、それぞれ鏡面反射領域Aの代表的なスペクトルI(ω)及び乱反射領域Aの代表的なスペクトルI(ω)を求めるステップS2と、
鏡面反射領域Aの代表的なスペクトルI(ω)における各要素と乱反射領域Aの代表的なスペクトルI(ω)における各要素を比較することにより、光源情報と物質スペクトル情報を分離して、第1スペクトル不変量C(ω)を取得するステップS3と、を含む。
鏡面反射領域Aの代表的なスペクトルI(ω)は物質のスペクトル情報及び鏡面から反射された光源情報を含むが、乱反射領域Aの代表的なスペクトルI(ω)は物質のスペクトル情報のみを含む。
このとき、取得された第1スペクトル不変量C(ω)は鏡面反射及び乱反射領域に含まれる乱反射成分が同じであるが、鏡面反射成分(即ち、光源成分)が異なるという特徴を利用して、光源スペクトルの影響を除去し、撮影距離及び光源位置等が変化しない限り、C(ω)が変化しない。いくつかのエンジニアリングシーンにおいて、C(ω)を後続のスペクトル分析の基礎として直接使用して、光源情報の依存性を効果的に除去することができる。
以下、リンゴの検出を例として本願の一実施例を説明し、該実施例では、ハイパースペクトルイメージング技術でリンゴの甘さ、酸度、硬度等を迅速に予測する。
まず、第1ステップはデータ収集を行って、検出対象リンゴのハイパースペクトルデータを取得する必要があり、第2ステップは物質スペクトル情報を取得し、即ちハイパースペクトルデータからリンゴの物質スペクトル情報を抽出し、第3ステップは取得された物質スペクトルを分析して、リンゴの甘さ、酸度及び硬度等の情報を取得し、最後にこれらの情報をテスターに提供する。本願の実施例に使用される方法は主に第2ステップに適用される。
具体的な実施例では、ステップS1において、第1領域選択方法で検出対象物体を識別して前記画素領域A(x,y)を選択し、第1領域選択方法は手動注釈、マシンビジョン、スペクトル角度マッピング又は深層学習アルゴリズムを含む。他の選択可能な実施例では、更に他の方法で検出対象物体を識別することができ、取得されたハイパースペクトル画像がI(x,y,ω)と記され、ここで、x、y及びωがそれぞれハイパースペクトル画像の幅、高さ及び波長であり、第1領域選択方法で検出対象物体を識別して画素領域A(x,y)を選択する。
まず、取得されたハイパースペクトル画像は2つの要件を満足する必要がある。図3に示すように、具体的な実施例では、ハイパースペクトル画像は以下の2つの条件を満足すべきである。条件1としては、撮影時に各波長域において検出対象物体の占有する画素領域A(x,y)が変化しないように維持する。条件2としては、検出対象物体はハイパースペクトル画像において一定の比率を占有する。条件1は具体的に以下の2つの方式で実現できる。方式1としては、撮影時に検出対象物体とカメラが変化しないように維持する場合、撮影した各異なる波長の画像における各画素に対応する空間位置が変化しない。方式2としては、光束等の画像位置合わせ方法で各画像における画素点を改めて位置合わせることができ、これはカメラ又は被撮影物体が撮影中に静止するように維持できない場合に使用できる方式である。条件2は撮影時に検出対象物体がカメラレンズから離れる距離を近くする必要がある。
数学的には、1つの三次元行列I(x,y,ω)を用い、ここで、x、y及びωはそれぞれハイパースペクトル画像の幅、高さ及び波長であり、行列における各要素i(x,y,ω)は画幅(x,y)位置での画素が撮影波長ωにおいて取得した光強度を代表する。従って、各異なる波長における光強度データからなるベクトルはスペクトルと称され、例えば、i(x,y,ω)が(x,y)での画素のスペクトルを示す。
取得されたハイパースペクトル画像において第1領域選択方法で検出対象物体の占有する画素領域A(x,y)を選択し、好適な実施例では、第1領域選択方法は手動注釈、マシンビジョン、スペクトル角度マッピング又は深層学習を含む。更に他の実行可能な画像識別技術を選択してもよく、画像識別技術は現在既に非常に成熟しており、従って、ハイパースペクトル画像から検出対象物体を容易で正確に識別することができ、これも現在ハイパースペクトルイメージング分析技術のより成熟した一部である。本願の実施例では、深層学習によって物体識別を行って、図2における検出対象リンゴを識別して、その占有する画素領域A(x,y)を取得する。
具体的な実施例では、図3に示すように、ステップS2は、
第2領域選択方法で画素領域A(x,y)から鏡面反射領域A及び乱反射領域Aを抽出するS21と、
鏡面反射領域Aに基づいて代表的なスペクトルI(ω)を取得し、乱反射領域Aに基づいて代表的なスペクトルI(ω)を取得するS22と、を含む。
第2領域選択方法は主成分分析、K平均値、行列直交投影又は幾何形状に基づく領域選択を含んでもよい。好適な実施例では、K平均値クラスタリング方法に基づいてクラスタリング中心を2つ設定し、スペクトル形状に基づいてA(x,y)内の画素を2種類にクラスタリングする。リンゴの表面が球状を呈し、平均反射率が比較的低いため、鏡面反射領域の平均輝度が比較的高く、従って、平均輝度の高い種類は鏡面反射領域Aとしてマーキングされ、平均輝度の低い種類は乱反射領域Aとしてマーキングされる。
及びAから代表的なスペクトルI(ω)及びI(ω)を抽出する方法は平均スペクトル、輝度重み付け平均スペクトル、グレーワールドアルゴリズム等を含んでもよい。好適な実施例では、平均スペクトルの求め方法を使用して、鏡面反射領域A及び乱反射領域Aに基づいてそれぞれ鏡面反射領域A及び乱反射領域Aにおけるすべての画素の平均スペクトルを代表的なスペクトルI(ω)及び代表的なスペクトルI(ω)として求め、
Figure 2022539281000005
Figure 2022539281000006
ここで、NとNがそれぞれ鏡面反射領域A及び乱反射領域A内の画素数を示し、i(x,y,ω)が(x,y)位置での画素のスペクトルを示す。
最後に、鏡面反射領域Aの代表的なスペクトルI(ω)における各要素をそれぞれ乱反射領域Aの代表的なスペクトルI(ω)における各要素で割って、第1スペクトル不変量C(ω)を取得する。
具体的な実施例では、ステップS3において、第1スペクトル不変量C(ω)の求め方法は有限要素分解、スペクトル角度分離又は除算を含む。他の選択可能な実施例では、他の適切な求め方法を用いてもよい。
好ましい実例では、鏡面反射領域Aの代表的なスペクトルI(ω)における各要素をそれぞれ乱反射領域Aの代表的なスペクトルI(ω)における各要素で割って、第1スペクトル不変量C(ω)を取得し、C(ω=I(ω)/I(ω)である。
具体的な実施例では、
第1スペクトル不変量C(ω)に対して線形変換処理を行って、スペクトル分析のための第2スペクトル不変量R(ω)を取得するステップS4を更に含む。
好ましい実施例では、図4に示すように、ステップS4は、
第1スペクトル不変量C(ω)に対して標準正規変換を行って、第2スペクトル不変量R(ω)を取得し、
Figure 2022539281000007
ここで、〈C(ω)〉ωがC(ω)の波長次元での平均値を代表するS41と、
第2スペクトル不変量R(ω)を入力として化学計測学モデルに入力して物質スペクトル分析を行うS42と、を含む。
このステップでは、化学計測学モデルは部分的最小二乗、人工ニューラルネットワーク又はサポートベクターマシンを含む。従って、訓練後の部分的最小二乗(PLS)、人工ニューラルネットワーク(ANN)又はサポートベクターマシン(SVM)等の化学計測学モデルを用いてリンゴの成分の含有量を予測して、測定者にフィードバックすることができ、この部分の具体的なステップは本発明の重点ではないため、詳細な説明は省略する。以上の方法は、ハイパースペクトル分析プロセスを簡素化し、ハードウェア構造を簡素化し、関連製品のハードウェアをより簡単でコンパクトにすることができ、同じハイパースペクトル画像を用いて完了でき、光源のスペクトル変化を回避し、光源のスペクトル変化、収集装置のベースラインドリフト等による誤差を回避し、従って、成分分析等の精度を向上させることができる。
本願の実施例は更にスペクトルカメラを提供し、図5に示すように、レンズ1、分光器2、イメージング装置3及びデータ記憶処理装置4を備え、光源から発する光線は検出対象物体の表面(浅層内部を含む)に反射され、レンズ1及び分光器2を通過してイメージング装置3に到達し、データ記憶処理装置4により異なる波長における電気信号及びデジタル信号に変換され、デジタル信号はスペクトル画像データであり、スペクトル画像データは光源スペクトル情報及び検出対象物体の表面物質のスペクトル情報を含み、上記言及した検出対象物質のスペクトル情報を抽出する方法に基づいてスペクトル画像データを処理して、検出対象物体の物質特性を取得する。本願の検出対象物質のスペクトル情報を抽出する方法は、光源のスペクトル情報を独立して記録する必要がなく、検出対象物体のスペクトル画像データのみに基づいて該検出対象物体の表面物質のスペクトル情報即ちスペクトル不変量を取得することができる。該スペクトル不変量は検出対象物体の表面(浅層内部を含む)のスペクトル情報を反映するため、検出対象物体の表面(浅層内部を含む)の物質特性を計算することができる。本願のリンゴを例として、スペクトル不変量は該リンゴの甘さ、酸度、硬度等を計算することに用いられてもよい。
本願の実施例は検出対象物質のスペクトル情報を抽出する方法を開示し、検出対象物体の位置する画素領域から鏡面反射領域及び乱反射領域を抽出して、それぞれこの2つの領域の代表的なスペクトルを計算することにより、光源に関連しない第1スペクトル不変量と、光源スペクトル、撮影環境等に関連しない第2スペクトル不変量とを計算する。追加の光源スペクトル情報を必要としないため、基準スペクトル収集部分を省いてもよく、分析プロセスを簡素化し、データ収集時間を短縮し、分析効率を向上させる。同時に、基準スペクトルを収集する必要がないため、対応のハードウェア設計を行うとき、この部分の光学・機械・電子装置を省いてもよく、関連製品のハードウェアをより簡単でコンパクトにする。本方法は同じハイパースペクトル写真を用いて完了し、光源のスペクトル変化、収集装置のベースラインドリフト等による誤差を回避し、分析精度を向上させることができる。
以上の説明は単に本発明の具体的な実施形態又は具体的な実施形態の説明であり、本発明の保護範囲はこれに限らない。当業者が本発明に開示される技術的範囲内で容易に想到し得る変更や置換は、いずれも本発明の保護範囲内に含まれるべきである。本発明の保護範囲は特許請求の範囲に準じるべきである。

Claims (13)

  1. 検出対象物質のスペクトル情報を抽出する方法であって、
    取得されたハイパースペクトル画像から検出対象物体の占有する画素領域A(x,y)を選択するステップS1と、
    前記画素領域A(x,y)からそれぞれ鏡面反射領域A及び乱反射領域Aを抽出して、それぞれ前記鏡面反射領域Aの代表的なスペクトルI(ω)及び前記乱反射領域Aの代表的なスペクトルI(ω)を求めるステップS2と、
    前記鏡面反射領域Aの代表的なスペクトルI(ω)における各要素と前記乱反射領域Aの代表的なスペクトルI(ω)における各要素を比較することにより、光源情報と物質スペクトル情報を分離して、第1スペクトル不変量C(ω)を取得するステップS3と、を含むことを特徴とする検出対象物質のスペクトル情報を抽出する方法。
  2. 前記第1スペクトル不変量C(ω)に対して線形変換処理を行って、スペクトル分析のための第2スペクトル不変量R(ω)を取得するステップS4を更に含むことを特徴とする請求項1に記載の検出対象物質のスペクトル情報を抽出する方法。
  3. 前記ステップS1において、第1領域選択方法で前記検出対象物体を識別して前記画素領域A(x,y)を選択し、前記第1領域選択方法は手動注釈、マシンビジョン、スペクトル角度マッピング又は深層学習アルゴリズムを含むことを特徴とする請求項1に記載の検出対象物質のスペクトル情報を抽出する方法。
  4. 前記ステップS2は、
    第2領域選択方法で前記画素領域A(x,y)から前記鏡面反射領域A及び前記乱反射領域Aを抽出するS21と、
    前記鏡面反射領域Aに基づいて代表的なスペクトルI(ω)を取得し、前記乱反射領域Aに基づいて代表的なスペクトルI(ω)を取得するS22と、を含むことを特徴とする請求項1に記載の検出対象物質のスペクトル情報を抽出する方法。
  5. 前記第2領域選択方法は主成分分析、K平均値、行列直交投影又は幾何形状に基づく領域選択を含むことを特徴とする請求項4に記載の検出対象物質のスペクトル情報を抽出する方法。
  6. 前記鏡面反射領域Aの代表的なスペクトルI(ω)及び前記乱反射領域Aの代表的なスペクトルI(ω)の求め方法は平均スペクトル、輝度重み付け平均スペクトル又はグレーワールドアルゴリズムを含むことを特徴とする請求項4に記載の検出対象物質のスペクトル情報を抽出する方法。
  7. 前記鏡面反射領域A及び前記乱反射領域Aに基づいてそれぞれ前記鏡面反射領域A及び前記乱反射領域Arにおけるすべての画素の平均スペクトルを代表的なスペクトルI(ω)及び代表的なスペクトルI(ω)として求め、
    Figure 2022539281000008
    Figure 2022539281000009
    ここで、NとNrがそれぞれ前記鏡面反射領域A及び前記乱反射領域A内の画素数を示し、i(x,y,ω)が(x,y)位置での画素のスペクトルを示すことを特徴とする請求項6に記載の検出対象物質のスペクトル情報を抽出する方法。
  8. 前記ステップS3において、前記第1スペクトル不変量C(ω)の求め方法は有限要素分解、スペクトル角度分離又は除算を含むことを特徴とする請求項1に記載の検出対象物質のスペクトル情報を抽出する方法。
  9. 前記鏡面反射領域Aの代表的なスペクトルI(ω)における各要素をそれぞれ前記乱反射領域Aの代表的なスペクトルI(ω)における各要素で割って、第1スペクトル不変量C(ω)を取得し、C(ω=I(ω)/I(ω)であることを特徴とする請求項8に記載の検出対象物質のスペクトル情報を抽出する方法。
  10. 前記ステップS4は、
    前記第1スペクトル不変量C(ω)に対して標準正規変換を行って、前記第2スペクトル不変量R(ω)を取得し、
    Figure 2022539281000010
    ここで、〈C(ω)〉ωがC(ω)の波長次元での平均値を代表するS41と、
    前記第2スペクトル不変量R(ω)を入力として化学計測学モデルに入力して物質スペクトル分析を行うS42と、を含むことを特徴とする請求項2に記載の検出対象物質のスペクトル情報を抽出する方法。
  11. 前記化学計測学モデルは部分的最小二乗分析、人工ニューラルネットワーク又はサポートベクターマシンを含むことを特徴とする請求項10に記載の検出対象物質のスペクトル情報を抽出する方法。
  12. 前記ハイパースペクトル画像は撮影時に各波長域において前記検出対象物体の占有する画素領域A(x,y)が変化しないように維持し、前記検出対象物体は前記ハイパースペクトル画像において一定の比率を占有することを特徴とする請求項1~11のいずれか1項に記載の検出対象物質のスペクトル情報を抽出する方法。
  13. スペクトルカメラであって、
    レンズ、分光器、イメージング装置及びデータ記憶処理装置を備え、光源から発した光線は検出対象物体の表面に反射され、前記レンズ及び前記分光器を通過して前記イメージング装置に到達し、前記データ記憶処理装置により異なる波長における電気信号及びデジタル信号に変換され、前記デジタル信号はスペクトル画像データであり、前記スペクトル画像データは光源スペクトル情報及び前記検出対象物体の表面物質のスペクトル情報を含み、請求項1~12のいずれか1項に記載の検出対象物質のスペクトル情報を抽出する方法で前記スペクトル画像データを処理して、前記検出対象物体の物質特性を取得することを特徴とするスペクトルカメラ。
JP2021553116A 2020-03-30 検出対象物質のスペクトル情報を抽出する方法 Active JP7533966B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/081962 WO2021195817A1 (zh) 2020-03-30 2020-03-30 一种提取待测物质的光谱信息的方法

Publications (2)

Publication Number Publication Date
JP2022539281A true JP2022539281A (ja) 2022-09-08
JP7533966B2 JP7533966B2 (ja) 2024-08-14

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085531A (ja) * 2001-09-06 2003-03-20 Telecommunication Advancement Organization Of Japan 光沢・色再現システム、光沢・色再現プログラム
JP2008281402A (ja) * 2007-05-09 2008-11-20 Nippon Telegr & Teleph Corp <Ntt> 知覚的な鏡面・拡散反射画像推定方法とその装置、及びプログラムと記憶媒体
WO2011026167A1 (en) * 2009-09-03 2011-03-10 National Ict Australia Limited Illumination spectrum recovery
WO2014203453A1 (ja) * 2013-06-19 2014-12-24 日本電気株式会社 照明推定装置、照明推定方法および照明推定プログラム
WO2017217261A1 (ja) * 2016-06-15 2017-12-21 シャープ株式会社 分光測定装置
WO2020025684A1 (en) * 2018-07-31 2020-02-06 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging in open treatment using multispectral information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085531A (ja) * 2001-09-06 2003-03-20 Telecommunication Advancement Organization Of Japan 光沢・色再現システム、光沢・色再現プログラム
JP2008281402A (ja) * 2007-05-09 2008-11-20 Nippon Telegr & Teleph Corp <Ntt> 知覚的な鏡面・拡散反射画像推定方法とその装置、及びプログラムと記憶媒体
WO2011026167A1 (en) * 2009-09-03 2011-03-10 National Ict Australia Limited Illumination spectrum recovery
WO2014203453A1 (ja) * 2013-06-19 2014-12-24 日本電気株式会社 照明推定装置、照明推定方法および照明推定プログラム
WO2017217261A1 (ja) * 2016-06-15 2017-12-21 シャープ株式会社 分光測定装置
WO2020025684A1 (en) * 2018-07-31 2020-02-06 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging in open treatment using multispectral information

Also Published As

Publication number Publication date
WO2021195817A1 (zh) 2021-10-07
US20220207856A1 (en) 2022-06-30
CN113272639B (zh) 2023-10-27
CN113272639A (zh) 2021-08-17
EP3940370A4 (en) 2022-11-30
KR20220066168A (ko) 2022-05-23
EP3940370A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
TWI679710B (zh) 用於判定樣品上缺陷之系統、非暫時性電腦可讀媒體及方法
CN112308832B (zh) 一种基于机器视觉的轴承质量检测方法
TWI614722B (zh) 用於檢測晶圓上缺陷之系統
US8923568B2 (en) Standardizing fluorescence microscopy systems
WO2018137722A1 (zh) 检测方法、装置、设备及计算机存储介质
US8649580B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
CN111083365B (zh) 一种最佳焦平面位置快速检测方法及装置
US8760638B2 (en) Material identification and discrimination
US9400254B2 (en) Method and device for measuring critical dimension of nanostructure
JP2016514868A (ja) 顕微鏡画像の画像品質評価
EP2406618A2 (en) Apparatus and method for measuring haze of sheet materials or other materials
CN115032196B (zh) 一种全划片高通量彩色病理成像分析仪器及方法
CN111492198B (zh) 物体形状测量装置和方法以及程序
US20230146924A1 (en) Neural network analysis of lfa test strips
WO2021195817A1 (zh) 一种提取待测物质的光谱信息的方法
CN116977341B (zh) 一种尺寸测量方法及相关装置
WO2007004864A1 (en) Method and apparatus for visual object recognition
RU2462195C2 (ru) Способ исследования и диагностики состояния биологического объекта или его части
JP7533966B2 (ja) 検出対象物質のスペクトル情報を抽出する方法
CN114076637B (zh) 高光谱获取方法及其***、电子设备和编码宽光谱成像装置
Quintana et al. Blur-specific no-reference image quality assesment for microscopic hyperspectral image focus quantification
CN117523013B (zh) 一种高导湿面料的色变特征分析方法及***
CN114485942B (zh) 一种高光谱配准方法及其成像***
Chen et al. Hyperspectral Neural Radiance Fields

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240218

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20240326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240725