JP7251559B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP7251559B2
JP7251559B2 JP2020572049A JP2020572049A JP7251559B2 JP 7251559 B2 JP7251559 B2 JP 7251559B2 JP 2020572049 A JP2020572049 A JP 2020572049A JP 2020572049 A JP2020572049 A JP 2020572049A JP 7251559 B2 JP7251559 B2 JP 7251559B2
Authority
JP
Japan
Prior art keywords
information processing
inclination
range
illumination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020572049A
Other languages
English (en)
Other versions
JPWO2020166075A1 (ja
Inventor
佑太 工藤
塁 石山
徹 高橋
賢吾 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020166075A1 publication Critical patent/JPWO2020166075A1/ja
Application granted granted Critical
Publication of JP7251559B2 publication Critical patent/JP7251559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/306Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces for measuring evenness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0016Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、照射角度範囲調整により拡散反射を低減する情報処理装置、情報処理方法、記録媒体、情報処理システムに関する
物体の素材表面などに、品質基準として定められた表面粗さ以下の微細なレベルで自然発生している微細な凹凸、あるいは、加工等により付与された微細な凹凸、特に、加工毎に自然発生する個体毎に異なる微細な凹凸がなすランダムパターンを、カメラなどの撮影装置を用いて画像として取得し、その撮影画像を認識することで、製品個々の識別や管理を行う物体指紋認証という技術が知られている。
このような技術の1つとして、例えば、特許文献1がある。特許文献1には、部品又は生産物に形成された梨地模様を撮影した画像から抽出した梨地模様と、予め記憶された画像特徴とを照合し、部品や生産物などを識別する情報取得識別システムが記載されている。また、特許文献1には、梨地模様を撮影する際に、光源部を有する撮影補助具を用いることが記載されている。特許文献1によると、常時同様な照明条件の下で撮影することが望ましい。
また、関連する技術として、例えば、特許文献2がある。特許文献2では、微小な欠陥検出を目的とした検査用照明装置について記載されている。特許文献2によると、検査用照明装置は、被検査対象の特徴点、すなわち欠陥部位で生じる変化に合わせて、検査光の照射立体角の形状や大きさ及び傾き角を変更することが可能である。
国際公開第2014/163014号 特許第5866586号
物体の表面の微細凹凸を画像化したランダムパターンを用いて、物体の個体識別や照合を高精度にするためには、表面の凹凸を高コントラストに撮影することが望ましい。しかし、高コントラストの画像を取得することが難しい、という問題が生じていた。
そこで、本発明の目的は、高コントラストの画像を取得することができる情報処理装置、情報処理方法、記録媒体、情報処理システムを提供することにある。
かかる目的を達成するため本発明の一形態である情報処理装置は、
物体を照明手段によって照明し、前記物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置であって、
前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を有する
という構成をとる。
また、本発明の他の形態である情報処理方法は、
物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定し、
決定した前記照射角度の範囲で前記物体を照明するように照明手段を制御し、
前記物体からの反射光を撮影する、
という構成をとる。
また、本発明の他の形態である記録媒体は、
物体を照明手段によって照明し、前記物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置に、
前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
また、本発明の他の形態である情報処理システムは、
物体を照明する照明手段と、
前記物体からの反射光を反射画像として撮影する撮影手段と、
前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を有する情報処理装置と、
を有する
という構成をとる。
本発明は、以上のように構成されることにより、容易に高コントラストの画像を取得することが難しい、という課題を解決する情報処理装置、情報処理方法、記録媒体、情報処理システムを提供することが可能となる。
本発明の第1の実施形態にかかる画像撮影システムの全体の構成の一例を示す図である。 画像撮影システムの他の構成の一例を示す図である。 図1で示す制御手段の構成の一例を示すブロック図である。 照射角度と明暗の関係の一例を示す図である。 照射角度と撮影画像の変化の一例を示す図である。 傾き分布の一例を示す図である。 照明手段の点灯範囲と照射角度範囲の関係の一例を示す図である。 照明手段に遮蔽手段を設けた際の遮蔽範囲と照射角度範囲の一例を示す図である。 画像撮影システムの動作の一例を示すシーケンス図である。 第一の傾き統計値に係る照射角度範囲を変化させて実際の物体を撮影した際の一例を示す図である。 第二の傾き統計値に係る照射角度範囲を変化させて実際の物体を撮影した際の一例を示す図である。 本発明の第2の実施形態にかかる情報処理装置の構成の一例を示すブロック図である。
[第1の実施形態]
以下、本発明の実施の形態として、物体の個体の識別に用いる画像撮影システム1(情報処理システム)について説明する。本実施形態における画像撮影システム1は、個体を識別するために、識別対象の物体2を撮影する。後述するように、本実施形態における画像撮影システム1は、物体2の表面に存在する凹凸を測定する測定手段11と、測定手段11による測定結果に基づいて照明手段13が物体2を照らす際の照射角度範囲を決定する制御手段12と、を有している。なお、画像撮影システム1は、個体識別以外の目的で用いられても構わない。
物体2は、工業製品、生産物、容器、梱包品、機械部品、これらの一部分、または工業製品や生産物を製造するための製品や部品である。
物体2の素材は、ガラス、セラミックス、樹脂、布、皮革、金属、その他の素材や、加工や塗装がされた素材であってもよい。本実施形態における画像撮影システム1は、前記素材のいずれに対して適用可能であるが、特に、鏡面反射が低い素材や鏡面反射を弱めるための加工や塗装がされた素材に好適である。鏡面反射が低い素材は、素材表面の凹凸各箇所の傾き角に応じて撮影手段14に入射する鏡面反射光の強度が弱いため、高コントラストの画像を撮影することが難しい。本発明の方法で照射角度範囲を制御することによって、コントラスト低下要因である拡散反射光の強度を低減し、鏡面反射光の強度を相対的に高めることで、高コントラストの画像を撮影することができる。
物体2の表面の凹凸は、物体2の製造や加工の過程で自然に形成された傷、微細な凹凸、紋様のパターンなどである。特に、鋳造された金属や樹脂、陶器の製品には、表面に微細な凹凸が製造過程で形成される。当該凹凸パターンは、個体ごとに異なる。
図1は、画像撮影システム1(画像撮影装置)の全体の構成の一例である。図1の一例では、画像撮影システム1は、測定手段11と制御手段12と照明手段13と撮影手段14とを有する。
測定手段11は、物体2の表面に存在する微細な凹凸を測定して、物体2表面の凹凸の測定データを取得する。測定手段11は、例えば、共焦点レーザー顕微鏡(例えばキーエンス社製VK-260)などの測定装置を用いることができる。また、測定手段11としては、その他一般の凹凸測定に用いられる任意の装置を用いても構わない。
測定手段11は、制御手段12と通信可能に接続されている。測定手段11は、測定結果である凹凸測定データを制御手段12に送信する。
制御手段12は、測定手段11による測定結果に基づいて、照明手段13が物体2を照らす際の照明条件である照射角度範囲を決定する情報処理装置である。制御手段12は、測定手段11から物体2の表面凹凸の測定結果である凹凸測定データを受信する。そして、制御手段12は、受信した凹凸測定データに基づいて、照明手段13が物体2を照らす際の照射角度範囲を決定する。換言すると、制御手段12は、照明手段13によりどの角度範囲から物体2を照射するかを決定する。
照明手段13は、制御手段12が決定した照明条件(照射角度範囲)で、物体2に対して光を照射する。照明手段13は、制御手段12や撮影手段14と通信可能なよう接続することが出来る。
照明手段13は、手動または制御手段12などからの制御により、照射角度範囲を制御可能なよう構成することが出来る。本実施形態においては、照射角度範囲を制御するための具体的な構成については特に限定しない。例えば、照明手段13は、下端に開口がある筐体と、筐体に配置された複数の光源とを有してもよい。複数の光源は、リング状に配置されてもよい。照明手段13は、制御手段12が決定した照射角度範囲に応じて複数の光源を制御(点灯、消灯、色や光量の調整など)してもよい。または、照明手段13は、制御手段12が決定した照射角度範囲に応じて、照射角度範囲の異なる複数の照明手段を使い分けるよう構成しても構わない。また、照明手段13は、照射角度範囲を制御するための既知の構成を有することが出来る。筐体は、物体2を覆い、照明手段13から照射される光以外の光を遮蔽するための遮蔽部として用いることができる。また、筐体は、後述する撮影手段14を取り付け可能な構造を有してもよい。
照明手段13の光源は、LED(light emitting diode)電球、有機エレクトロルミネッセンス、白熱電球、蛍光灯などである。照射光の光量、照明条件の制御のしやすさ等を考慮して適宜選択することができる。
照明手段13から照射する光は、物体2の反射率が低い波長帯の光であることが望ましい。すなわち、照明手段13の光源は、物体2の分光反射率特性において分光反射率が相対的に低い波長帯に、相対的に分光分布の高い放射強度を有することが望ましい。例えば、物体2の表面が青色である場合、照明手段13は、赤色光を照射することが好ましい。これにより、物体2で拡散反射された光成分の影響を抑えることができる。この結果、物体2の表面で鏡面反射した光成分を強調することができる。
撮影手段14は、照明手段13が物体2に光を照射している状態で、物体2を撮影する。撮影手段14には、物体2からの反射光が入射する。撮影手段14が撮影する画像データは、カラー画像であっても構わないし、モノクロ画像であっても構わない。
撮影手段14は、例えば、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide)イメージセンサなどを使用したカメラなどにより構成されている。撮影手段14は、例えば、デジタルカメラ、スマートフォン、タブレット端末、携帯電話機、その他のカメラ機能を有する機器である。撮影手段14は、カメラ機能を有する機器と、撮影補助具と、を有してもよい。撮影補助具は、例えばレンズ(広角レンズ、拡大レンズ、望遠レンズなど)、その他倍率、画角、解像度を変更するための機材である。
撮影手段14は、制御手段12や照明手段13と通信可能なよう接続することが出来る。また、撮影手段14は、図示しないLCDなどの画面表示部や画像処理部を有する外部の情報処理装置などと接続することが出来る。撮影手段14は、撮影した画像データを画面表示部や外部の情報処理装置へと送信する機能を有してもよい。
なお、画像システム1は、照明手段13からの照射光以外の光が物体2に入射しないように、物体2の周辺を覆う黒色の遮蔽部を有してもよい。または、照明手段13からの照射光の放射照度を照射光以外の放射照度に比べて十分強い照度に設定してもよい。強い照度にすることで、照射光以外の光の影響を無視できるようになる。
照明手段13および撮影手段14は、物体2の鉛直方向真上に共通な光軸Oをもつように配置される。しかしながら、本発明の方法が適用される画像撮影システム1の構成は、本実施形態において例示する場合に限られない。照明手段13や撮影手段14は、図1で示す位置関係以外で配置されていても構わない。
図2は、画像撮影システム1の変形例を示す図である。図2の変形例の画像撮影システム1は、測定手段11と制御手段12と照明手段13と撮影手段14と照合手段15とを有する。測定手段11と制御手段12と照明手段13の機能は、上述した図1の一例と同じである。
変形例における撮影手段14は、照合手段15へと撮影した画像データを送信する。
照合手段15は、撮影手段14から取得した画像データを用いて、物体の識別や照合や真贋の判定を行う。例えば、照合手段15は、取得した画像データから抽出した情報と、データベース等の記憶手段に予め記憶された情報とで、物体の識別・照合処理を行う。例えば、照合手段15は、受信した画像データから得られた画像の特徴量と、予め記憶された特徴量とを比較する。照合手段15は、比較した結果、両者の特徴量が一致する場合に、照合対象の物体と、記憶されている特徴量と対応する物体が同一であると判定してもよい。
照合に用いる特徴量は、画像データから抽出したエッジやコーナーなどにある特徴的な点である特徴点であってもよい。または、特徴量は、画像データから抽出された特徴点に関する特徴量である局所特徴量であってもよい。局所特徴量は、画像データから抽出した特徴点とその近傍の画素の画素値とから抽出することができる。
照合手段15は、照合の結果を、外部の出力手段や表示手段に送信する。照合の結果は、照合できたか、照合できなかったか、を表す情報やメッセージであってもよい。または、照合の結果は、識別された個体を一意に特定できる情報やメッセージ(製品番号、製造番号、ブランド名、製品名、シリアル番号、製造者名、流通取引者名)などであってもよい。外部の出力手段は、例えば、照合のユーザの携帯端末(スマートフォン、タブレット、パーソナルコンピュータ、携帯電話機、その他通信機能や表示機能を備える端末)や、サービスの提供に用いるサーバなどであり、携帯端末やサーバなどに、照合結果を送信してもよい。ユーザは、照合サービスを提供するためのウェブサイトやアプリケーションで照合結果を確認することができる。
以上の変形例の通り、本発明は、画像撮影システム1(画像撮影装置)と、画像撮影システム1で撮影された画像に基づく所定の照合処理を行う照合手段15とを有する物品識別装置10において、適用することが出来る。なお、上記説明した照合処理はあくまで例示である。照合手段15は、上記例示した以外の方法を用いて照合処理を行っても構わない。また、例えば、照合手段15としての機能は、制御手段12が有していても構わない。つまり、物品識別装置10は、制御手段12と照合手段15の代わりに、制御手段12としての機能と照合手段15としての機能とを有する一つの情報処理装置を有していて構わない。
以上が、画像撮影システム1の構成の一例である。本実施形態においては、物体2の具体的な構成については特に限定しない。
図3は、本実施形態における制御手段12の機能ブロックの一例を表す。図3を参照すると、制御手段12は、送受信手段121と傾き統計値算出手段122と照射角度範囲決定手段123(決定手段)と照明制御手段124とを有する。なお、制御手段12は、例えば、図示しない記憶装置とCPU(Central Processing Unit)などの演算装置とを有してもよい。制御手段12は、記憶装置に格納されたプログラムを演算装置が実行することで、上記各処理手段を実現する。
送受信手段121は、測定手段11や照明手段13と情報の送受信を行う。送受信手段121は、測定手段11から、物体2表面の凹凸の測定結果である凹凸測定データを受信する。
傾き統計値算出手段122は、送受信手段121から取得した凹凸測定データに基づいて、物体2表面の凹凸の傾き分布の統計値である傾き統計値を算出する。換言すると、傾き統計値算出手段122は、凹凸測定データを分析・解析することで、物体2表面に存在する微細な凹凸の傾き分布に応じた値である2種類の傾き統計値を算出する。2種類の傾き統計値としては、傾き分布を略2分する第一の傾き統計値α1と、傾き分布の右裾部分を代表する第二の傾き統計値α2を算出する。たとえば、統計値は、α1として中央値、α2として95%点であってもよい。なお、傾き統計値は、これに限定されない。傾き統計値は、α1として平均値、α2として平均値+2σ(σは標準偏差)など、その他の任意の統計値を用いてもよい。
照射角度範囲決定手段123は、傾き統計値算出手段122が算出した傾き統計値に基づいて、照明手段13が物体2を照らす際の照射角度範囲を決定する。例えば、照射角度範囲決定手段123は、傾き統計値に基づいて、物体2の鉛直方向を中心とする照射立体角の平面半角θ1、θ2(図1参照)の値を算出する。照射角度範囲決定手段123は、算出した平面半角θ1、θ2から、照射角度範囲(θ1、θ2)を決定する。なお、照射立体角の平面半角θ1、θ2は、図1で示すように、光軸Oからの天頂角を示している。
照射角度範囲決定手段123は、下記式に基づいて照射角度範囲(θ1、θ2)を決定することで、明暗パターンが明瞭かつ拡散反射を低減する画像撮影を可能とする。
θ1=2×α1、θ2=2×α2
照射角度範囲決定手段123は、例えば上記のように、傾き統計値算出手段122による算出結果である傾き統計値α1、α2の略2倍を算出してもよい。傾き統計値算出手段122は、統計値α1、α2の2倍値であるθ1、θ2から照射角度範囲(θ1、θ2)を決定してもよい。
ここで、上述したような処理を行う理由について、図4を参照して説明する。
図4は、物体2表面の凹凸の一部の模式図である。図4においては、角φは、物体表面のある点Pに立てた法線の、光軸Oからの傾き角である。照明手段13が法線に対して光軸Oと線対称な方向(天頂角θ=2φ)に存在する場合、点Pで反射した直接光が、撮影手段14に入射する。一方、照明手段13が、天頂角θ=2φの方向に存在しない場合、点Pで反射して撮影手段14に入射する直接光は存在しない。すなわち、照明手段13が、天頂角θがθ1度からθ2度までの範囲から物体2に対して直接光を入射した場合、撮影手段14が物体2を撮影した画像は、物体2のうち傾き角φがα1からα2である箇所を明とする明暗パターンを有する。
続いて、第一の傾き統計値α1として、傾き分布を略2分する値を用いる理由を図5を参照して説明する。
図5は、照射角度範囲(θ1、θ2)のうちθ1の変化に対する撮影画像の変化を表す模式図である。より具体的には、図5(a)は、照射角度範囲(θ1、θ2)のθ1がθ1<2α1である場合の、撮影画像のうち一ライン分(一次元画像31)と、物体表面の断面32を示す。図5(b)は、θ1がθ1=2α1である場合の、撮影画像のうち一ライン分(一次元画像31)と、物体表面の断面32を示す。図5(c)は、θ1がθ1>2α1である場合の、撮影画像のうち一ライン分(一次元画像31)と、物体表面の断面32を示す。
図5(b)で示すように、θ1=2α1のときは、φ<αの領域とφ>αの領域の面積はほぼ等しい。したがって、画像において、明・暗の面積はほぼ等しくなる。一方、図5(a)で示すように、θ1<2α1のときは、明の面積が小さくなり、カメラの1画素を大きく下回ると受光量が少なくなり、暗の画素とのコントラストが低下する。また、図5(c)で示すように、θ1>2α1のときは、暗の面積が小さくなり、1画素を下回ると検知困難となり、明の画素とのコントラストが低下する。従い、θ1=2α1の場合が最もコントラスト高く撮影が可能といえる。なお、θ1が2α1から極端に離れた場合、一次元画像31は全て暗、もしくは全て明となり、明暗パターンは撮影不可となる。
続いて、第二の傾き統計値α2として、傾き分布の右裾部分を代表する値を用いる理由を、図6を参照して説明する。
図6は、物体2表面の凹凸の傾き分布の一例を示している。図6を参照すると、第一の傾き統計値α1は、図5で示す傾き分布の面積を略2分している。このとき、天頂角θ2=2α2以上の照明光は、傾き部分の右裾部分のため、明暗パターンにはほぼ影響しない。これは、図6上で頻度が少ない右裾部分の明暗によってコントラストが大きく異なることはなく、問題なく画像パターンの撮影が可能なためである。すなわち、天頂角θ2から90°の範囲を暗とすることで、明暗パターンを明瞭に保った状態で、拡散反射を低減することができる。
以上説明したような理由により、照射角度範囲決定手段123は、例えば、傾き統計値算出手段122による算出結果である傾き統計値α1、α2の略2倍の値を算出する。照射角度範囲決定手段123は、算出した傾き統計値から、照射角度範囲(θ1、θ2)を決定する。
照明制御手段124は、照明手段13が物体2に対して照明を照射する際の照射角度範囲が(θ1、θ2)となるように、照明手段13などを制御する。
照明制御手段124は、例えば、照明手段13の点灯範囲や、照明手段13に形成された絞りなどの遮蔽手段131による遮蔽範囲などを制御することにより、照射角度範囲(θ1、θ2)がθ1=2α1、θ2=2α2となるようにする。換言すると、照明制御手段124は、照射立体角の平面半角θがθ1度からθ2度までの範囲から照明手段13により物体2に対して直接光を入射するよう、照明手段13の点灯範囲や、照明手段13に形成された遮蔽手段131による遮蔽範囲などを制御する。
図7は、照明手段13の点灯範囲を制御した一例を示す図である。照明手段13はたとえば多段リング照明であり、各段が独立調光可能である。図7(a)は、照明手段13の点灯範囲と照射角度範囲(θ1、θ2)の一例を示しており、図7(b)は、照明手段13の点灯範囲が図7(a)で示す場合より狭くなった場合の照射角度範囲(θ1、θ2)の一例を示している。このように、照明手段13の点灯範囲を制御することで、照射角度範囲(θ1、θ2)の値を制御することが出来る。
図8は、照明手段13に形成された遮蔽手段131の遮蔽範囲を制御した一例を示す図である。本一例では、照明手段13はたとえばドーム照明である。遮蔽手段131は、たとえば照明下部に設けられたしぼりである。図8(a)は、遮蔽手段131の遮蔽範囲と照射角度範囲(θ1、θ2)の一例を示す。図8(b)は、図8(a)の構成よりも広い範囲を遮蔽した(例えば、しぼりをしぼった)構成の一例を示す。遮蔽手段131の遮蔽範囲を広くすることで(より物体2を遮蔽することで)、照明手段13は、照射角度範囲(θ1、θ2)を狭くすることができる。このように、遮蔽手段131を制御する方法であっても、照射角度範囲(θ1、θ2)の値を制御することが出来る。
照明制御手段124は、例えば、上述した手段のいずれか、又は、上述した手段の組み合わせ、又は、上述した手段以外の既知の手段やそれらの組み合わせを用いることにより、照射角度範囲(θ1、θ2)を制御する。なお、照明制御手段124は、上記例示した以外の方法を用いて照射角度範囲(θ1、θ2)を制御しても構わない。
以上が、制御手段12の構成の一例である。なお、制御手段12の構成は、上述した場合に限定されない。
例えば、制御手段12が有する傾き統計値算出手段122としての機能は、測定手段11が有しても構わない。つまり、制御手段12は、測定手段11が算出した傾き統計値を受信するよう構成しても構わない。このような場合、制御手段12は、傾き統計値算出手段122を有さなくても構わない。
また、制御手段12が有する照明制御手段124としての機能は、照明手段13が有しても構わない。つまり、制御手段12は、照射角度範囲決定手段123が決定した照射角度範囲を照明手段13へと送信するよう構成しても構わない。このような場合、制御手段12は、照明制御手段124を有さなくても構わない。
なお、制御手段12は、例えば、図示しないLCD(liquid crystal display)などの画面表示部や外部の情報処理装置へと照射角度範囲決定手段123が決定した照射角度範囲を送信するよう構成しても構わない。このような場合、照明手段13の制御は、例えば、オペレータなどによる手動で行っても構わない。
以上のように、制御手段12は、例えば、測定手段11から受信した傾き統計値に基づいて照明手段13による物体2に対する照射角度範囲を決定し、決定した照射角度範囲を照明手段13に送信するよう構成されていても構わない。
続いて、図9を参照して、画像撮影システム1の動作の一例について説明する。
図9を参照すると、測定手段11は、物体2表面の凹凸を測定して、凹凸測定データを取得する(ステップS101)。測定手段11は、取得した凹凸測定データを制御手段12へと送信する(ステップS102)。
制御手段12の傾き統計値算出手段122は、凹凸測定データから傾き分布の統計値である第一の傾き統計値α1および第二の傾き統計値α2を算出する(ステップS201)。
照射角度範囲決定手段123は、傾き統計値算出手段122が算出した傾き統計値に基づき、照射角度範囲(θ1、θ2)を決定する(ステップS202)。例えば、照射角度範囲決定手段123は、第一の傾き統計値α1を略2倍した値をθ1、第二の傾き統計値α2を略2倍した値をθ2として算出する。
照明制御手段124は、照射角度範囲決定手段123が決定した照射角度に基づいて、照明手段13を制御する(ステップS203)。例えば、照明制御手段124は、天頂角θがθ1度からθ2度までの範囲から照明手段13により物体2に対して直接光を入射するよう、照明手段13と物体2との間の距離や照明手段13に形成された遮蔽手段131による遮蔽範囲などを制御する。
また、照明制御手段124は、撮影手段14に対して、照明の制御が終わった旨を通知するよう構成することが出来る。撮影手段14に対する通知は、照明手段13により行われても構わない。
照明制御手段124による制御が終わった後、照明手段13が物体2に対して照射しているタイミングで、撮影手段14は、画像を撮影する(ステップS301)。なお、撮影手段14による画像の撮影は手動により行われても構わない。
以上が、画像撮影システム1の動作の一例である。なお、上述したように、ステップS201の処理は測定手段11が行っても構わない。また、ステップS203の処理は照明手段13が行っても構わない。
このように、本実施形態における画像撮影システム1は、測定手段11と制御手段12とを有している。また、制御手段12は、傾き統計値算出手段122と照射角度範囲決定手段123とを有している。このような構成により、傾き統計値算出手段122は、測定手段11による測定結果に基づいて、傾き統計値を算出することが出来る。また、照射角度範囲決定手段123は、傾き統計値算出手段122が算出した傾き統計値に基づいて、照明手段13が物体2を照らす際の照射角度を決定することが出来る。上述したように、照射角度範囲決定手段123が決定した照射角度範囲から照明手段13が照射した状態で撮影手段14により物体2を撮影すると、高コントラストの画像を取得することが出来る。つまり、上記構成によると、容易に高コントラストの画像を取得することが可能となる。
θ1を調整し、明・暗の面積を略半々とすることの効果を示すため、画像撮影システム1を用いて行った実際の物体2表面の撮影画像例を図10に示す。図10(a)は、θ1=2α1のときの撮影画像例であり、図10(b)は、θ1<2α1のときの撮影画像例である。図10(a)を参照すると、θ1=2α1のときの撮影画像では、コントラストが高く、明瞭な明暗パターンが得られていることが分かる。一方、図10(b)を参照すると、θ1<2α1のときの撮影画像では、図10(a)で示す撮影画像に対してコントラストが小さく、明瞭な明暗パターンは得られていないことが分かる。以上のように、平面半角θ1=2α1となるように照明手段13を制御することで、撮影手段14により高コントラストの画像を取得可能となることが分かる。
続いて、θ2を調整し、物体2表面での拡散反射を低減する効果を示すため、画像撮影システム1を用いて行った実際の物体2表面の撮影画像例を図12に示す。図11(a)は、θ2=2α2のときの撮影画像例であり、図11(b)は、θ2>2α2のときの撮影画像例である。図11(a)を参照すると、θ2=2α2のときの撮影画像では、コントラストが高く、明瞭な明暗パターンが得られていることが分かる。一方、図11(b)を参照すると、θ2>2α2のときの撮影画像では、図11(a)で示す撮影画像に対してコントラストが小さく、明瞭な明暗パターンは得られていないことが分かる。以上のように、平面半角θ2=2α2となるように照明手段13を制御することで、撮影手段14により高コントラストの画像を取得可能となることが分かる。
以上、本実施形態によれば、物体表面の凹凸の計測データを用いて照射角度範囲を決定することができる。したがって、物体を撮影する前に、照明装置を選定し、調整することができる。このため、導入前のコストを低減することができる。
以上、上記実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
[第2の実施形態]
次に、図12を参照して、本発明の第2の実施形態について説明する。第2の実施形態では、情報処理装置40の構成の概要について説明する。
情報処理装置40は、物体を照明手段によって照明し、物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる装置である。図12は、情報処理装置40の構成の一例を示している。図12を参照すると、情報処理装置40は、決定手段41を有している。
なお、例えば、情報処理装置40は、記憶装置が有するプログラムをCPUなどの演算装置が実行することで、上記決定手段41を実現する。
決定手段71は、物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、照明手段が物体を照射する際の照射角度範囲を決定する。
このように、情報処理装置7は、決定手段71を有している。このような構成により、決定手段71は、物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、照明手段が物体を照射する際の照射角度範囲を決定することが出来る。その結果、このような2種類の傾き統計値に基づいて照射角度範囲を決定することで、容易に高コントラストの画像を取得することが可能となる。
また、上述した情報処理装置40は、当該情報処理装置40に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、物体を照明手段によって照明し、物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置に、物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、照明手段が物体を照射する際の照射角度範囲を決定する決定手段を実現するためのプログラムである。
また、上述した情報処理装置40により実行される情報処理方法は、物体を照明手段によって照明し、物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置が行う情報処理方法であって、物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、照明手段が物体を照射する際の照射角度範囲を決定する、という方法である。
上述した構成を有する、プログラム(または、プログラムを記録した、コンピュータが読み取り可能な記録媒体)、又は、情報処理方法、の発明であっても、上記情報処理装置40と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。また、情報処理装置40と、照明手段と、撮影手段と、を有する情報処理システムであっても、情報処理装置40と同様に、本発明の目的を達成することが出来る。
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
物体を照明手段によって照明し、前記物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置であって、
前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を有する
情報処理装置。
(付記2)
付記1に記載の情報処理装置であって、
前記物体の表面に存在する凹凸の測定結果に基づいて、前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値を算出する算出手段を有し、
前記決定手段は、算出された前記傾き統計値に基づいて、前記照射角度の範囲を決定する
情報処理装置。
(付記3)
付記2に記載の情報処理装置であって、
前記算出手段は、前記2種類の傾き統計値として、
前記傾き分布を略等分する第一の傾き統計値と、前記傾き分布の右裾部分を代表する第二の傾き統計値と、を算出する
情報処理装置。
(付記4)
付記3に記載の情報処理装置であって、
前記決定手段は、照射立体角の平面半径が前記第一の傾き統計値の2倍から前記第二の傾き統計値の2倍までの範囲となるように前記照射角度の範囲を決定する
情報処理装置。
(付記5)
付記1から付記4までのいずれか1項に記載の情報処理装置であって、
前記決定手段が決定した前記照射角度の範囲となるように前記照明手段を制御する制御手段を有する
情報処理装置。
(付記6)
物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定し、
決定した前記照射角度の範囲で前記物体を照明するように照明手段を制御し、
前記物体からの反射光を撮影する、
情報処理方法。
(付記7)
物体を照明手段によって照明し、前記物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置に、
前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
(付記8)
物体を照明する照明手段と、
前記物体からの反射光を反射画像として撮影する撮影手段と、
前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を有する情報処理装置と、
を有する
情報処理システム。
(付記9)
付記8に記載の情報処理システムであって、
前記物体の表面に存在する凹凸を測定する測定手段を有し、
前記決定手段は、前記測定手段が測定した凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する
情報処理システム。
(付記10)
付記9に記載の情報処理システムであって、
前記情報処理装置は、
前記物体の表面に存在する凹凸の測定結果に基づいて、前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値を算出する算出手段を有し、
前記決定手段は、算出された前記傾き統計値に基づいて、前記照射角度範囲を決定する
情報処理システム。
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
1 画像撮影システム
10 物品識別装置
11 測定手段
12 制御手段
121 送受信手段
122 傾き統計値算出手段
123 照射角度範囲決定手段
124 照明制御手段
13 照明手段
131 遮蔽手段
14 撮影手段
15 照合手段
2 物体
31 一次元画像
32 断面

Claims (8)

  1. 物体を照明手段によって照明し、前記物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置であって、
    前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を有し、
    前記物体の表面に存在する凹凸の測定結果に基づいて、前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値を算出する算出手段を有し、
    前記決定手段は、算出された前記傾き統計値に基づいて、前記照射角度の範囲を決定する
    情報処理装置。
  2. 請求項に記載の情報処理装置であって、
    前記算出手段は、前記2種類の傾き統計値として、
    前記傾き分布を等分する第一の傾き統計値と、前記傾き分布の右裾部分を代表する第二の傾き統計値と、を算出する
    情報処理装置。
  3. 請求項に記載の情報処理装置であって、
    前記決定手段は、照射立体角の平面半径が前記第一の傾き統計値の2倍から前記第二の傾き統計値の2倍までの範囲となるように前記照射角度の範囲を決定する
    情報処理装置。
  4. 請求項1から請求項までのいずれか1項に記載の情報処理装置であって、
    前記決定手段が決定した前記照射角度の範囲となるように前記照明手段を制御する制御手段を有する
    情報処理装置。
  5. 物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、照明手段が前記物体を照射する照射角度の範囲を決定し、
    決定した前記照射角度の範囲で前記物体を照明するように前記照明手段を制御し、
    前記物体からの反射光を撮影し、
    前記物体の表面に存在する凹凸の測定結果に基づいて、前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値を算出し、
    照射角度の範囲を決定する際は、算出された前記傾き統計値に基づいて、前記照射角度の範囲を決定する
    情報処理方法。
  6. 物体を照明手段によって照明し、前記物体からの反射光を反射画像として撮影手段で撮影する画像撮影装置において用いられる情報処理装置に、
    前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段と、
    前記物体の表面に存在する凹凸の測定結果に基づいて、前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値を算出する算出手段と、を実現させ、
    前記決定手段は、算出された前記傾き統計値に基づいて、前記照射角度の範囲を決定する
    プログラム。
  7. 物体を照明する照明手段と、
    前記物体からの反射光を反射画像として撮影する撮影手段と、
    前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する決定手段を有する情報処理装置と、
    を有し、
    前記物体の表面に存在する凹凸を測定する測定手段を有し、
    前記決定手段は、前記測定手段が測定した凹凸の傾き分布に応じた値である2種類の傾き統計値に基づいて、前記照明手段が前記物体を照射する照射角度の範囲を決定する
    情報処理システム。
  8. 請求項に記載の情報処理システムであって、
    前記情報処理装置は、
    前記物体の表面に存在する凹凸の測定結果に基づいて、前記物体の表面に存在する凹凸の傾き分布に応じた値である2種類の傾き統計値を算出する算出手段を有し、
    前記決定手段は、算出された前記傾き統計値に基づいて、前記照射角度範囲を決定する
    情報処理システム。
JP2020572049A 2019-02-15 2019-02-15 情報処理装置 Active JP7251559B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/005640 WO2020166075A1 (ja) 2019-02-15 2019-02-15 情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2020166075A1 JPWO2020166075A1 (ja) 2021-12-02
JP7251559B2 true JP7251559B2 (ja) 2023-04-04

Family

ID=72044436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572049A Active JP7251559B2 (ja) 2019-02-15 2019-02-15 情報処理装置

Country Status (4)

Country Link
US (1) US11941849B2 (ja)
EP (1) EP3926575B1 (ja)
JP (1) JP7251559B2 (ja)
WO (1) WO2020166075A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114295558B (zh) * 2021-12-31 2023-08-22 四川启睿克科技有限公司 便携式光谱仪

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180142A (ja) 1998-12-15 2000-06-30 Nec Corp 凹凸情報を強調する装置及び凹凸情報を強調する方法
JP2008202949A (ja) 2007-02-16 2008-09-04 Omron Corp 欠陥検査方法および欠陥検査装置
JP2013242624A (ja) 2012-05-17 2013-12-05 Reiji Oshima 画像処理方法
WO2014021449A1 (ja) 2012-08-03 2014-02-06 日本電気株式会社 撮影補助具、撮影装置及び撮影方法
WO2017080975A1 (en) 2015-11-10 2017-05-18 Alpvision S.A. Method and apparatus for authentication of a 3d structure

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5014003B2 (ja) * 2007-07-12 2012-08-29 キヤノン株式会社 検査装置および方法
MX2011002160A (es) * 2008-08-26 2011-04-05 Bridgestone Corp Metodo y aparato para detectar la irregularidad superficial de un objeto bajo inspeccion.
JP5144461B2 (ja) * 2008-10-17 2013-02-13 株式会社日立製作所 指静脈認証装置、及び個人認証装置
WO2014163014A1 (ja) 2013-04-04 2014-10-09 日本電気株式会社 識別システム、識別方法、照合装置及びプログラム
JP5866586B1 (ja) 2015-09-22 2016-02-17 マシンビジョンライティング株式会社 検査用照明装置及び検査システム
WO2019082584A1 (ja) * 2017-10-24 2019-05-02 日本電気株式会社 情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180142A (ja) 1998-12-15 2000-06-30 Nec Corp 凹凸情報を強調する装置及び凹凸情報を強調する方法
JP2008202949A (ja) 2007-02-16 2008-09-04 Omron Corp 欠陥検査方法および欠陥検査装置
JP2013242624A (ja) 2012-05-17 2013-12-05 Reiji Oshima 画像処理方法
WO2014021449A1 (ja) 2012-08-03 2014-02-06 日本電気株式会社 撮影補助具、撮影装置及び撮影方法
WO2017080975A1 (en) 2015-11-10 2017-05-18 Alpvision S.A. Method and apparatus for authentication of a 3d structure

Also Published As

Publication number Publication date
EP3926575A4 (en) 2022-03-02
WO2020166075A1 (ja) 2020-08-20
JPWO2020166075A1 (ja) 2021-12-02
US11941849B2 (en) 2024-03-26
EP3926575A1 (en) 2021-12-22
EP3926575B1 (en) 2024-06-05
US20220130072A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
CN108445007B (zh) 一种基于图像融合的检测方法及其检测装置
JP6945245B2 (ja) 外観検査装置
JP4897987B2 (ja) 色合い測定システム
CN110441323B (zh) 产品表面的打光方法及***
JP2001255281A (ja) 検査装置
JP6881596B2 (ja) 情報処理装置
JP2022189938A (ja) 光学検査装置、方法及びプログラム
US20200019810A1 (en) Individual identifying device
US10444162B2 (en) Method of testing an object and apparatus for performing the same
JP6859628B2 (ja) 外観検査方法および外観検査装置
JP7251559B2 (ja) 情報処理装置
TWI834843B (zh) 檢查裝置及檢查方法
CN116137893A (zh) 检查装置、检查方法以及活塞的制造方法
JP7272419B2 (ja) 画像撮影装置
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
KR101802812B1 (ko) 물품의 외관 검사장치 및 이를 이용한 물품의 외관 검사방법
KR101876391B1 (ko) 단색광 모아레의 다채널 이미지를 이용한 3차원 검사 장치
KR100605226B1 (ko) 디지털 카메라 모듈의 이물질 검출 장치 및 방법
JP2014215280A (ja) ワーク検出装置及びワーク検出方法
JP4967132B2 (ja) 対象物表面の欠陥検査方法
JP2005189167A (ja) キャップのブリッジ検査装置
US20230077793A1 (en) Optical inspection method, non-transitory storage medium storing optical inspection program, processing device, and optical inspection apparatus
TWM475017U (zh) 晶粒裂邊檢查系統
KR20180112655A (ko) 검사장치 및 검사방법
KR20210037288A (ko) 포토메트릭 스테레오를 이용한 영상 합성 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R151 Written notification of patent or utility model registration

Ref document number: 7251559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151